Evals (הערכת מודלים)
Evals הם בדיקות למערכת AI: נותנים לה קלט, ובודקים את הפלט שלה לפי כללים שנקבעו מראש כדי למדוד אם הצליחה. במקום «נראה לי שזה עובד», מקבלים תוצאה שאפשר להריץ שוב אחרי כל שינוי. [1]
במילים פשוטות
כל מקרה בדיקה מוגדר בקלט ובתנאי הצלחה. אוסף של מקרים כאלה נקרא חבילת בדיקות, ומריצים אותה שוב בכל פעם שמשנים פרומפט, מודל או קוד. ובגלל שהפלט של מודל משתנה בין הרצות, Anthropic מריצה כל מקרה כמה פעמים. [1] Anthropic מבחינה בין מה שהמערכת אומרת לבין מה שקרה בפועל: סוכן הזמנות יכול לכתוב שהטיסה הוזמנה, אבל התוצאה היא אם ההזמנה באמת קיימת במערכת. [1] במדריך ל-Claude היא ממליצה שהבדיקות ישקפו את המשימה האמיתית, כולל מקרי קצה, ושייבדקו אוטומטית כשאפשר. [2]
דוגמה
בניתם צ'אטבוט שעונה על שאלות מנוהל החופשות. כתבתם עשרים שאלות אמיתיות, ולכל אחת את התשובה הנכונה ואת הסעיף שממנו היא באה. אחרי כל שינוי בפרומפט מריצים את עשרים השאלות, ורואים כמה עברו ואיזו שאלה שעברה קודם נכשלה עכשיו.
איך מתחילים לכתוב evals?
Anthropic כותבת שצוותים מתעכבים כי הם חושבים שצריך מאות מקרים, ושבשלב מוקדם 20 עד 50 מקרים פשוטים שנלקחו מכשלים אמיתיים הם התחלה טובה. היא ממליצה להתחיל מהבדיקות הידניות שאתם כבר עושים לפני כל שינוי. [1] ההמלצה שלנו: כל פעם שמשהו נשבר, הופכים אותו למקרה בדיקה חדש.
איך בודקים איזה מודל AI הכי טוב למשימה?
מריצים את אותה חבילת בדיקות על כמה מודלים ומשווים. לפי Anthropic, צוותים שיש להם evals יכולים לבדוק מודל חדש ולעבור אליו תוך ימים, ובלעדיהם הבדיקה לוקחת שבועות. [1] בעינינו דירוג כללי של מודלים לא מחליף בדיקה על המשימה שלכם. לבחירה ראשונית לפי סוג המשימה יש את השאלון איזה מודל AI לבחור, ואחריו בודקים על המקרים שלכם.
איך זה נוגע לבדיקה · הגישה שלנו
eval שבודק רק את מה שהמודל כתב יכול לעבור גם כשהפעולה לא קרתה. לכן בודקים את התוצאה בעולם: הקובץ נוצר, ההזמנה קיימת, המייל נשלח רק לנמען הנכון. ועדיף שמי שבודק לא יהיה מי שבנה. במדריך של Anthropic מופיע שבדרך כלל עדיף שמודל אחר יבדוק, ולא המודל שכתב את הפלט. [2]
להעמיק
מקורות
- Anthropic, «Demystifying evals for AI agents», 9.1.2026. נפתח ב-3.11.2026
- Anthropic, Claude Docs, «Define success criteria and build evaluations». נפתח ב-3.11.2026
מונחים קשורים