Taste-Bench: סוכני בינה מלאכותית עדיין מתקשים בקבלת החלטות לטווח ארוך
מדד חדש בשם Taste-Bench מגלה שסוכני AI חלשים בבחירות ארוכות טווח: הטוב ביותר השיג 59.7 אחוז, והתוצאות צנחו לרמה קרובה לניחוש כשהתועלת הגיעה מאוחר.
Illustration made on Lumeta with GPT Image 2.5Make one like it
ב-18 באוקטובר 2026 הציגו חוקרים מ-Microsoft ומ-City University of Hong Kong את Taste-Bench, מדד להחלטות של סוכנים בתהליכים ארוכים, והתוצאה הראשונית חד-משמעית: סוכני ה-AI הנוכחיים לא ממש טובים בבחירת הדרך העדיפה בטווח הארוך. המודל הטוב ביותר במחקר השיג 59.7 אחוז, והביצועים ירדו לרמה קרובה לאקראית כשהתועלת של בחירה התבררה רק הרבה יותר מאוחר. זה רלוונטי לכל מי שמשתמש בסוכנים למשימות קוד או מחקר.
מה Taste-Bench בודק בפועל
במקום לשאול אם סוכן מסיים בסופו של דבר משימה, Taste-Bench בודק אם הוא מסוגל לזהות את הכיוון העדיף בצומת מפתח בעבודה. המדד כולל 502 שאלות שנבנו ממסלולי עבודה אמיתיים של סוכנים במשימות קוד ומחקר AI. בכל צומת החלטה, השלבים הבאים מוסתרים והמודל צריך לבחור בין שתי דרכים לפני שהתוצאה ברורה. מכיוון שכל שאלה נשאלת פעמיים, פעם אחת עם סדר אפשרויות הפוך, ניחוש טהור משיג רק 25 אחוז לפי כללי המאמר.

Illustration made on Lumeta with GPT Image 2.5Make one like it
איך המודלים הנוכחיים הצליחו
התוצאה המרכזית הייתה צנועה. GPT-5.6 Sol הוביל את המדד עם 59.7 אחוז, ומיד אחריו GPT-5.5 עם 59.5 אחוז, ושאר המודלים שנבדקו היו הרחק מאחור. המקרים הקשים יותר היו אלה שבהם הרמז המכריע הופיע רק אחרי עבודה רבה בהמשך: הדיוק הממוצע של המודלים עמד על 62.3 אחוז כשהרמז כבר נראה בהקשר המוקדם, אבל רק 21.0 אחוז כשהוא הופיע רק אחרי שלבים רבים בהמשך. החוקרים בדקו גם תקציבי חשיבה שונים ומצאו שחשיבה ארוכה יותר כמעט לא שינתה את הדיוק.

Illustration made on Lumeta with GPT Image 2.5Make one like it
החלק המעודד יותר במאמר הוא שנראה שאת שיקול הדעת הזה אפשר לאמן. על בסיס Qwen3.6-27B, הצוות זיקק את ההחלטות של מודל מורה לתוך מודל תלמיד שראה רק את שאלת המדד עצמה. במשימות שלא נראו קודם, דיוק השיפוט של התלמיד עלה מ-30.0 ל-47.9 אחוז. כשהתלמיד נתן עצות בכל צומת לסוכן נפרד, שיעור ההצלחה ב-41 משימות SWE-bench Pro שהוחזקו בצד עלה מ-14.6 ל-33.7 אחוז. לדברי המחברים, הדבר מראה שאפשר למדוד ולשפר "טעם" בתכנון ארוך טווח, ולא רק לצפות בו. הם גם פרסמו את המדד והקוד לציבור.
מה המשמעות של "טעם" אצל סוכן AI בהקשר הזה?
במאמר הזה, "טעם" הוא היכולת של סוכן לבחור את הדרך העדיפה במהלך משימה ארוכה לפני שהתועלת ברורה. מדובר בשיקול דעת בהחלטות ביניים, ולא רק בשאלה אם התשובה הסופית עוברת בדיקה.
האם הביצועים באמת היו קרובים לאקראיים?
לפעמים, כן. לפי שיטת הניקוד של המדד, ניחוש טהור משיג 25 אחוז, כי צריך לענות נכון על כל שאלה בשני סדרי האפשרויות. כשהראיות המועילות הופיעו רק בשלב מאוחר בהרבה במסלול, הדיוק הממוצע של המודלים ירד ל-21.0 אחוז, קרוב לרף האקראי הזה.
האם מתן זמן חשיבה רב יותר למודלים עזר?
לא הרבה. החוקרים בדקו הגדרות חשיבה שונות בשני מודלים ודיווחו שמעבר מתקציב חשיבה נמוך לגבוה כמעט לא שינה את הדיוק.
למה זה חשוב אם מודל עדיין מצליח לסיים חלק מהמשימות?
כי סוכן עלול לקבל החלטה מוקדמת שנראית בסדר בהתחלה אבל יוצרת בעיות בהמשך. בעבודת קוד ומחקר, החלטות גרועות נסתרות כאלה עלולות לבזבז תקציב, לחסום שינויים עתידיים או להוביל את הסוכן לדרך לא פורייה.


