Taste-Bench: סוכני בינה מלאכותית עדיין מתקשים בקבלת החלטות לטווח ארוך

מדד חדש בשם Taste-Bench מגלה שסוכני AI חלשים בבחירות ארוכות טווח: הטוב ביותר השיג 59.7 אחוז, והתוצאות צנחו לרמה קרובה לניחוש כשהתועלת הגיעה מאוחר.

3 min read

Taste-Bench: סוכני בינה מלאכותית עדיין מתקשים בקבלת החלטות לטווח ארוך

Illustration made on Lumeta with GPT Image 2.5Make one like it

ב-18 באוקטובר 2026 הציגו חוקרים מ-Microsoft ומ-City University of Hong Kong את Taste-Bench, מדד להחלטות של סוכנים בתהליכים ארוכים, והתוצאה הראשונית חד-משמעית: סוכני ה-AI הנוכחיים לא ממש טובים בבחירת הדרך העדיפה בטווח הארוך. המודל הטוב ביותר במחקר השיג 59.7 אחוז, והביצועים ירדו לרמה קרובה לאקראית כשהתועלת של בחירה התבררה רק הרבה יותר מאוחר. זה רלוונטי לכל מי שמשתמש בסוכנים למשימות קוד או מחקר.

מה Taste-Bench בודק בפועל

במקום לשאול אם סוכן מסיים בסופו של דבר משימה, Taste-Bench בודק אם הוא מסוגל לזהות את הכיוון העדיף בצומת מפתח בעבודה. המדד כולל 502 שאלות שנבנו ממסלולי עבודה אמיתיים של סוכנים במשימות קוד ומחקר AI. בכל צומת החלטה, השלבים הבאים מוסתרים והמודל צריך לבחור בין שתי דרכים לפני שהתוצאה ברורה. מכיוון שכל שאלה נשאלת פעמיים, פעם אחת עם סדר אפשרויות הפוך, ניחוש טהור משיג רק 25 אחוז לפי כללי המאמר.

רובוט קטן במסדרון מול שתי דלתות פתוחות: חדר עבודה מסודר משמאל וסדנה מבולגנת מימין.
בצומת הזה הרובוט עדיין צריך לנחש איזה עתיד ישתלם בהמשך.

Illustration made on Lumeta with GPT Image 2.5Make one like it

איך המודלים הנוכחיים הצליחו

התוצאה המרכזית הייתה צנועה. GPT-5.6 Sol הוביל את המדד עם 59.7 אחוז, ומיד אחריו GPT-5.5 עם 59.5 אחוז, ושאר המודלים שנבדקו היו הרחק מאחור. המקרים הקשים יותר היו אלה שבהם הרמז המכריע הופיע רק אחרי עבודה רבה בהמשך: הדיוק הממוצע של המודלים עמד על 62.3 אחוז כשהרמז כבר נראה בהקשר המוקדם, אבל רק 21.0 אחוז כשהוא הופיע רק אחרי שלבים רבים בהמשך. החוקרים בדקו גם תקציבי חשיבה שונים ומצאו שחשיבה ארוכה יותר כמעט לא שינתה את הדיוק.

עצות ממודל טעם מאומן שיפרו את התוצאות ב-SWE-bench Pro
ללא עצה14.6%
עצת התלמיד33.7%
עצה מושלמת39%
Pan et al., תוצאות ההתערבות על 41 משימות SWE-bench Pro שהוחזקו בצד
סצנה בסגנון גזרי נייר של רובוט גדול שמעניק מצפן זוהר לרובוט קטן בסדנה עם כבלים ולוגו של OpenAI.
קצת הכוונה עוזרת כשהפנייה הנכונה תשתלם רק הרבה יותר מאוחר.

Illustration made on Lumeta with GPT Image 2.5Make one like it

החלק המעודד יותר במאמר הוא שנראה שאת שיקול הדעת הזה אפשר לאמן. על בסיס Qwen3.6-27B, הצוות זיקק את ההחלטות של מודל מורה לתוך מודל תלמיד שראה רק את שאלת המדד עצמה. במשימות שלא נראו קודם, דיוק השיפוט של התלמיד עלה מ-30.0 ל-47.9 אחוז. כשהתלמיד נתן עצות בכל צומת לסוכן נפרד, שיעור ההצלחה ב-41 משימות SWE-bench Pro שהוחזקו בצד עלה מ-14.6 ל-33.7 אחוז. לדברי המחברים, הדבר מראה שאפשר למדוד ולשפר "טעם" בתכנון ארוך טווח, ולא רק לצפות בו. הם גם פרסמו את המדד והקוד לציבור.

מה המשמעות של "טעם" אצל סוכן AI בהקשר הזה?

במאמר הזה, "טעם" הוא היכולת של סוכן לבחור את הדרך העדיפה במהלך משימה ארוכה לפני שהתועלת ברורה. מדובר בשיקול דעת בהחלטות ביניים, ולא רק בשאלה אם התשובה הסופית עוברת בדיקה.

האם הביצועים באמת היו קרובים לאקראיים?

לפעמים, כן. לפי שיטת הניקוד של המדד, ניחוש טהור משיג 25 אחוז, כי צריך לענות נכון על כל שאלה בשני סדרי האפשרויות. כשהראיות המועילות הופיעו רק בשלב מאוחר בהרבה במסלול, הדיוק הממוצע של המודלים ירד ל-21.0 אחוז, קרוב לרף האקראי הזה.

האם מתן זמן חשיבה רב יותר למודלים עזר?

לא הרבה. החוקרים בדקו הגדרות חשיבה שונות בשני מודלים ודיווחו שמעבר מתקציב חשיבה נמוך לגבוה כמעט לא שינה את הדיוק.

למה זה חשוב אם מודל עדיין מצליח לסיים חלק מהמשימות?

כי סוכן עלול לקבל החלטה מוקדמת שנראית בסדר בהתחלה אבל יוצרת בעיות בהמשך. בעבודת קוד ומחקר, החלטות גרועות נסתרות כאלה עלולות לבזבז תקציב, לחסום שינויים עתידיים או להוביל את הסוכן לדרך לא פורייה.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5צור סרטונים עם מחולל הווידאו הטוב בעולם Seedance 2.0 ו-2.5

All tools for "From a description"

More from Lumeta

All חדשות