למה מבחני ביצועים לקוד של בינה מלאכותית נכשלים במשימות בעולם האמיתי
סוכני AI מצטיינים במבחני קוד, אבל עדיין זקוקים לעזרה אנושית במשימות מורכבות מהעולם האמיתי.
Illustration made on Lumeta with GPT Image 2.5Make one like it
ב-8 בנובמבר 2026 דיווחו חוקרים מ-Alibaba ומכמה אוניברסיטאות באסיה כי סוכני קוד מבוססי AI עדיין לא עומדים ברוב משימות עריכת האפליקציות מהעולם האמיתי. במבחן החדש שלהם, Co-Design Bench, המודל הטוב ביותר השלים במלואן רק 26.4 אחוזים מהמשימות, כך שכמעט בשלוש מכל ארבע עבודות עדיין נדרש תיקון אנושי. עבור צוותים שעובדים היום עם סוכני קוד, המסקנה המעשית פשוטה: יש להתייחס אליהם כעוזרים חזקים, לא כמי שיסיימו את העבודה לבד, ולבדוק את המודל יחד עם סביבת העבודה שלו לפני שסומכים על טבלת דירוג.
מה גילה מבחן הביצועים החדש
Co-Design Bench תוכנן כך שידמה לעבודת מוצר אמיתית יותר ממבחני קוד ותיקים. במקום משימות נקיות ומבודדות, המבחן מבקש מהסוכנים לשנות אפליקציות ווב קיימות על סמך בקשות שינוי אמיתיות של משתמשים, ולעיתים עם קלט של תמונות, אודיו, וידאו או מסמכים. לפי המאמר, GPT-6 Astra הציג את הביצועים הטובים ביותר מבין עשרת המודלים שנבדקו. הוא עמד בממוצע בכ-70 אחוזים מדרישות המשימה, אבל עבודתו הייתה נכונה לחלוטין רק ב-26.4 אחוזים מהמשימות.

Illustration made on Lumeta with GPT Image 2.5Make one like it
למה הציונים נמוכים בהרבה מאשר במבחנים ותיקים
החוקרים טוענים שמבחני קוד ותיקים רבים הפכו לקלים מדי עבור מערכות סוכניות. כשמודל יכול להריץ, לבחון ולתקן את הקוד של עצמו, הציונים יכולים לטפס מעל 99 אחוזים, ואז קשה להבחין בין מערכות חזקות. Co-Design Bench מנסה להימנע מכך באמצעות בקשות אמיתיות מסשנים שבהם משתמשים נאלצו לא פעם לנסח מחדש הוראות או לבטל שינויים גרועים. גם הבדיקה מחמירה: שופט AI אחד בודק את האפליקציה המוגמרת בדפדפן, ואז שופט שני בודק מחדש תוצאות חיוביות ומחפש הדמיות או קיצורי דרך מקודדים מראש. פיצ'רים נספרים רק אם הם באמת עובדים.
המשימות הקשות ביותר היו אלה ששילבו כמה סוגי שינויים בבת אחת, כמו פריסה, עיצוב, אינטראקציה ועדכוני תוכן. כל המודלים הידרדרו כשמשימה דרשה שלושה או ארבעה סוגי עריכה. המחקר מצא גם שסביבת ההרצה (harness) חשובה כמעט כמו המודל עצמו. בהשוואה אחת, Qwen3.8-27B קיבל 75 או 56 אחוזים בשינויים נרחבים, בהתאם לסביבה שבה הורץ. כלומר, חברות צריכות להעריך את המודל ואת תצורת הסוכן כצמד. למבחן יש גם מגבלות: כל משימה מבוססת על בקשה קבועה אחת, הבהרות המשך אינן חלק מהמבחן, ושופטי AI עדיין עלולים לטעות.

Illustration made on Lumeta with GPT Image 2.5Make one like it
האם זה אומר שסוכני קוד אינם שימושיים?
לא. התוצאות מראות שהם מסוגלים לבצע חלק גדול מהעבודה, אבל עדיין מחמיצים לעיתים קרובות לפחות דרישה אחת. לכן הם מועילים להאצת המימוש, אך מסוכן להשתמש בהם בלי בקרה.
במה שונה Co-Design Bench ממבחני קוד ותיקים?
הוא משתמש בבקשות שינוי אמיתיות של משתמשים על אפליקציות ווב קיימות במקום משימות מבחן נקיות יותר. חלק מהמשימות דורשות מהסוכנים להשתמש גם בתמונות, אודיו, וידאו או מסמכים, והבדיקה מוודאת שהאפליקציה המוגמרת באמת עובדת בדפדפן.
למה משימות מהעולם האמיתי קשות יותר לסוכנים האלה?
בקשות אמיתיות משלבות לעיתים קרובות כמה סוגי עריכה בבת אחת, כמו שינויי עיצוב, פריסה, אינטראקציה ותוכן. המחקר מצא שעבודה משולבת כזו פגעה באופן עקבי בביצועים של כל המודלים שנבדקו.
מה צוותים צריכים לעשות לפני שהם בוחרים סוכן קוד?
אל תסתמכו על טבלת דירוג של מודלים בלבד. בדקו את המודל יחד עם סביבת ההרצה או סביבת הסוכן שבה אתם מתכננים להשתמש, והריצו אותו על משימות שדומות לשינויים האמיתיים במוצר שלכם.


