Taste-Bench يكشف أن وكلاء الذكاء الاصطناعي ما زالوا يعجزون عن القرارات طويلة المدى
وجد معيار جديد يُدعى Taste-Bench أن وكلاء الذكاء الاصطناعي ضعفاء في الخيارات طويلة المدى: حقق أفضلها 59.7 بالمئة، وتراجعت النتائج إلى ما يقارب التخمين حين تأخر ظهور العائد.
Illustration made on Lumeta with GPT Image 2.5Make one like it
في 18 أكتوبر 2026، قدّم باحثون من Microsoft وجامعة مدينة هونغ كونغ معيار Taste-Bench لتقييم قرارات الوكلاء في المهام الطويلة، وجاءت النتيجة الأولية صريحة: وكلاء الذكاء الاصطناعي الحاليون ليسوا بارعين في اختيار المسار الأفضل على المدى البعيد. حقق أفضل نموذج في الدراسة 59.7 بالمئة، وانخفض الأداء إلى مستوى قريب من العشوائية عندما لم تظهر فائدة الخيار إلا في وقت متأخر جدًا، وهو أمر يهم كل من يستخدم الوكلاء في مهام البرمجة أو البحث.
ما الذي يختبره Taste-Bench فعلًا
بدلًا من السؤال عمّا إذا كان الوكيل سينهي المهمة في النهاية، يسأل Taste-Bench عمّا إذا كان قادرًا على تمييز الاتجاه الأفضل عند مفترق رئيسي في العمل. يضم المعيار 502 سؤال مبنية على مسارات حقيقية لوكلاء في مهام البرمجة وأبحاث الذكاء الاصطناعي. عند كل مفترق قرار، تُخفى الخطوات اللاحقة ويتعين على النموذج الاختيار بين مسارين قبل أن تتضح النتيجة. ولأن كل سؤال يُطرح مرتين، مرة مع عكس ترتيب الخيارين، فإن التخمين البحت لا يحقق سوى 25 بالمئة وفق قواعد الورقة البحثية.

Illustration made on Lumeta with GPT Image 2.5Make one like it
أداء النماذج الحالية
كانت النتيجة الرئيسية متواضعة. تصدّر GPT-5.6 Sol المعيار بنسبة 59.7 بالمئة، تلاه عن قرب GPT-5.5 بنسبة 59.5 بالمئة، فيما جاءت بقية النماذج المختبرة دون ذلك بكثير. وكانت الحالات الأصعب تلك التي لم يظهر فيها المؤشر الحاسم إلا بعد عمل لاحق طويل: بلغ متوسط الدقة عبر النماذج 62.3 بالمئة حين كان المؤشر ظاهرًا بالفعل في السياق السابق، لكنه لم يتجاوز 21.0 بالمئة حين لم يظهر إلا بعد خطوات لاحقة مطوّلة. كما اختبر الباحثون ميزانيات تفكير مختلفة، ووجدوا أن إطالة التفكير لم تغيّر الدقة إلا بالكاد.

Illustration made on Lumeta with GPT Image 2.5Make one like it
الجانب الأكثر تفاؤلًا في الورقة هو أن هذا الحس التقديري يبدو قابلًا للتدريب. باستخدام Qwen3.6-27B نموذجًا أساسيًا، قطّر الفريق قرارات نموذج معلّم في نموذج تلميذ لم يرَ سوى سؤال المعيار نفسه. وعلى مهام لم يرها من قبل، ارتفعت دقة حكم التلميذ من 30.0 إلى 47.9 بالمئة. وحين قدّم التلميذ نصائح عند كل مفترق لوكيل منفصل، ارتفع معدل النجاح في 41 مهمة محجوزة من SWE-bench Pro من 14.6 إلى 33.7 بالمئة. ويقول المؤلفون إن ذلك يبيّن أن ذوق التخطيط طويل المدى يمكن قياسه وتحسينه، لا ملاحظته فحسب. كما أتاحوا المعيار والشيفرة للعموم.
ماذا يعني «الذوق» بالنسبة لوكيل ذكاء اصطناعي هنا؟
في هذه الورقة، يعني «الذوق» قدرة الوكيل على اختيار المسار الأفضل خلال مهمة طويلة قبل أن يتضح العائد. الأمر يتعلق بحسن التقدير في القرارات الوسيطة، لا بمجرد اجتياز الإجابة النهائية للاختبار.
هل كان الأداء قريبًا من العشوائية فعلًا؟
أحيانًا، نعم. وفق نظام التقييم في المعيار، يحقق التخمين البحت 25 بالمئة لأن كل سؤال يجب أن يُجاب عنه بشكل صحيح بترتيبي الخيارين كليهما. وحين لم تظهر الأدلة المفيدة إلا في مرحلة متأخرة جدًا من المسار، انخفض متوسط الدقة عبر النماذج إلى 21.0 بالمئة، وهو قريب من خط الأساس العشوائي.
هل ساعد منح النماذج وقتًا أطول للتفكير؟
ليس كثيرًا. اختبر الباحثون إعدادات تفكير مختلفة لنموذجين، وأفادوا بأن الانتقال من ميزانيات تفكير أقل إلى أعلى لم يغيّر الدقة إلا بالكاد.
لماذا يهم هذا إذا كان النموذج لا يزال قادرًا على إنهاء بعض المهام؟
لأن الوكيل قد يتخذ قرارًا مبكرًا يبدو سليمًا في البداية لكنه يسبب مشكلات لاحقًا. وفي أعمال البرمجة والبحث، قد تؤدي هذه القرارات السيئة الخفية إلى إهدار الميزانية أو عرقلة التغييرات المستقبلية أو دفع الوكيل إلى مسار غير مثمر.


