Taste-Bench يكشف أن وكلاء الذكاء الاصطناعي ما زالوا يعجزون عن القرارات طويلة المدى

وجد معيار جديد يُدعى Taste-Bench أن وكلاء الذكاء الاصطناعي ضعفاء في الخيارات طويلة المدى: حقق أفضلها 59.7 بالمئة، وتراجعت النتائج إلى ما يقارب التخمين حين تأخر ظهور العائد.

3 min read

Taste-Bench يكشف أن وكلاء الذكاء الاصطناعي ما زالوا يعجزون عن القرارات طويلة المدى

Illustration made on Lumeta with GPT Image 2.5Make one like it

في 18 أكتوبر 2026، قدّم باحثون من Microsoft وجامعة مدينة هونغ كونغ معيار Taste-Bench لتقييم قرارات الوكلاء في المهام الطويلة، وجاءت النتيجة الأولية صريحة: وكلاء الذكاء الاصطناعي الحاليون ليسوا بارعين في اختيار المسار الأفضل على المدى البعيد. حقق أفضل نموذج في الدراسة 59.7 بالمئة، وانخفض الأداء إلى مستوى قريب من العشوائية عندما لم تظهر فائدة الخيار إلا في وقت متأخر جدًا، وهو أمر يهم كل من يستخدم الوكلاء في مهام البرمجة أو البحث.

ما الذي يختبره Taste-Bench فعلًا

بدلًا من السؤال عمّا إذا كان الوكيل سينهي المهمة في النهاية، يسأل Taste-Bench عمّا إذا كان قادرًا على تمييز الاتجاه الأفضل عند مفترق رئيسي في العمل. يضم المعيار 502 سؤال مبنية على مسارات حقيقية لوكلاء في مهام البرمجة وأبحاث الذكاء الاصطناعي. عند كل مفترق قرار، تُخفى الخطوات اللاحقة ويتعين على النموذج الاختيار بين مسارين قبل أن تتضح النتيجة. ولأن كل سؤال يُطرح مرتين، مرة مع عكس ترتيب الخيارين، فإن التخمين البحت لا يحقق سوى 25 بالمئة وفق قواعد الورقة البحثية.

روبوت صغير في ممر أمام بابين مفتوحين: غرفة مكتب مرتبة على اليسار وورشة فوضوية على اليمين.
عند هذا المفترق، لا يزال على الروبوت أن يخمّن أي مستقبل سيؤتي ثماره لاحقًا.

Illustration made on Lumeta with GPT Image 2.5Make one like it

أداء النماذج الحالية

كانت النتيجة الرئيسية متواضعة. تصدّر GPT-5.6 Sol المعيار بنسبة 59.7 بالمئة، تلاه عن قرب GPT-5.5 بنسبة 59.5 بالمئة، فيما جاءت بقية النماذج المختبرة دون ذلك بكثير. وكانت الحالات الأصعب تلك التي لم يظهر فيها المؤشر الحاسم إلا بعد عمل لاحق طويل: بلغ متوسط الدقة عبر النماذج 62.3 بالمئة حين كان المؤشر ظاهرًا بالفعل في السياق السابق، لكنه لم يتجاوز 21.0 بالمئة حين لم يظهر إلا بعد خطوات لاحقة مطوّلة. كما اختبر الباحثون ميزانيات تفكير مختلفة، ووجدوا أن إطالة التفكير لم تغيّر الدقة إلا بالكاد.

نصائح نموذج ذوق مُدرَّب حسّنت نتائج SWE-bench Pro
بلا نصائح14.6%
نصائح النموذج التلميذ33.7%
نصائح مثالية39%
Pan وآخرون، نتائج التدخل على 41 مهمة محجوزة من SWE-bench Pro
مشهد بأسلوب قصاصات الورق لروبوت كبير يعطي بوصلة متوهجة لروبوت أصغر في ورشة مليئة بالكابلات مع شعار OpenAI.
قليل من التوجيه يفيد حين لا يؤتي المنعطف الأفضل ثماره إلا بعد وقت طويل.

Illustration made on Lumeta with GPT Image 2.5Make one like it

الجانب الأكثر تفاؤلًا في الورقة هو أن هذا الحس التقديري يبدو قابلًا للتدريب. باستخدام Qwen3.6-27B نموذجًا أساسيًا، قطّر الفريق قرارات نموذج معلّم في نموذج تلميذ لم يرَ سوى سؤال المعيار نفسه. وعلى مهام لم يرها من قبل، ارتفعت دقة حكم التلميذ من 30.0 إلى 47.9 بالمئة. وحين قدّم التلميذ نصائح عند كل مفترق لوكيل منفصل، ارتفع معدل النجاح في 41 مهمة محجوزة من SWE-bench Pro من 14.6 إلى 33.7 بالمئة. ويقول المؤلفون إن ذلك يبيّن أن ذوق التخطيط طويل المدى يمكن قياسه وتحسينه، لا ملاحظته فحسب. كما أتاحوا المعيار والشيفرة للعموم.

ماذا يعني «الذوق» بالنسبة لوكيل ذكاء اصطناعي هنا؟

في هذه الورقة، يعني «الذوق» قدرة الوكيل على اختيار المسار الأفضل خلال مهمة طويلة قبل أن يتضح العائد. الأمر يتعلق بحسن التقدير في القرارات الوسيطة، لا بمجرد اجتياز الإجابة النهائية للاختبار.

هل كان الأداء قريبًا من العشوائية فعلًا؟

أحيانًا، نعم. وفق نظام التقييم في المعيار، يحقق التخمين البحت 25 بالمئة لأن كل سؤال يجب أن يُجاب عنه بشكل صحيح بترتيبي الخيارين كليهما. وحين لم تظهر الأدلة المفيدة إلا في مرحلة متأخرة جدًا من المسار، انخفض متوسط الدقة عبر النماذج إلى 21.0 بالمئة، وهو قريب من خط الأساس العشوائي.

هل ساعد منح النماذج وقتًا أطول للتفكير؟

ليس كثيرًا. اختبر الباحثون إعدادات تفكير مختلفة لنموذجين، وأفادوا بأن الانتقال من ميزانيات تفكير أقل إلى أعلى لم يغيّر الدقة إلا بالكاد.

لماذا يهم هذا إذا كان النموذج لا يزال قادرًا على إنهاء بعض المهام؟

لأن الوكيل قد يتخذ قرارًا مبكرًا يبدو سليمًا في البداية لكنه يسبب مشكلات لاحقًا. وفي أعمال البرمجة والبحث، قد تؤدي هذه القرارات السيئة الخفية إلى إهدار الميزانية أو عرقلة التغييرات المستقبلية أو دفع الوكيل إلى مسار غير مثمر.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5أنشئ مقاطع فيديو باستخدام أفضل مولّد فيديو في العالم Seedance 2.0 و2.5

All tools for "From a description"

More from Lumeta

All أخبار