لماذا تفشل اختبارات البرمجة بالذكاء الاصطناعي في المهام الواقعية؟

وكلاء الذكاء الاصطناعي يتفوقون في اختبارات البرمجة، لكنهم ما زالوا بحاجة إلى مساعدة بشرية في المهام الواقعية المعقدة.

3 min read

لماذا تفشل اختبارات البرمجة بالذكاء الاصطناعي في المهام الواقعية؟

Illustration made on Lumeta with GPT Image 2.5Make one like it

في 8 نوفمبر 2026، أفاد باحثون من Alibaba وعدة جامعات آسيوية بأن وكلاء البرمجة بالذكاء الاصطناعي ما زالوا عاجزين عن إنجاز معظم مهام تعديل التطبيقات في العالم الحقيقي. ففي اختبارهم الجديد Co-Design Bench، لم يُكمل أفضل نموذج إكمالًا تامًا سوى 26.4 بالمئة من المهام، أي أن التدخل البشري للتصحيح ظل ضروريًا في نحو ثلاث مهام من كل أربع. والدرس العملي للفرق التي تستخدم وكلاء البرمجة اليوم بسيط: تعامل معهم كمساعدين أقوياء لا كمنفذين يُنهون العمل دون إشراف، واختبر النموذج مع بيئة عمله قبل أن تعتمد على أي لوحة تصنيف.

ما الذي كشفه الاختبار الجديد

صُمم Co-Design Bench ليحاكي العمل الفعلي على المنتجات أكثر من اختبارات البرمجة الأقدم. فبدلًا من مهام نظيفة ومعزولة، يطلب الاختبار من الوكلاء تعديل تطبيقات ويب قائمة بناءً على طلبات تغيير حقيقية من المستخدمين، مع الاعتماد أحيانًا على صور أو مقاطع صوتية أو فيديو أو مستندات كمدخلات. ووفقًا للورقة البحثية، جاء GPT-6 Astra في الصدارة بين النماذج العشرة التي خضعت للاختبار. فقد استوفى في المتوسط نحو 70 بالمئة من متطلبات كل مهمة، لكن عمله كان صحيحًا بالكامل في 26.4 بالمئة فقط من المهام.

نسبة الإكمال الصارم لـ GPT-6 Astra في Co-Design Bench
المسار متعدد الوسائط41%
مسار المستودعات17.9%
نتائج Co-Design Bench كما وردت في أشكال الورقة البحثية المذكورة في المقال المصدر.
روبوت ميكانيكي بأسلوب القصاصات الورقية يشد شاشة مكتبية على طاولة عمل، مع برغي مفكوك وسلك متدلٍّ.
يستطيع الروبوت إنجاز معظم الميزة، لكن التفاصيل الأخيرة العالقة تبقى مهمة.

Illustration made on Lumeta with GPT Image 2.5Make one like it

لماذا جاءت النتائج أقل بكثير من الاختبارات الأقدم

يرى الباحثون أن كثيرًا من اختبارات البرمجة الأقدم أصبحت سهلة جدًا على الأنظمة الوكيلة. فعندما يستطيع النموذج تشغيل شيفرته وفحصها ومراجعتها بنفسه، قد تتجاوز النتائج 99 بالمئة، ما يصعّب التمييز بين الأنظمة القوية. ويحاول Co-Design Bench تجنب ذلك باستخدام طلبات حقيقية من جلسات اضطر فيها المستخدمون غالبًا إلى إعادة صياغة تعليماتهم أو التراجع عن تغييرات خاطئة. والتقييم صارم أيضًا: إذ يختبر حَكَم ذكاء اصطناعي أول التطبيق النهائي في المتصفح، ثم يعيد حَكَم ثانٍ فحص النتائج الإيجابية ويبحث عن نماذج شكلية أو اختصارات مثبتة في الشيفرة. ولا تُحتسب الميزات إلا إذا كانت تعمل فعلًا.

كانت أصعب المهام هي تلك التي تجمع عدة أنواع من التغييرات في آن واحد، مثل تحديثات التخطيط والتصميم والتفاعل والمحتوى. وتراجع أداء جميع النماذج عندما تطلبت المهمة ثلاثة أو أربعة أنواع من التعديلات. كما وجدت الدراسة أن بيئة التشغيل تكاد تكون بأهمية النموذج نفسه. ففي إحدى المقارنات، سجّل Qwen3.8-27B نسبة 75 أو 56 بالمئة في عمليات الإصلاح الشامل الأكبر بحسب البيئة التي شُغّل فيها. وهذا يعني أن على الشركات تقييم النموذج وإعداد الوكيل معًا كوحدة واحدة. وللاختبار حدوده أيضًا: فكل مهمة تعتمد على طلب واحد ثابت، ولا يشمل الاختبار طلب توضيحات لاحقة، كما أن حكام الذكاء الاصطناعي قد يخطئون.

روبوت بأسلوب القصاصات الورقية بين مكتبين عليهما حاسوبان، يحمل أحزمة أدوات؛ تعرض إحدى الشاشتين شيفرة بخلفية داكنة والأخرى بخلفية فاتحة.
روبوت البرمجة نفسه، بإعدادات مختلفة، ونتائج متباينة بشدة.

Illustration made on Lumeta with GPT Image 2.5Make one like it

هل يعني هذا أن وكلاء البرمجة غير مفيدين؟

لا. تشير النتائج إلى أنهم قادرون على إنجاز جزء كبير من العمل، لكنهم كثيرًا ما يُغفلون متطلبًا واحدًا على الأقل. وهذا يجعلهم مفيدين لتسريع التنفيذ، لكن استخدامهم دون مراجعة ينطوي على مخاطرة.

ما الذي يميز Co-Design Bench عن اختبارات البرمجة الأقدم؟

يعتمد على طلبات تغيير حقيقية من المستخدمين على تطبيقات ويب قائمة بدلًا من مهام اختبارية أكثر نظافة. كما تتطلب بعض المهام من الوكلاء استخدام صور أو مقاطع صوتية أو فيديو أو مستندات، ويتحقق التقييم مما إذا كان التطبيق النهائي يعمل فعلًا في المتصفح.

لماذا تبدو المهام الواقعية أصعب على هؤلاء الوكلاء؟

كثيرًا ما تجمع الطلبات الحقيقية عدة أنواع من التعديلات في آن واحد، مثل تغييرات التصميم والتخطيط والتفاعل والمحتوى. ووجدت الدراسة أن هذا النوع من العمل المختلط أضعف الأداء باستمرار لدى جميع النماذج المختبرة.

ماذا ينبغي للفرق أن تفعل قبل اختيار وكيل برمجة؟

لا تعتمد على لوحة تصنيف النماذج وحدها. اختبر النموذج مع بيئة التشغيل أو بيئة الوكيل التي تنوي استخدامها، وجرّبه على مهام تشبه التغييرات الفعلية في منتجك.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

All tools for "From a description"

More from Lumeta

All أخبار