Pourquoi les benchmarks de code IA échouent face aux tâches réelles
Les agents IA excellent aux benchmarks de code, mais ont encore besoin d'aide humaine pour les tâches complexes du monde réel.
Illustration made on Lumeta with GPT Image 2.5Make one like it
Le 8 novembre 2026, des chercheurs d'Alibaba et de plusieurs universités asiatiques ont indiqué que les agents de code IA restent en deçà des attentes sur la plupart des tâches réelles de modification d'applications. Dans leur nouveau test, Co-Design Bench, le meilleur modèle n'a entièrement réussi que 26,4 % des tâches : une reprise humaine restait donc nécessaire sur près de trois tâches sur quatre. Pour les équipes qui utilisent aujourd'hui des agents de code, la leçon pratique est simple : les considérer comme de solides assistants, et non comme des exécutants autonomes, et tester le modèle avec son environnement de travail avant de se fier à un classement.
Ce que révèle le nouveau benchmark
Co-Design Bench est conçu pour ressembler davantage au vrai travail produit que les anciens tests de code. Au lieu de tâches propres et isolées, le benchmark demande aux agents de modifier des applications web existantes à partir de véritables demandes de changement d'utilisateurs, parfois avec des images, de l'audio, de la vidéo ou des documents en entrée. Selon l'article, GPT-6 Astra a obtenu les meilleurs résultats parmi les dix modèles testés. Il a satisfait en moyenne environ 70 % des exigences d'une tâche, mais son travail n'était entièrement correct que dans 26,4 % des tâches.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Pourquoi les scores sont bien plus bas que dans les anciens tests
Les chercheurs estiment que de nombreux benchmarks de code plus anciens sont devenus trop faciles pour les systèmes agentiques. Quand un modèle peut exécuter, inspecter et corriger son propre code, les scores peuvent dépasser 99 %, ce qui rend difficile la distinction entre les meilleurs systèmes. Co-Design Bench tente d'éviter cet écueil en s'appuyant sur de vraies demandes issues de sessions où les utilisateurs devaient souvent reformuler leurs instructions ou annuler de mauvaises modifications. La notation est également stricte : un premier juge IA teste l'application finale dans un navigateur, puis un second revérifie les résultats positifs et traque les maquettes ou les raccourcis codés en dur. Une fonctionnalité n'est comptée que si elle fonctionne réellement.
Les tâches les plus difficiles étaient celles qui combinaient plusieurs types de changements à la fois, comme la mise en page, le design, l'interaction et le contenu. Tous les modèles ont vu leurs performances baisser lorsqu'une tâche exigeait trois ou quatre types de modifications. L'étude montre aussi que le harnais compte presque autant que le modèle. Dans une comparaison, Qwen3.8-27B a obtenu 75 ou 56 % sur des refontes plus importantes selon l'environnement dans lequel il était exécuté. Les entreprises doivent donc évaluer le modèle et la configuration de l'agent ensemble. Le benchmark a aussi ses limites : chaque tâche repose sur une demande fixe unique, les échanges de clarification ne font pas partie du test, et les juges IA peuvent encore se tromper.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Cela signifie-t-il que les agents de code sont inutiles ?
Non. Les résultats suggèrent qu'ils peuvent accomplir une grande partie du travail, mais qu'ils manquent encore souvent au moins une exigence. Ils sont donc utiles pour accélérer l'implémentation, mais risqués sans relecture.
Qu'est-ce qui distingue Co-Design Bench des anciens benchmarks de code ?
Il utilise de vraies demandes de changement d'utilisateurs sur des applications web existantes plutôt que des tâches de benchmark plus épurées. Certaines tâches exigent aussi que les agents exploitent des images, de l'audio, de la vidéo ou des documents, et la notation vérifie que l'application finale fonctionne réellement dans un navigateur.
Pourquoi les tâches réelles semblent-elles plus difficiles pour ces agents ?
Les vraies demandes combinent souvent plusieurs types de modifications à la fois, comme le design, la mise en page, l'interaction et le contenu. L'étude a constaté que ce type de travail mixte dégradait systématiquement les performances de tous les modèles testés.
Que doivent faire les équipes avant de choisir un agent de code ?
Ne pas se fier uniquement au classement des modèles. Tester le modèle avec le harnais ou l'environnement d'agent prévu, et l'essayer sur des tâches proches des vrais changements de votre produit.


