Taste-Bench : les agents IA peinent encore à prendre des décisions à long terme

Un nouveau benchmark, Taste-Bench, montre que les agents IA peinent à faire des choix à long terme : le meilleur a obtenu 59,7 %, et les résultats sont tombés presque au niveau du hasard lorsque les bénéfices n'apparaissaient que tardivement.

4 min read

Taste-Bench : les agents IA peinent encore à prendre des décisions à long terme

Illustration made on Lumeta with GPT Image 2.5Make one like it

Le 18 octobre 2026, des chercheurs de Microsoft et de la City University of Hong Kong ont présenté Taste-Bench, un benchmark consacré aux décisions des agents sur des tâches de longue durée, et le premier constat est sans appel : les agents IA actuels ne savent pas très bien choisir la meilleure voie sur le long terme. Le meilleur modèle de l'étude a obtenu 59,7 %, et les performances sont tombées presque au niveau du hasard lorsque l'intérêt d'un choix ne devenait visible que bien plus tard. Un point important pour quiconque utilise des agents pour du code ou de la recherche.

Ce que Taste-Bench évalue réellement

Plutôt que de vérifier si un agent finit par accomplir une tâche, Taste-Bench cherche à savoir s'il est capable d'identifier la meilleure direction à un embranchement clé du travail. Le benchmark comprend 502 questions construites à partir de trajectoires réelles d'agents sur des tâches de programmation et de recherche en IA. À chaque embranchement, les étapes suivantes sont masquées et le modèle doit choisir entre deux voies avant que l'issue ne soit évidente. Comme chaque question est posée deux fois, la seconde avec les options inversées, le pur hasard n'obtient que 25 % selon les règles de l'article.

Un petit robot dans un couloir face à deux portes ouvertes : un bureau bien rangé à gauche et un atelier en désordre à droite.
À cet embranchement, le robot doit encore deviner quel avenir sera payant plus tard.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Les performances des modèles actuels

Le résultat principal est modeste. GPT-5.6 Sol arrive en tête avec 59,7 %, suivi de près par GPT-5.5 avec 59,5 %, les autres modèles testés étant nettement en dessous. Les cas les plus difficiles étaient ceux où l'indice décisif n'apparaissait qu'après de nombreuses étapes : la précision moyenne des modèles atteignait 62,3 % lorsque l'indice était déjà visible dans le contexte antérieur, mais seulement 21,0 % lorsqu'il n'apparaissait qu'après un long travail ultérieur. Les chercheurs ont aussi testé différents budgets de raisonnement et constaté que réfléchir plus longtemps ne changeait presque rien à la précision.

Les conseils d'un modèle de « goût » entraîné ont amélioré les résultats sur SWE-bench Pro
Sans conseil14.6%
Conseils de l'élève33.7%
Conseils parfaits39%
Pan et al., résultats d'intervention sur 41 tâches SWE-bench Pro réservées
Scène en papier découpé montrant un grand robot qui tend une boussole lumineuse à un petit robot, dans un atelier rempli de câbles avec un logo OpenAI.
Un peu d'aide ne fait pas de mal quand le meilleur choix ne portera ses fruits que bien plus tard.

Illustration made on Lumeta with GPT Image 2.5Make one like it

L'aspect le plus encourageant de l'article est que ce jugement semble pouvoir s'apprendre. En partant de Qwen3.6-27B, l'équipe a distillé les décisions d'un modèle enseignant dans un modèle élève qui ne voyait que la question du benchmark. Sur des tâches inédites, la précision de jugement de cet élève est passée de 30,0 à 47,9 %. Lorsque l'élève conseillait un autre agent à chaque embranchement, le taux de réussite sur 41 tâches SWE-bench Pro réservées est passé de 14,6 à 33,7 %. Selon les auteurs, cela montre que le « goût » en matière de planification à long terme peut être mesuré et amélioré, et pas seulement observé. Ils ont également rendu publics le benchmark et le code.

Que signifie le « goût » pour un agent IA dans ce contexte ?

Dans cet article, le « goût » désigne la capacité d'un agent à choisir la meilleure voie au cours d'une longue tâche, avant que le bénéfice ne soit évident. Il s'agit du jugement lors des décisions intermédiaires, et pas seulement de savoir si la réponse finale passe un test.

Les performances étaient-elles vraiment proches du hasard ?

Parfois, oui. Avec le système de notation du benchmark, le pur hasard obtient 25 %, car chaque question doit être réussie dans les deux ordres d'options. Lorsque les indices utiles n'apparaissaient que bien plus tard dans la trajectoire, la précision moyenne des modèles chutait à 21,0 %, soit à peu près ce niveau de référence aléatoire.

Donner plus de temps de raisonnement aux modèles a-t-il aidé ?

Pas vraiment. Les chercheurs ont testé différents réglages de raisonnement sur deux modèles et indiquent que passer d'un budget de raisonnement faible à un budget élevé ne changeait presque rien à la précision.

Pourquoi est-ce important si un modèle parvient malgré tout à terminer certaines tâches ?

Parce qu'un agent peut faire un choix précoce qui semble correct au départ mais crée des problèmes par la suite. Dans le code et la recherche, ces mauvaises décisions cachées peuvent gaspiller du budget, bloquer de futures modifications ou entraîner l'agent sur une voie improductive.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5Générez des vidéos avec le meilleur générateur de vidéos au monde, Seedance 2.0 et 2.5

All tools for "From a description"

More from Lumeta

All Actualités