Taste-Bench : les agents IA peinent encore à prendre des décisions à long terme
Un nouveau benchmark, Taste-Bench, montre que les agents IA peinent à faire des choix à long terme : le meilleur a obtenu 59,7 %, et les résultats sont tombés presque au niveau du hasard lorsque les bénéfices n'apparaissaient que tardivement.
Illustration made on Lumeta with GPT Image 2.5Make one like it
Le 18 octobre 2026, des chercheurs de Microsoft et de la City University of Hong Kong ont présenté Taste-Bench, un benchmark consacré aux décisions des agents sur des tâches de longue durée, et le premier constat est sans appel : les agents IA actuels ne savent pas très bien choisir la meilleure voie sur le long terme. Le meilleur modèle de l'étude a obtenu 59,7 %, et les performances sont tombées presque au niveau du hasard lorsque l'intérêt d'un choix ne devenait visible que bien plus tard. Un point important pour quiconque utilise des agents pour du code ou de la recherche.
Ce que Taste-Bench évalue réellement
Plutôt que de vérifier si un agent finit par accomplir une tâche, Taste-Bench cherche à savoir s'il est capable d'identifier la meilleure direction à un embranchement clé du travail. Le benchmark comprend 502 questions construites à partir de trajectoires réelles d'agents sur des tâches de programmation et de recherche en IA. À chaque embranchement, les étapes suivantes sont masquées et le modèle doit choisir entre deux voies avant que l'issue ne soit évidente. Comme chaque question est posée deux fois, la seconde avec les options inversées, le pur hasard n'obtient que 25 % selon les règles de l'article.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Les performances des modèles actuels
Le résultat principal est modeste. GPT-5.6 Sol arrive en tête avec 59,7 %, suivi de près par GPT-5.5 avec 59,5 %, les autres modèles testés étant nettement en dessous. Les cas les plus difficiles étaient ceux où l'indice décisif n'apparaissait qu'après de nombreuses étapes : la précision moyenne des modèles atteignait 62,3 % lorsque l'indice était déjà visible dans le contexte antérieur, mais seulement 21,0 % lorsqu'il n'apparaissait qu'après un long travail ultérieur. Les chercheurs ont aussi testé différents budgets de raisonnement et constaté que réfléchir plus longtemps ne changeait presque rien à la précision.

Illustration made on Lumeta with GPT Image 2.5Make one like it
L'aspect le plus encourageant de l'article est que ce jugement semble pouvoir s'apprendre. En partant de Qwen3.6-27B, l'équipe a distillé les décisions d'un modèle enseignant dans un modèle élève qui ne voyait que la question du benchmark. Sur des tâches inédites, la précision de jugement de cet élève est passée de 30,0 à 47,9 %. Lorsque l'élève conseillait un autre agent à chaque embranchement, le taux de réussite sur 41 tâches SWE-bench Pro réservées est passé de 14,6 à 33,7 %. Selon les auteurs, cela montre que le « goût » en matière de planification à long terme peut être mesuré et amélioré, et pas seulement observé. Ils ont également rendu publics le benchmark et le code.
Que signifie le « goût » pour un agent IA dans ce contexte ?
Dans cet article, le « goût » désigne la capacité d'un agent à choisir la meilleure voie au cours d'une longue tâche, avant que le bénéfice ne soit évident. Il s'agit du jugement lors des décisions intermédiaires, et pas seulement de savoir si la réponse finale passe un test.
Les performances étaient-elles vraiment proches du hasard ?
Parfois, oui. Avec le système de notation du benchmark, le pur hasard obtient 25 %, car chaque question doit être réussie dans les deux ordres d'options. Lorsque les indices utiles n'apparaissaient que bien plus tard dans la trajectoire, la précision moyenne des modèles chutait à 21,0 %, soit à peu près ce niveau de référence aléatoire.
Donner plus de temps de raisonnement aux modèles a-t-il aidé ?
Pas vraiment. Les chercheurs ont testé différents réglages de raisonnement sur deux modèles et indiquent que passer d'un budget de raisonnement faible à un budget élevé ne changeait presque rien à la précision.
Pourquoi est-ce important si un modèle parvient malgré tout à terminer certaines tâches ?
Parce qu'un agent peut faire un choix précoce qui semble correct au départ mais crée des problèmes par la suite. Dans le code et la recherche, ces mauvaises décisions cachées peuvent gaspiller du budget, bloquer de futures modifications ou entraîner l'agent sur une voie improductive.


