Taste-Bench revela que los agentes de IA aún fallan en decisiones a largo plazo
Un nuevo benchmark, Taste-Bench, revela que los agentes de IA flaquean en las decisiones a largo plazo: el mejor obtuvo un 59.7 por ciento, y los resultados cayeron casi al nivel del azar cuando la recompensa llegaba tarde.
Illustration made on Lumeta with GPT Image 2.5Make one like it
El 18 de octubre de 2026, investigadores de Microsoft y de la City University of Hong Kong presentaron Taste-Bench, un benchmark para decisiones de agentes en tareas prolongadas, y el primer resultado es contundente: los agentes de IA actuales no son muy buenos eligiendo el mejor camino a largo plazo. El mejor modelo del estudio obtuvo un 59.7 por ciento, y el rendimiento cayó casi al nivel del azar cuando el beneficio de una decisión solo se hacía visible mucho después, algo relevante para cualquiera que use agentes en tareas de programación o investigación.
Qué evalúa realmente Taste-Bench
En lugar de preguntar si un agente termina una tarea tarde o temprano, Taste-Bench evalúa si es capaz de reconocer la mejor dirección en una bifurcación clave del trabajo. El benchmark contiene 502 preguntas construidas a partir de trayectorias reales de agentes en tareas de programación e investigación en IA. En cada bifurcación, los pasos posteriores quedan ocultos y el modelo debe elegir entre dos caminos antes de que el resultado sea evidente. Como cada pregunta se plantea dos veces, una con las opciones invertidas, adivinar al azar solo alcanza un 25 por ciento según las reglas del artículo.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Cómo rindieron los modelos actuales
El resultado principal fue discreto. GPT-5.6 Sol encabezó el benchmark con un 59.7 por ciento, seguido muy de cerca por GPT-5.5 con un 59.5 por ciento, y el resto de los modelos evaluados quedaron bastante por debajo. Los casos más difíciles fueron aquellos en los que la pista decisiva solo aparecía tras mucho trabajo posterior: la precisión media de los modelos fue del 62.3 por ciento cuando la pista ya era visible en el contexto previo, pero apenas del 21.0 por ciento cuando solo surgía después de numerosos pasos posteriores. Los investigadores también probaron distintos presupuestos de razonamiento y comprobaron que pensar más tiempo apenas cambiaba la precisión.

Illustration made on Lumeta with GPT Image 2.5Make one like it
La parte más alentadora del artículo es que este criterio parece entrenable. Partiendo de Qwen3.6-27B, el equipo destiló las decisiones de un modelo maestro en un modelo alumno que solo veía la propia pregunta del benchmark. En tareas no vistas, la precisión de juicio del alumno subió del 30.0 al 47.9 por ciento. Cuando el alumno daba consejos en cada bifurcación a otro agente, la tasa de éxito en 41 tareas reservadas de SWE-bench Pro aumentó del 14.6 al 33.7 por ciento. Los autores afirman que esto demuestra que el buen criterio en la planificación a largo plazo puede medirse y mejorarse, no solo observarse. Además, publicaron el benchmark y el código.
¿Qué significa aquí "criterio" (taste) para un agente de IA?
En este artículo, "taste" se refiere a la capacidad de un agente para elegir el mejor camino durante una tarea larga antes de que la recompensa sea evidente. Se trata del juicio en las decisiones intermedias, no solo de si la respuesta final supera una prueba.
¿El rendimiento fue realmente cercano al azar?
A veces, sí. Con el sistema de puntuación del benchmark, adivinar al azar da un 25 por ciento, porque cada pregunta debe responderse correctamente en ambos órdenes de las opciones. Cuando la evidencia útil solo aparecía mucho más tarde en la trayectoria, la precisión media de los modelos bajó al 21.0 por ciento, cerca de esa referencia aleatoria.
¿Ayudó dar a los modelos más tiempo de razonamiento?
No mucho. Los investigadores probaron distintas configuraciones de razonamiento en dos modelos y señalaron que pasar de presupuestos de razonamiento bajos a altos apenas cambió la precisión.
¿Por qué importa esto si un modelo aún puede completar algunas tareas?
Porque un agente puede tomar una decisión temprana que al principio parece correcta pero que genera problemas más adelante. En trabajos de programación e investigación, esas malas decisiones ocultas pueden malgastar presupuesto, bloquear cambios futuros o llevar al agente por un camino improductivo.


