Taste-Bench mostra que agentes de IA ainda têm dificuldade com decisões de longo prazo

Um novo benchmark, o Taste-Bench, conclui que os agentes de IA são fracos em escolhas de longo prazo: o melhor obteve 59,7 por cento, e os resultados caíram para perto do acaso quando o retorno só chegava tarde.

4 min read

Taste-Bench mostra que agentes de IA ainda têm dificuldade com decisões de longo prazo

Illustration made on Lumeta with GPT Image 2.5Make one like it

Em 18 de outubro de 2026, investigadores da Microsoft e da City University of Hong Kong apresentaram o Taste-Bench, um benchmark para decisões de agentes em tarefas longas, e o primeiro resultado é direto: os agentes de IA atuais não são muito bons a escolher o melhor caminho a longo prazo. O melhor modelo do estudo obteve 59,7 por cento, e o desempenho caiu para perto do aleatório quando o benefício de uma escolha só se tornava visível muito mais tarde, o que importa para quem usa agentes em tarefas de programação ou investigação.

O que o Taste-Bench avalia realmente

Em vez de perguntar se um agente acaba por concluir uma tarefa, o Taste-Bench pergunta se ele consegue reconhecer a melhor direção num ponto de bifurcação decisivo do trabalho. O benchmark contém 502 perguntas construídas a partir de trajetórias reais de agentes em tarefas de programação e investigação em IA. Em cada bifurcação, os passos seguintes ficam ocultos e o modelo tem de escolher entre dois caminhos antes de o resultado ser evidente. Como cada pergunta é feita duas vezes, uma delas com as opções trocadas, adivinhar ao acaso dá apenas 25 por cento segundo as regras do artigo.

Pequeno robô num corredor diante de duas portas abertas: um escritório arrumado à esquerda e uma oficina desarrumada à direita.
Nesta bifurcação, o robô ainda tem de adivinhar qual futuro compensa mais tarde.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Como se saíram os modelos atuais

O resultado principal foi modesto. O GPT-5.6 Sol liderou o benchmark com 59,7 por cento, seguido de perto pelo GPT-5.5 com 59,5 por cento, e os restantes modelos testados ficaram bem abaixo. Os casos mais difíceis foram aqueles em que a pista decisiva só surgia após muito trabalho posterior: a precisão média entre modelos foi de 62,3 por cento quando a pista já era visível no contexto anterior, mas de apenas 21,0 por cento quando só aparecia depois de muitos passos posteriores. Os investigadores testaram também diferentes orçamentos de raciocínio e concluíram que pensar durante mais tempo quase não alterou a precisão.

Os conselhos de um modelo de "gosto" treinado melhoraram os resultados no SWE-bench Pro
Sem conselhos14.6%
Conselhos do aluno33.7%
Conselhos perfeitos39%
Pan et al., resultados da intervenção em 41 tarefas reservadas do SWE-bench Pro
Cena em estilo papel recortado de um robô maior a entregar uma bússola luminosa a um robô mais pequeno numa oficina com cabos e um logótipo da OpenAI.
Uma pequena orientação ajuda quando a melhor decisão só compensa muito mais tarde.

Illustration made on Lumeta with GPT Image 2.5Make one like it

A parte mais animadora do artigo é que este discernimento parece treinável. Usando o Qwen3.6-27B como base, a equipa destilou as decisões de um modelo professor num modelo aluno que só via a própria pergunta do benchmark. Em tarefas inéditas, a precisão de julgamento desse aluno subiu de 30,0 para 47,9 por cento. Quando o aluno dava conselhos em cada bifurcação a um agente separado, o sucesso em 41 tarefas reservadas do SWE-bench Pro aumentou de 14,6 para 33,7 por cento. Os autores afirmam que isto mostra que o "gosto" no planeamento a longo prazo pode ser medido e melhorado, e não apenas observado. Também tornaram públicos o benchmark e o código.

O que significa "gosto" para um agente de IA neste contexto?

Neste artigo, "gosto" refere-se à capacidade de um agente escolher o melhor caminho durante uma tarefa longa antes de o retorno ser evidente. Trata-se do discernimento nas decisões intermédias, e não apenas de saber se a resposta final passa num teste.

O desempenho esteve mesmo perto do aleatório?

Por vezes, sim. Com o sistema de pontuação do benchmark, adivinhar ao acaso dá 25 por cento, porque cada pergunta tem de ser respondida corretamente nas duas ordens das opções. Quando as pistas úteis só apareciam muito mais tarde na trajetória, a precisão média entre modelos caiu para 21,0 por cento, perto dessa base aleatória.

Dar mais tempo de raciocínio aos modelos ajudou?

Não muito. Os investigadores testaram diferentes configurações de raciocínio em dois modelos e relataram que passar de orçamentos de raciocínio mais baixos para mais altos quase não alterou a precisão.

Porque é que isto importa se um modelo ainda consegue concluir algumas tarefas?

Porque um agente pode fazer uma escolha inicial que parece boa ao princípio, mas que cria problemas mais tarde. Em trabalho de programação e investigação, essas más decisões ocultas podem desperdiçar orçamento, bloquear alterações futuras ou levar o agente por um caminho improdutivo.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5Gere vídeos com o melhor gerador de vídeo do mundo, Seedance 2.0 e 2.5

All tools for "From a description"

More from Lumeta

All Notícias