Taste-Bench: gli agenti AI faticano ancora con le decisioni a lungo termine
Un nuovo benchmark, Taste-Bench, rivela che gli agenti AI sono deboli nelle scelte a lungo termine: il migliore ha ottenuto il 59.7 percento, e i risultati sono scesi quasi al livello del caso quando i benefici arrivavano tardi.
Illustration made on Lumeta with GPT Image 2.5Make one like it
Il 18 ottobre 2026 i ricercatori di Microsoft e della City University of Hong Kong hanno presentato Taste-Bench, un benchmark per le decisioni degli agenti su compiti di lunga durata, e il primo risultato è netto: gli attuali agenti AI non sono molto bravi a scegliere il percorso migliore nel lungo periodo. Il modello migliore dello studio ha ottenuto il 59.7 percento, e le prestazioni sono crollate quasi al livello del caso quando il vantaggio di una scelta diventava visibile solo molto più tardi. Un dato rilevante per chiunque usi agenti in attività di programmazione o di ricerca.
Cosa misura davvero Taste-Bench
Invece di chiedersi se un agente alla fine porta a termine un compito, Taste-Bench verifica se sa riconoscere la direzione migliore in un bivio cruciale del lavoro. Il benchmark contiene 502 domande costruite a partire da traiettorie reali di agenti in attività di programmazione e di ricerca sull'AI. A ogni bivio i passaggi successivi sono nascosti e il modello deve scegliere tra due percorsi prima che l'esito sia evidente. Poiché ogni domanda viene posta due volte, una con le opzioni invertite, tirare a indovinare porta solo al 25 percento secondo le regole dell'articolo.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Come se la sono cavata i modelli attuali
Il risultato principale è modesto. GPT-5.6 Sol guida il benchmark con il 59.7 percento, seguito da vicino da GPT-5.5 con il 59.5 percento, mentre gli altri modelli testati restano ben al di sotto. I casi più difficili sono quelli in cui l'indizio decisivo emergeva solo dopo molto lavoro successivo: l'accuratezza media dei modelli era del 62.3 percento quando l'indizio era già visibile nel contesto precedente, ma appena del 21.0 percento quando compariva solo dopo numerosi passaggi successivi. I ricercatori hanno anche testato diversi budget di ragionamento, scoprendo che ragionare più a lungo cambiava a malapena l'accuratezza.

Illustration made on Lumeta with GPT Image 2.5Make one like it
La parte più incoraggiante dello studio è che questa capacità di giudizio sembra allenabile. Partendo da Qwen3.6-27B, il team ha distillato le decisioni di un modello insegnante in un modello studente che vedeva soltanto la domanda del benchmark. Su task mai visti, l'accuratezza di giudizio dello studente è salita dal 30.0 al 47.9 percento. Quando lo studente forniva consigli a ogni bivio a un agente separato, il tasso di successo su 41 task di SWE-bench Pro esclusi dall'addestramento è passato dal 14.6 al 33.7 percento. Secondo gli autori, questo dimostra che il "gusto" nella pianificazione a lungo termine si può misurare e migliorare, non solo osservare. Benchmark e codice sono stati resi pubblici.
Cosa significa "gusto" per un agente AI in questo contesto?
In questo studio, "gusto" indica la capacità di un agente di scegliere il percorso migliore durante un compito lungo, prima che il vantaggio sia evidente. Riguarda il giudizio nelle decisioni intermedie, non solo il fatto che la risposta finale superi un test.
Le prestazioni erano davvero vicine al caso?
In alcuni casi sì. Con il sistema di punteggio del benchmark, tirare a indovinare porta al 25 percento, perché ogni domanda deve ricevere la risposta corretta in entrambi gli ordini delle opzioni. Quando le informazioni utili comparivano solo molto più avanti nella traiettoria, l'accuratezza media dei modelli scendeva al 21.0 percento, vicino a quella soglia casuale.
Dare ai modelli più tempo per ragionare ha aiutato?
Non molto. I ricercatori hanno testato diverse impostazioni di ragionamento su due modelli e riferiscono che passare da budget di ragionamento più bassi a più alti ha cambiato a malapena l'accuratezza.
Perché è importante se un modello riesce comunque a completare alcuni task?
Perché un agente può fare una scelta iniziale che all'inizio sembra corretta ma che in seguito crea problemi. Nella programmazione e nella ricerca, queste cattive decisioni nascoste possono sprecare budget, bloccare modifiche future o portare l'agente su una strada improduttiva.


