Taste-Bench toont aan dat AI-agents nog moeite hebben met beslissingen op lange termijn

Een nieuwe benchmark, Taste-Bench, laat zien dat AI-agents zwak zijn in keuzes voor de lange termijn: de beste scoorde 59,7 procent, en de resultaten zakten tot bijna gokniveau wanneer de opbrengst pas laat kwam.

3 min read

Taste-Bench toont aan dat AI-agents nog moeite hebben met beslissingen op lange termijn

Illustration made on Lumeta with GPT Image 2.5Make one like it

Op 18 oktober 2026 presenteerden onderzoekers van Microsoft en City University of Hong Kong Taste-Bench, een benchmark voor beslissingen van langlopende agents, en de eerste uitkomst is onomwonden: huidige AI-agents zijn niet erg goed in het kiezen van het betere pad op de lange termijn. Het beste model in de studie scoorde 59,7 procent, en de prestaties zakten tot bijna willekeurig wanneer het voordeel van een keuze pas veel later zichtbaar werd. Dat is relevant voor iedereen die agents inzet voor programmeer- of onderzoekstaken.

Wat Taste-Bench precies test

In plaats van te vragen of een agent een taak uiteindelijk afrondt, vraagt Taste-Bench of die op een cruciaal splitsingspunt in het werk de betere richting kan herkennen. De benchmark bevat 502 vragen, opgebouwd uit echte agenttrajecten in programmeer- en AI-onderzoekstaken. Bij elk beslispunt worden de latere stappen verborgen en moet het model kiezen tussen twee paden voordat de uitkomst duidelijk is. Omdat elke vraag twee keer wordt gesteld, één keer met de opties omgedraaid, levert puur gokken volgens de regels van het paper slechts 25 procent op.

Kleine robot in een gang voor twee open deuren: links een opgeruimde studeerkamer en rechts een rommelige werkplaats.
Op dit splitsingspunt moet de robot nog raden welke toekomst zich later uitbetaalt.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Hoe de huidige modellen presteerden

Het hoofdresultaat was bescheiden. GPT-5.6 Sol voerde de benchmark aan met 59,7 procent, op de voet gevolgd door GPT-5.5 met 59,5 procent, en de overige geteste modellen bleven daar ruim onder. De moeilijkste gevallen waren die waarin de doorslaggevende aanwijzing pas na veel later werk opdook: de gemiddelde nauwkeurigheid over alle modellen was 62,3 procent wanneer de aanwijzing al zichtbaar was in de eerdere context, maar slechts 21,0 procent wanneer die pas na uitgebreide latere stappen verscheen. De onderzoekers testten ook verschillende redeneerbudgetten en ontdekten dat langer nadenken de nauwkeurigheid nauwelijks veranderde.

Advies van een getraind smaakmodel verbeterde de resultaten op SWE-bench Pro
Geen advies14.6%
Advies van student33.7%
Perfect advies39%
Pan et al., interventieresultaten op 41 achtergehouden SWE-bench Pro-taken
Scène in papierknipstijl waarin een grotere robot een gloeiend kompas geeft aan een kleinere robot in een werkplaats met kabels en een OpenAI-logo.
Een beetje begeleiding helpt wanneer de beste afslag pas veel later loont.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Het bemoedigendere deel van het paper is dat dit beoordelingsvermogen trainbaar lijkt. Met Qwen3.6-27B als basis destilleerde het team de beslissingen van een leraarmodel in een studentmodel dat alleen de benchmarkvraag zelf te zien kreeg. Op onbekende taken steeg de beoordelingsnauwkeurigheid van die student van 30,0 naar 47,9 procent. Toen de student bij elk splitsingspunt advies gaf aan een aparte agent, steeg het succes op 41 achtergehouden SWE-bench Pro-taken van 14,6 naar 33,7 procent. Volgens de auteurs toont dit aan dat smaak in langetermijnplanning niet alleen waar te nemen is, maar ook te meten en te verbeteren. Ze hebben de benchmark en de code bovendien openbaar gemaakt.

Wat betekent 'smaak' hier voor een AI-agent?

In dit paper staat 'smaak' voor het vermogen van een agent om tijdens een lange taak het betere pad te kiezen voordat de opbrengst duidelijk is. Het gaat om beoordelingsvermogen bij tussentijdse beslissingen, niet alleen om de vraag of het eindantwoord een test doorstaat.

Lagen de prestaties echt dicht bij willekeur?

Soms wel. Binnen de scoringsopzet van de benchmark levert puur gokken 25 procent op, omdat elke vraag in beide volgordes van de opties goed beantwoord moet worden. Wanneer het bruikbare bewijs pas veel later in het traject opdook, zakte de gemiddelde nauwkeurigheid over alle modellen naar 21,0 procent, vlak bij die willekeurige basislijn.

Hielp het om modellen meer redeneertijd te geven?

Niet veel. De onderzoekers testten verschillende redeneerinstellingen bij twee modellen en meldden dat de overstap van lagere naar hogere redeneerbudgetten de nauwkeurigheid nauwelijks veranderde.

Waarom is dit belangrijk als een model sommige taken toch kan afronden?

Omdat een agent een vroege keuze kan maken die eerst prima lijkt, maar later problemen veroorzaakt. Bij programmeer- en onderzoekswerk kunnen zulke verborgen slechte beslissingen budget verspillen, toekomstige wijzigingen blokkeren of de agent een onproductief pad op sturen.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5Genereer video's met 's werelds beste videogenerator Seedance 2.0 en 2.5

All tools for "From a description"

More from Lumeta

All Nieuws