Taste-Bench: agenci AI wciąż mają problem z decyzjami długoterminowymi

Nowy benchmark Taste-Bench pokazuje, że agenci AI słabo radzą sobie z wyborami długoterminowymi: najlepszy wynik to 59,7 procent, a gdy korzyści pojawiały się późno, rezultaty spadały niemal do poziomu zgadywania.

3 min read

Taste-Bench: agenci AI wciąż mają problem z decyzjami długoterminowymi

Illustration made on Lumeta with GPT Image 2.5Make one like it

18 października 2026 roku badacze z Microsoftu i City University of Hong Kong zaprezentowali Taste-Bench, benchmark do oceny decyzji agentów w długotrwałych zadaniach. Pierwsze wnioski są bezlitosne: obecni agenci AI nie radzą sobie najlepiej z wyborem lepszej ścieżki w dłuższej perspektywie. Najlepszy model w badaniu uzyskał 59,7 procent, a wyniki spadały niemal do poziomu losowego, gdy korzyść z danego wyboru ujawniała się dopiero znacznie później. To istotne dla każdego, kto używa agentów do programowania lub prac badawczych.

Co właściwie sprawdza Taste-Bench

Zamiast pytać, czy agent ostatecznie ukończy zadanie, Taste-Bench sprawdza, czy potrafi rozpoznać lepszy kierunek w kluczowym punkcie rozwidlenia pracy. Benchmark zawiera 502 pytania zbudowane na podstawie rzeczywistych trajektorii agentów w zadaniach programistycznych i badawczych z zakresu AI. W każdym punkcie decyzyjnym dalsze kroki są ukryte, a model musi wybrać jedną z dwóch ścieżek, zanim wynik stanie się oczywisty. Ponieważ każde pytanie zadawane jest dwukrotnie, raz z zamienioną kolejnością opcji, samo zgadywanie daje według zasad z publikacji tylko 25 procent.

Mały robot na korytarzu przed dwojgiem otwartych drzwi: po lewej schludny gabinet, po prawej zabałaganiony warsztat.
Na tym rozwidleniu robot wciąż musi zgadywać, która przyszłość się opłaci.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Jak poradziły sobie obecne modele

Główny wynik był skromny. Na czele zestawienia znalazł się GPT-5.6 Sol z wynikiem 59,7 procent, tuż za nim GPT-5.5 z 59,5 procent, a pozostałe testowane modele wypadły wyraźnie słabiej. Najtrudniejsze okazały się przypadki, w których rozstrzygająca wskazówka pojawiała się dopiero po wielu kolejnych krokach: średnia trafność wszystkich modeli wynosiła 62,3 procent, gdy wskazówka była widoczna już we wcześniejszym kontekście, ale zaledwie 21,0 procent, gdy ujawniała się dopiero po długiej dalszej pracy. Badacze sprawdzili też różne budżety rozumowania i stwierdzili, że dłuższe myślenie prawie nie zmieniało trafności.

Porady wytrenowanego modelu „gustu” poprawiły wyniki w SWE-bench Pro
Bez porad14.6%
Porady ucznia33.7%
Idealne porady39%
Pan i in., wyniki interwencji na 41 wydzielonych zadaniach SWE-bench Pro
Scena w stylu wycinanki z papieru: większy robot wręcza świecący kompas mniejszemu robotowi w warsztacie pełnym kabli, z logo OpenAI.
Odrobina wskazówek pomaga, gdy najlepszy zwrot opłaci się dopiero dużo później.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Bardziej optymistyczna część publikacji dotyczy tego, że taką ocenę da się chyba wytrenować. Na bazie Qwen3.6-27B zespół przeprowadził destylację decyzji modelu nauczyciela do modelu ucznia, który widział wyłącznie samo pytanie z benchmarku. Na nieznanych zadaniach trafność ocen ucznia wzrosła z 30,0 do 47,9 procent. Gdy uczeń doradzał w każdym punkcie rozwidlenia osobnemu agentowi, skuteczność na 41 wydzielonych zadaniach SWE-bench Pro wzrosła z 14,6 do 33,7 procent. Według autorów pokazuje to, że „gust” w długoterminowym planowaniu można mierzyć i poprawiać, a nie tylko obserwować. Benchmark i kod udostępniono publicznie.

Co w tym kontekście oznacza „gust” agenta AI?

W tej publikacji „gust” (ang. taste) to zdolność agenta do wyboru lepszej ścieżki w trakcie długiego zadania, zanim korzyść stanie się oczywista. Chodzi o trafność ocen przy decyzjach pośrednich, a nie tylko o to, czy ostateczna odpowiedź przejdzie test.

Czy wyniki naprawdę były bliskie losowym?

Czasami tak. Przy przyjętym w benchmarku sposobie punktacji samo zgadywanie daje 25 procent, bo na każde pytanie trzeba odpowiedzieć poprawnie przy obu kolejnościach opcji. Gdy przydatne informacje pojawiały się dopiero znacznie później w trajektorii, średnia trafność modeli spadała do 21,0 procent, czyli w okolice tego losowego poziomu.

Czy dłuższy czas na rozumowanie pomagał modelom?

Niewiele. Badacze przetestowali różne ustawienia rozumowania dla dwóch modeli i stwierdzili, że przejście z niższego na wyższy budżet rozumowania prawie nie zmieniało trafności.

Dlaczego to ważne, skoro model i tak potrafi ukończyć część zadań?

Bo agent może podjąć na początku decyzję, która z pozoru wygląda dobrze, ale później rodzi problemy. W programowaniu i pracy badawczej takie ukryte złe decyzje mogą marnować budżet, blokować przyszłe zmiany albo prowadzić agenta w ślepy zaułek.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5Generuj filmy za pomocą najlepszego na świecie generatora wideo Seedance 2.0 i 2.5

All tools for "From a description"

More from Lumeta

All Aktualności