Taste-Bench: agenci AI wciąż mają problem z decyzjami długoterminowymi
Nowy benchmark Taste-Bench pokazuje, że agenci AI słabo radzą sobie z wyborami długoterminowymi: najlepszy wynik to 59,7 procent, a gdy korzyści pojawiały się późno, rezultaty spadały niemal do poziomu zgadywania.
Illustration made on Lumeta with GPT Image 2.5Make one like it
18 października 2026 roku badacze z Microsoftu i City University of Hong Kong zaprezentowali Taste-Bench, benchmark do oceny decyzji agentów w długotrwałych zadaniach. Pierwsze wnioski są bezlitosne: obecni agenci AI nie radzą sobie najlepiej z wyborem lepszej ścieżki w dłuższej perspektywie. Najlepszy model w badaniu uzyskał 59,7 procent, a wyniki spadały niemal do poziomu losowego, gdy korzyść z danego wyboru ujawniała się dopiero znacznie później. To istotne dla każdego, kto używa agentów do programowania lub prac badawczych.
Co właściwie sprawdza Taste-Bench
Zamiast pytać, czy agent ostatecznie ukończy zadanie, Taste-Bench sprawdza, czy potrafi rozpoznać lepszy kierunek w kluczowym punkcie rozwidlenia pracy. Benchmark zawiera 502 pytania zbudowane na podstawie rzeczywistych trajektorii agentów w zadaniach programistycznych i badawczych z zakresu AI. W każdym punkcie decyzyjnym dalsze kroki są ukryte, a model musi wybrać jedną z dwóch ścieżek, zanim wynik stanie się oczywisty. Ponieważ każde pytanie zadawane jest dwukrotnie, raz z zamienioną kolejnością opcji, samo zgadywanie daje według zasad z publikacji tylko 25 procent.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Jak poradziły sobie obecne modele
Główny wynik był skromny. Na czele zestawienia znalazł się GPT-5.6 Sol z wynikiem 59,7 procent, tuż za nim GPT-5.5 z 59,5 procent, a pozostałe testowane modele wypadły wyraźnie słabiej. Najtrudniejsze okazały się przypadki, w których rozstrzygająca wskazówka pojawiała się dopiero po wielu kolejnych krokach: średnia trafność wszystkich modeli wynosiła 62,3 procent, gdy wskazówka była widoczna już we wcześniejszym kontekście, ale zaledwie 21,0 procent, gdy ujawniała się dopiero po długiej dalszej pracy. Badacze sprawdzili też różne budżety rozumowania i stwierdzili, że dłuższe myślenie prawie nie zmieniało trafności.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Bardziej optymistyczna część publikacji dotyczy tego, że taką ocenę da się chyba wytrenować. Na bazie Qwen3.6-27B zespół przeprowadził destylację decyzji modelu nauczyciela do modelu ucznia, który widział wyłącznie samo pytanie z benchmarku. Na nieznanych zadaniach trafność ocen ucznia wzrosła z 30,0 do 47,9 procent. Gdy uczeń doradzał w każdym punkcie rozwidlenia osobnemu agentowi, skuteczność na 41 wydzielonych zadaniach SWE-bench Pro wzrosła z 14,6 do 33,7 procent. Według autorów pokazuje to, że „gust” w długoterminowym planowaniu można mierzyć i poprawiać, a nie tylko obserwować. Benchmark i kod udostępniono publicznie.
Co w tym kontekście oznacza „gust” agenta AI?
W tej publikacji „gust” (ang. taste) to zdolność agenta do wyboru lepszej ścieżki w trakcie długiego zadania, zanim korzyść stanie się oczywista. Chodzi o trafność ocen przy decyzjach pośrednich, a nie tylko o to, czy ostateczna odpowiedź przejdzie test.
Czy wyniki naprawdę były bliskie losowym?
Czasami tak. Przy przyjętym w benchmarku sposobie punktacji samo zgadywanie daje 25 procent, bo na każde pytanie trzeba odpowiedzieć poprawnie przy obu kolejnościach opcji. Gdy przydatne informacje pojawiały się dopiero znacznie później w trajektorii, średnia trafność modeli spadała do 21,0 procent, czyli w okolice tego losowego poziomu.
Czy dłuższy czas na rozumowanie pomagał modelom?
Niewiele. Badacze przetestowali różne ustawienia rozumowania dla dwóch modeli i stwierdzili, że przejście z niższego na wyższy budżet rozumowania prawie nie zmieniało trafności.
Dlaczego to ważne, skoro model i tak potrafi ukończyć część zadań?
Bo agent może podjąć na początku decyzję, która z pozoru wygląda dobrze, ale później rodzi problemy. W programowaniu i pracy badawczej takie ukryte złe decyzje mogą marnować budżet, blokować przyszłe zmiany albo prowadzić agenta w ślepy zaułek.


