Taste-Bench zeigt: KI-Agenten scheitern noch an langfristigen Entscheidungen

Ein neuer Benchmark namens Taste-Bench zeigt: KI-Agenten tun sich mit langfristigen Entscheidungen schwer. Das beste Modell erreichte 59.7 Prozent, und wenn sich der Nutzen erst spät zeigte, lagen die Ergebnisse nahe am Raten.

3 min read

Taste-Bench zeigt: KI-Agenten scheitern noch an langfristigen Entscheidungen

Illustration made on Lumeta with GPT Image 2.5Make one like it

Am 18. Oktober 2026 haben Forschende von Microsoft und der City University of Hong Kong Taste-Bench vorgestellt, einen Benchmark für Entscheidungen von Agenten über lange Aufgaben hinweg. Das erste Ergebnis fällt deutlich aus: Aktuelle KI-Agenten sind nicht besonders gut darin, den langfristig besseren Weg zu wählen. Das beste Modell der Studie kam auf 59.7 Prozent, und die Leistung sank fast auf Zufallsniveau, wenn der Vorteil einer Entscheidung erst viel später sichtbar wurde. Das ist für alle relevant, die Agenten für Programmier- oder Forschungsaufgaben einsetzen.

Was Taste-Bench tatsächlich prüft

Taste-Bench fragt nicht, ob ein Agent eine Aufgabe irgendwann abschließt, sondern ob er an einer entscheidenden Weggabelung die bessere Richtung erkennt. Der Benchmark umfasst 502 Fragen, die aus echten Agentenverläufen bei Programmier- und KI-Forschungsaufgaben stammen. An jeder Gabelung werden die späteren Schritte ausgeblendet, und das Modell muss sich zwischen zwei Wegen entscheiden, bevor das Ergebnis offensichtlich ist. Da jede Frage zweimal gestellt wird, einmal mit vertauschten Optionen, erreicht reines Raten nach den Regeln des Papers nur 25 Prozent.

Kleiner Roboter in einem Flur vor zwei offenen Türen: links ein aufgeräumtes Arbeitszimmer, rechts eine chaotische Werkstatt.
An dieser Gabelung muss der Roboter noch raten, welche Zukunft sich später auszahlt.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Wie die aktuellen Modelle abschnitten

Das Hauptergebnis fiel bescheiden aus. GPT-5.6 Sol führte den Benchmark mit 59.7 Prozent an, dicht gefolgt von GPT-5.5 mit 59.5 Prozent, die übrigen getesteten Modelle lagen deutlich darunter. Schwieriger waren die Fälle, in denen der entscheidende Hinweis erst nach viel späterer Arbeit auftauchte: Die durchschnittliche Genauigkeit aller Modelle lag bei 62.3 Prozent, wenn der Hinweis bereits im früheren Kontext sichtbar war, aber nur bei 21.0 Prozent, wenn er erst nach umfangreichen späteren Schritten erschien. Die Forschenden testeten außerdem verschiedene Reasoning-Budgets und stellten fest, dass längeres Nachdenken die Genauigkeit kaum veränderte.

Ratschläge eines trainierten Taste-Modells verbesserten die Ergebnisse bei SWE-bench Pro
Ohne Ratschlag14.6%
Ratschlag des Student-Modells33.7%
Perfekter Ratschlag39%
Pan et al., Interventionsergebnisse bei 41 zurückgehaltenen SWE-bench-Pro-Aufgaben
Szene im Papierschnitt-Stil: Ein größerer Roboter überreicht einem kleineren Roboter einen leuchtenden Kompass in einer Werkstatt mit Kabeln und einem OpenAI-Logo.
Ein wenig Orientierung hilft, wenn sich die beste Abzweigung erst viel später auszahlt.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Ermutigender ist ein anderer Teil des Papers: Dieses Urteilsvermögen scheint trainierbar zu sein. Auf Basis von Qwen3.6-27B destillierte das Team die Entscheidungen eines Teacher-Modells in ein Student-Modell, das nur die Benchmark-Frage selbst sah. Bei unbekannten Aufgaben stieg dessen Urteilsgenauigkeit von 30.0 auf 47.9 Prozent. Als das Student-Modell einem separaten Agenten an jeder Gabelung Ratschläge gab, stieg die Erfolgsquote bei 41 zurückgehaltenen SWE-bench-Pro-Aufgaben von 14.6 auf 33.7 Prozent. Laut den Autoren zeigt das, dass sich der Riecher für langfristige Planung nicht nur beobachten, sondern auch messen und verbessern lässt. Benchmark und Code haben sie öffentlich zugänglich gemacht.

Was bedeutet „Taste“ hier für einen KI-Agenten?

In diesem Paper bezeichnet „Taste“ die Fähigkeit eines Agenten, bei einer langen Aufgabe den besseren Weg zu wählen, bevor sich der Nutzen klar zeigt. Es geht um Urteilsvermögen bei Zwischenentscheidungen, nicht nur darum, ob das Endergebnis einen Test besteht.

Lag die Leistung wirklich nahe am Zufall?

Teilweise ja. Nach dem Bewertungsschema des Benchmarks erreicht reines Raten 25 Prozent, weil jede Frage in beiden Reihenfolgen der Optionen richtig beantwortet werden muss. Wenn die nützlichen Hinweise erst viel später im Verlauf auftauchten, sank die durchschnittliche Genauigkeit aller Modelle auf 21.0 Prozent und lag damit nahe an diesem Zufallswert.

Half es, den Modellen mehr Zeit zum Nachdenken zu geben?

Kaum. Die Forschenden testeten bei zwei Modellen verschiedene Reasoning-Einstellungen und berichten, dass ein höheres statt eines niedrigeren Reasoning-Budgets die Genauigkeit kaum veränderte.

Warum ist das wichtig, wenn ein Modell manche Aufgaben trotzdem abschließt?

Weil ein Agent früh eine Entscheidung treffen kann, die zunächst gut aussieht, später aber Probleme verursacht. Bei Programmier- und Forschungsarbeit können solche versteckten Fehlentscheidungen Budget verschwenden, spätere Änderungen blockieren oder den Agenten auf einen unproduktiven Weg führen.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5Erstelle Videos mit dem weltweit besten Videogenerator Seedance 2.0 und 2.5

All tools for "From a description"

More from Lumeta

All Neuigkeiten