Warum KI-Coding-Benchmarks bei echten Programmieraufgaben versagen

KI-Agenten glänzen in Coding-Benchmarks, brauchen bei komplexen Aufgaben aus der Praxis aber weiterhin menschliche Hilfe.

3 min read

Warum KI-Coding-Benchmarks bei echten Programmieraufgaben versagen

Illustration made on Lumeta with GPT Image 2.5Make one like it

Am 8. Nov. 2026 berichteten Forschende von Alibaba und mehreren asiatischen Universitäten, dass KI-Coding-Agenten bei den meisten realen App-Bearbeitungsaufgaben weiterhin scheitern. In ihrem neuen Test Co-Design Bench erledigte das beste Modell nur 26.4 Prozent der Aufgaben vollständig, bei fast drei von vier Aufträgen musste also noch ein Mensch nacharbeiten. Für Teams, die heute Coding-Agenten einsetzen, ist die praktische Lehre einfach: Sie sind starke Assistenten, keine selbstständigen Fertigsteller. Und bevor man sich auf ein Leaderboard verlässt, sollte man das Modell zusammen mit seiner Arbeitsumgebung testen.

Was der neue Benchmark herausgefunden hat

Co-Design Bench soll echter Produktarbeit näherkommen als ältere Coding-Tests. Statt sauberer, isolierter Aufgaben verlangt der Benchmark von den Agenten, bestehende Web-Apps auf Grundlage echter Änderungswünsche von Nutzern anzupassen, teils mit Bildern, Audio, Video oder Dokumenten als Eingabe. Laut dem Paper schnitt GPT-6 Astra unter den zehn getesteten Modellen am besten ab. Es erfüllte im Schnitt rund 70 Prozent der Anforderungen einer Aufgabe, war aber nur bei 26.4 Prozent der Aufgaben vollständig korrekt.

Strikte Erfolgsquote von GPT-6 Astra in Co-Design Bench
Multimodaler Track41%
Repository-Track17.9%
Ergebnisse von Co-Design Bench aus den Abbildungen des Papers, auf die sich der Quellartikel bezieht.
Roboter-Mechaniker im Scherenschnitt-Stil zieht an einer Werkbank einen Monitor fest, daneben eine lose Schraube und ein herabhängendes Kabel.
Der Roboter liefert den Großteil des Features, doch die letzten losen Enden zählen trotzdem.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Warum die Werte so viel niedriger sind als bei älteren Tests

Die Forschenden argumentieren, dass viele ältere Coding-Benchmarks für agentische Systeme zu leicht geworden sind. Wenn ein Modell seinen eigenen Code ausführen, prüfen und überarbeiten kann, steigen die Werte auf über 99 Prozent, und starke Systeme lassen sich kaum noch unterscheiden. Co-Design Bench will das vermeiden, indem es echte Anfragen aus Sitzungen nutzt, in denen Nutzer Anweisungen oft wiederholen oder fehlerhafte Änderungen rückgängig machen mussten. Auch die Bewertung ist streng: Ein KI-Prüfer testet die fertige App im Browser, ein zweiter kontrolliert positive Ergebnisse erneut und sucht nach Mock-ups oder hartcodierten Abkürzungen. Features zählen nur, wenn sie tatsächlich funktionieren.

Am schwierigsten waren Aufgaben, die mehrere Arten von Änderungen gleichzeitig kombinierten, etwa Layout, Design, Interaktion und Inhalte. Alle Modelle schnitten schlechter ab, wenn eine Aufgabe drei oder vier Bearbeitungstypen erforderte. Die Studie zeigte außerdem, dass das Harness fast so wichtig ist wie das Modell. In einem Vergleich erreichte Qwen3.8-27B bei größeren Umbauten je nach Ausführungsumgebung 75 oder 56 Prozent. Unternehmen sollten Modell und Agenten-Setup daher als Paar bewerten. Der Benchmark hat auch Grenzen: Jede Aufgabe nutzt eine feste Anfrage, Rückfragen zur Klärung sind nicht Teil des Tests, und KI-Prüfer können sich weiterhin irren.

Roboter im Scherenschnitt-Stil zwischen zwei Computertischen mit Werkzeuggürteln in den Händen; ein Bildschirm zeigt Code auf dunklem, der andere auf hellem Hintergrund.
Derselbe Coding-Bot, unterschiedliche Setups und deutlich unterschiedliche Ergebnisse.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Heißt das, Coding-Agenten sind nicht nützlich?

Nein. Die Ergebnisse deuten darauf hin, dass sie einen großen Teil der Arbeit erledigen können, aber oft mindestens eine Anforderung verfehlen. Damit beschleunigen sie die Umsetzung, sind ohne Review aber riskant.

Was unterscheidet Co-Design Bench von älteren Coding-Benchmarks?

Er nutzt echte Änderungswünsche von Nutzern an bestehenden Web-Apps statt sauberer Benchmark-Aufgaben. Manche Aufgaben verlangen zudem den Umgang mit Bildern, Audio, Video oder Dokumenten, und die Bewertung prüft, ob die fertige App im Browser tatsächlich funktioniert.

Warum scheinen Aufgaben aus der Praxis für diese Agenten schwieriger zu sein?

Echte Anfragen kombinieren oft mehrere Arten von Änderungen gleichzeitig, etwa an Design, Layout, Interaktion und Inhalten. Laut der Studie verschlechterte diese Art gemischter Arbeit die Leistung bei allen getesteten Modellen durchgehend.

Was sollten Teams tun, bevor sie sich für einen Coding-Agenten entscheiden?

Verlassen Sie sich nicht allein auf ein Modell-Leaderboard. Testen Sie das Modell zusammen mit dem Harness oder der Agentenumgebung, die Sie nutzen wollen, und zwar an Aufgaben, die Ihren echten Produktänderungen ähneln.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

All tools for "From a description"

More from Lumeta

All Neuigkeiten