Warum KI-Coding-Benchmarks bei echten Programmieraufgaben versagen
KI-Agenten glänzen in Coding-Benchmarks, brauchen bei komplexen Aufgaben aus der Praxis aber weiterhin menschliche Hilfe.
Illustration made on Lumeta with GPT Image 2.5Make one like it
Am 8. Nov. 2026 berichteten Forschende von Alibaba und mehreren asiatischen Universitäten, dass KI-Coding-Agenten bei den meisten realen App-Bearbeitungsaufgaben weiterhin scheitern. In ihrem neuen Test Co-Design Bench erledigte das beste Modell nur 26.4 Prozent der Aufgaben vollständig, bei fast drei von vier Aufträgen musste also noch ein Mensch nacharbeiten. Für Teams, die heute Coding-Agenten einsetzen, ist die praktische Lehre einfach: Sie sind starke Assistenten, keine selbstständigen Fertigsteller. Und bevor man sich auf ein Leaderboard verlässt, sollte man das Modell zusammen mit seiner Arbeitsumgebung testen.
Was der neue Benchmark herausgefunden hat
Co-Design Bench soll echter Produktarbeit näherkommen als ältere Coding-Tests. Statt sauberer, isolierter Aufgaben verlangt der Benchmark von den Agenten, bestehende Web-Apps auf Grundlage echter Änderungswünsche von Nutzern anzupassen, teils mit Bildern, Audio, Video oder Dokumenten als Eingabe. Laut dem Paper schnitt GPT-6 Astra unter den zehn getesteten Modellen am besten ab. Es erfüllte im Schnitt rund 70 Prozent der Anforderungen einer Aufgabe, war aber nur bei 26.4 Prozent der Aufgaben vollständig korrekt.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Warum die Werte so viel niedriger sind als bei älteren Tests
Die Forschenden argumentieren, dass viele ältere Coding-Benchmarks für agentische Systeme zu leicht geworden sind. Wenn ein Modell seinen eigenen Code ausführen, prüfen und überarbeiten kann, steigen die Werte auf über 99 Prozent, und starke Systeme lassen sich kaum noch unterscheiden. Co-Design Bench will das vermeiden, indem es echte Anfragen aus Sitzungen nutzt, in denen Nutzer Anweisungen oft wiederholen oder fehlerhafte Änderungen rückgängig machen mussten. Auch die Bewertung ist streng: Ein KI-Prüfer testet die fertige App im Browser, ein zweiter kontrolliert positive Ergebnisse erneut und sucht nach Mock-ups oder hartcodierten Abkürzungen. Features zählen nur, wenn sie tatsächlich funktionieren.
Am schwierigsten waren Aufgaben, die mehrere Arten von Änderungen gleichzeitig kombinierten, etwa Layout, Design, Interaktion und Inhalte. Alle Modelle schnitten schlechter ab, wenn eine Aufgabe drei oder vier Bearbeitungstypen erforderte. Die Studie zeigte außerdem, dass das Harness fast so wichtig ist wie das Modell. In einem Vergleich erreichte Qwen3.8-27B bei größeren Umbauten je nach Ausführungsumgebung 75 oder 56 Prozent. Unternehmen sollten Modell und Agenten-Setup daher als Paar bewerten. Der Benchmark hat auch Grenzen: Jede Aufgabe nutzt eine feste Anfrage, Rückfragen zur Klärung sind nicht Teil des Tests, und KI-Prüfer können sich weiterhin irren.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Heißt das, Coding-Agenten sind nicht nützlich?
Nein. Die Ergebnisse deuten darauf hin, dass sie einen großen Teil der Arbeit erledigen können, aber oft mindestens eine Anforderung verfehlen. Damit beschleunigen sie die Umsetzung, sind ohne Review aber riskant.
Was unterscheidet Co-Design Bench von älteren Coding-Benchmarks?
Er nutzt echte Änderungswünsche von Nutzern an bestehenden Web-Apps statt sauberer Benchmark-Aufgaben. Manche Aufgaben verlangen zudem den Umgang mit Bildern, Audio, Video oder Dokumenten, und die Bewertung prüft, ob die fertige App im Browser tatsächlich funktioniert.
Warum scheinen Aufgaben aus der Praxis für diese Agenten schwieriger zu sein?
Echte Anfragen kombinieren oft mehrere Arten von Änderungen gleichzeitig, etwa an Design, Layout, Interaktion und Inhalten. Laut der Studie verschlechterte diese Art gemischter Arbeit die Leistung bei allen getesteten Modellen durchgehend.
Was sollten Teams tun, bevor sie sich für einen Coding-Agenten entscheiden?
Verlassen Sie sich nicht allein auf ein Modell-Leaderboard. Testen Sie das Modell zusammen mit dem Harness oder der Agentenumgebung, die Sie nutzen wollen, und zwar an Aufgaben, die Ihren echten Produktänderungen ähneln.


