Waarom AI-codingbenchmarks tekortschieten bij echte programmeertaken

AI-agents scoren uitstekend op codeerbenchmarks, maar hebben bij complexe taken uit de praktijk nog steeds menselijke hulp nodig.

3 min read

Waarom AI-codingbenchmarks tekortschieten bij echte programmeertaken

Illustration made on Lumeta with GPT Image 2.5Make one like it

Op 8 nov. 2026 meldden onderzoekers van Alibaba en verschillende Aziatische universiteiten dat AI-codeeragents bij de meeste praktijktaken voor het aanpassen van apps nog tekortschieten. In hun nieuwe Co-Design Bench-test voltooide het beste model slechts 26,4 procent van de taken volledig, waardoor bij bijna drie op de vier klussen nog menselijk opruimwerk nodig was. Voor teams die nu codeeragents gebruiken is de praktische les eenvoudig: zie ze als sterke assistenten, niet als zelfstandige afmakers, en test het model samen met zijn werkomgeving voordat je op een ranglijst vertrouwt.

Wat de nieuwe benchmark liet zien

Co-Design Bench is zo opgezet dat het meer lijkt op echt productwerk dan oudere codeertests. In plaats van nette, geïsoleerde taken vraagt de benchmark agents om bestaande webapps aan te passen op basis van echte wijzigingsverzoeken van gebruikers, soms met afbeeldingen, audio, video of documenten als input. Volgens de paper presteerde GPT-6 Astra het best van de tien geteste modellen. Het voldeed gemiddeld aan ongeveer 70 procent van de eisen van een taak, maar het werk was slechts bij 26,4 procent van de taken volledig correct.

Strikte voltooiing van GPT-6 Astra in Co-Design Bench
Multimodaal spoor41%
Repositoryspoor17.9%
Resultaten van Co-Design Bench zoals weergegeven in de figuren uit de paper, geciteerd in het bronartikel.
Robotmonteur in papierknipstijl draait een computerscherm vast op een werkbank, met een losse bout en een bungelende draad.
De robot kan het grootste deel van de functie opleveren, maar de laatste losse eindjes doen er nog steeds toe.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Waarom de scores veel lager zijn dan bij oudere tests

De onderzoekers stellen dat veel oudere codeerbenchmarks te makkelijk zijn geworden voor agentische systemen. Als een model zijn eigen code kan uitvoeren, inspecteren en herzien, kunnen scores boven de 99 procent uitkomen, waardoor sterke systemen moeilijk van elkaar te onderscheiden zijn. Co-Design Bench probeert dat te vermijden door echte verzoeken te gebruiken uit sessies waarin gebruikers vaak instructies moesten herhalen of slechte wijzigingen ongedaan moesten maken. Ook de beoordeling is streng: een AI-beoordelaar test de afgeronde app in een browser, waarna een tweede de positieve resultaten opnieuw controleert en zoekt naar mock-ups of hardgecodeerde shortcuts. Functies tellen alleen mee als ze echt werken.

De moeilijkste taken waren die waarin verschillende soorten wijzigingen tegelijk werden gecombineerd, zoals lay-out, ontwerp, interactie en contentupdates. Elk model presteerde slechter wanneer een taak drie of vier soorten aanpassingen vereiste. Uit de studie bleek ook dat de harness bijna net zo belangrijk is als het model. In één vergelijking scoorde Qwen3.8-27B 75 of 56 procent op grotere revisies, afhankelijk van de omgeving waarin het draaide. Bedrijven moeten het model en de agentopzet dus als koppel beoordelen. De benchmark heeft ook beperkingen: elke taak gebruikt één vast verzoek, verduidelijkende vervolgvragen maken geen deel uit van de test en AI-beoordelaars kunnen nog steeds fouten maken.

Robot in papierknipstijl tussen twee computerbureaus, met gereedschapsriemen in de hand; het ene scherm toont donkere code, het andere lichte code.
Dezelfde codeerbot, verschillende opstellingen, en sterk uiteenlopende resultaten.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Betekent dit dat codeeragents niet nuttig zijn?

Nee. De resultaten wijzen erop dat ze een groot deel van het werk kunnen doen, maar dat ze vaak nog minstens één eis missen. Daardoor zijn ze handig om de implementatie te versnellen, maar riskant om zonder controle te gebruiken.

Wat maakt Co-Design Bench anders dan oudere codeerbenchmarks?

Het gebruikt echte wijzigingsverzoeken van gebruikers op bestaande webapps in plaats van nettere benchmarktaken. Bij sommige taken moeten agents ook afbeeldingen, audio, video of documenten gebruiken, en de beoordeling controleert of de afgeronde app echt werkt in een browser.

Waarom lijken praktijktaken moeilijker voor deze agents?

Echte verzoeken combineren vaak meerdere soorten aanpassingen tegelijk, zoals wijzigingen in ontwerp, lay-out, interactie en content. Uit de studie bleek dat dit soort gemengd werk de prestaties van alle geteste modellen consequent verslechterde.

Wat moeten teams doen voordat ze een codeeragent kiezen?

Vertrouw niet alleen op een ranglijst van modellen. Test het model samen met de harness of agentomgeving die je wilt gebruiken, en laat het werken aan taken die lijken op je echte productwijzigingen.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

All tools for "From a description"

More from Lumeta

All Nieuws