Perché i benchmark di programmazione dell'IA falliscono nei compiti reali

Gli agenti AI eccellono nei benchmark di programmazione, ma hanno ancora bisogno dell'aiuto umano per compiti complessi e reali.

3 min read

Perché i benchmark di programmazione dell'IA falliscono nei compiti reali

Illustration made on Lumeta with GPT Image 2.5Make one like it

L'8 novembre 2026, ricercatori di Alibaba e di diverse università asiatiche hanno riferito che gli agenti AI per la programmazione non sono ancora all'altezza nella maggior parte dei compiti reali di modifica delle app. Nel loro nuovo test, Co-Design Bench, il modello migliore ha completato del tutto solo il 26.4 percento dei compiti, quindi in quasi tre lavori su quattro è stato comunque necessario un intervento umano di rifinitura. Per i team che oggi usano agenti di programmazione, l'indicazione pratica è semplice: trattarli come assistenti validi, non come esecutori autonomi, e testare il modello insieme al suo ambiente di lavoro prima di affidarsi a una classifica.

Cosa ha rilevato il nuovo benchmark

Co-Design Bench è pensato per somigliare al vero lavoro di prodotto più dei vecchi test di programmazione. Invece di compiti puliti e isolati, il benchmark chiede agli agenti di modificare web app esistenti sulla base di reali richieste di modifica degli utenti, talvolta usando come input immagini, audio, video o documenti. Secondo lo studio, GPT-6 Astra è risultato il migliore dei dieci modelli testati. In media ha soddisfatto circa il 70 percento dei requisiti di un compito, ma il suo lavoro è stato completamente corretto solo nel 26.4 percento dei casi.

Completamento rigoroso di GPT-6 Astra in Co-Design Bench
Percorso multimodale41%
Percorso repository17.9%
Risultati di Co-Design Bench riportati nei grafici dello studio citati nell'articolo originale.
Robot meccanico in stile carta ritagliata che stringe un monitor su un banco da lavoro, con un bullone allentato e un filo penzolante.
Il robot può consegnare gran parte della funzionalità, ma gli ultimi dettagli in sospeso contano ancora.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Perché i punteggi sono molto più bassi rispetto ai test precedenti

I ricercatori sostengono che molti benchmark di programmazione meno recenti siano diventati troppo facili per i sistemi agentici. Quando un modello può eseguire, ispezionare e correggere il proprio codice, i punteggi possono superare il 99 percento, rendendo difficile distinguere i sistemi più forti. Co-Design Bench cerca di evitarlo usando richieste reali tratte da sessioni in cui gli utenti spesso dovevano riformulare le istruzioni o annullare modifiche sbagliate. Anche la valutazione è rigorosa: un giudice AI testa l'app finita in un browser, poi un secondo ricontrolla i risultati positivi e cerca mock-up o scorciatoie hardcoded. Le funzionalità contano solo se funzionano davvero.

I compiti più difficili erano quelli che combinavano più tipi di modifica insieme, come layout, design, interazione e aggiornamenti dei contenuti. Tutti i modelli peggioravano quando un compito richiedeva tre o quattro tipi di modifica. Lo studio ha anche rilevato che l'harness conta quasi quanto il modello. In un confronto, Qwen3.8-27B ha ottenuto il 75 o il 56 percento sulle revisioni più ampie a seconda dell'ambiente in cui veniva eseguito. Ciò significa che le aziende dovrebbero valutare modello e configurazione dell'agente come una coppia. Il benchmark ha anche dei limiti: ogni compito usa una sola richiesta fissa, le richieste di chiarimento successive non fanno parte del test e i giudici AI possono comunque sbagliare.

Robot in stile carta ritagliata tra due scrivanie con computer, con in mano cinture porta attrezzi; uno schermo mostra codice su sfondo scuro, l'altro su sfondo chiaro.
Stesso bot di programmazione, configurazioni diverse: e risultati nettamente diversi.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Significa che gli agenti di programmazione non sono utili?

No. I risultati indicano che possono svolgere gran parte del lavoro, ma spesso mancano almeno un requisito. Questo li rende utili per accelerare l'implementazione, ma rischiosi da usare senza revisione.

In cosa Co-Design Bench si differenzia dai benchmark di programmazione precedenti?

Usa reali richieste di modifica degli utenti su web app esistenti invece di compiti da benchmark più puliti. Alcuni compiti richiedono inoltre agli agenti di usare immagini, audio, video o documenti, e la valutazione verifica se l'app finita funziona davvero in un browser.

Perché i compiti reali sembrano più difficili per questi agenti?

Le richieste reali spesso combinano più tipi di modifiche insieme, come design, layout, interazione e contenuti. Lo studio ha rilevato che questo tipo di lavoro misto ha peggiorato costantemente le prestazioni di tutti i modelli testati.

Cosa dovrebbero fare i team prima di scegliere un agente di programmazione?

Non affidarsi solo alla classifica dei modelli. Testare il modello insieme all'harness o all'ambiente agentico che si intende usare, e provarlo su compiti simili alle reali modifiche del proprio prodotto.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

All tools for "From a description"

More from Lumeta

All Notizie