Por que os benchmarks de programação com IA falham em tarefas do mundo real
Os agentes de IA brilham nos benchmarks de programação, mas ainda precisam de ajuda humana em tarefas complexas do mundo real.
Illustration made on Lumeta with GPT Image 2.5Make one like it
Em 8 de novembro de 2026, investigadores da Alibaba e de várias universidades asiáticas relataram que os agentes de programação com IA ainda ficam aquém na maioria das tarefas reais de edição de aplicações. No seu novo teste, o Co-Design Bench, o melhor modelo concluiu totalmente apenas 26.4 por cento das tarefas, pelo que ainda foi necessária correção humana em quase três de cada quatro trabalhos. Para as equipas que usam agentes de programação hoje, a conclusão prática é simples: tratem-nos como assistentes fortes, não como executores autónomos, e testem o modelo em conjunto com o seu ambiente de trabalho antes de confiarem num ranking.
O que o novo benchmark descobriu
O Co-Design Bench foi concebido para se parecer mais com o trabalho real de produto do que os testes de programação mais antigos. Em vez de tarefas limpas e isoladas, o benchmark pede aos agentes que modifiquem aplicações web existentes com base em pedidos de alteração reais de utilizadores, por vezes usando imagens, áudio, vídeo ou documentos como entrada. Segundo o artigo, o GPT-6 Astra foi o melhor dos dez modelos testados. Cumpriu em média cerca de 70 por cento dos requisitos de cada tarefa, mas o seu trabalho só ficou totalmente correto em 26.4 por cento das tarefas.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Porque é que as pontuações são muito mais baixas do que nos testes antigos
Os investigadores defendem que muitos benchmarks de programação mais antigos se tornaram demasiado fáceis para sistemas agênticos. Quando um modelo consegue executar, inspecionar e rever o próprio código, as pontuações podem ultrapassar os 99 por cento, o que torna difícil distinguir os sistemas fortes. O Co-Design Bench tenta evitar isso usando pedidos reais de sessões em que os utilizadores tinham muitas vezes de repetir instruções ou desfazer alterações mal feitas. A avaliação também é rigorosa: um juiz de IA testa a aplicação final num navegador e depois um segundo volta a verificar os resultados positivos e procura maquetas ou atalhos codificados à mão. As funcionalidades só contam se funcionarem de facto.
As tarefas mais difíceis foram as que misturavam vários tipos de alteração ao mesmo tempo, como layout, design, interação e atualizações de conteúdo. Todos os modelos pioraram quando uma tarefa exigia três ou quatro tipos de edição. O estudo concluiu também que o harness importa quase tanto como o modelo. Numa comparação, o Qwen3.8-27B obteve 75 ou 56 por cento em reformulações maiores, consoante o ambiente em que foi executado. Isto significa que as empresas devem avaliar o modelo e a configuração do agente como um par. O benchmark tem igualmente limitações: cada tarefa usa um único pedido fixo, os esclarecimentos posteriores não fazem parte do teste e os juízes de IA podem ainda cometer erros.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Isto significa que os agentes de programação não são úteis?
Não. Os resultados sugerem que conseguem fazer uma grande parte do trabalho, mas muitas vezes ainda falham pelo menos um requisito. Isso torna-os úteis para acelerar a implementação, mas arriscados de usar sem revisão.
O que distingue o Co-Design Bench dos benchmarks de programação mais antigos?
Usa pedidos de alteração reais de utilizadores sobre aplicações web existentes, em vez de tarefas de benchmark mais limpas. Algumas tarefas exigem também que os agentes usem imagens, áudio, vídeo ou documentos, e a avaliação verifica se a aplicação final funciona realmente num navegador.
Porque é que as tarefas do mundo real parecem mais difíceis para estes agentes?
Os pedidos reais combinam frequentemente vários tipos de edição ao mesmo tempo, como alterações de design, layout, interação e conteúdo. O estudo concluiu que este tipo de trabalho misto prejudicou de forma consistente o desempenho de todos os modelos testados.
O que devem as equipas fazer antes de escolher um agente de programação?
Não se fiem apenas num ranking de modelos. Testem o modelo em conjunto com o harness ou ambiente de agente que pretendem usar, e experimentem-no em tarefas semelhantes às alterações reais do vosso produto.


