Por qué los benchmarks de programación con IA fallan en tareas del mundo real

Los agentes de IA arrasan en los benchmarks de programación, pero aún necesitan ayuda humana con tareas complejas del mundo real.

4 min read

Por qué los benchmarks de programación con IA fallan en tareas del mundo real

Illustration made on Lumeta with GPT Image 2.5Make one like it

El 8 de noviembre de 2026, investigadores de Alibaba y de varias universidades asiáticas informaron de que los agentes de programación con IA todavía se quedan cortos en la mayoría de las tareas reales de edición de aplicaciones. En su nueva prueba, Co-Design Bench, el mejor modelo completó por completo solo el 26.4 por ciento de las tareas, así que seguía haciendo falta una revisión humana en casi tres de cada cuatro trabajos. Para los equipos que ya usan agentes de programación, la conclusión práctica es sencilla: trátalos como asistentes potentes, no como ejecutores autónomos, y prueba el modelo junto con su entorno de trabajo antes de fiarte de una clasificación.

Qué descubrió el nuevo benchmark

Co-Design Bench está diseñado para parecerse más al trabajo real de producto que las pruebas de programación anteriores. En lugar de tareas limpias y aisladas, el benchmark pide a los agentes que modifiquen aplicaciones web existentes a partir de solicitudes de cambio reales de usuarios, a veces con imágenes, audio, vídeo o documentos como entrada. Según el artículo, GPT-6 Astra fue el modelo con mejor rendimiento de los diez evaluados. Cumplió de media alrededor del 70 por ciento de los requisitos de cada tarea, pero su trabajo fue totalmente correcto solo en el 26.4 por ciento de los casos.

Finalización estricta de GPT-6 Astra en Co-Design Bench
Categoría multimodal41%
Categoría de repositorio17.9%
Resultados de Co-Design Bench mostrados en las figuras del artículo citadas en la fuente original.
Robot mecánico de papel recortado ajusta un monitor de escritorio sobre un banco de trabajo, con un tornillo suelto y un cable colgando.
El robot puede entregar casi toda la funcionalidad, pero los últimos cabos sueltos siguen importando.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Por qué las puntuaciones son mucho más bajas que en pruebas anteriores

Los investigadores sostienen que muchos benchmarks de programación antiguos se han vuelto demasiado fáciles para los sistemas agénticos. Cuando un modelo puede ejecutar, inspeccionar y revisar su propio código, las puntuaciones pueden superar el 99 por ciento, lo que dificulta distinguir entre sistemas potentes. Co-Design Bench intenta evitarlo usando solicitudes reales de sesiones en las que los usuarios a menudo tuvieron que repetir instrucciones o deshacer cambios erróneos. La evaluación también es estricta: un juez de IA prueba la aplicación terminada en un navegador y un segundo vuelve a comprobar los resultados positivos y busca maquetas o atajos codificados a mano. Las funciones solo cuentan si realmente funcionan.

Las tareas más difíciles fueron las que mezclaban varios tipos de cambio a la vez, como maquetación, diseño, interacción y actualizaciones de contenido. Todos los modelos empeoraron cuando una tarea requería tres o cuatro tipos de edición. El estudio también halló que el harness importa casi tanto como el modelo. En una comparación, Qwen3.8-27B obtuvo un 75 o un 56 por ciento en remodelaciones más amplias según el entorno en el que se ejecutara. Esto significa que las empresas deberían evaluar el modelo y la configuración del agente como un conjunto. El benchmark también tiene límites: cada tarea usa una única solicitud fija, las aclaraciones posteriores no forman parte de la prueba y los jueces de IA pueden equivocarse.

Robot de estilo papel recortado entre dos escritorios con ordenador, sujetando cinturones de herramientas; una pantalla muestra código oscuro y la otra código claro.
El mismo bot de programación, distintas configuraciones y resultados muy diferentes.

Illustration made on Lumeta with GPT Image 2.5Make one like it

¿Significa esto que los agentes de programación no son útiles?

No. Los resultados sugieren que pueden hacer una gran parte del trabajo, pero a menudo siguen sin cumplir al menos un requisito. Eso los hace útiles para acelerar la implementación, pero arriesgados si se usan sin revisión.

¿Qué diferencia a Co-Design Bench de los benchmarks de programación anteriores?

Utiliza solicitudes de cambio reales de usuarios sobre aplicaciones web existentes en lugar de tareas de benchmark más limpias. Algunas tareas también exigen que los agentes usen imágenes, audio, vídeo o documentos, y la evaluación comprueba si la aplicación terminada funciona de verdad en un navegador.

¿Por qué las tareas reales parecen más difíciles para estos agentes?

Las solicitudes reales suelen combinar varios tipos de edición a la vez, como cambios de diseño, maquetación, interacción y contenido. El estudio descubrió que este tipo de trabajo mixto perjudicaba sistemáticamente el rendimiento de todos los modelos evaluados.

¿Qué deberían hacer los equipos antes de elegir un agente de programación?

No fiarse solo de una clasificación de modelos. Probar el modelo junto con el harness o el entorno de agente que piensan usar, y ejecutarlo en tareas que se parezcan a los cambios reales de su producto.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

All tools for "From a description"

More from Lumeta

All Noticias