为什么AI编程基准测试在真实任务中失灵

AI 智能体在编程基准测试中表现亮眼,但面对复杂的真实任务仍需人类协助。

4 min read

为什么AI编程基准测试在真实任务中失灵

Illustration made on Lumeta with GPT Image 2.5Make one like it

2026 年 11 月 8 日,来自阿里巴巴和多所亚洲高校的研究人员发布报告称,AI 编程智能体在大多数真实应用修改任务上仍表现不足。在他们新推出的 Co-Design Bench 测试中,表现最好的模型也只完整完成了 26.4% 的任务,这意味着近四分之三的工作仍需人工收尾。对于当下正在使用编程智能体的团队来说,实际启示很简单:把它们当作得力助手,而不是可以放手不管的完成者;在依赖排行榜之前,应将模型与其运行环境一起进行测试。

新基准测试有哪些发现

与以往的编程测试相比,Co-Design Bench 的设计更贴近实际的产品开发工作。它不采用干净、孤立的任务,而是要求智能体根据真实用户的修改需求改动现有的 Web 应用,有时还需要以图片、音频、视频或文档作为输入。论文显示,在受测的十个模型中,GPT-6 Astra 表现最佳。它平均满足了任务约 70% 的要求,但完全正确完成的任务仅占 26.4%。

GPT-6 Astra 在 Co-Design Bench 中的严格完成率
多模态赛道41%
代码仓库赛道17.9%
Co-Design Bench 结果,数据来自原文引用的论文图表。
剪纸风格的机器人技师在工作台上拧紧一台桌面显示器,旁边有一颗松动的螺栓和一根垂落的电线。
机器人能交付大部分功能,但最后那些没收好的尾巴依然很关键。

Illustration made on Lumeta with GPT Image 2.5Make one like it

为何得分远低于以往的测试

研究人员认为,许多旧的编程基准对智能体系统来说已经太简单了。当模型能够自行运行、检查和修改代码时,得分可以超过 99%,因此很难区分哪些系统真正强大。Co-Design Bench 试图避免这一问题,它采用的真实需求来自用户经常需要重新说明指令或撤销错误修改的会话。评分也十分严格:一个 AI 评审先在浏览器中测试完成后的应用,另一个 AI 评审再复核通过的结果,并排查模拟实现或硬编码的取巧做法。只有真正可用的功能才算数。

最难的任务是同时涉及多种修改类型的任务,例如布局、设计、交互和内容更新。当任务需要三到四种修改类型时,所有模型的表现都会下滑。研究还发现,运行框架的重要性几乎与模型本身不相上下。在一组对比中,Qwen3.8-27B 在较大规模改造任务上的得分因运行环境不同而分别为 75% 或 56%。这意味着企业应当把模型和智能体配置作为一个整体来评估。该基准也有局限:每个任务只使用一条固定需求,测试不包含后续的澄清环节,而且 AI 评审仍可能出错。

剪纸风格的机器人站在两张电脑桌之间,手持工具腰带;一块屏幕显示深色代码,另一块显示浅色代码。
同一个编程机器人,不同的配置,结果却截然不同。

Illustration made on Lumeta with GPT Image 2.5Make one like it

这是否意味着编程智能体没有用?

并非如此。结果表明,它们能完成很大一部分工作,但仍经常遗漏至少一项要求。因此,它们有助于加快开发实现,但未经审查就直接使用存在风险。

Co-Design Bench 与以往的编程基准有何不同?

它基于现有 Web 应用上的真实用户修改需求,而不是更规整的基准任务。部分任务还要求智能体处理图片、音频、视频或文档,评分时会检查完成后的应用能否在浏览器中真正运行。

为什么真实任务对这些智能体来说更难?

真实需求往往同时包含多种修改类型,例如设计、布局、交互和内容变更。研究发现,这类混合型工作会持续拉低所有受测模型的表现。

团队在选择编程智能体之前应该做什么?

不要只看模型排行榜。应将模型与你计划使用的运行框架或智能体环境一起测试,并用接近你真实产品改动的任务来检验。

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

All tools for "From a description"

More from Lumeta

All 新闻