AI 코딩 벤치마크가 실제 업무에서 통하지 않는 이유
AI 에이전트는 코딩 벤치마크에서 높은 점수를 받지만, 복잡한 실제 작업에서는 여전히 사람의 도움이 필요하다.
Illustration made on Lumeta with GPT Image 2.5Make one like it
2026년 11월 8일, 알리바바와 아시아 여러 대학의 연구진은 AI 코딩 에이전트가 실제 앱 수정 작업 대부분에서 여전히 기대에 못 미친다고 발표했다. 새로 공개한 Co-Design Bench 테스트에서 가장 뛰어난 모델조차 작업의 26.4퍼센트만 완벽하게 완료했으며, 나머지 거의 네 건 중 세 건은 사람이 마무리해야 했다. 지금 코딩 에이전트를 쓰는 팀이 얻을 실질적인 교훈은 간단하다. 에이전트를 맡겨 두면 알아서 끝내는 존재가 아니라 유능한 조수로 대하고, 리더보드를 믿기 전에 모델을 실제 작업 환경과 함께 테스트하라는 것이다.
새 벤치마크가 밝혀낸 것
Co-Design Bench는 기존 코딩 테스트보다 실제 제품 개발 업무에 더 가깝게 설계됐다. 깔끔하게 분리된 과제 대신, 실제 사용자의 변경 요청을 바탕으로 기존 웹 앱을 수정하도록 요구하며, 때로는 이미지, 오디오, 영상, 문서를 입력으로 사용한다. 논문에 따르면 테스트한 10개 모델 중 GPT-6 Astra가 가장 좋은 성적을 냈다. 평균적으로 과제 요구사항의 약 70퍼센트를 충족했지만, 작업이 완전히 정확했던 경우는 26.4퍼센트에 그쳤다.

Illustration made on Lumeta with GPT Image 2.5Make one like it
기존 테스트보다 점수가 훨씬 낮은 이유
연구진은 기존 코딩 벤치마크 상당수가 에이전트 시스템에게 너무 쉬워졌다고 주장한다. 모델이 자기 코드를 실행하고 점검하고 고칠 수 있게 되면 점수가 99퍼센트를 넘기도 해, 뛰어난 시스템 간 차이를 가려내기 어렵다. Co-Design Bench는 사용자가 지시를 다시 설명하거나 잘못된 변경을 되돌려야 했던 경우가 많은 실제 세션의 요청을 사용해 이 문제를 피하려 한다. 채점도 엄격하다. 한 AI 심사관이 완성된 앱을 브라우저에서 테스트하고, 두 번째 심사관이 통과 결과를 재확인하며 목업이나 하드코딩된 편법이 있는지 살핀다. 기능은 실제로 작동해야만 인정된다.
가장 어려운 과제는 레이아웃, 디자인, 인터랙션, 콘텐츠 업데이트처럼 여러 종류의 변경이 한꺼번에 섞인 것이었다. 과제에 세 가지나 네 가지 유형의 수정이 필요해지면 모든 모델의 성능이 떨어졌다. 연구는 또한 하네스가 모델만큼이나 중요하다는 점도 확인했다. 한 비교에서 Qwen3.8-27B는 대규모 개편 작업에서 실행 환경에 따라 75퍼센트 또는 56퍼센트를 기록했다. 즉 기업은 모델과 에이전트 구성을 한 쌍으로 평가해야 한다. 벤치마크에도 한계는 있다. 각 과제는 고정된 요청 하나만 사용하고, 후속 질문을 통한 명확화는 테스트에 포함되지 않으며, AI 심사관도 여전히 실수할 수 있다.

Illustration made on Lumeta with GPT Image 2.5Make one like it
그렇다면 코딩 에이전트는 쓸모가 없다는 뜻인가?
아니다. 결과를 보면 에이전트는 작업의 상당 부분을 해낼 수 있지만, 여전히 요구사항을 최소 하나는 놓치는 경우가 많다. 따라서 구현 속도를 높이는 데는 유용하지만, 검토 없이 쓰기에는 위험하다.
Co-Design Bench는 기존 코딩 벤치마크와 무엇이 다른가?
정제된 벤치마크 과제 대신 기존 웹 앱에 대한 실제 사용자 변경 요청을 사용한다. 일부 과제는 에이전트가 이미지, 오디오, 영상, 문서를 활용해야 하며, 채점 시 완성된 앱이 브라우저에서 실제로 작동하는지 확인한다.
왜 실제 작업이 이 에이전트들에게 더 어려운가?
실제 요청은 디자인, 레이아웃, 인터랙션, 콘텐츠 변경 등 여러 유형의 수정을 한꺼번에 담는 경우가 많다. 연구에 따르면 이렇게 뒤섞인 작업은 테스트한 모든 모델의 성능을 일관되게 떨어뜨렸다.
코딩 에이전트를 고르기 전에 팀은 무엇을 해야 하나?
모델 리더보드만 믿지 말라. 실제로 사용할 하네스나 에이전트 환경과 함께 모델을 테스트하고, 실제 제품 변경과 비슷한 과제로 돌려 봐야 한다.


