Vì sao điểm benchmark lập trình AI thất bại trước các tác vụ thực tế
Các AI agent đạt điểm cao trên benchmark lập trình nhưng vẫn cần con người hỗ trợ với những tác vụ phức tạp trong thực tế.
Illustration made on Lumeta with GPT Image 2.5Make one like it
Ngày 8/11/2026, các nhà nghiên cứu từ Alibaba và một số trường đại học châu Á cho biết các AI agent lập trình vẫn chưa đáp ứng được phần lớn tác vụ chỉnh sửa ứng dụng trong thực tế. Trong bài kiểm tra mới mang tên Co-Design Bench, mô hình tốt nhất chỉ hoàn thành trọn vẹn 26,4% số tác vụ, nghĩa là gần ba trên bốn công việc vẫn cần con người xử lý lại. Với các đội ngũ đang dùng coding agent, bài học thực tế rất đơn giản: hãy coi chúng là trợ lý đắc lực chứ không phải công cụ tự hoàn tất mọi việc, và hãy kiểm thử mô hình cùng với môi trường vận hành của nó trước khi tin vào bảng xếp hạng.
Benchmark mới phát hiện điều gì
Co-Design Bench được thiết kế để sát với công việc phát triển sản phẩm thực tế hơn các bài kiểm tra lập trình cũ. Thay vì các tác vụ gọn gàng, tách biệt, benchmark này yêu cầu agent chỉnh sửa các ứng dụng web có sẵn dựa trên yêu cầu thay đổi thật từ người dùng, đôi khi với đầu vào là hình ảnh, âm thanh, video hoặc tài liệu. Theo bài báo, GPT-6 Astra là mô hình dẫn đầu trong số mười mô hình được thử nghiệm. Trung bình nó đáp ứng khoảng 70% yêu cầu của mỗi tác vụ, nhưng chỉ hoàn toàn chính xác ở 26,4% số tác vụ.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Vì sao điểm số thấp hơn nhiều so với các bài kiểm tra cũ
Các nhà nghiên cứu cho rằng nhiều benchmark lập trình cũ đã trở nên quá dễ với các hệ thống agent. Khi mô hình có thể tự chạy, kiểm tra và sửa mã của chính mình, điểm số có thể vượt 99%, khiến việc phân biệt các hệ thống mạnh trở nên khó khăn. Co-Design Bench tránh điều này bằng cách dùng các yêu cầu thật từ những phiên làm việc mà người dùng thường phải nhắc lại chỉ dẫn hoặc hoàn tác các thay đổi sai. Việc chấm điểm cũng rất khắt khe: một giám khảo AI kiểm thử ứng dụng hoàn chỉnh trên trình duyệt, sau đó giám khảo thứ hai kiểm tra lại các kết quả đạt và tìm các bản mô phỏng hoặc lối tắt được hardcode. Tính năng chỉ được tính khi thực sự hoạt động.
Những tác vụ khó nhất là những tác vụ kết hợp nhiều loại thay đổi cùng lúc, chẳng hạn bố cục, thiết kế, tương tác và cập nhật nội dung. Mọi mô hình đều kém đi khi tác vụ đòi hỏi ba hoặc bốn loại chỉnh sửa. Nghiên cứu cũng cho thấy harness quan trọng gần ngang với bản thân mô hình. Trong một phép so sánh, Qwen3.8-27B đạt 75% hoặc 56% ở các đợt đại tu lớn tùy vào môi trường chạy. Điều đó có nghĩa doanh nghiệp nên đánh giá mô hình và cấu hình agent như một cặp. Benchmark này cũng có giới hạn: mỗi tác vụ dùng một yêu cầu cố định, việc hỏi lại để làm rõ không nằm trong bài kiểm tra, và giám khảo AI vẫn có thể mắc lỗi.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Vậy coding agent có vô dụng không?
Không. Kết quả cho thấy chúng có thể đảm nhận phần lớn công việc, nhưng vẫn thường bỏ sót ít nhất một yêu cầu. Điều đó khiến chúng hữu ích để đẩy nhanh việc triển khai, nhưng rủi ro nếu dùng mà không rà soát.
Co-Design Bench khác gì so với các benchmark lập trình cũ?
Nó dùng các yêu cầu thay đổi thật từ người dùng trên những ứng dụng web có sẵn thay vì các tác vụ benchmark gọn gàng hơn. Một số tác vụ còn yêu cầu agent xử lý hình ảnh, âm thanh, video hoặc tài liệu, và việc chấm điểm kiểm tra xem ứng dụng hoàn chỉnh có thực sự chạy được trên trình duyệt hay không.
Vì sao tác vụ thực tế có vẻ khó hơn với các agent này?
Yêu cầu thực tế thường gộp nhiều loại chỉnh sửa cùng lúc, như thay đổi thiết kế, bố cục, tương tác và nội dung. Nghiên cứu nhận thấy kiểu công việc hỗn hợp này luôn làm giảm hiệu suất ở tất cả các mô hình được thử nghiệm.
Các đội ngũ nên làm gì trước khi chọn coding agent?
Đừng chỉ dựa vào bảng xếp hạng mô hình. Hãy kiểm thử mô hình cùng với harness hoặc môi trường agent mà bạn định sử dụng, và chạy thử trên những tác vụ giống với các thay đổi sản phẩm thực tế của bạn.


