Taste-Bench cho thấy tác tử AI vẫn gặp khó với các quyết định dài hạn

Một bộ benchmark mới, Taste-Bench, cho thấy các AI agent còn yếu trong việc đưa ra lựa chọn dài hạn: mô hình tốt nhất chỉ đạt 59.7%, và kết quả tụt xuống gần mức đoán mò khi lợi ích của lựa chọn đến muộn.

4 min read

Taste-Bench cho thấy tác tử AI vẫn gặp khó với các quyết định dài hạn

Illustration made on Lumeta with GPT Image 2.5Make one like it

Ngày 18/10/2026, các nhà nghiên cứu từ Microsoft và Đại học Thành phố Hồng Kông đã giới thiệu Taste-Bench, một benchmark đánh giá quyết định của agent trong các tác vụ kéo dài, và kết quả ban đầu khá thẳng thắn: các AI agent hiện nay chưa giỏi chọn hướng đi tốt hơn về lâu dài. Mô hình tốt nhất trong nghiên cứu đạt 59.7%, và hiệu năng giảm xuống gần mức ngẫu nhiên khi lợi ích của một lựa chọn chỉ lộ rõ về sau rất lâu. Điều này đáng lưu tâm với bất kỳ ai đang dùng agent cho việc lập trình hay nghiên cứu.

Taste-Bench thực sự kiểm tra điều gì

Thay vì hỏi liệu agent cuối cùng có hoàn thành tác vụ hay không, Taste-Bench đặt câu hỏi liệu nó có nhận ra hướng đi tốt hơn tại một ngã rẽ quan trọng trong quá trình làm việc. Benchmark gồm 502 câu hỏi được xây dựng từ các quỹ đạo thực tế của agent trong các tác vụ lập trình và nghiên cứu AI. Tại mỗi ngã rẽ, các bước tiếp theo bị ẩn đi và mô hình phải chọn giữa hai hướng trước khi kết quả trở nên rõ ràng. Vì mỗi câu hỏi được hỏi hai lần, một lần với thứ tự lựa chọn bị đảo ngược, nên đoán mò thuần túy chỉ đạt 25% theo quy tắc của bài báo.

Chú robot nhỏ trong hành lang đứng trước hai cánh cửa mở: bên trái là phòng làm việc gọn gàng, bên phải là xưởng bừa bộn.
Tại ngã rẽ này, robot vẫn phải đoán xem tương lai nào sẽ mang lại kết quả về sau.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Các mô hình hiện tại thể hiện ra sao

Kết quả chính khá khiêm tốn. GPT-5.6 Sol dẫn đầu benchmark với 59.7%, theo sát là GPT-5.5 với 59.5%, còn các mô hình được thử nghiệm khác thấp hơn đáng kể. Những trường hợp khó hơn là khi manh mối quyết định chỉ xuất hiện sau rất nhiều bước về sau: độ chính xác trung bình của các mô hình là 62.3% khi manh mối đã có sẵn trong ngữ cảnh trước đó, nhưng chỉ còn 21.0% khi nó chỉ lộ ra sau nhiều bước tiếp theo. Các nhà nghiên cứu cũng thử nghiệm các mức ngân sách suy luận khác nhau và nhận thấy việc suy nghĩ lâu hơn hầu như không thay đổi độ chính xác.

Lời khuyên từ mô hình "taste" được huấn luyện giúp cải thiện kết quả SWE-bench Pro
Không có lời khuyên14.6%
Lời khuyên từ mô hình học trò33.7%
Lời khuyên hoàn hảo39%
Pan và cộng sự, kết quả can thiệp trên 41 tác vụ SWE-bench Pro được giữ lại
Cảnh theo phong cách cắt giấy: một robot lớn trao chiếc la bàn phát sáng cho robot nhỏ hơn trong xưởng đầy dây cáp và có logo OpenAI.
Một chút định hướng sẽ hữu ích khi lối rẽ đúng nhất phải rất lâu sau mới mang lại kết quả.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Phần đáng khích lệ hơn của bài báo là khả năng phán đoán này dường như có thể huấn luyện được. Dùng Qwen3.6-27B làm nền tảng, nhóm nghiên cứu đã chưng cất các quyết định của một mô hình thầy vào một mô hình học trò chỉ được thấy bản thân câu hỏi benchmark. Trên các tác vụ chưa từng gặp, độ chính xác phán đoán của mô hình học trò tăng từ 30.0 lên 47.9%. Khi mô hình học trò đưa ra lời khuyên tại mỗi ngã rẽ cho một agent riêng biệt, tỷ lệ thành công trên 41 tác vụ SWE-bench Pro được giữ lại tăng từ 14.6 lên 33.7%. Các tác giả cho rằng điều này chứng tỏ "gu" lập kế hoạch dài hạn có thể được đo lường và cải thiện, chứ không chỉ để quan sát. Họ cũng đã công khai benchmark và mã nguồn.

"Taste" ở đây có nghĩa là gì đối với một AI agent?

Trong bài báo này, "taste" (gu) là khả năng của agent trong việc chọn hướng đi tốt hơn trong một tác vụ dài trước khi lợi ích trở nên rõ ràng. Đây là chuyện phán đoán ở các quyết định trung gian, chứ không chỉ là việc câu trả lời cuối cùng có vượt qua bài kiểm tra hay không.

Hiệu năng có thực sự gần mức ngẫu nhiên không?

Đôi khi là có. Theo cách chấm điểm của benchmark, đoán mò thuần túy đạt 25% vì mỗi câu hỏi phải được trả lời đúng ở cả hai thứ tự lựa chọn. Khi bằng chứng hữu ích chỉ xuất hiện rất muộn trong quỹ đạo, độ chính xác trung bình của các mô hình giảm xuống 21.0%, gần với mức ngẫu nhiên đó.

Cho mô hình thêm thời gian suy luận có giúp ích không?

Không nhiều. Các nhà nghiên cứu đã thử các thiết lập suy luận khác nhau cho hai mô hình và cho biết việc tăng ngân sách suy luận từ thấp lên cao hầu như không thay đổi độ chính xác.

Tại sao điều này quan trọng nếu mô hình vẫn hoàn thành được một số tác vụ?

Bởi vì agent có thể đưa ra một lựa chọn ban đầu trông có vẻ ổn nhưng lại gây rắc rối về sau. Với công việc lập trình và nghiên cứu, những quyết định tồi ẩn giấu đó có thể làm lãng phí ngân sách, cản trở các thay đổi trong tương lai hoặc đẩy agent vào một hướng đi kém hiệu quả.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5Tạo video bằng trình tạo video tốt nhất thế giới Seedance 2.0 và 2.5

All tools for "From a description"

More from Lumeta

All Tin tức