Taste-Bench Ungkap Agen AI Masih Kesulitan Mengambil Keputusan Jangka Panjang
Benchmark baru bernama Taste-Bench menemukan bahwa agen AI lemah dalam membuat pilihan jangka panjang: skor terbaik hanya 59.7 persen, dan hasilnya merosot mendekati tebakan acak ketika manfaat sebuah pilihan baru terasa belakangan.
Illustration made on Lumeta with GPT Image 2.5Make one like it
Pada 18 Okt. 2026, peneliti dari Microsoft dan City University of Hong Kong memperkenalkan Taste-Bench, benchmark untuk keputusan agen dalam tugas yang berjalan lama, dan hasil awalnya cukup gamblang: agen AI saat ini tidak terlalu pandai memilih jalur jangka panjang yang lebih baik. Model terbaik dalam studi ini meraih skor 59.7 persen, dan performanya turun mendekati acak ketika manfaat suatu pilihan baru terlihat jauh di kemudian hari. Ini penting bagi siapa pun yang memakai agen untuk tugas coding atau riset.
Apa yang sebenarnya diuji Taste-Bench
Alih-alih menanyakan apakah agen pada akhirnya menyelesaikan tugas, Taste-Bench menguji apakah agen bisa mengenali arah yang lebih baik di persimpangan penting dalam pekerjaan. Benchmark ini berisi 502 pertanyaan yang disusun dari trajektori agen nyata pada tugas coding dan riset AI. Di setiap persimpangan keputusan, langkah-langkah selanjutnya disembunyikan dan model harus memilih di antara dua jalur sebelum hasilnya terlihat jelas. Karena setiap pertanyaan diajukan dua kali, sekali dengan urutan opsi dibalik, tebakan murni hanya mendapat skor 25 persen menurut aturan dalam makalah tersebut.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Bagaimana performa model-model saat ini
Hasil utamanya terbilang biasa saja. GPT-5.6 Sol memimpin benchmark dengan 59.7 persen, disusul ketat oleh GPT-5.5 dengan 59.5 persen, sementara model lain yang diuji jauh di bawahnya. Kasus yang lebih sulit adalah ketika petunjuk penentu baru muncul setelah banyak pekerjaan berikutnya: akurasi rata-rata semua model mencapai 62.3 persen saat petunjuk sudah terlihat di konteks awal, tetapi hanya 21.0 persen saat petunjuk baru muncul setelah banyak langkah lanjutan. Para peneliti juga menguji anggaran penalaran yang berbeda dan mendapati bahwa berpikir lebih lama nyaris tidak mengubah akurasi.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Bagian yang lebih menggembirakan dari makalah ini adalah kemampuan menilai tersebut tampaknya bisa dilatih. Dengan Qwen3.6-27B sebagai basis, tim menyuling keputusan model teacher ke dalam model student yang hanya melihat pertanyaan benchmark itu sendiri. Pada tugas yang belum pernah dilihat, akurasi penilaian student naik dari 30.0 menjadi 47.9 persen. Saat student memberi saran di setiap persimpangan kepada agen terpisah, tingkat keberhasilan pada 41 tugas SWE-bench Pro yang disisihkan meningkat dari 14.6 menjadi 33.7 persen. Para penulis menyatakan hal ini menunjukkan bahwa "selera" perencanaan jangka panjang bisa diukur dan ditingkatkan, bukan sekadar diamati. Mereka juga merilis benchmark dan kodenya secara publik.
Apa arti 'taste' bagi agen AI dalam konteks ini?
Dalam makalah ini, 'taste' berarti kemampuan agen memilih jalur yang lebih baik selama tugas panjang sebelum hasilnya terlihat jelas. Ini soal penilaian pada keputusan-keputusan di tengah jalan, bukan hanya apakah jawaban akhir lolos pengujian.
Apakah performanya benar-benar mendekati acak?
Terkadang, ya. Dengan skema penilaian benchmark ini, tebakan murni mendapat 25 persen karena setiap pertanyaan harus dijawab benar dalam kedua urutan opsi. Ketika bukti yang berguna baru muncul jauh di akhir trajektori, akurasi rata-rata semua model turun ke 21.0 persen, mendekati baseline acak tersebut.
Apakah memberi model waktu penalaran lebih lama membantu?
Tidak banyak. Para peneliti menguji pengaturan penalaran yang berbeda pada dua model dan melaporkan bahwa beralih dari anggaran penalaran rendah ke tinggi nyaris tidak mengubah akurasi.
Mengapa ini penting jika model masih bisa menyelesaikan sebagian tugas?
Karena agen bisa membuat pilihan awal yang tampak baik-baik saja di awal, tetapi menimbulkan masalah di kemudian hari. Dalam pekerjaan coding dan riset, keputusan buruk yang tersembunyi itu bisa menghabiskan anggaran, menghambat perubahan di masa depan, atau menggiring agen ke jalur yang tidak produktif.


