Taste-Bench Ungkap Agen AI Masih Kesulitan Mengambil Keputusan Jangka Panjang

Benchmark baru bernama Taste-Bench menemukan bahwa agen AI lemah dalam membuat pilihan jangka panjang: skor terbaik hanya 59.7 persen, dan hasilnya merosot mendekati tebakan acak ketika manfaat sebuah pilihan baru terasa belakangan.

3 min read

Taste-Bench Ungkap Agen AI Masih Kesulitan Mengambil Keputusan Jangka Panjang

Illustration made on Lumeta with GPT Image 2.5Make one like it

Pada 18 Okt. 2026, peneliti dari Microsoft dan City University of Hong Kong memperkenalkan Taste-Bench, benchmark untuk keputusan agen dalam tugas yang berjalan lama, dan hasil awalnya cukup gamblang: agen AI saat ini tidak terlalu pandai memilih jalur jangka panjang yang lebih baik. Model terbaik dalam studi ini meraih skor 59.7 persen, dan performanya turun mendekati acak ketika manfaat suatu pilihan baru terlihat jauh di kemudian hari. Ini penting bagi siapa pun yang memakai agen untuk tugas coding atau riset.

Apa yang sebenarnya diuji Taste-Bench

Alih-alih menanyakan apakah agen pada akhirnya menyelesaikan tugas, Taste-Bench menguji apakah agen bisa mengenali arah yang lebih baik di persimpangan penting dalam pekerjaan. Benchmark ini berisi 502 pertanyaan yang disusun dari trajektori agen nyata pada tugas coding dan riset AI. Di setiap persimpangan keputusan, langkah-langkah selanjutnya disembunyikan dan model harus memilih di antara dua jalur sebelum hasilnya terlihat jelas. Karena setiap pertanyaan diajukan dua kali, sekali dengan urutan opsi dibalik, tebakan murni hanya mendapat skor 25 persen menurut aturan dalam makalah tersebut.

Robot kecil di lorong menghadap dua pintu terbuka: ruang belajar yang rapi di kiri dan bengkel yang berantakan di kanan.
Di persimpangan ini, robot masih harus menebak masa depan mana yang akan membuahkan hasil nanti.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Bagaimana performa model-model saat ini

Hasil utamanya terbilang biasa saja. GPT-5.6 Sol memimpin benchmark dengan 59.7 persen, disusul ketat oleh GPT-5.5 dengan 59.5 persen, sementara model lain yang diuji jauh di bawahnya. Kasus yang lebih sulit adalah ketika petunjuk penentu baru muncul setelah banyak pekerjaan berikutnya: akurasi rata-rata semua model mencapai 62.3 persen saat petunjuk sudah terlihat di konteks awal, tetapi hanya 21.0 persen saat petunjuk baru muncul setelah banyak langkah lanjutan. Para peneliti juga menguji anggaran penalaran yang berbeda dan mendapati bahwa berpikir lebih lama nyaris tidak mengubah akurasi.

Saran dari model taste yang dilatih meningkatkan hasil SWE-bench Pro
Tanpa saran14.6%
Saran student33.7%
Saran sempurna39%
Pan et al., hasil intervensi pada 41 tugas SWE-bench Pro yang disisihkan
Adegan bergaya potongan kertas: robot besar memberikan kompas bercahaya kepada robot kecil di bengkel penuh kabel dengan logo OpenAI.
Sedikit panduan sangat membantu ketika belokan terbaik baru membuahkan hasil jauh di kemudian hari.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Bagian yang lebih menggembirakan dari makalah ini adalah kemampuan menilai tersebut tampaknya bisa dilatih. Dengan Qwen3.6-27B sebagai basis, tim menyuling keputusan model teacher ke dalam model student yang hanya melihat pertanyaan benchmark itu sendiri. Pada tugas yang belum pernah dilihat, akurasi penilaian student naik dari 30.0 menjadi 47.9 persen. Saat student memberi saran di setiap persimpangan kepada agen terpisah, tingkat keberhasilan pada 41 tugas SWE-bench Pro yang disisihkan meningkat dari 14.6 menjadi 33.7 persen. Para penulis menyatakan hal ini menunjukkan bahwa "selera" perencanaan jangka panjang bisa diukur dan ditingkatkan, bukan sekadar diamati. Mereka juga merilis benchmark dan kodenya secara publik.

Apa arti 'taste' bagi agen AI dalam konteks ini?

Dalam makalah ini, 'taste' berarti kemampuan agen memilih jalur yang lebih baik selama tugas panjang sebelum hasilnya terlihat jelas. Ini soal penilaian pada keputusan-keputusan di tengah jalan, bukan hanya apakah jawaban akhir lolos pengujian.

Apakah performanya benar-benar mendekati acak?

Terkadang, ya. Dengan skema penilaian benchmark ini, tebakan murni mendapat 25 persen karena setiap pertanyaan harus dijawab benar dalam kedua urutan opsi. Ketika bukti yang berguna baru muncul jauh di akhir trajektori, akurasi rata-rata semua model turun ke 21.0 persen, mendekati baseline acak tersebut.

Apakah memberi model waktu penalaran lebih lama membantu?

Tidak banyak. Para peneliti menguji pengaturan penalaran yang berbeda pada dua model dan melaporkan bahwa beralih dari anggaran penalaran rendah ke tinggi nyaris tidak mengubah akurasi.

Mengapa ini penting jika model masih bisa menyelesaikan sebagian tugas?

Karena agen bisa membuat pilihan awal yang tampak baik-baik saja di awal, tetapi menimbulkan masalah di kemudian hari. Dalam pekerjaan coding dan riset, keputusan buruk yang tersembunyi itu bisa menghabiskan anggaran, menghambat perubahan di masa depan, atau menggiring agen ke jalur yang tidak produktif.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5Buat video dengan generator video terbaik di dunia Seedance 2.0 dan 2.5

All tools for "From a description"

More from Lumeta

All Berita