Taste-Bench: Yapay zeka ajanları uzun vadeli kararlarda hâlâ zorlanıyor
Yeni bir kıyaslama testi olan Taste-Bench, yapay zeka ajanlarının uzun vadeli tercihlerde zayıf kaldığını ortaya koyuyor: En iyi model yüzde 59,7 puan aldı ve getiri geç geldiğinde sonuçlar tahmin düzeyine kadar düştü.
Illustration made on Lumeta with GPT Image 2.5Make one like it
18 Ekim 2026'da Microsoft ve Hong Kong Şehir Üniversitesi'nden araştırmacılar, uzun soluklu ajan kararlarını ölçen Taste-Bench'i tanıttı. İlk sonuç oldukça net: Mevcut yapay zeka ajanları, uzun vadede daha iyi olan yolu seçmekte pek başarılı değil. Çalışmadaki en iyi model yüzde 59,7 puan aldı ve bir seçimin faydası ancak çok sonra görünür hale geldiğinde performans rastgele düzeye yaklaştı. Bu durum, ajanları kodlama ya da araştırma görevlerinde kullanan herkesi ilgilendiriyor.
Taste-Bench aslında neyi test ediyor?
Taste-Bench, bir ajanın görevi sonunda bitirip bitirmediğini sormak yerine, işin kritik bir yol ayrımında daha iyi yönü fark edip edemediğini soruyor. Kıyaslama, kodlama ve yapay zeka araştırma görevlerindeki gerçek ajan izlerinden oluşturulmuş 502 soru içeriyor. Her karar noktasında sonraki adımlar gizleniyor ve model, sonuç belli olmadan önce iki yol arasında seçim yapmak zorunda kalıyor. Her soru, biri seçeneklerin yeri değiştirilmiş halde olmak üzere iki kez sorulduğu için, makalenin kurallarına göre salt tahmin yalnızca yüzde 25 puan getiriyor.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Mevcut modeller nasıl bir performans gösterdi?
Öne çıkan sonuç mütevazıydı. GPT-5.6 Sol yüzde 59,7 ile kıyaslamada ilk sırada yer aldı, onu yüzde 59,5 ile GPT-5.5 yakından takip etti; test edilen diğer modeller ise bunun oldukça gerisinde kaldı. Daha zor vakalar, belirleyici ipucunun ancak çok sonraki çalışmalardan sonra ortaya çıktığı durumlardı: İpucu önceki bağlamda zaten görünür olduğunda modellerin ortalama doğruluğu yüzde 62,3 iken, ancak kapsamlı sonraki adımlardan sonra ortaya çıktığında yalnızca yüzde 21,0'dı. Araştırmacılar farklı akıl yürütme bütçelerini de test etti ve daha uzun düşünmenin doğruluğu neredeyse hiç değiştirmediğini gördü.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Makalenin daha umut verici kısmı, bu muhakemenin eğitilebilir görünmesi. Ekip, Qwen3.6-27B'yi temel alarak bir öğretmen modelin kararlarını, yalnızca kıyaslama sorusunun kendisini gören bir öğrenci modele damıttı. Daha önce görülmemiş görevlerde öğrencinin muhakeme doğruluğu yüzde 30,0'dan 47,9'a yükseldi. Öğrenci her yol ayrımında ayrı bir ajana tavsiye verdiğinde, ayrılmış 41 SWE-bench Pro görevindeki başarı oranı yüzde 14,6'dan 33,7'ye çıktı. Yazarlara göre bu, uzun vadeli planlama zevkinin yalnızca gözlemlenmekle kalmayıp ölçülebileceğini ve geliştirilebileceğini gösteriyor. Kıyaslamayı ve kodu da herkese açık hale getirdiler.
Burada bir yapay zeka ajanı için 'zevk' ne anlama geliyor?
Bu makalede 'zevk', bir ajanın uzun bir görev sırasında, getiri henüz belli olmadan daha iyi yolu seçebilme yeteneği anlamına geliyor. Mesele yalnızca nihai cevabın bir testi geçip geçmediği değil, ara kararlardaki muhakeme.
Performans gerçekten rastgeleye yakın mıydı?
Bazen evet. Kıyaslamanın puanlama düzeninde her sorunun iki seçenek sıralamasında da doğru cevaplanması gerektiğinden, salt tahmin yüzde 25 puan alıyor. Faydalı kanıt izin ancak çok ilerisinde ortaya çıktığında modellerin ortalama doğruluğu yüzde 21,0'a düştü; bu da rastgele taban çizgisine yakın bir değer.
Modellere daha fazla akıl yürütme süresi vermek işe yaradı mı?
Pek değil. Araştırmacılar iki model için farklı akıl yürütme ayarlarını test etti ve düşük bütçeden yüksek bütçeye geçmenin doğruluğu neredeyse hiç değiştirmediğini bildirdi.
Bir model bazı görevleri yine de bitirebiliyorsa bu neden önemli?
Çünkü bir ajan, ilk başta iyi görünen ama sonradan sorun yaratan erken bir seçim yapabilir. Kodlama ve araştırma işlerinde bu gizli kötü kararlar bütçeyi boşa harcayabilir, gelecekteki değişiklikleri engelleyebilir ya da ajanı verimsiz bir yola sokabilir.


