Yapay Zeka Kodlama Testleri Gerçek Dünya Görevlerinde Neden Başarısız Oluyor?

Yapay zeka ajanları kodlama testlerinde parlıyor ama karmaşık, gerçek dünya görevlerinde hâlâ insan desteğine ihtiyaç duyuyor.

3 min read

Yapay Zeka Kodlama Testleri Gerçek Dünya Görevlerinde Neden Başarısız Oluyor?

Illustration made on Lumeta with GPT Image 2.5Make one like it

8 Kasım 2026'da Alibaba ve birkaç Asya üniversitesinden araştırmacılar, yapay zeka kodlama ajanlarının gerçek dünyadaki uygulama düzenleme görevlerinin çoğunda hâlâ yetersiz kaldığını açıkladı. Yeni Co-Design Bench testinde en iyi model görevlerin yalnızca yüzde 26,4'ünü eksiksiz tamamladı. Yani her dört işin neredeyse üçünde insanın toparlaması gerekti. Bugün kodlama ajanı kullanan ekipler için pratik çıkarım basit: Onları işi tek başına bitiren araçlar olarak değil, güçlü asistanlar olarak görün ve bir sıralama tablosuna güvenmeden önce modeli çalışma ortamıyla birlikte test edin.

Yeni test neler ortaya koydu

Co-Design Bench, eski kodlama testlerine kıyasla gerçek ürün geliştirme işine daha çok benzeyecek şekilde tasarlandı. Temiz ve izole görevler yerine, ajanlardan gerçek kullanıcı değişiklik taleplerine göre mevcut web uygulamalarını düzenlemelerini istiyor; bazen girdi olarak görsel, ses, video veya belge de kullanılıyor. Makaleye göre test edilen on model arasında en iyi performansı GPT-6 Astra gösterdi. Model, bir görevin gereksinimlerinin ortalama yaklaşık yüzde 70'ini karşıladı, ancak çalışması görevlerin yalnızca yüzde 26,4'ünde tamamen doğruydu.

GPT-6 Astra'nın Co-Design Bench'teki tam tamamlama oranı
Çok modlu kategori41%
Depo kategorisi17.9%
Kaynak makalede atıfta bulunulan makale grafiklerindeki Co-Design Bench sonuçları.
Kâğıt kesme tarzında bir robot tamirci, tezgâhta bir masaüstü monitörü sıkıştırıyor; yanında gevşek bir cıvata ve sarkan bir kablo var.
Robot özelliğin büyük kısmını teslim edebiliyor, ama kalan son pürüzler de önemli.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Puanlar neden eski testlerden çok daha düşük

Araştırmacılar, eski kodlama testlerinin çoğunun ajan tabanlı sistemler için fazla kolaylaştığını savunuyor. Bir model kendi kodunu çalıştırıp inceleyip düzeltebildiğinde puanlar yüzde 99'un üzerine çıkabiliyor ve bu da güçlü sistemleri birbirinden ayırt etmeyi zorlaştırıyor. Co-Design Bench bunun önüne geçmek için, kullanıcıların talimatları sık sık yeniden ifade etmek ya da hatalı değişiklikleri geri almak zorunda kaldığı oturumlardan alınan gerçek talepleri kullanıyor. Puanlama da katı: Bir yapay zeka hakemi bitmiş uygulamayı tarayıcıda test ediyor, ardından ikinci bir hakem olumlu sonuçları yeniden kontrol ediyor ve sahte tasarımlar ya da koda gömülü kestirmeler arıyor. Özellikler ancak gerçekten çalışıyorsa sayılıyor.

En zor görevler, yerleşim, tasarım, etkileşim ve içerik güncellemeleri gibi birkaç değişiklik türünü aynı anda içerenlerdi. Bir görev üç ya da dört düzenleme türü gerektirdiğinde tüm modellerin performansı düştü. Çalışma ayrıca çalışma ortamının (harness) neredeyse model kadar önemli olduğunu ortaya koydu. Bir karşılaştırmada Qwen3.8-27B, daha kapsamlı yenilemelerde çalıştırıldığı ortama bağlı olarak yüzde 75 ya da yüzde 56 puan aldı. Bu da şirketlerin modeli ve ajan kurulumunu birlikte değerlendirmesi gerektiği anlamına geliyor. Testin sınırları da var: Her görev tek bir sabit talep kullanıyor, sonradan yapılan açıklamalar testin parçası değil ve yapay zeka hakemleri yine de hata yapabiliyor.

İki bilgisayar masası arasında alet kemerleri tutan kâğıt kesme tarzı bir robot; ekranlardan biri koyu, diğeri açık renkli kod gösteriyor.
Aynı kodlama botu, farklı kurulumlar ve çarpıcı biçimde farklı sonuçlar.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Bu, kodlama ajanlarının işe yaramadığı anlamına mı geliyor?

Hayır. Sonuçlar, ajanların işin büyük bir kısmını yapabildiğini ama yine de sıklıkla en az bir gereksinimi kaçırdığını gösteriyor. Bu da onları uygulamayı hızlandırmak için faydalı, ancak incelemeden kullanmak için riskli kılıyor.

Co-Design Bench'i eski kodlama testlerinden ayıran ne?

Daha temiz test görevleri yerine mevcut web uygulamalarına yönelik gerçek kullanıcı değişiklik taleplerini kullanıyor. Bazı görevler ajanların görsel, ses, video veya belge kullanmasını da gerektiriyor ve puanlama, bitmiş uygulamanın tarayıcıda gerçekten çalışıp çalışmadığını kontrol ediyor.

Gerçek dünya görevleri bu ajanlar için neden daha zor görünüyor?

Gerçek talepler çoğu zaman tasarım, yerleşim, etkileşim ve içerik değişiklikleri gibi birkaç düzenleme türünü bir arada içeriyor. Çalışma, bu tür karma işlerin test edilen tüm modellerde performansı tutarlı biçimde düşürdüğünü gösterdi.

Ekipler bir kodlama ajanı seçmeden önce ne yapmalı?

Yalnızca bir model sıralama tablosuna güvenmeyin. Modeli, kullanmayı planladığınız çalışma ortamı ya da ajan ortamıyla birlikte test edin ve gerçek ürün değişikliklerinize benzeyen görevlerde çalıştırın.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

All tools for "From a description"

More from Lumeta

All Haberler