Mengapa Benchmark Coding AI Gagal dalam Tugas Dunia Nyata
Agen AI unggul di benchmark coding, tetapi masih butuh bantuan manusia untuk tugas dunia nyata yang kompleks.
Illustration made on Lumeta with GPT Image 2.5Make one like it
Pada 8 Nov. 2026, peneliti dari Alibaba dan sejumlah universitas di Asia melaporkan bahwa agen coding AI masih belum mampu menyelesaikan sebagian besar tugas pengeditan aplikasi di dunia nyata. Dalam uji baru mereka, Co-Design Bench, model terbaik hanya menyelesaikan sepenuhnya 26.4 persen tugas, sehingga hampir tiga dari empat pekerjaan masih perlu dirapikan manusia. Bagi tim yang memakai agen coding saat ini, pelajarannya sederhana: perlakukan mereka sebagai asisten yang andal, bukan penyelesai yang bisa dilepas begitu saja, dan uji model bersama lingkungan kerjanya sebelum mengandalkan leaderboard.
Temuan benchmark baru ini
Co-Design Bench dirancang agar lebih mirip pekerjaan produk sungguhan dibanding tes coding lama. Alih-alih tugas yang rapi dan terisolasi, benchmark ini meminta agen memodifikasi aplikasi web yang sudah ada berdasarkan permintaan perubahan dari pengguna nyata, terkadang dengan input berupa gambar, audio, video, atau dokumen. Menurut makalahnya, GPT-6 Astra menjadi yang terbaik dari sepuluh model yang diuji. Rata-rata model ini memenuhi sekitar 70 persen persyaratan tugas, tetapi hasil kerjanya benar sepenuhnya hanya pada 26.4 persen tugas.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Mengapa skornya jauh lebih rendah dibanding tes lama
Para peneliti berpendapat banyak benchmark coding lama sudah terlalu mudah bagi sistem agentik. Ketika model bisa menjalankan, memeriksa, dan merevisi kodenya sendiri, skor bisa menembus 99 persen, sehingga sulit membedakan sistem yang benar-benar kuat. Co-Design Bench berusaha menghindari hal itu dengan memakai permintaan nyata dari sesi di mana pengguna kerap harus mengulang instruksi atau membatalkan perubahan yang buruk. Penilaiannya pun ketat: satu juri AI menguji aplikasi jadi di browser, lalu juri kedua memeriksa ulang hasil positif dan mencari mock-up atau jalan pintas yang di-hardcode. Fitur hanya dihitung jika benar-benar berfungsi.
Tugas tersulit adalah yang memadukan beberapa jenis perubahan sekaligus, seperti tata letak, desain, interaksi, dan pembaruan konten. Performa semua model menurun ketika tugas menuntut tiga atau empat jenis pengeditan. Studi ini juga menemukan bahwa harness hampir sama pentingnya dengan model. Dalam satu perbandingan, Qwen3.8-27B meraih skor 75 atau 56 persen pada perombakan besar, tergantung lingkungan tempat model itu dijalankan. Artinya, perusahaan sebaiknya mengevaluasi model dan pengaturan agen sebagai satu paket. Benchmark ini juga punya keterbatasan: setiap tugas memakai satu permintaan tetap, klarifikasi lanjutan tidak termasuk dalam tes, dan juri AI tetap bisa keliru.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Apakah ini berarti agen coding tidak berguna?
Tidak. Hasilnya menunjukkan agen ini bisa mengerjakan sebagian besar pekerjaan, tetapi masih sering melewatkan setidaknya satu persyaratan. Karena itu, mereka berguna untuk mempercepat implementasi, tetapi berisiko jika dipakai tanpa peninjauan.
Apa yang membedakan Co-Design Bench dari benchmark coding lama?
Benchmark ini memakai permintaan perubahan dari pengguna nyata pada aplikasi web yang sudah ada, bukan tugas benchmark yang lebih rapi. Sebagian tugas juga mengharuskan agen memakai gambar, audio, video, atau dokumen, dan penilaiannya memeriksa apakah aplikasi jadi benar-benar berfungsi di browser.
Mengapa tugas dunia nyata tampak lebih sulit bagi agen-agen ini?
Permintaan nyata sering menggabungkan beberapa jenis pengeditan sekaligus, seperti perubahan desain, tata letak, interaksi, dan konten. Studi ini menemukan bahwa pekerjaan campuran semacam ini secara konsisten menurunkan performa semua model yang diuji.
Apa yang perlu dilakukan tim sebelum memilih agen coding?
Jangan hanya mengandalkan leaderboard model. Uji model bersama harness atau lingkungan agen yang akan Anda gunakan, dan jalankan pada tugas yang menyerupai perubahan produk Anda yang sebenarnya.


