Mengapa Benchmark Coding AI Gagal dalam Tugas Dunia Nyata

Agen AI unggul di benchmark coding, tetapi masih butuh bantuan manusia untuk tugas dunia nyata yang kompleks.

3 min read

Mengapa Benchmark Coding AI Gagal dalam Tugas Dunia Nyata

Illustration made on Lumeta with GPT Image 2.5Make one like it

Pada 8 Nov. 2026, peneliti dari Alibaba dan sejumlah universitas di Asia melaporkan bahwa agen coding AI masih belum mampu menyelesaikan sebagian besar tugas pengeditan aplikasi di dunia nyata. Dalam uji baru mereka, Co-Design Bench, model terbaik hanya menyelesaikan sepenuhnya 26.4 persen tugas, sehingga hampir tiga dari empat pekerjaan masih perlu dirapikan manusia. Bagi tim yang memakai agen coding saat ini, pelajarannya sederhana: perlakukan mereka sebagai asisten yang andal, bukan penyelesai yang bisa dilepas begitu saja, dan uji model bersama lingkungan kerjanya sebelum mengandalkan leaderboard.

Temuan benchmark baru ini

Co-Design Bench dirancang agar lebih mirip pekerjaan produk sungguhan dibanding tes coding lama. Alih-alih tugas yang rapi dan terisolasi, benchmark ini meminta agen memodifikasi aplikasi web yang sudah ada berdasarkan permintaan perubahan dari pengguna nyata, terkadang dengan input berupa gambar, audio, video, atau dokumen. Menurut makalahnya, GPT-6 Astra menjadi yang terbaik dari sepuluh model yang diuji. Rata-rata model ini memenuhi sekitar 70 persen persyaratan tugas, tetapi hasil kerjanya benar sepenuhnya hanya pada 26.4 persen tugas.

Tingkat penyelesaian ketat GPT-6 Astra di Co-Design Bench
Jalur multimodal41%
Jalur repositori17.9%
Hasil Co-Design Bench berdasarkan grafik dalam makalah yang dikutip artikel sumber.
Robot mekanik bergaya potongan kertas mengencangkan monitor desktop di meja kerja, dengan baut longgar dan kabel menjuntai.
Robot bisa menyelesaikan sebagian besar fitur, tetapi sisa-sisa yang belum beres tetap penting.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Mengapa skornya jauh lebih rendah dibanding tes lama

Para peneliti berpendapat banyak benchmark coding lama sudah terlalu mudah bagi sistem agentik. Ketika model bisa menjalankan, memeriksa, dan merevisi kodenya sendiri, skor bisa menembus 99 persen, sehingga sulit membedakan sistem yang benar-benar kuat. Co-Design Bench berusaha menghindari hal itu dengan memakai permintaan nyata dari sesi di mana pengguna kerap harus mengulang instruksi atau membatalkan perubahan yang buruk. Penilaiannya pun ketat: satu juri AI menguji aplikasi jadi di browser, lalu juri kedua memeriksa ulang hasil positif dan mencari mock-up atau jalan pintas yang di-hardcode. Fitur hanya dihitung jika benar-benar berfungsi.

Tugas tersulit adalah yang memadukan beberapa jenis perubahan sekaligus, seperti tata letak, desain, interaksi, dan pembaruan konten. Performa semua model menurun ketika tugas menuntut tiga atau empat jenis pengeditan. Studi ini juga menemukan bahwa harness hampir sama pentingnya dengan model. Dalam satu perbandingan, Qwen3.8-27B meraih skor 75 atau 56 persen pada perombakan besar, tergantung lingkungan tempat model itu dijalankan. Artinya, perusahaan sebaiknya mengevaluasi model dan pengaturan agen sebagai satu paket. Benchmark ini juga punya keterbatasan: setiap tugas memakai satu permintaan tetap, klarifikasi lanjutan tidak termasuk dalam tes, dan juri AI tetap bisa keliru.

Robot bergaya potongan kertas di antara dua meja komputer, memegang sabuk perkakas; satu layar menampilkan kode bertema gelap, yang lain bertema terang.
Bot coding yang sama, pengaturan berbeda, dan hasilnya pun jauh berbeda.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Apakah ini berarti agen coding tidak berguna?

Tidak. Hasilnya menunjukkan agen ini bisa mengerjakan sebagian besar pekerjaan, tetapi masih sering melewatkan setidaknya satu persyaratan. Karena itu, mereka berguna untuk mempercepat implementasi, tetapi berisiko jika dipakai tanpa peninjauan.

Apa yang membedakan Co-Design Bench dari benchmark coding lama?

Benchmark ini memakai permintaan perubahan dari pengguna nyata pada aplikasi web yang sudah ada, bukan tugas benchmark yang lebih rapi. Sebagian tugas juga mengharuskan agen memakai gambar, audio, video, atau dokumen, dan penilaiannya memeriksa apakah aplikasi jadi benar-benar berfungsi di browser.

Mengapa tugas dunia nyata tampak lebih sulit bagi agen-agen ini?

Permintaan nyata sering menggabungkan beberapa jenis pengeditan sekaligus, seperti perubahan desain, tata letak, interaksi, dan konten. Studi ini menemukan bahwa pekerjaan campuran semacam ini secara konsisten menurunkan performa semua model yang diuji.

Apa yang perlu dilakukan tim sebelum memilih agen coding?

Jangan hanya mengandalkan leaderboard model. Uji model bersama harness atau lingkungan agen yang akan Anda gunakan, dan jalankan pada tugas yang menyerupai perubahan produk Anda yang sebenarnya.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

All tools for "From a description"

More from Lumeta

All Berita