AIコーディングのベンチマークが実務で通用しない理由

AIエージェントはコーディングのベンチマークで高得点を出すものの、複雑な実務タスクでは依然として人の手助けが必要だ。

5 min read

AIコーディングのベンチマークが実務で通用しない理由

Illustration made on Lumeta with GPT Image 2.5Make one like it

2026年11月8日、Alibabaとアジアの複数の大学の研究者は、AIコーディングエージェントが実際のアプリ編集タスクの大半でまだ力不足だと報告した。新たなテスト「Co-Design Bench」では、最も優秀なモデルでも完全に完了できたのはタスクの26.4%にとどまり、4件中ほぼ3件で人による後始末が必要だった。現在コーディングエージェントを使っているチームにとって、実践的な教訓はシンプルだ。エージェントは任せきりにできる完成役ではなく強力なアシスタントとして扱い、リーダーボードを頼りにする前に、モデルを実際の作業環境と組み合わせてテストすることだ。

新しいベンチマークで判明したこと

Co-Design Benchは、従来のコーディングテストよりも実際のプロダクト開発に近づけるよう設計されている。整理された独立したタスクではなく、実ユーザーの変更依頼にもとづいて既存のWebアプリを修正するようエージェントに求め、入力として画像、音声、動画、ドキュメントを使う場合もある。論文によると、テストした10モデルのうちトップはGPT-6 Astraだった。平均でタスク要件の約70%を満たしたが、作業が完全に正しかったのはタスクの26.4%にすぎなかった。

Co-Design BenchにおけるGPT-6 Astraの厳密完了率
マルチモーダル部門41%
リポジトリ部門17.9%
元記事で引用された論文の図に示されたCo-Design Benchの結果。
作業台でデスクトップモニターを締め直す切り絵風のロボット整備士。ボルトが緩み、ワイヤーが垂れ下がっている。
ロボットは機能の大部分を仕上げられるが、最後の詰めの甘さが問題になる。

Illustration made on Lumeta with GPT Image 2.5Make one like it

従来のテストよりスコアが大幅に低い理由

研究者らは、従来のコーディングベンチマークの多くがエージェント型システムにとって簡単になりすぎたと主張する。モデルが自らコードを実行し、確認し、修正できる場合、スコアは99%を超えることもあり、優れたシステム同士の差がわかりにくくなる。Co-Design Benchは、ユーザーが指示を言い直したり、まずい変更を取り消したりすることが多かったセッションの実際の依頼を使うことで、この問題を回避しようとしている。採点も厳格だ。まず1つのAI審査役がブラウザで完成したアプリをテストし、次に2つ目のAI審査役が合格判定を再確認して、モックアップやハードコードによる手抜きがないかを調べる。機能は実際に動作して初めてカウントされる。

最も難しかったのは、レイアウト、デザイン、インタラクション、コンテンツ更新など、複数種類の変更を同時に含むタスクだった。3種類や4種類の編集を要するタスクでは、すべてのモデルの成績が落ちた。また研究では、ハーネスがモデルとほぼ同じくらい重要であることもわかった。ある比較では、Qwen3.8-27Bが大規模な改修タスクで、実行環境によって75%または56%のスコアを記録した。つまり企業は、モデルとエージェント構成をセットで評価すべきだということだ。ただしベンチマークにも限界がある。各タスクは固定された1つの依頼を使い、追加の確認のやり取りはテストに含まれず、AI審査役も誤りを犯しうる。

2つのPCデスクの間に立ち、工具ベルトを持つ切り絵風のロボット。片方の画面にはダークテーマのコード、もう片方にはライトテーマのコードが表示されている。
同じコーディングボットでも、構成が違えば結果は大きく変わる。

Illustration made on Lumeta with GPT Image 2.5Make one like it

これはコーディングエージェントが役に立たないということか?

そうではない。結果からは、エージェントが作業の大部分をこなせる一方で、少なくとも1つの要件を見落とすことが多いとわかる。つまり実装の高速化には役立つが、レビューなしで使うのは危険だ。

Co-Design Benchは従来のコーディングベンチマークと何が違うのか?

整理されたベンチマーク用タスクではなく、既存のWebアプリに対する実ユーザーの変更依頼を使う。画像、音声、動画、ドキュメントの活用をエージェントに求めるタスクもあり、採点では完成したアプリがブラウザで実際に動作するかを確認する。

なぜ実務タスクはエージェントにとって難しいのか?

実際の依頼は、デザイン、レイアウト、インタラクション、コンテンツの変更など、複数種類の編集を同時に含むことが多い。研究では、こうした複合的な作業が、テストしたすべてのモデルで一貫して成績を下げることがわかった。

コーディングエージェントを選ぶ前にチームは何をすべきか?

モデルのリーダーボードだけに頼らないこと。使う予定のハーネスやエージェント環境とモデルを組み合わせてテストし、自社の実際のプロダクト変更に近いタスクで試すべきだ。

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

All tools for "From a description"

More from Lumeta

All ニュース