Taste-Bench、AIエージェントは長期的な意思決定がいまだ苦手と判明

新たなベンチマーク「Taste-Bench」により、AIエージェントは長期的な選択が苦手であることが明らかになった。最高スコアは59.7%にとどまり、効果が遅れて現れるケースでは当て推量に近い水準まで成績が落ち込んだ。

5 min read

Taste-Bench、AIエージェントは長期的な意思決定がいまだ苦手と判明

Illustration made on Lumeta with GPT Image 2.5Make one like it

2026年10月18日、MicrosoftとCity University of Hong Kongの研究者らは、長時間稼働するエージェントの意思決定を評価するベンチマーク「Taste-Bench」を発表した。初期結果は率直なものだ。現在のAIエージェントは、長期的により良い道を選ぶのがあまり得意ではない。研究で最も優れたモデルのスコアは59.7%で、選択の利点がずっと後になって初めて見えるケースでは、成績はほぼランダムな水準まで低下した。コーディングやリサーチのタスクにエージェントを使う人にとっては見過ごせない結果だ。

Taste-Benchが実際に測っているもの

Taste-Benchは、エージェントが最終的にタスクを完了できるかではなく、作業の重要な分岐点でより良い方向を見極められるかを問う。ベンチマークは、コーディングとAIリサーチのタスクにおける実際のエージェントの軌跡から作成された502問で構成される。各分岐点ではその後のステップが隠され、モデルは結果が明らかになる前に2つの道のどちらかを選ばなければならない。各問題は選択肢の順序を入れ替えて2回出題されるため、論文のルールでは純粋な当て推量のスコアは25%にしかならない。

廊下で2つの開いたドアに向き合う小さなロボット。左には整った書斎、右には散らかった作業場がある。
この分岐点で、ロボットはどちらの未来が後で報われるかを推測するしかない。

Illustration made on Lumeta with GPT Image 2.5Make one like it

現行モデルの成績

主要な結果は控えめなものだった。GPT-5.6 Solが59.7%でトップに立ち、GPT-5.5が59.5%で僅差の2位、残りのテスト対象モデルはそれを大きく下回った。難しかったのは、決め手となる手がかりがずっと後の作業を経て初めて現れるケースだ。手がかりが前段の文脈ですでに見えている場合、モデル全体の平均正答率は62.3%だったが、多くの後続ステップを経て初めて現れる場合はわずか21.0%だった。研究者らは推論予算を変えたテストも行ったが、長く考えさせても正答率はほとんど変わらなかった。

学習済みのtasteモデルによる助言でSWE-bench Proの成績が向上
助言なし14.6%
生徒モデルの助言33.7%
完璧な助言39%
Pan et al.、SWE-bench Proの未使用タスク41件における介入結果
ケーブルとOpenAIのロゴがある作業場で、大きなロボットが小さなロボットに光るコンパスを手渡す切り絵風の場面。
最善の一手がずっと後まで報われないとき、少しの導きが役に立つ。

Illustration made on Lumeta with GPT Image 2.5Make one like it

論文のより明るい部分は、この判断力が訓練可能に見える点だ。チームはQwen3.6-27Bをベースに、教師モデルの判断を、ベンチマークの問題そのものだけを見る生徒モデルへ蒸留した。未知のタスクにおいて、生徒モデルの判断の正答率は30.0%から47.9%に上昇した。さらに生徒モデルが各分岐点で別のエージェントに助言したところ、SWE-bench Proの未使用タスク41件での成功率は14.6%から33.7%に向上した。著者らは、長期的な計画における「taste」は観察するだけでなく、測定し改善できることが示されたとしている。ベンチマークとコードも公開されている。

ここで言うAIエージェントの「taste」とは何か?

この論文での「taste」とは、長いタスクの途中で、成果が明らかになる前により良い道を選ぶエージェントの能力を指す。最終的な答えがテストに通るかどうかだけでなく、途中の意思決定における判断力が問われる。

成績は本当にランダムに近かったのか?

場合によっては、そうだ。このベンチマークの採点方式では、各問題に両方の選択肢順序で正解する必要があるため、純粋な当て推量は25%になる。有用な証拠が軌跡のかなり後になって初めて現れる場合、モデル全体の平均正答率は21.0%まで下がり、このランダムな基準値に近い水準となった。

モデルに推論時間を多く与えると改善したのか?

あまり改善しなかった。研究者らは2つのモデルで異なる推論設定を試し、推論予算を低から高へ引き上げても正答率はほとんど変わらなかったと報告している。

モデルがタスクの一部を完了できるなら、なぜこれが重要なのか?

エージェントは、最初は問題なく見えても後で問題を生む選択を早い段階でしてしまうことがあるからだ。コーディングやリサーチの作業では、こうした隠れた誤った判断が予算を無駄にしたり、将来の変更を妨げたり、エージェントを非生産的な方向へ導いたりしかねない。

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5世界最高の動画生成モデル Seedance 2.0 と 2.5 で動画を生成

All tools for "From a description"

More from Lumeta

All ニュース