Taste-Bench测评显示:AI智能体仍难以做出长期决策

新基准 Taste-Bench 发现,AI 智能体在长期决策上表现薄弱:最佳模型得分仅 59.7%,而当收益要很晚才显现时,结果几乎跌至随机猜测水平。

3 min read

Taste-Bench测评显示:AI智能体仍难以做出长期决策

Illustration made on Lumeta with GPT Image 2.5Make one like it

2026 年 10 月 18 日,来自 Microsoft 和香港城市大学的研究人员推出了 Taste-Bench,这是一个针对长时程智能体决策的基准测试。初步结果相当直白:当前的 AI 智能体并不擅长选择长期来看更好的路径。研究中表现最好的模型得分为 59.7%,而当某个选择的好处要到很久之后才显现时,表现几乎降到随机水平。对于在编程或研究任务中使用智能体的人来说,这一点值得重视。

Taste-Bench 究竟测什么

Taste-Bench 关注的不是智能体最终能否完成任务,而是它能否在工作的关键分岔点识别出更好的方向。该基准包含 502 道题,均取材于编程和 AI 研究任务中的真实智能体轨迹。在每个决策分岔点,后续步骤被隐藏,模型必须在结果明朗之前从两条路径中做出选择。由于每道题都会问两次,第二次将选项顺序对调,按照论文的规则,纯靠猜测只能得到 25% 的分数。

走廊里的小机器人面对两扇敞开的门:左边是整洁的书房,右边是杂乱的工作间。
在这个岔路口,机器人仍需猜测哪一种未来会在日后带来回报。

Illustration made on Lumeta with GPT Image 2.5Make one like it

现有模型表现如何

核心结果并不亮眼。GPT-5.6 Sol 以 59.7% 位居榜首,GPT-5.5 以 59.5% 紧随其后,其余受测模型则明显落后。更难的情形是关键线索要在大量后续工作之后才出现:当线索已在前文语境中可见时,各模型平均准确率为 62.3%;而当线索只在大量后续步骤之后才浮现时,平均准确率仅为 21.0%。研究人员还测试了不同的推理预算,发现思考更久几乎没有改变准确率。

经过训练的品味模型提供建议,提升了 SWE-bench Pro 成绩
无建议14.6%
学生模型建议33.7%
完美建议39%
Pan 等人,在 41 个保留的 SWE-bench Pro 任务上的干预结果
剪纸风格场景:在布满线缆、带有 OpenAI 标志的工作间里,一个大机器人把一枚发光的指南针递给小机器人。
当最佳选择要很久之后才见成效时,一点指引就能派上用场。

Illustration made on Lumeta with GPT Image 2.5Make one like it

论文中更令人鼓舞的部分在于,这种判断力似乎是可以训练的。团队以 Qwen3.6-27B 为基座,将教师模型的决策蒸馏到一个只能看到基准题目本身的学生模型中。在未见过的任务上,该学生模型的判断准确率从 30.0% 提升至 47.9%。当学生模型在每个分岔点向另一个独立智能体提供建议时,在 41 个保留的 SWE-bench Pro 任务上的成功率从 14.6% 提升至 33.7%。作者表示,这表明长期规划的品味不仅可以观察,还可以衡量和提升。他们还公开了基准和代码。

这里的“品味”对 AI 智能体意味着什么?

在这篇论文中,“品味”指的是智能体在长任务中、在收益尚不明显之前选择更好路径的能力。它关乎中间决策时的判断力,而不仅仅是最终答案能否通过测试。

表现真的接近随机吗?

有时确实如此。在该基准的评分设置下,由于每道题必须在两种选项顺序下都答对,纯猜测的得分为 25%。当有用的证据只在轨迹很靠后的位置出现时,各模型的平均准确率降至 21.0%,接近这一随机基线。

给模型更多推理时间有帮助吗?

帮助不大。研究人员针对两个模型测试了不同的推理设置,结果显示从较低推理预算提升到较高推理预算,准确率几乎没有变化。

如果模型仍能完成部分任务,这为什么重要?

因为智能体可能在早期做出一个起初看似没问题、却在后来引发麻烦的选择。在编程和研究工作中,这些隐藏的错误决策可能浪费预算、阻碍后续修改,或让智能体走上一条徒劳无功的道路。

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

Seedance 2.5使用全球最佳视频生成器 Seedance 2.0 和 2.5 生成视频

All tools for "From a description"

More from Lumeta

All 新闻