Taste-Bench测评显示:AI智能体仍难以做出长期决策
新基准 Taste-Bench 发现,AI 智能体在长期决策上表现薄弱:最佳模型得分仅 59.7%,而当收益要很晚才显现时,结果几乎跌至随机猜测水平。
Illustration made on Lumeta with GPT Image 2.5Make one like it
2026 年 10 月 18 日,来自 Microsoft 和香港城市大学的研究人员推出了 Taste-Bench,这是一个针对长时程智能体决策的基准测试。初步结果相当直白:当前的 AI 智能体并不擅长选择长期来看更好的路径。研究中表现最好的模型得分为 59.7%,而当某个选择的好处要到很久之后才显现时,表现几乎降到随机水平。对于在编程或研究任务中使用智能体的人来说,这一点值得重视。
Taste-Bench 究竟测什么
Taste-Bench 关注的不是智能体最终能否完成任务,而是它能否在工作的关键分岔点识别出更好的方向。该基准包含 502 道题,均取材于编程和 AI 研究任务中的真实智能体轨迹。在每个决策分岔点,后续步骤被隐藏,模型必须在结果明朗之前从两条路径中做出选择。由于每道题都会问两次,第二次将选项顺序对调,按照论文的规则,纯靠猜测只能得到 25% 的分数。

Illustration made on Lumeta with GPT Image 2.5Make one like it
现有模型表现如何
核心结果并不亮眼。GPT-5.6 Sol 以 59.7% 位居榜首,GPT-5.5 以 59.5% 紧随其后,其余受测模型则明显落后。更难的情形是关键线索要在大量后续工作之后才出现:当线索已在前文语境中可见时,各模型平均准确率为 62.3%;而当线索只在大量后续步骤之后才浮现时,平均准确率仅为 21.0%。研究人员还测试了不同的推理预算,发现思考更久几乎没有改变准确率。

Illustration made on Lumeta with GPT Image 2.5Make one like it
论文中更令人鼓舞的部分在于,这种判断力似乎是可以训练的。团队以 Qwen3.6-27B 为基座,将教师模型的决策蒸馏到一个只能看到基准题目本身的学生模型中。在未见过的任务上,该学生模型的判断准确率从 30.0% 提升至 47.9%。当学生模型在每个分岔点向另一个独立智能体提供建议时,在 41 个保留的 SWE-bench Pro 任务上的成功率从 14.6% 提升至 33.7%。作者表示,这表明长期规划的品味不仅可以观察,还可以衡量和提升。他们还公开了基准和代码。
这里的“品味”对 AI 智能体意味着什么?
在这篇论文中,“品味”指的是智能体在长任务中、在收益尚不明显之前选择更好路径的能力。它关乎中间决策时的判断力,而不仅仅是最终答案能否通过测试。
表现真的接近随机吗?
有时确实如此。在该基准的评分设置下,由于每道题必须在两种选项顺序下都答对,纯猜测的得分为 25%。当有用的证据只在轨迹很靠后的位置出现时,各模型的平均准确率降至 21.0%,接近这一随机基线。
给模型更多推理时间有帮助吗?
帮助不大。研究人员针对两个模型测试了不同的推理设置,结果显示从较低推理预算提升到较高推理预算,准确率几乎没有变化。
如果模型仍能完成部分任务,这为什么重要?
因为智能体可能在早期做出一个起初看似没问题、却在后来引发麻烦的选择。在编程和研究工作中,这些隐藏的错误决策可能浪费预算、阻碍后续修改,或让智能体走上一条徒劳无功的道路。


