Taste-Bench: ИИ-агенты по-прежнему плохо принимают долгосрочные решения
Новый бенчмарк Taste-Bench показал, что ИИ-агенты плохо справляются с долгосрочными решениями: лучший результат составил 59.7 процента, а когда выгода проявлялась поздно, точность падала почти до уровня угадывания.
Illustration made on Lumeta with GPT Image 2.5Make one like it
18 октября 2026 года исследователи из Microsoft и Городского университета Гонконга представили Taste-Bench, бенчмарк для оценки решений агентов в длительных задачах, и первые выводы звучат прямолинейно: современные ИИ-агенты не слишком хорошо выбирают более удачный долгосрочный путь. Лучшая модель в исследовании набрала 59.7 процента, а когда польза от выбора становилась заметна лишь значительно позже, результаты опускались почти до случайных. Это важно для всех, кто использует агентов в программировании или исследовательской работе.
Что на самом деле проверяет Taste-Bench
Taste-Bench не спрашивает, доведёт ли агент задачу до конца. Он проверяет, способен ли агент распознать лучшее направление в ключевой развилке работы. Бенчмарк содержит 502 вопроса, составленных на основе реальных траекторий агентов в задачах по программированию и исследованиям в области ИИ. В каждой развилке последующие шаги скрыты, и модель должна выбрать один из двух путей до того, как исход станет очевиден. Поскольку каждый вопрос задаётся дважды, второй раз с переставленными вариантами, простое угадывание по правилам статьи даёт лишь 25 процентов.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Как показали себя современные модели
Главный результат оказался скромным. Лидером бенчмарка стала GPT-5.6 Sol с 59.7 процента, за ней с минимальным отставанием шла GPT-5.5 с 59.5 процента, а остальные протестированные модели заметно уступали. Сложнее всего давались случаи, где решающая подсказка появлялась лишь после большого объёма последующей работы: средняя точность моделей составляла 62.3 процента, когда подсказка уже была видна в предшествующем контексте, и всего 21.0 процента, когда она проявлялась только после множества дальнейших шагов. Исследователи также проверили разные бюджеты на рассуждения и выяснили, что более долгое «обдумывание» почти не влияет на точность.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Более обнадёживающая часть работы в том, что такое суждение, судя по всему, поддаётся обучению. Взяв за основу Qwen3.6-27B, команда дистиллировала решения модели-учителя в модель-ученика, которая видела только сам вопрос бенчмарка. На незнакомых задачах точность суждений ученика выросла с 30.0 до 47.9 процента. Когда ученик давал советы в каждой развилке отдельному агенту, доля успешно решённых задач среди 41 отложенной задачи SWE-bench Pro выросла с 14.6 до 33.7 процента. По словам авторов, это показывает, что «вкус» к долгосрочному планированию можно измерять и улучшать, а не только наблюдать. Бенчмарк и код они также выложили в открытый доступ.
Что здесь означает «вкус» применительно к ИИ-агенту?
В этой статье «вкус» означает способность агента выбирать более удачный путь в ходе длительной задачи до того, как выгода станет очевидной. Речь идёт о качестве промежуточных решений, а не только о том, проходит ли итоговый ответ проверку.
Действительно ли результаты были близки к случайным?
Иногда да. По правилам оценки бенчмарка простое угадывание даёт 25 процентов, поскольку на каждый вопрос нужно правильно ответить при обоих порядках вариантов. Когда полезные сведения появлялись лишь намного позже в траектории, средняя точность моделей падала до 21.0 процента, то есть почти до этого случайного уровня.
Помогло ли моделям дополнительное время на рассуждения?
Не особенно. Исследователи проверили разные настройки рассуждений для двух моделей и сообщили, что переход от меньших бюджетов к большим почти не изменил точность.
Почему это важно, если модель всё равно справляется с частью задач?
Потому что агент может принять раннее решение, которое поначалу выглядит нормально, но потом создаёт проблемы. В программировании и исследованиях такие скрытые неудачные решения могут впустую расходовать бюджет, мешать будущим изменениям или уводить агента по бесперспективному пути.


