Почему бенчмарки ИИ для программирования не работают в реальных задачах
ИИ-агенты блестяще проходят бенчмарки по программированию, но со сложными реальными задачами без помощи человека пока не справляются.
Illustration made on Lumeta with GPT Image 2.5Make one like it
8 ноября 2026 года исследователи из Alibaba и ряда азиатских университетов сообщили, что ИИ-агенты для программирования по-прежнему не справляются с большинством реальных задач по доработке приложений. В их новом тесте Co-Design Bench лучшая модель полностью выполнила лишь 26.4 процента задач, так что почти в трех случаях из четырех результат все равно приходилось доводить до ума человеку. Для команд, которые уже используют таких агентов, практический вывод прост: считайте их сильными помощниками, а не исполнителями, которым можно доверить работу целиком, и тестируйте модель вместе с ее рабочим окружением, прежде чем полагаться на рейтинги.
Что показал новый бенчмарк
Co-Design Bench задуман так, чтобы больше походить на реальную работу над продуктом, чем прежние тесты. Вместо аккуратных изолированных задач агентам предлагают изменить существующие веб-приложения по реальным запросам пользователей, иногда с изображениями, аудио, видео или документами на входе. Согласно статье, лучшим из десяти протестированных моделей оказался GPT-6 Astra. В среднем он выполнял около 70 процентов требований задачи, но полностью корректной его работа была лишь в 26.4 процента случаев.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Почему результаты намного ниже, чем в прежних тестах
Исследователи утверждают, что многие старые бенчмарки по программированию стали слишком простыми для агентных систем. Когда модель может запускать, проверять и исправлять собственный код, результаты поднимаются выше 99 процентов, и сильные системы становится трудно различить. Co-Design Bench пытается этого избежать, используя реальные запросы из сессий, где пользователям часто приходилось переформулировать инструкции или откатывать неудачные изменения. Оценка тоже строгая: один ИИ-судья тестирует готовое приложение в браузере, затем второй перепроверяет положительные результаты и ищет макеты-заглушки или захардкоженные обходные пути. Функция засчитывается, только если она действительно работает.
Сложнее всего давались задачи, в которых сочеталось сразу несколько видов изменений: верстка, дизайн, взаимодействие и обновление контента. Все модели показывали худшие результаты, когда задача требовала трех или четырех типов правок. Исследование также показало, что обвязка (harness) значит почти столько же, сколько сама модель. В одном из сравнений Qwen3.8-27B набрала 75 или 56 процентов на крупных переработках в зависимости от окружения, в котором ее запускали. Значит, компаниям стоит оценивать модель и конфигурацию агента в паре. У бенчмарка есть и ограничения: в каждой задаче используется один фиксированный запрос, уточняющие вопросы в тест не входят, а ИИ-судьи тоже могут ошибаться.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Значит ли это, что агенты для программирования бесполезны?
Нет. Результаты говорят о том, что они способны выполнить значительную часть работы, но часто упускают хотя бы одно требование. Поэтому они полезны для ускорения разработки, но использовать их без ревью рискованно.
Чем Co-Design Bench отличается от прежних бенчмарков по программированию?
В нем используются реальные запросы пользователей на изменение существующих веб-приложений, а не вычищенные бенчмарк-задачи. В некоторых задачах агентам также нужно работать с изображениями, аудио, видео или документами, а при оценке проверяется, действительно ли готовое приложение работает в браузере.
Почему реальные задачи даются этим агентам сложнее?
Реальные запросы часто объединяют сразу несколько типов правок: дизайн, верстку, взаимодействие и контент. Исследование показало, что такая смешанная работа стабильно снижала результаты у всех протестированных моделей.
Что командам стоит сделать перед выбором агента для программирования?
Не полагайтесь только на рейтинг моделей. Тестируйте модель вместе с обвязкой или агентным окружением, которое планируете использовать, и проверяйте ее на задачах, похожих на реальные изменения в вашем продукте.


