Почему бенчмарки ИИ для программирования не работают в реальных задачах

ИИ-агенты блестяще проходят бенчмарки по программированию, но со сложными реальными задачами без помощи человека пока не справляются.

3 min read

Почему бенчмарки ИИ для программирования не работают в реальных задачах

Illustration made on Lumeta with GPT Image 2.5Make one like it

8 ноября 2026 года исследователи из Alibaba и ряда азиатских университетов сообщили, что ИИ-агенты для программирования по-прежнему не справляются с большинством реальных задач по доработке приложений. В их новом тесте Co-Design Bench лучшая модель полностью выполнила лишь 26.4 процента задач, так что почти в трех случаях из четырех результат все равно приходилось доводить до ума человеку. Для команд, которые уже используют таких агентов, практический вывод прост: считайте их сильными помощниками, а не исполнителями, которым можно доверить работу целиком, и тестируйте модель вместе с ее рабочим окружением, прежде чем полагаться на рейтинги.

Что показал новый бенчмарк

Co-Design Bench задуман так, чтобы больше походить на реальную работу над продуктом, чем прежние тесты. Вместо аккуратных изолированных задач агентам предлагают изменить существующие веб-приложения по реальным запросам пользователей, иногда с изображениями, аудио, видео или документами на входе. Согласно статье, лучшим из десяти протестированных моделей оказался GPT-6 Astra. В среднем он выполнял около 70 процентов требований задачи, но полностью корректной его работа была лишь в 26.4 процента случаев.

Строгое выполнение задач GPT-6 Astra в Co-Design Bench
Мультимодальный трек41%
Трек репозиториев17.9%
Результаты Co-Design Bench по графикам из статьи, на которые ссылается исходный материал.
Робот-механик в стиле бумажной аппликации закручивает настольный монитор на верстаке; рядом болтается провод и лежит незатянутый болт.
Робот может сделать большую часть функции, но оставшиеся недоделки все равно важны.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Почему результаты намного ниже, чем в прежних тестах

Исследователи утверждают, что многие старые бенчмарки по программированию стали слишком простыми для агентных систем. Когда модель может запускать, проверять и исправлять собственный код, результаты поднимаются выше 99 процентов, и сильные системы становится трудно различить. Co-Design Bench пытается этого избежать, используя реальные запросы из сессий, где пользователям часто приходилось переформулировать инструкции или откатывать неудачные изменения. Оценка тоже строгая: один ИИ-судья тестирует готовое приложение в браузере, затем второй перепроверяет положительные результаты и ищет макеты-заглушки или захардкоженные обходные пути. Функция засчитывается, только если она действительно работает.

Сложнее всего давались задачи, в которых сочеталось сразу несколько видов изменений: верстка, дизайн, взаимодействие и обновление контента. Все модели показывали худшие результаты, когда задача требовала трех или четырех типов правок. Исследование также показало, что обвязка (harness) значит почти столько же, сколько сама модель. В одном из сравнений Qwen3.8-27B набрала 75 или 56 процентов на крупных переработках в зависимости от окружения, в котором ее запускали. Значит, компаниям стоит оценивать модель и конфигурацию агента в паре. У бенчмарка есть и ограничения: в каждой задаче используется один фиксированный запрос, уточняющие вопросы в тест не входят, а ИИ-судьи тоже могут ошибаться.

Робот в стиле бумажной аппликации стоит между двумя компьютерными столами с поясами для инструментов; на одном экране темный код, на другом светлый.
Один и тот же бот-программист, разные конфигурации и резко отличающиеся результаты.

Illustration made on Lumeta with GPT Image 2.5Make one like it

Значит ли это, что агенты для программирования бесполезны?

Нет. Результаты говорят о том, что они способны выполнить значительную часть работы, но часто упускают хотя бы одно требование. Поэтому они полезны для ускорения разработки, но использовать их без ревью рискованно.

Чем Co-Design Bench отличается от прежних бенчмарков по программированию?

В нем используются реальные запросы пользователей на изменение существующих веб-приложений, а не вычищенные бенчмарк-задачи. В некоторых задачах агентам также нужно работать с изображениями, аудио, видео или документами, а при оценке проверяется, действительно ли готовое приложение работает в браузере.

Почему реальные задачи даются этим агентам сложнее?

Реальные запросы часто объединяют сразу несколько типов правок: дизайн, верстку, взаимодействие и контент. Исследование показало, что такая смешанная работа стабильно снижала результаты у всех протестированных моделей.

Что командам стоит сделать перед выбором агента для программирования?

Не полагайтесь только на рейтинг моделей. Тестируйте модель вместе с обвязкой или агентным окружением, которое планируете использовать, и проверяйте ее на задачах, похожих на реальные изменения в вашем продукте.

Every top AI model, in one place

Nano Banana 2, GPT Image 2.5, Seedance, Veo and more, all on one credit balance. Start free with 35 credits a month. No card needed.

All tools for "From a description"

More from Lumeta

All Новости