Dlaczego benchmarki programowania AI zawodzą przy prawdziwych zadaniach
Agenci AI błyszczą w benchmarkach programistycznych, ale przy złożonych, rzeczywistych zadaniach wciąż potrzebują pomocy człowieka.
Illustration made on Lumeta with GPT Image 2.5Make one like it
8 listopada 2026 roku badacze z Alibaby i kilku azjatyckich uczelni poinformowali, że agenci AI do programowania wciąż nie radzą sobie z większością rzeczywistych zadań polegających na modyfikowaniu aplikacji. W ich nowym teście Co-Design Bench najlepszy model w pełni ukończył tylko 26.4 procent zadań, więc poprawki człowieka były potrzebne w niemal trzech na cztery przypadki. Dla zespołów, które już korzystają z agentów programistycznych, praktyczny wniosek jest prosty: traktujcie je jako mocnych asystentów, a nie samodzielnych wykonawców, i zanim zaufacie rankingom, testujcie model razem z jego środowiskiem pracy.
Co wykazał nowy benchmark
Co-Design Bench ma bardziej przypominać rzeczywistą pracę nad produktem niż starsze testy programistyczne. Zamiast czystych, odizolowanych zadań benchmark wymaga od agentów modyfikowania istniejących aplikacji webowych na podstawie prawdziwych próśb użytkowników o zmiany, czasem z obrazami, nagraniami audio, wideo lub dokumentami jako danymi wejściowymi. Według publikacji najlepiej spośród dziesięciu testowanych modeli wypadł GPT-6 Astra. Średnio spełniał około 70 procent wymagań zadania, ale jego praca była w pełni poprawna tylko w 26.4 procent zadań.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Dlaczego wyniki są znacznie niższe niż w starszych testach
Badacze twierdzą, że wiele starszych benchmarków programistycznych stało się zbyt łatwych dla systemów agentowych. Gdy model może uruchamiać, analizować i poprawiać własny kod, wyniki potrafią przekroczyć 99 procent, przez co trudno odróżnić od siebie mocne systemy. Co-Design Bench próbuje tego uniknąć, korzystając z prawdziwych próśb z sesji, w których użytkownicy często musieli powtarzać polecenia lub cofać nieudane zmiany. Ocena jest również surowa: jeden sędzia AI testuje gotową aplikację w przeglądarce, a drugi ponownie weryfikuje pozytywne wyniki i szuka makiet lub zakodowanych na sztywno skrótów. Funkcje liczą się tylko wtedy, gdy naprawdę działają.
Najtrudniejsze okazały się zadania łączące kilka rodzajów zmian naraz, np. w układzie, projekcie graficznym, interakcjach i treści. Każdy model radził sobie gorzej, gdy zadanie wymagało trzech lub czterech typów edycji. Badanie wykazało też, że harness ma niemal tak samo duże znaczenie jak sam model. W jednym z porównań Qwen3.8-27B uzyskał 75 lub 56 procent przy większych przebudowach, w zależności od środowiska, w którym go uruchomiono. Oznacza to, że firmy powinny oceniać model i konfigurację agenta jako całość. Benchmark ma też ograniczenia: każde zadanie opiera się na jednej, stałej prośbie, test nie obejmuje dopytywania o szczegóły, a sędziowie AI wciąż mogą się mylić.

Illustration made on Lumeta with GPT Image 2.5Make one like it
Czy to oznacza, że agenci programistyczni są bezużyteczni?
Nie. Wyniki sugerują, że potrafią wykonać dużą część pracy, ale często pomijają przynajmniej jedno wymaganie. Dlatego dobrze sprawdzają się w przyspieszaniu implementacji, ale korzystanie z nich bez przeglądu jest ryzykowne.
Czym Co-Design Bench różni się od starszych benchmarków programistycznych?
Wykorzystuje prawdziwe prośby użytkowników o zmiany w istniejących aplikacjach webowych zamiast uporządkowanych zadań testowych. Niektóre zadania wymagają też od agentów korzystania z obrazów, audio, wideo lub dokumentów, a ocena sprawdza, czy gotowa aplikacja faktycznie działa w przeglądarce.
Dlaczego rzeczywiste zadania wydają się trudniejsze dla tych agentów?
Prawdziwe prośby często łączą kilka rodzajów zmian naraz, np. w projekcie graficznym, układzie, interakcjach i treści. Badanie wykazało, że tego typu mieszana praca konsekwentnie obniżała wyniki wszystkich testowanych modeli.
Co powinny zrobić zespoły przed wyborem agenta programistycznego?
Nie polegajcie wyłącznie na rankingu modeli. Testujcie model razem z harnessem lub środowiskiem agenta, którego zamierzacie używać, i sprawdzajcie go na zadaniach przypominających rzeczywiste zmiany w waszym produkcie.


