Kod Ludzki z 2020 roku pokonał agentów kodowanych wibacyjnie w testach agenckich

Narzędzia do kodowania wibacyjnego, takie jak ChatGPT, zostały poddane testom w prawie 40 000 meczach – i przegrały z kodem napisanym przez studentów przed wynalezieniem dużych modeli językowych.

W nowym badaniu przeprowadzonym w Wielkiej Brytanii, badacze skonfrontowali agentów kodowanych przez ludzi z agentami kodowanymi wibacyjnie, opracowanymi przy użyciu najnowszych dużych modeli językowych (LLM), takich jak ChatGPT-5 i Claude, i stwierdzili, że agenci stworzeni bez pomocy AI łatwo pokonali wersje ułatwione przez AI.

Oba zestawy agentów zostały stworzone przez różne pokolenia studentów z Laboratorium Sztucznej Inteligencji na Federalnej Szwajcarskiej Uczelni Technicznej w Lozannie. Agenci niezależni od AI zostały opracowane w ramach kursu w 2020 roku, dwa lata przed powstaniem ChatGPT i rozpoczęciem rewolucji LLM, podczas gdy nowi agenci zostali stworzeni przez obecnych studentów, wspomaganych przez najnowsze i najlepsze LLM dostępne.

Nawet przy sfałszowanym meczu, rozwiązania kodowane wibacyjnie nie mogły wygrać, a pięć pierwszych miejsc było stale zajmowanych przez “surowe” agenty, a większość agentów LLM (33 z 40) została łatwo pokonana przez “bardzo proste” agenty bazowe, w 38 304 meczach w turnieju, na szerokim zakresie zmiennych i okoliczności.

W artykule stwierdza się:

‘Nasza praca pokazuje, że chociaż najnowsze LLM mogą generować kod, który działa (tj. wolny od błędów składni), wygenerowany rozwiązanie nie jest konkurencyjne wobec rozwiązań zaprojektowanych przez ludzi w wymiarach takich jak planowanie strategiczne, optymalizacja lub współzawodnictwo wielu agentów.

‘Dlatego ta praca przybliża nową granicę w generowaniu kodu i ma na celu ułatwienie rozwoju benchmarków, zbiorów danych i otwartych baz, które podkreślają syntezę kodu napędzaną rozumowaniem.’

Zaplanowany wyzwanie polegało na kreatywnym udziale w aukcjach, w różnych strategiach, oraz na zorganizowaniu logistyki dostarczania wygranych przedmiotów do zwycięzców.

Autorzy zauważają, że wiele zalet zostało przyznanych LLM, takich jak ingerowanie w ich kod w celu poprawy ich wyników – co nie było dozwolone dla kodu z 2020 roku. Mimo to, nawet gdy dostarczono poprawiony kod, który zdecydowanie poprawiłby ich wyniki, LLM nie były w stanie go wykorzystać:

‘[W] naszym teście, nawet gdy eksponujemy dobre rozwiązanie w kontekście, LLM nadal nie jest w stanie je wykorzystać.

‘To wynik również podnosi interesujące pytania dotyczące granic uczenia się w kontekście i rozwiązywania problemów z uzupełnieniem w złożonych scenariuszach.’

LLM użyte w teście to GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1 oraz DeepSeek R1*.

Nowy artykuł pt. Czy kodowanie wibacyjne może pokonać studentów studiów magisterskich? Turniej LLM vs. kodowanie ludzkie w strategicznym planowaniu rynkowym, pochodzi od jednego autora z Uniwersytetu w Southampton i innego z Uniwersytetu w Oksfordzie i Instytutu Alana Turinga. Benchmark, jak stwierdzają autorzy, zostanie opublikowany wkrótce.

Metoda

Autorzy zauważają, że tradycyjne testy w tej dziedzinie koncentrują się na wyzwaniach z wyraźnie zdefiniowanymi binarnymi rozwiązaniami (poprawne lub niepoprawne), zweryfikowanymi za pomocą testów jednostkowych. Twierdząc, że nie jest to idealny sposób na zbadanie ograniczeń kodowania LLM, autorzy opracowali bardziej złożony scenariusz wyzwania, z wieloma wewnętrznymi benchmarkami i kamieniami milowymi, w którym zwycięstwo jest możliwe, ale dalekie od prostej:…