Ihmiskoodi vuodelta 2020 voitti vibroitiin koodattuja agenteja agenteilla tehtyjen testien aikana

ChatGPT ja muut vibrointityökalut asetettiin testiin lähes 40 000 ottelussa – ja hävisivät gradun opiskelijoiden kirjoittamalle koodille, joka oli kirjoitettu ennen suurten kielen mallien keksimistä.

Uudessa tutkimuksessa Iso-Britanniasta tutkijat asettivat ihmiskoodatut agentit vastakkain vibroituilla agenteilla, jotka oli kehitetty viimeisimmillä suurilla kielen malleilla (LLM), kuten ChatGPT-5 ja Claude, ja havaitsivat, että ilman AI:n apua luodut agentit voittivat helposti AI:lla tehtyjä versioita.

Molemmat agenttiryhmät olivat kehittäneet eri sukupolvet opiskelijoita Sveitsin liittovaltion teknillisen korkeakoulun tekoälylaboratoriosta. Ilman AI:ta kehitetyt agentit olivat kehittäneet osana kurssityötä vuonna 2020, kaksi vuotta ennen ChatGPT:n syntymää ja LLM-vallankumouksen alkamista, kun taas uudet agentit olivat kehittäneet nykyiset opiskelijat, joilla oli käytössään viimeisimmät ja parhaat LLM:t.

Even kun peli oli “villitty”, vibroitetut ratkaisut eivät voineet voittaa, ja viiden parhaan sijan pitivät aina “raakat” agentit, ja useimmat LLM-agentit (33/40) hävisivät helposti “erittäin yksinkertaisille” perusagenteille, 38 304 haasteen aikana turnauksessa, laajalla joukolla muuttujia ja olosuhteita.

Tutkimusraportissa todetaan:

‘Tutkimuksemme osoittaa, että vaikka viimeisimmät LLM:t voivat generoida koodia, joka toimii (ts. ilman syntaksivirheitä), generoitu ratkaisu ei ole kilpailukykyinen ihmisten suunnittelemiin ratkaisuihin ulottuvuuksilla, kuten strategisen suunnittelun, optimoinnin tai monen agentin kilpailun.

‘Tämä työ tuo esiin tämän uuden koodigeneraation rintaman ja pyrkii edistämään benchmarkien, tietojoukkojen ja avoimen lähdekoodin kehittämistä, jotka korostavat päätöksenteon johtamaa koodin synteesiä.’

Haaste, joka keksittiin, oli osallistua luovasti huutokauppoihin, erilaisilla strategioilla, ja järjestää voitettujen tuotteiden toimitus voittajille.

Tutkijat huomauttavat, että useita etuja annettiin LLM:lle, kuten puuttuminen koodiin parantamaan sen suorituskykyä – etu, jota ei sallittu vuoden 2020 koodille. Vaikka niin oli, LLM:t eivät pystyneet hyödyntämään sitä tai käyttämään sitä:

‘[Meidän] benchmarkissa, vaikka me esittelemme hyvän ratkaisun kontekstissa, LLM ei voi käyttää sitä.

‘Tämä tulos herättää myös mielenkiintoisia tulevaisuuden tutkimuskysymyksiä in-kontekstin oppimisen ja haun parantamisen rajoista monimutkaisissa tilanteissa.’

LLM:t, jotka käytettiin testissä, olivat GPT-5 Thinking, Gemini 2.5 Pro, Claude Opus 4.1 ja DeepSeek R1*.

Uusi tutkimus tutkimus on otsikoitu Voittavatko vibrointikoodit gradun opiskelijat? LLM vs. ihmiskoodausturnaus markkinajohtamisen strategisessa suunnittelussa, ja se on peräisin yhdestä tekijästä Southamptonin yliopistosta ja toisesta Oxfordin yliopistosta ja Alan Turing -instituutista. Benchmark tullaan julkaisemaan lyhyen ajan kuluttua.

Menetelmä

Tutkijat huomauttavat, että perinteiset testit tässä alueella keskittyvät haasteisiin, joissa on selvästi määritelty binääriset ratkaisut (oikein tai väärin), jotka on vahvistettu yksikkötestien avulla. Väittäen, että tämä ei ole ihanteellinen tapa tutkia LLM:n avulla kehitetyn koodin rajoituksia, tutkijat keksivät monimutkaisemman haasteen, jossa voitto on mahdollinen, mutta kaukana yksinkertaisesta;

Vertailu standardien, yksikkötestien perusteella (yllä) ja tutkijoiden kehittämästä avoimemmasta haasteesta (sinisellä, alla). Lähde

Huutokauppa, nouto ja toimitusongelma (APDP) käytettiin tutkijoiden tutkimuksessa osittain, koska Sveitsin yliopistosta oli saatavilla vuoden 2020 opiskelijoiden työ, jossa pyrittiin luomaan automaattisia agenteja APDP-tehtävään ennen AI:n kehittämistä. Siksi se oli suhteellisen helppo tehtävä nykyisille opiskelijoille, jotka saivat käyttää nykyisiä työkaluja.

Tutkijat pyrkivät välttämään suosittuja testirunkoja, kuten HumanEval, BigCodeBench ja WebDev Arena (muiden joukossa), koska tämäntyyppiset testimenetelmät usein kärsivät datasta, joka on saastunut (ts. tapauksia, joissa järjestelmä on koulutettu testidatalla sen sijaan, että se kunnioittaisi jakoa).

APDP on kaksivaiheinen logistiikkaongelma, joka perustuu käänteisiin huutokauppoihin ja ajoneuvon reititykseen. Ensimmäisessä vaiheessa agentit kilpailevat voittaakseen toimitustehtäviä esittämällä tarjouksia siitä, kuinka paljon heidän pitäisi maksaa kunkin tehtävän suorittamisesta. Liian korkea tarjous tarkoittaa tehtävän menettämistä; liian matala tarjous voi tarkoittaa rahan menettämistä.

Toisessa vaiheessa kunkin agentin on luotava tehokas suunnitelma tehtävien suorittamiseksi, joita he ovat voittaneet, ja määriteltävä ajoneuvot, joilla on eri kapasiteetit ja kustannukset, ajan ja resurssien rajoituksilla:

Huutokaupassa yritykset kilpailevat toimitustehtävistä esittämällä tarjouksia, ja sitten optimoivat ajoneuvon reitit voittamiensa tehtävien suorittamiseksi, pyrkien maksimoimaan voiton.

Tavoitteena ei ole ainoastaan suorittaa tehtäviä, vaan maksimoida kokonainen voitto ennustamalla, mitkä tehtävien paketit toimisivat parhaiten yhdessä, ja ennustamalla kilpailijoiden strategioita, jotka yrittävät samaa.

APDP-benchmarkin haaste koodin generoimiselle on strategisen suunnittelun esittäminen useiden riippuvien huutokauppojen sarjassa, joissa jokainen tarjous muuttaa tulevien valintojen maisemaa; ja siksi vaatii agenteilta päätöksentekoa ei ainoastaan välittömistä kustannuksista, vaan myös asemasta, ajasta ja pitkän aikavälin seurauksista.

Perusviestintäongelma on NP-hard, ts. ei ole algoritmi, joka voi luotettavasti löytää parhaan ratkaisun kohtuullisessa ajassa, kun tehtävien määrä kasvaa. Tämä tekee brute force -lähestymistavan toimimattomaksi, ja pakottaa agentit vaihtamaan tarkkuuden nopeuteen.

Kilpailu on käynnissä

Tutkijoiden arviointi vertasi 40 LLM-koodattua agenttia 17 ihmiskoodattuun agenttiin sarjassa head-to-head -turnauksissa. Jokainen 12 turnausta käytti eri yhdistelmää neljästä tiieverkkoarkkitehtuurista, ja koostui kaikki-kaikkia-ottelusta, jossa agentit kohtasivat toisensa kahdesti: kerran kunkin kahden yrityksen johtajana, eri ajoneuvon määrityksillä.

Tämä asettelu tuotti 3 192 ottelua turnauksessa, yhteensä 38 304 ottelua. Kussakin ottelussa 50 toimitustehtävää huutokaupattiin, määriteltiin niiden nouto- ja toimituspisteiden ja painon perusteella, ja ne arvottiin satunnaisesti eri tiemääritysten yli, jotka mallinnettiin Sveitsin, Ranskan, Iso-Britannian ja Alankomaiden tieverkoista:

Yksinkertaistetut tiiverkkomallit turnauksessa: Iso-Britannia (ylävasen), Sveitsi (oikea ylä), Alankomaat (ala vasen) ja Ranska (ala oikea). Siniset ja punaiset neliöt merkitsevät nouto- ja toimitustehtäviä. Väritetyt kolmiot osoittavat agenttien ajoneuvon sijainnin.

Opiskelijoiden agentit valittiin vuoden 2020 kurssiturnauksesta. Kahdeksan tuli yksinäisen poistomitalin parhaista suorittajista, ja neljä muuta valittiin vahvan suorituksen perusteella perusagenteja vastaan head-to-head -otteluissa.

Perusagentit seurasivat kiinteitä heuristiikkaa. Naive laski yhteisen etäisyyden ja tarjosi sen mukaan, käyttäen ainoastaan yhtä ajoneuvoa ja ignoroiden pakkaamisen; ExpCostFixedBid simuloitiin 10 satunnaista tehtävää, ja tarjottiin keskimääräistä marginaalikustannusta; Honest laski todellisen marginaalikustannuksen tehtävän sisällyttämisestä aikatauluun; ModelOpponent teki saman, mutta lisäsi arvion vastustajan kustannuksesta, tarjoten maksimin; ja RiskSeeking yhdisti ajan kuluvan etuoikeuden livekustannusarvioon ja vastustajan mallintamiseen – jälleen kerran tarjoten korkeamman arvon.

Arviointi sisälsi 40 LLM-koodattua agenttia, jotka oli kehittänyt (mainittujen) GPT-5 Thinking, Claude Opus 4.1, Gemini 2.5 Pro ja DeepSeek R1. Kunkin malliin annettiin viisi eri strategiaa, joita sovellettiin kahdesti kunkin mallille.

Kaksi strategiaa käytti statisia ohjelmointikieltoja, jotka oli kirjoittaneet eri tekijät, kun taas kolmas pyysi mallilta itsearviointia ja muokkaamista; toinen strategia käytti toista LLM:ää arvioimaan ja muokkaamaan. Viimeinen strategia käytti GPT-4:ää luomaan uuden ohjelmointikielen tarkastelemalla kaikkia neljää aiempaa lähestymistapaa.

Perusohjelmointikieli perustui alkuperäiseen opiskelijoiden tehtävään, jossa kuvattiin toimitusympäristö ja annettiin ohjeet tarjota ja suunnitella maksimoida voitto ilman korkean kompleksisuuden menetelmiä.

Kaikki LLM-agentit testattiin sekä itseään että turnauksessa, kunnes kaikki havaittavissa olevat virheet oli korjattu. Virheiden korjaus hoidettiin itse LLM:llä, jolle annettiin virhetiedot.

Yleiset LLM-epäonnistumiset, tutkimus huomauttaa, sisälsivät aikakatkaisujen rikkomisen, epäonnistumisen noutaa tai toimittaa määrättyjä tehtäviä ja ajoneuvon kapasiteetin rajoitusten rikkomisen – virheitä, jotka usein johtuivat ohjeiden laiminlyömisestä tai virheellisestä uudelleensuunnittelusta^†:

‘Toinen yleinen ongelma, jonka havaitsemme (pääasiassa Gemini, Claude ja DeepSeek -mallien kanssa, eikä niin paljon GPT:llä), on, että LLM usein epäonnistuu jatkuvasti ratkaisemaan virheen.

‘Esimerkiksi agentti aikakatkaisee jatkuvasti, vaikka LLM:lle annetaan virhetietoja useita kertoja (esim. 5-15 kertaa) ja vastaanotetaan päivitetty versio koodista.

‘Ainoa ratkaisu, jonka löysimme tällaisiin tilanteisiin (joissa LLM toistuvasti epäonnistuu ratkaisemasta samaa virhettä), on aloittaa alusta. Yleisesti ottaen havaitsemme, että virheettömän koodin saavuttamiseksi vaaditaan merkittävää manuaalista työtä. Meidän piti generoida huomattavasti enemmän agenteja saadaksemme 40 virheettömän, joita arvioimme.’

Tulokset, jotka on esitetty alla, tiivistävät tulokset 12 kaksoispyöräpyöräturnauksesta, jotka kattoivat neljä tiieverkkoarkkitehtuuria ja kolme turnausta kunkin arkkitehtuurin kohdalla, tuottaen suurimman osan 40 000 ottelusta:

Kontekstissa kunkin agentin pelasi 112 ottelua turnauksessa, joten keskimääräinen voitto tai tappio per agentti on 112. Standardipoikkeama (SD) heijastaa muutoksia turnauksissa. Ihmiskoodatut agentit ovat lihavoituja. LLM-koodatut agentit on merkitty mallin, kahden kirjaimen ohjelmointistrategian ja luvun mukaan, joka osoittaa, onko agentti ensimmäinen vai toinen, joka on generoitu kyseisellä ohjelmointistrategialla. Lähde

Tuloksia koskien tutkijat toteavat^†:

‘LLM:t eivät generoineet odotettua/ kilpailukykyistä koodia, jopa yksinkertaisemmissa APDP-ongelmien muodoissa (vaikka koodi oli suurelta osin syntaksivirheiden vailla). Tämä korostaa LLM:ien uusia heikkouksia, jotka menevät auto-completion ja tunnistamisen ulkopuolelle.’

‘Tuloksemme osoittavat selvän ylemmän tason ihmiskoodattujen agenttien ylivoiman: (i) Viiden parhaan sijan pitävät aina opiskelijat, ja (ii) useimmat LLM-agentit (33/40) hävisivät erittäin yksinkertaisille perusagenteille (kuten odotetun kustannuksen kiinteä tarjous).

‘Tärkeää on, että emme debugannut opiskelijoiden koodia (vaikka testasimme ja debugasimme LLM-koodin sekä itse että turnaustilanteissa). Jokaisella kerralla, kun opiskelijan agentti kaatui, annimme automaattisesti voiton LLM:lle. Suuri osa näistä kaatuksista olisi helppo korjata (esim. agentit aikakatkaisevat), joten opiskelijoiden agentit voisivat mahdollisesti sijoittua vielä korkeammalle.’

Lisäksi GPT-5 Thinkingiä pyydettiin parantamaan parhaan suorittaneen ihmisen agentin, Opiskelija 1, koodia; mutta nyt LLM:llä muokattu agentti putosi kymmenenneksi, josta tuli huonoin opiskelijan suoritus. Sen sijaan, että LLM paransi ratkaisua, se heikensi sitä lähes 20 prosentilla.

Tutkijat toteavat:

‘[Meidän] tulokset korostavat LLM-koodin generoinnin tärkeitä rajoituksia, erityisesti niiden rajoitettua päätöksentekoa ja suunnittelukykyä koodin generoimisessa.

Johtopäätös

Tutkijat itse huomauttavat tutkimuksensa lopussa, että vibrointi on antanut mahdollisuuksia kaiken tasoisille teknisille taustoille, ja kuvaavat tätä käytännön hyvänä tasa-arvon tekijänä. He kuitenkin viittaavat siihen, että koska vibrointi on vasta saapunut, sen rajoja ei voida tietää, ja ne voidaan olettaa olevan korkeammat kuin mitä voidaan realistisesti odottaa.

He päättävät tarjoamalla tavoitteen muutoksen ‘koodista, joka kääntyy koodiin, joka kilpailee‘.

Yksi kysymys, jonka tutkimuksen epävirallinen lukija saattaa kysyä, on se, ovatko tutkijat iskevästi ylös- vai alaspäin, koska kyseessä oleva agenteille asetettu tehtävä on huomattavasti monimutkaisempi ja monipuolisempi kuin se, mitä vibrointi on hyvin sovellettavissa, kuten PowerShell-komentosarjojen ja muiden pienten toimintojen ja korjausten tuottaminen.

* Huomaa, että tutkimus viittaa jatkuvasti ‘DeepThink R1′:iin, joka näyttää olemattomalta, ja josta on vain muutamia viittauksia internetissä (luultavasti muiden kirjoittajien, jotka ovat virheellisesti kirjoittaneet ‘DeepSeek R1’). Jos tämä on minun virheeni, ole hyvä ja ota yhteyttä minuun profiilitietojeni kautta, ja korjaan sen.

^† Tekijöiden painotus, ei minun.

Julkaistu ensimmäisen kerran keskiviikkona, 26. marraskuuta 2025. Muutettu 17:35 itäisen aikavyöhykkeen aikaan muotoilun vuoksi.