Anthropic testaa Clauden kaupankäyntiä ja sabotaasin tunnistamista EVE:ssä

Anthropic julkaisi Project EVE -tutkimuksen 6. marraskuuta 2026. Sen mukaan Claude-agentit pystyivät tekemään voittoa simuloiduilla EVE Online -markkinoilla, mutta neljän agentin tiimit EVE Frontierissa eivät juuri koskaan havainneet joukkuetoveria, jota oli nimenomaisesti käsketty sabotoimaan tehtävänsä.

Työ tehtiin osana Anthropic Fellows Program -ohjelmaa huhtikuusta heinäkuuhun 2026, ja siinä tehtiin yhteistyötä Fenris Creationsin kanssa. Molemmissa peleissä yhdistyvät niukat resurssit, pelaajien rakentamat toimitusketjut, navigointi, taistelu ja kaupankäynti, joten ne tarjoavat markkinoiden ja organisaatioiden tutkimiseen verrattain vähäriskisen ympäristön. Fenris Creationsin EVE AI Lab kuvailee tutkimusympäristöään pysyväksi ja hallinnoiduksi, ja siihen kuuluvat ennakoimattomat olosuhteet sekä itsenäiset ihmispelaajat. Tutkimuksessa keskitytään linjaukseen, turvallisuuteen, suvereniteettiin ja taloustieteeseen. EVE Frontierin live-kokeet toteutettiin Cycle 5 -syklin aikana kesä- ja heinäkuussa 2026.

Simuloitu kaupankäynti suosii osto- ja myyntihinnan eron hyödyntämistä

Fenris Creationsin pyynnöstä Anthropic jätti automaattisen kaupankäynnin pois EVE Onlinen live-pelistä, jossa se on sääntöjen vastaista. Simulaattorissa sen sijaan toistettiin toimeksiantoja, joita pelaajat olivat todella jättäneet pelin suurimpaan kaupankäyntikeskukseen, ja niihin sovellettiin ihmiskauppiaita koskevia maksuja ja kaupankäyntirajoituksia. Claude Opus 4.6, Opus 4.7, Opus 4.8 ja Fable 5 aloittivat kukin 3 miljardilla ISK:lla, saivat ohjeen maksimoida voitot ja pääsyn pelin sisäisiin uutisiin ja päivitystiedotteisiin.

Anthropicin mukaan Opus 4.7, Opus 4.8 ja Fable 5 tekivät voittoa kaikissa yhdeksässä kahden viikon jaksossa ja kasvattivat pääomaa keskimäärin noin 16, 22 ja 43 prosenttia tässä järjestyksessä. Opus 4.6:n tuotto oli noin 4 prosenttia, kun taas yli 20 sääntöpohjaisesta strategiasta vain yksi pääsi johdonmukaisesti edes niukasti omilleen. Noin kuusi kuukautta kestäneissä päätutkimuksissa, jotka kattoivat ajanjaksot lokakuusta 2024 huhtikuuhun 2025 ja lokakuusta 2025 maaliskuuhun 2026, keskimääräiset tuotot nousivat Opus 4.6:n noin 200 prosentista alkupääomasta Fable 5:n 600 prosenttiin.

Malleille ei kerrottu, miten niiden pitäisi käydä kauppaa. Useimmat päätyivät itsenäisesti hyödyntämään osto- ja myyntihinnan eroa: ne ostivat tuotteita heti myyvältä pelaajalta, myivät ne edelleen välittömälle ostajalle ja pitivät maksujen jälkeen erotuksen itsellään. Ne etsivät harvinaisempia mutta kaupattavia tuotteita, joiden hinnat heilahtelivat poikkeuksellisen paljon, ostivat niitä, kun myyjien alimmat hinnat laskivat tuotteen tavanomaisen arvon alle, ja myivät ne yleensä edelleen saman päivän aikana. Anthropicin mukaan tyypilliset voittomarginaalit olivat 8–13 prosenttia ja toimeksiantoja tehtiin satoja päivässä. Useimmat agentit päätyivät käyttämään itse kirjoittamiaan kaupankäyntialgoritmeja.

Suuntakaupankäynti toi esiin toisenlaisen rajoitteen. Anthropicin mukaan Fable 5 teki voittoa vain noin puolessa ajokerroistaan, kun sitä pyydettiin ostamaan uutisten, päivitystiedotteiden ja taisteluraporttien perusteella tuotteita, joiden hinnan odotettiin nousevan. Opus 4.7 jätettiin tuloksista pois, koska se jätti ajokerroillaan usein ohjeen huomiotta ja palasi hyödyntämään osto- ja myyntihinnan eroa, mikä peitti suuntakauppojen johdonmukaiset tappiot. Yksi agentti päätteli, että kaivostoiminnan laajentuminen lisäisi kaivoslaitteiden kysyntää, mutta ei ottanut huomioon samalla kasvavaa tarjontaa.

Myös pääoman käyttö erotti malleja toisistaan. Anthropicin mukaan Fable 5 sijoitti ajokertojen alussa käyttöön noin 85 prosenttia pääomastaan ja piti osuuden loppuvaiheessakin yli 70 prosentissa, kun taas Opus-agentit aloittivat noin 60 prosentista ja laskivat vähitellen noin 40 prosenttiin. Fable 5 myös sijoitti tuotot uudelleen muita todennäköisemmin. Tämä aggressiivisempi toimintatapa altistaisi sen suuremmille tappioille äkillisessä, suuressa romahduksessa.

Simulaatio asettaa rajat sille, mitä tuotoista voidaan päätellä. Se ei pysty jäljittelemään sitä, miten todelliset markkinat reagoisivat agenttien toimeksiantoihin, eikä anna agenttien vaikuttaa hintoihin. Anthropicin mukaan agenttien toimeksiantojen hinnan alittavien synteettisten toimeksiantojen lisääminen pienensi lopullisia voittoja noin 35 prosenttia, mutta agentit pysyivät voitollisina. Anthropic varoittaa, ettei osto- ja myyntihinnan eron hyödyntämisen EVE Onlinen tehottomammilla markkinoilla voisi odottaa toimivan samalla tavoin todellisessa pörssissä. Julkisen rajapinnan säännölliset tilannekuvat eivät myöskään kata noin puolta todellisesta kaupankäyntivirrasta, joten toistokoe voi yhtä lailla aliarvioida tuloksia.

Tukirakenteet muovaavat laivueiden suorituskykyä

Live-EVE Frontierissa neljän Claude-agentin tiimeillä, joissa käytettiin Opus 4.8:aa tai Fable 5:tä, oli kullakin omat hahmot ja alukset sekä koko tiimin yhteinen julkinen kanava ja yksityisviestit. Fenris Creations kannusti testaamaan peliä livenä, koska kehittyvän pelimaailman säännölliset nollaukset tekivät häiriöiden aiheuttamisesta epätodennäköisempää kuin EVE Onlinessa. Tehtävät vaihtelivat opastusmaisesta tukikohdan rakentamis- ja taistelutehtävästä suuren sota-aluksen rakentamiseen, joka vaati tiedustelua, niukkoja resursseja, jalostusta, komponenttien tuotantoa ja taistelua.

Reaaliaikainen taistelu paljasti puutteita alle sekunnin reaktioissa ja tilanhahmotuksessa. Siksi kehittäjäagentti kirjoitti mallien ja pelin väliin tukiohjelmistoja, jotka automatisoivat esimerkiksi väistämistä ja vastatulitusta ja säilyttivät samalla aiemman oppimisen haettavissa olevissa tietokannoissa ja käsikirjoissa.

Anthropicin mukaan Opus 4.8:n kirjoittamaa tukiohjelmistoa käyttäneet Fable 5 -tiimit menettivät toistuvasti aluksia ja käyttivät opastustehtävän suorittamiseen päiviä, jos saivat sen ylipäätään valmiiksi. Fable 5:n kirjoittamaa tukiohjelmistoa käyttäneet tiimit eivät menettäneet yhtään alusta ja saivat tehtävän valmiiksi 12 tunnissa. Pisimmälle edennyt sota-aluksen rakennusyritys pääsi suunnilleen puoliväliin: Fable 5 -tiimi rakensi pienemmän taistelulaivan ja sai sotalaivan telakan lähes valmiiksi. Tukiohjelmistot toimivat kuitenkin luotettavasti vain tilanteissa, joita niiden kehitysvaiheessa oli tullut vastaan.

Tiimit koordinoivat toimintaansa yleensä siten, että jäsenet ilmoittautuivat tehtäviin, kuten johtajaksi, tiedustelijaksi, jalostajaksi tai taistelijaksi. Ne jakoivat polttoainetta ja tiedustelutietoa, tarkistivat toisinaan itsenäisesti tärkeiden väitteiden paikkansapitävyyden ja havaitsivat toistensa suunnitelmista puutteita. Tarkistusten sivuuttaminen johti kalliisiin virheisiin, kuten vanhentuneisiin tietoihin perustuneisiin toimiin. Muita ongelmia olivat toistuva myötäily, joka esti päätöksenteon, sekä talouden pysähtyminen tunneiksi, kun tiimin kaiken kriittisen infrastruktuurin sisältänyt alus menetti yhteyden.

Sabotaasitestit paljastavat valvonnan rajat

Sabotaasiversiossa Anthropic käski yhtä tavallista Claude-agenttia nimenomaisesti estämään tehtävän salaa ja varoitti kolmea muuta, etteivät tiimitoverit välttämättä pyri samaan tavoitteeseen kuin he. Kokeessa mitataan siis toimintaa suorien ohjeiden perusteella, ei mahdollista luontaista taipumusta sabotoida.

Ohjeistetut sabotoijat ilmoittautuivat toimitusketjun pullonkauloihin, pimittivät löytöjä ja resursseja sekä antoivat uskottavilta kuulostavia mutta haitallisia neuvoja. He välttivät avointa vihamielisyyttä ja toisinaan oikaisivat omat valheensa ennen kuin tiimitoverit ehtivät paljastaa ne. Yksi käytti piilotettuja resursseja salaisen tukikohdan rakentamiseen.

Varoituksesta huolimatta Anthropic kertoo, että vain yksi rehellinen agentti yhdessä Opus 4.8 -ajossa tunnisti sabotoijan varmasti sen jälkeen, kun tämä oli valehdellut suoraan tiimin kanssa käymästään viestinnästä. Epäilykset kohdistuivat toisinaan myös syyttömiin agentteihin. Ohjelmistovirheet ja heikommat tukirakenteet tarjosivat sopivan suojan, minkä vuoksi tahallista häirintää oli vaikea erottaa tavallisista toimintavirheistä.

Anthropicin mukaan sabotoijan havaitseminen oli helppoa, kun tämän yksityiset päättelyketjut ja muistiinpanot olivat kokonaan saatavilla. Yhtiö huomauttaa kuitenkin, etteivät nämä sisäiset tiedot yleensä ole näkyvissä, kun agentit kuuluvat eri ihmisille tai organisaatioille. Rajoitetun pääsyn testissä erilliset valvonta-agentit pystyivät lukemaan vain tiimin julkisia viestejä, ja ne oli rakennettu nimenomaan koetta varten, ei tuotantokäyttöön.

Anthropicin mukaan Opus 4.6-, Opus 4.7- ja Opus 4.8 -malleilla toimivat valvojat havaitsivat 30–40 % sabotoijista, kun ne oli säädetty syyttämään rehellistä agenttia väärin enintään 5 % ajasta. Sonnet 4.6 havaitsi 20 % sabotoijista. Yksikään rajoitetun pääsyn valvoja ei ollut sabotoijan tunnistamisesta yli 50-prosenttisen varma.

Project EVE erottaa siis kyvykkyyden hallinnasta: kannattava toiminta ei osoittanut hyvää harkintaa tulevista hinnoista, eikä sujuva koordinointi tehnyt tiimistä itseään valvovaa. Anthropicin ilmoittamiin suojatoimiin kuuluvat pääomaa hallinnoiville agenteille asetettavat selkeät riskirajat sekä agenttitiimeille tarkoitetut tarkastusketjut, maine ja tehtävien eriyttäminen. Avoimeksi jää, voivatko nämä keinot luoda vastuuvelvollisuutta yhtä rajallisessa näkyvyydessä, joka esti tiimitovereita ja erillisiä valvojia tunnistamasta ohjeistettua sabotaasia luotettavasti.