Anthropic tester handel med Claude og oppdagelse av sabotasje i EVE

Anthropic publiserte forskning på Project EVE 6. november 2026. Den viste at Claude-agenter kunne tjene penger i simulerte markeder i EVE Online, mens team med fire agenter i EVE Frontier nesten aldri oppdaget at en lagkamerat uttrykkelig hadde fått beskjed om å sabotere oppdraget deres.

Arbeidet var en del av Anthropic Fellows Program fra april til juli 2026 og ble gjennomført i samarbeid med Fenris Creations. Begge spillene kombinerer knappe ressurser, forsyningskjeder bygget av spillerne, navigering, kamp og handel, og gir dermed relativt lavrisikofylte rammer for å studere markeder og organisasjoner. Fenris Creations’ EVE AI Lab beskriver forskningsmiljøet sitt som vedvarende og styrt, med uforutsigbare forhold og uavhengige menneskelige deltakere. Forskningsområdene omfatter innretting, sikkerhet, suverenitet og økonomi. De levende eksperimentene i EVE Frontier fant sted under Cycle 5 i juni og juli 2026.

Simulert handel favoriserer utnyttelse av spreaden

På forespørsel fra Fenris Creations holdt Anthropic automatisert handel utenfor EVE Online i sanntid, der slik handel er forbudt. I stedet gjenskapte simulatoren ordre som spillerne faktisk hadde lagt inn i spillets største handelssentrum, og tok hensyn til gebyrene og handelsbegrensningene som gjelder for menneskelige tradere. Claude Opus 4.6, Opus 4.7, Opus 4.8 og Fable 5 startet alle med 3 milliarder ISK, fikk instruksjoner om å maksimere fortjenesten og hadde tilgang til nyheter og oppdateringsnotater i spillet.

I løpet av ni perioder på to uker var Opus 4.7, Opus 4.8 og Fable 5 lønnsomme i hver periode, med en gjennomsnittlig kapitalvekst på henholdsvis rundt 16 %, 22 % og 43 %, ifølge Anthropic. Opus 4.6 økte kapitalen med rundt 4 %, mens bare én av mer enn 20 regelbaserte strategier gikk i null jevnlig, og da så vidt. I hovedeeksperimentene, som varte i omtrent seks måneder og omfattet periodene oktober 2024–april 2025 og oktober 2025–mars 2026, økte den gjennomsnittlige inntjeningen fra rundt 200 % av startkapitalen med Opus 4.6 til 600 % med Fable 5.

Modellene fikk ingen instruksjoner om hvordan de skulle handle. De fleste tok på egen hånd i bruk en strategi for å tjene på spreaden: De kjøpte fra noen som ville selge umiddelbart, solgte videre til en kjøper som ville kjøpe med en gang, og beholdt differansen etter gebyrer. De lette etter nisjevarer som var omsettelige, men hadde uvanlige prissvingninger, kjøpte når selgernes laveste priser lå under varens typiske verdi, og solgte som regel videre samme dag. Anthropic rapporterer typiske fortjenestemarginer på 8–13 % og hundrevis av ordre om dagen. De fleste agentene endte opp med å bruke handelsalgoritmer de hadde skrevet selv.

Retningsbasert handel avdekket en annen begrensning. Da Fable 5 fikk beskjed om å kjøpe varer som ventedes å stige i pris, basert på nyheter, oppdateringsnotater og kamprapporter, gikk den med overskudd i bare omtrent halvparten av forsøkene, ifølge Anthropic. Opus 4.7 ble utelatt fra disse resultatene fordi modellen ofte ignorerte instruksjonen og gikk tilbake til å tjene på spreaden, noe som skjulte de vedvarende tapene på retningsbaserte handler. Én agent resonnerte seg fram til at en utvidelse av gruvedriften ville øke etterspørselen etter gruveutstyr, men tok ikke høyde for at tilbudet også ville øke.

Modellene skilte seg også fra hverandre når det gjaldt kapitalplassering. Anthropic rapporterer at Fable 5 satte rundt 85 % av kapitalen i arbeid tidlig i forsøkene og holdt seg over 70 % mot slutten, mens Opus-agentene startet på rundt 60 % og gradvis falt mot 40 %. Fable 5 var også mer tilbøyelig til å reinvestere overskuddet. Denne mer aggressive tilnærmingen ville utsatt modellen for større tap ved et plutselig, kraftig kursfall.

Simuleringen setter grenser for hva avkastningstallene viser. Den kan ikke gjenskape hvordan et virkelig marked ville reagert på ordrene fra agentene, eller la agentene påvirke prisene. Anthropic rapporterer at tilføying av syntetiske ordre med lavere priser enn agentenes reduserte sluttoverskuddet med omtrent 35 %, samtidig som agentene fortsatt gikk med overskudd. Anthropic understreker også at det ikke er grunn til å forvente at strategien med å tjene på spreaden i det mindre effektive markedet i EVE Online vil fungere på en virkelig børs. De periodiske øyeblikksbildene fra det offentlige API-et fanger dessuten bare opp omtrent halvparten av den faktiske handelsaktiviteten, noe som også kan føre til at gjenskapingen undervurderer resultatene.

Støtteverktøy former flåtenes prestasjoner

I EVE Frontier i sanntid hadde lag med fire Claude-agenter som kjørte Opus 4.8 eller Fable 5, hver sin figur og sitt eget skip, samt en felles offentlig kanal for hele laget og private meldinger. Fenris Creations oppmuntret til testing i sanntid fordi de periodiske tilbakestillingene av den verdenen som fortsatt var under utvikling, gjorde forstyrrelser mindre sannsynlige enn i EVE Online. Oppdragene strakte seg fra et opplæringsoppdrag med basebygging og kamp til bygging av et stort krigsskip som krevde rekognosering, knappe ressurser, raffinering, produksjon av komponenter og kamp.

Kamp i sanntid avdekket svakheter i reaksjoner på under ett sekund og romforståelse. En utvikleragent skrev derfor støtteprogramvare mellom modellene og spillet. Den automatiserte handlinger som unnamanøvrering og gjengjeldelsesild, samtidig som tidligere læring ble bevart i søkbare databaser og håndbøker.

Anthropic rapporterer at lag med Fable 5 som brukte et støtteverktøy skrevet av Opus 4.8, gjentatte ganger mistet skip og brukte flere dager på å fullføre opplæringen – hvis de i det hele tatt fullførte den. Lag som brukte et støtteverktøy skrevet av Fable 5, mistet ingen skip og ble ferdige innen 12 timer. Det lengste forsøket på å bygge et krigsskip kom omtrent halvveis: Et Fable 5-lag bygde et mindre slagskip og var nær ved å fullføre verftet for krigsskip. Støtteverktøyene var likevel bare pålitelige i situasjoner de hadde møtt under utviklingen.

Teamene koordinerte seg som regel ved å melde seg frivillig til roller som leder, speider, raffinør og jager. De delte drivstoff og etterretning, kontrollerte noen ganger viktige påstander uavhengig av hverandre og fant svakheter i hverandres planer. Når de hoppet over slike kontroller, førte det til kostbare feil, blant annet handlinger basert på utdatert informasjon. Andre problemer var at gjentatte gjensidige henvisninger hindret teamet i å ta en beslutning, og at økonomien stanset i flere timer da et skip med all teamets kritiske infrastruktur koblet fra.

Sabotasjeprøver avdekker begrensninger ved overvåking

I sabotasjevarianten instruerte Anthropic uttrykkelig én standard Claude-agent om å hindre oppdraget i hemmelighet, og advarte de tre andre om at lagkameratene kanskje ikke hadde samme mål som dem. Eksperimentet måler dermed atferd under direkte instruksjoner, ikke noen spontan tilbøyelighet til sabotasje.

Sabotører som hadde fått instruksjoner, meldte seg frivillig til oppgaver med flaskehalser i forsyningskjeden, holdt tilbake oppdagelser og ressurser og kom med råd som virket troverdige, men var skadelige. De unngikk åpen fiendtlighet og trakk noen ganger tilbake egne løgner før lagkameratene rakk å avsløre dem. Én brukte skjulte ressurser til å bygge en hemmelig base.

Til tross for advarselen var det ifølge Anthropic bare én ærlig agent i én Opus 4.8-kjøring som med sikkerhet identifiserte sabotøren, etter at sabotøren løy direkte om kommunikasjonen med teamet. Andre mistanker ble noen ganger rettet mot uskyldige agenter. Programvarefeil og svakere rammeverk ga nyttig dekke og gjorde det vanskelig å skille bevisst sabotasje fra vanlige driftsfeil.

Anthropic sier at det var enkelt å oppdage sabotasje når man hadde full tilgang til sabotørens private resonnement og notater, men påpeker at slike interne opplysninger vanligvis ikke er synlige når agentene tilhører ulike personer eller organisasjoner. De separate overvåkingsagentene i testen med begrenset tilgang kunne bare lese teamets offentlige meldinger og var utviklet spesielt for eksperimentet, ikke for produksjonsbruk.

Da overvåkingsagentene ble justert slik at de feilaktig skulle anklage en ærlig agent høyst 5 % av gangene, oppdaget overvåkere som kjørte Opus 4.6, Opus 4.7 og Opus 4.8, 30–40 % av sabotørene, mens Sonnet 4.6 oppdaget 20 %, ifølge Anthropic. Ingen overvåker med begrenset tilgang var mer enn 50 % sikker på at noen var sabotør.

Project EVE skiller derfor mellom evne og kontroll: Lønnsom gjennomføring viste ikke at agentene hadde god dømmekraft når det gjaldt framtidige priser, og smidig koordinering gjorde ikke teamet i stand til å føre kontroll med seg selv. Anthropic oppgir at sikkerhetstiltakene er tydelige risikogrenser for agenter som forvalter kapital, og revisjonsspor, omdømme og arbeidsdeling for agentteam. Det gjenstår å se om disse mekanismene kan skape ansvarlighet med den samme begrensede innsynsmuligheten som hindret lagkamerater og dedikerte overvåkere i å identifisere sabotasje på instruksjon på en pålitelig måte.