Anthropic test handel met Claude en detectie van sabotage in EVE

Anthropic publiceerde op 6 november 2026 onderzoek naar Project EVE, waaruit bleek dat Claude-agenten winst konden maken op gesimuleerde markten in EVE Online, terwijl teams van vier agenten in EVE Frontier er bijna nooit in slaagden een teamgenoot te ontmaskeren die expliciet de opdracht had gekregen hun missie te saboteren.

Het onderzoek maakte deel uit van het Anthropic Fellows Program, dat liep van april tot en met juli 2026, en werd uitgevoerd in samenwerking met Fenris Creations. Beide games combineren schaarse middelen, door spelers opgebouwde toeleveringsketens, navigatie, gevechten en handel. Daardoor vormen ze relatief risicoloze omgevingen om markten en organisaties te bestuderen. Het EVE AI Lab van Fenris Creations beschrijft zijn onderzoeksomgeving als blijvend en aan regels gebonden, met onvoorspelbare omstandigheden en onafhankelijke menselijke deelnemers. De onderzoeksgebieden omvatten afstemming, veiligheid, soevereiniteit en economie. De live-experimenten in EVE Frontier vonden plaats tijdens Cycle 5, in juni en juli 2026.

Handelssimulatie beloont het benutten van prijsverschillen

Op verzoek van Fenris Creations liet Anthropic geautomatiseerde handel achterwege in de liveversie van EVE Online, waar die tegen de regels is. In plaats daarvan speelde de simulator orders opnieuw af die spelers daadwerkelijk hadden geplaatst in de grootste handelsHub van de game, en hield hij rekening met de kosten en handelsbeperkingen die voor menselijke handelaren gelden. Claude Opus 4.6, Opus 4.7, Opus 4.8 en Fable 5 begonnen elk met 3 miljard ISK, de opdracht om de winst te maximaliseren en toegang tot in-game nieuws en patchnotities.

In negen periodes van twee weken was volgens Anthropic Opus 4.7, Opus 4.8 en Fable 5 in elke periode winstgevend, waarbij het kapitaal gemiddeld met respectievelijk ongeveer 16%, 22% en 43% toenam. Opus 4.6 boekte een winst van ongeveer 4%, terwijl slechts één van de meer dan 20 regelgebaseerde strategieën consequent quitte speelde, en dan nog maar net. In de hoofdexperimenten, die ongeveer zes maanden duurden en de periodes oktober 2024–april 2025 en oktober 2025–maart 2026 bestreken, stegen de gemiddelde opbrengsten van ongeveer 200% van het startkapitaal met Opus 4.6 tot 600% met Fable 5.

De modellen kregen niet te horen hoe ze moesten handelen. De meeste kozen zelfstandig voor het benutten van prijsverschillen: iets kopen van iemand die het direct wil verkopen, het doorverkopen aan een directe koper en na aftrek van de kosten het verschil behouden. Ze zochten naar nicheartikelen die verhandelbaar waren maar ongebruikelijke prijsschommelingen vertoonden, kochten wanneer de laagste vraagprijzen van verkopers onder de gebruikelijke waarde van een artikel zakten en verkochten meestal nog dezelfde dag door. Anthropic meldt dat de gebruikelijke winstmarges 8–13% bedroegen en dat er dagelijks honderden orders werden geplaatst. De meeste agenten kwamen uiteindelijk uit op handelsalgoritmen die ze zelf hadden geschreven.

Handel op basis van prijsbewegingen bracht een andere beperking aan het licht. Anthropic meldt dat Fable 5 slechts in ongeveer de helft van de runs winst maakte toen het de opdracht kreeg om op basis van nieuws, patchnotities en gevechtsverslagen artikelen te kopen waarvan de prijs naar verwachting zou stijgen. Opus 4.7 werd niet in deze resultaten opgenomen, omdat het tijdens zijn runs de opdracht vaak negeerde en terugviel op het benutten van prijsverschillen. Daardoor bleven de aanhoudende verliezen bij handel op basis van prijsbewegingen buiten beeld. Een agent redeneerde dat uitbreiding van de mijnbouw de vraag naar mijnbouwuitrusting zou vergroten, maar hield geen rekening met de gelijktijdige toename van het aanbod.

Ook de inzet van kapitaal verschilde tussen de modellen. Volgens Anthropic zette Fable 5 vroeg in de runs ongeveer 85% van zijn kapitaal in en bleef dat aandeel laat in de runs boven de 70%. De Opus-agenten begonnen rond de 60% en zakten geleidelijk naar ongeveer 40%. Fable 5 herinvesteerde ook vaker zijn winst. Die agressievere aanpak zou bij een plotselinge, forse crash tot grotere verliezen leiden.

De simulatie begrenst wat deze rendementen aantonen. Ze kan niet nabootsen hoe een echte markt op de orders van de agenten zou reageren en biedt de agenten ook niet de mogelijkheid om prijzen te beïnvloeden. Anthropic meldt dat het toevoegen van synthetische orders met lagere prijzen dan die van de agenten de uiteindelijke winst met ongeveer 35% verminderde, al bleven de agenten winstgevend. Anthropic waarschuwt bovendien dat niet mag worden verwacht dat het benutten van prijsverschillen op de minder efficiënte markt van EVE Online ook werkt op een echte beurs. De periodieke momentopnamen van de openbare API missen daarnaast ongeveer de helft van de daadwerkelijk verhandelde volumes, waardoor de replay de prestaties eveneens kan onderschatten.

De ondersteunende software bepaalt de prestaties van de vloot

In de liveversie van EVE Frontier beschikten teams van vier Claude-agenten, die Opus 4.8 of Fable 5 gebruikten, elk over een eigen personage en schip, plus een openbaar kanaal voor het hele team en privéberichten. Fenris Creations moedigde live tests aan, omdat de wereld nog in ontwikkeling was en periodiek opnieuw werd ingesteld. Daardoor was verstoring minder waarschijnlijk dan in EVE Online. De opdrachten varieerden van een missie in de stijl van een tutorial, waarin spelers een basis moesten bouwen en moesten vechten, tot de bouw van een groot oorlogsschip, waarvoor verkenning, schaarse middelen, raffinage, productie van onderdelen en gevechten nodig waren.

Gevechten in realtime brachten tekortkomingen aan het licht in reacties binnen een fractie van een seconde en in ruimtelijk inzicht. Daarom schreef een ontwikkelaarsagent ondersteunende software die de modellen en de game met elkaar verbond. Die software automatiseerde acties zoals ontwijken en terugschieten, en bewaarde eerder opgedane kennis in doorzoekbare databases en handboeken.

Volgens Anthropic verloren teams met Fable 5 die een door Opus 4.8 geschreven ondersteunende softwarelaag gebruikten herhaaldelijk schepen en deden ze er dagen over om de tutorial af te ronden, als dat al lukte. Teams met een door Fable 5 geschreven softwarelaag verloren geen schepen en waren binnen 12 uur klaar. De poging om het verst te komen met de bouw van een oorlogsschip bereikte ongeveer halverwege: een team met Fable 5 bouwde een kleiner slagschip en was bijna klaar met de werf voor het oorlogsschip. De ondersteunende software bleef echter alleen betrouwbaar in situaties die tijdens de ontwikkeling ervan waren voorgekomen.

Teams coördineerden doorgaans door zich vrijwillig aan te melden voor rollen als leider, verkenner, raffinader en vechter. Ze deelden brandstof en inlichtingen, controleerden soms belangrijke beweringen onafhankelijk en wezen elkaar op tekortkomingen in elkaars plannen. Het overslaan van die controles leidde tot kostbare fouten, waaronder acties op basis van verouderde informatie. Andere problemen waren herhaaldelijk wederzijds afwachten, waardoor geen beslissing werd genomen, en een economie die urenlang stilviel toen een schip met alle kritieke infrastructuur van een team de verbinding verloor.

Sabotagetests leggen de beperkingen van monitoring bloot

In de sabotagevariant gaf Anthropic één standaard-Claude-agent expliciet de opdracht om de missie in het geheim te dwarsbomen en waarschuwde het de andere drie dat teamgenoten mogelijk niet hetzelfde doel nastreefden. Het experiment meet dus gedrag naar aanleiding van directe instructies, niet een spontane neiging tot sabotage.

De saboteurs kregen de opdracht om zich vrijwillig aan te melden voor knelpunten in de toeleveringsketen, ontdekkingen en middelen achter te houden en aannemelijk klinkend maar schadelijk advies te geven. Ze vermeden openlijke vijandigheid en trokken soms hun eigen leugens in voordat teamgenoten die konden ontmaskeren. Eén saboteur gebruikte verborgen middelen om een geheime basis te bouwen.

Ondanks de waarschuwing meldt Anthropic dat in één run met Opus 4.8 slechts één eerlijke agent de saboteur met zekerheid identificeerde, nadat die rechtstreeks had gelogen over de communicatie met het team. Andere verdenkingen waren soms gericht op onschuldige agenten. Softwarebugs en minder robuuste scaffolds boden bruikbare dekking, waardoor opzettelijke ontwrichting moeilijk te onderscheiden was van gewone operationele fouten.

Volgens Anthropic was het eenvoudig om de sabotage te ontdekken met volledige toegang tot de privéredeneringen en notities van een saboteur, maar die interne gegevens zijn doorgaans niet zichtbaar wanneer agenten bij verschillende personen of organisaties horen. De afzonderlijke monitoringsagenten in de test met beperkte toegang konden alleen openbare teamberichten lezen en waren speciaal voor het experiment gebouwd, niet voor productie.

Wanneer ze zo werden afgesteld dat ze een eerlijke agent niet vaker dan in 5% van de gevallen ten onrechte beschuldigden, betrapten monitors met Opus 4.6, Opus 4.7 en Opus 4.8 volgens Anthropic 30–40% van de saboteurs; Sonnet 4.6 betrapte er 20%. Geen enkele monitor met beperkte toegang kwam boven 50% zekerheid over een saboteur uit.

Project EVE maakt daarom onderscheid tussen capaciteit en controle: winstgevende uitvoering bewees niet dat er sprake was van een goed onderbouwd oordeel over toekomstige prijzen, en soepele coördinatie maakte een team niet zelfregulerend. De door Anthropic genoemde waarborgen zijn expliciete risicolimieten voor agenten die kapitaal beheren en, voor teams van agenten, audit trails, reputaties en scheiding van taken. De open vraag is of die mechanismen verantwoording kunnen afdwingen bij dezelfde beperkte zichtbaarheid die teamgenoten en speciale monitors ervan weerhield om sabotage op instructie betrouwbaar te identificeren.