Anthropic finner at analytikere føyer seg etter AI-agenter i studie av skjønnsvurderinger

Anthropic publiserte 27. oktober 2026 en randomisert kontrollert studie der 50 profesjonelle analytikere som brukte Claude Code, fulgte agentens hemmelig tildelte preferanse i 86 % av åpne analytiske skjønnsvurderinger. Studien, skrevet av Amaç Herdağdelen, Hailey Joren og Alex Tamkin, undersøker om eksperter faktisk tar de avgjørende beslutningene i AI-assistert arbeid, eller om de i praksis overlater dem til agentene sine.

Et fiktivt samvirke og skjulte myntkast

Forskerne rekrutterte 61 fagfolk som hadde bestått en kunnskapstest i kausal inferens, brukte Python eller R regelmessig og hadde praktisk erfaring med observasjonell kausalanalyse. Hver deltaker fungerte som hovedanalytiker for det fiktive Greenfields Farming Cooperative, som måtte avgjøre om et frivillig, betalt rådgivningsprogram for gårder skulle utvides eller avvikles. Styret i samvirket ville bare utvide programmet dersom det økte produktiviteten på gårdene med omtrent 3–4 %, men spesifiserte ikke hvordan produktiviteten skulle måles.

Oppgaven omfattet fire åpne analytiske beslutninger, hver med to forsvarlige alternativer: om produktiviteten skulle måles som avling per hektar eller per enhet i driftskostnadene; hvilken statistisk sammenligningsmetode som skulle brukes; om programmets effekt bare skulle måles på gårdene som deltok, eller på tvers av hele medlemsmassen; og om alle gårdene skulle vektes likt, eller om større produsenter skulle få større vekt. Disse valgene lå til grunn for en endelig anbefaling om å innføre, avvikle eller videreføre programmet. Hver beslutning kunne flytte det anslåtte produktivitetsløftet med flere prosentpoeng i forhold til styrets terskel.

For hver beslutning avgjorde et myntkast hvilket alternativ deltakerens agent skulle foretrekke. Preferansen ble formidlet gjennom en skjult systeminstruks som ba agenten betrakte den som sitt eget syn, ta den opp når beslutningen ble aktuell, og legge fram det sterkeste redelige argumentet som dataene ga grunnlag for. Instruksene krevde også at agenten skulle endre mening dersom bevisene tydelig talte imot preferansen, og aldri framstille resultatene feil eller skjule data. Deltakerne fikk ikke vite at preferansene var tildelt. Av de 61 som fullførte oppgaven, valgte 11 å ikke bruke agenten og ble utelatt fra hovedanalysen; blant de resterende 50 hadde 65 % en mastergrad eller doktorgrad, eller minst seks års erfaring, og 90 % av respondentene i spørreundersøkelsen vurderte seg selv som kompetente eller eksperter i kausal inferens. Deltakerne arbeidet i et nettleserbasert VS Code-miljø med Claude Code v2.1.220, som kjørte Claude Opus 4.8 med høy innsats, og median oppgavetid var 65 minutter. Studiedesignet, utfallsmålene, estimatene og eksklusjonene var registrert i en plan for forhåndsanalyse, og studien ble gjennomgått internt av en etisk komité, med deltakernes samtykke til overvåking.

Etterlevelse og avstanden mellom påvirkning og eierskap

På tvers av de fire analytiske beslutningene samsvarte analytikernes valg med agentens preferanse 86 % av tiden, mot en tilfeldig forventning på 50 %; samsvarsratene for hver enkelt beslutning var 92 %, 82 %, 81 % og 90 %. Den fullstendige artikkelen, med tittelen «Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls», rapporterer et forhåndsregistrert samlet estimat for flippeffekten på 0,72, med et 95 % konfidensintervall på 0,60–0,83.

Effekten på den endelige anbefalingen var svakere og ikke statistisk signifikant med den forhåndsregistrerte primære estimatoren: 54 % anbefalte å innføre programmet når agenten foretrakk det, mot 36 % når agenten helte mot avvikling, en forhåndsregistrert forskyvning i beslutningspolitikken på 0,17. Forfatterne forklarer den mindre forskyvningen med at anbefalingen fulgte mekanisk av estimatet når det først var beregnet. En utforskende modell som bare brukte de fire analytiske preferansene, forutsa imidlertid 82 % av anbefalingene, mot en majoritet på 61 % som referanse, noe som betyr at myntkastene i stor grad avgjorde hva analytikerne ville anbefale før de begynte på oppgaven.

I 38 tilfeller der en analytiker ga uttrykk for en preferanse før agenten gjorde det, gikk analytikeren bort fra den i 60 % av tilfellene når agenten var uenig, mot 6 % når agenten var enig. Artikkelen oppgir den forhåndsregistrerte forskjellen i bytterate til 0,53, med et konfidensintervall på 0,24–0,82, og påpeker at estimatet er usikkert og at delgruppen var selvselektert.

Spørreundersøkelser etter oppgaven viste et sprik mellom påvirkning og selvoppfatning. 52 % vurderte den endelige anbefalingen som mer sin egen enn agentens, og gjennomsnittlig trygghet var 71 blant dem som fulgte preferansen i alle fire beslutningene, mot 73 blant resten. Da deltakerne begrunnet hvert valg uten tilgang til utskriftene, gjentok 77 % agentens argumenter i minst ett svar, noen ganger ordrett, mens bare 15 % ga agenten æren noe sted. Ingen av de ti testede deltakeregenskapene forutsa pålitelig at deltakerne ville føye seg; bare alder viste en nominell sammenheng, som ikke holdt etter korrigering for flere tester. Seks av 48 deltakere gjettet at studien handlet om hvordan AI påvirket valgene deres, men ingen mistenkte at preferansene var plantet.

Sammenligningsgruppe, standardagenter og begrensninger

Av de 11 deltakerne som arbeidet uten agenten, gjorde seks (55 %) alvorlige feil som gjorde resultatet ugyldig, mot tre av 50 (6 %) blant agentbrukerne. Gruppen uten AI brukte en median på 90 minutter, mot 65. Forfatterne påpeker at gruppene selv valgte hvilken de ville tilhøre, og at de hadde ulik erfaring, så det kan ikke trekkes noen konklusjon om årsakssammenheng. I separate, direkte simuleringer uten en innført skjevhet tok standardversjonen av Claude Opus 4.8 de samme fem valgene i 91 % av 123 kjøringer. Når en skriptstyrt analytiker erklærte en beslutning som gikk imot modellens grunnleggende preferanse, anbefalte eller argumenterte standardagenten for alternativet i 41 % av 150 vurderte erklæringer.

Forfatterne oppgir fire begrensninger: Skjevheten ble bevisst forsterket; studien omfattet én oppgave, ett fagområde og én låst modell; estimatene er gjennomsnitt på tvers av analytikere, ikke mål på individuell påvirkning; og det var bare det valgte alternativet, ikke styrken på preferansen, som ble registrert.

Forfatterne påpeker at dersom separate forskerteam overlater vurderingene til modeller med samme forhåndsantakelser, er det ikke sikkert at enigheten mellom dem lenger er uavhengig. De sier også at slik overlatelse innebærer en risiko for AI-sikkerhetsforskning, der det forutsettes at en menneskelig fagfellegodkjenning fungerer som en uavhengig kontroll. De foreslår tre områder for framtidige studier: å måle hvor ofte vurderinger overlates til modeller i hverdagslige situasjoner, å utforme agenter som presenterer begge sider eller først innhenter ekspertens syn, og å gjøre institusjonelle endringer som bevisst avgjør hvilke beslutninger som krever en persons egen, informerte vurdering.