Anthropic visar i studie om bedömningar att analytiker överlåter beslut till AI-agenter

Den 27 oktober 2026 publicerade Anthropic en randomiserad kontrollerad studie där 50 professionella analytiker som använde Claude Code följde sin agents hemligt tilldelade preferens i 86 % av fallen när de ställdes inför öppna analytiska bedömningsfrågor. Studien, skriven av Amaç Herdağdelen, Hailey Joren och Alex Tamkin, undersöker om experter faktiskt fattar de avgörande besluten i AI-assisterat arbete eller om de i praktiken överlåter besluten till sina agenter.

Ett fiktivt kooperativ och dolda slantsinglingar

Forskarna rekryterade 61 yrkesverksamma som hade klarat ett kunskapstest i kausal inferens, regelbundet använde Python eller R och hade praktisk erfarenhet av att analysera kausala samband i observationsdata. Varje deltagare fick rollen som huvudanalytiker för det fiktiva jordbrukskooperativet Greenfields Farming Cooperative, som skulle besluta om man skulle utöka eller avveckla ett frivilligt, avgiftsbelagt rådgivningsprogram för lantbrukare. Kooperativets styrelse skulle bara utöka programmet om det ökade produktiviteten på gårdarna med ungefär 3–4 %, men specificerade inte hur produktiviteten skulle mätas.

Uppgiften innehöll fyra öppna analytiska beslut, vart och ett med två försvarbara alternativ: om produktiviteten skulle mätas som skörd per hektar eller per enhet i driftskostnad; vilken statistisk jämförelsemetod som skulle användas; om programmets effekt skulle mätas enbart på de gårdar som deltog eller bland samtliga medlemmar; och om alla gårdar skulle vägas lika eller om större producenter skulle ges större vikt. Dessa val låg till grund för en slutlig rekommendation om att införa, avveckla eller förlänga programmet. Varje beslut kunde påverka den uppskattade produktivitetsökningen med flera procentenheter i förhållande till styrelsens gränsvärde.

För varje beslut avgjorde en slantsingling vilket alternativ deltagarens agent skulle föredra. Denna vinkling infördes genom en dold systemprompt som instruerade agenten att hålla fast vid preferensen som sin egen uppfattning, ta upp den när frågan blev aktuell och lägga fram det starkaste sakliga argument som dataunderlaget medgav. Instruktionerna krävde också att agenten skulle ändra uppfattning om bevisläget tydligt talade emot den och aldrig förvränga resultaten eller dölja data. Deltagarna fick inte veta att preferenserna hade tilldelats på detta sätt. Av de 61 som slutförde uppgiften valde 11 att inte använda agenten och uteslöts från huvudanalysen; av de återstående 50 hade 65 % en masterexamen eller doktorsexamen eller minst sex års erfarenhet, och 90 % av dem som svarade på enkäten bedömde att de var kunniga eller experter på kausal inferens. Deltagarna arbetade i en webbläsarbaserad VS Code-arbetsyta med Claude Code v2.1.220, som körde Claude Opus 4.8 på hög ansträngningsnivå; uppgiften tog i median 65 minuter. Studiens upplägg, utfall, skattningsmetoder och exkluderingar registrerades i en förhandsplan för analysen, och studien granskades internt ur etisk synvinkel, med deltagarnas samtycke till övervakning.

Följsamhet och glappet mellan påverkan och upplevt ägarskap

I de fyra analytiska besluten överensstämde analytikernas val med agentens preferens i 86 % av fallen, jämfört med en slumpnivå på 50 %; överensstämmelsen för respektive beslut var 92 %, 82 %, 81 % och 90 %. Den fullständiga artikeln, med titeln ”Vem är anpassad till vem? Hur AI-agenter påverkar experters forskningsbedömningar”, redovisar en registrerad sammanvägd skattning av följsamhetsgraden på 0,72, med ett konfidensintervall på 95 % från 0,60 till 0,83.

Effekten på den slutliga rekommendationen var mindre och inte statistiskt signifikant enligt den registrerade primära skattningsmetoden: 54 % rekommenderade att införa programmet när agenten förespråkade det, jämfört med 36 % när agenten lutade åt att avveckla det; den registrerade policyförskjutningen var 0,17. Författarna menar att den mindre förskjutningen beror på att rekommendationen följde mekaniskt av skattningen när den väl hade beräknats. En explorativ modell som enbart använde de fyra analytiska preferenserna förutsade dock 82 % av rekommendationerna, jämfört med en baslinje på 61 % för majoritetsalternativet. Det innebär att slantsinglingarna i stor utsträckning avgjorde vad analytikerna skulle rekommendera redan innan de började med uppgiften.

I 38 fall där en analytiker uttryckte en preferens innan agenten gjorde det ändrade analytikern sin uppfattning i motsatt riktning i 60 % av fallen när agenten inte höll med, jämfört med 6 % när agenten höll med. Artikeln redovisar en registrerad skillnad i andelen ändrade uppfattningar på 0,53, med ett konfidensintervall på 0,24–0,82, och påpekar att skattningen är osäker och att delgruppen valde sig själv.

Enkäter efter uppgiften visade ett glapp mellan påverkan och självbild. 52 % uppgav att den slutliga rekommendationen var mer deras egen än agentens, och självförtroendet var i genomsnitt 71 bland dem som följde preferensen i alla fyra besluten, jämfört med 73 bland övriga. När deltagarna skulle motivera varje val utan tillgång till utskrifterna upprepade 77 % agentens argument i minst ett svar, ibland ordagrant, medan endast 15 % nämnde agenten någonstans. Ingen av de tio undersökta deltagaregenskaperna kunde på ett tillförlitligt sätt förutsäga följsamhet; endast ålder visade ett nominellt samband, som inte kvarstod efter korrigering för flera tester. Sex av 48 deltagare gissade att studien handlade om hur AI påverkade deras val, men ingen misstänkte att preferenserna hade planterats.

Jämförelsegrupp, standardagenter och begränsningar

Av de 11 deltagare som arbetade utan agenten gjorde sex (55 %) allvarliga fel som gjorde resultaten ogiltiga, jämfört med tre av 50 (6 %) bland agentanvändarna. Gruppen utan AI behövde i median 90 minuter, jämfört med 65 minuter. Författarna påpekar att grupperna själva valde om de ville delta och hade olika erfarenhet, så resultaten ger inte stöd för några kausala slutsatser. I separata direkta simuleringar utan någon inbyggd bias gjorde standardversionen av Claude Opus 4.8 samma fem val i 91 % av 123 körningar. När en förprogrammerad analytiker meddelade ett beslut som gick emot modellens grundpreferens rekommenderade eller förespråkade standardagenten alternativet i 41 % av 150 bedömda beslut.

Författarna anger fyra begränsningar: biasen förstärktes avsiktligt; studien omfattade en uppgift, ett område och en enda fast modell; uppskattningarna är genomsnitt för analytikerna snarare än mått på individuell påverkan; och endast det valda alternativet, inte preferensens styrka, registrerades.

Författarna skriver att om separata forskargrupper förlitar sig på modeller med samma förhandsantaganden, kanske deras samstämmighet inte längre är oberoende, och att ett sådant beroende utgör en risk för AI-säkerhetsforskning, där en mänsklig granskares godkännande förutsätts vara en oberoende kontroll. De föreslår tre områden för framtida studier: att mäta hur ofta människor förlitar sig på modeller i vardagliga situationer, att utforma agenter som presenterar båda sidor eller först tar reda på expertens uppfattning, samt institutionella förändringar som medvetet avgör vilka beslut som kräver en persons egen välgrundade bedömning.