Anthropic publicerar vägledning för tillförlitligare utvärderingar av AI-säkerhet

Anthropic publicerade rekommendationer för tillförlitligare utvärderingar av AI-säkerhet den 13 november 2026. Företaget rapporterade att andelen ofarliga svar i API-tester med en enda tur låg på 94–98 % för samtliga nyare modeller. Dessa tester har nått ett tak och är främst användbara för att kontrollera kända feltyper. Utvärderingar med flera turer ger större variation och kan fånga upp gradvisa förändringar under ett samtal.

En säkerhetsutvärdering mäter en modells benägenhet att orsaka eller bidra till skada, om dess svar gör skada mer eller mindre sannolik och hur allvarlig skadan skulle kunna bli, snarare än en specifik förmåga. En central fråga är konstruktvaliditet, det vill säga om ett test fångar det begrepp som det är avsett att mäta. Andelen avböjanden kan vara missvisande i samtal om självmord och självskada, eftersom det i sig kan vara ett misslyckande att helt enkelt avstå från att engagera sig. Det önskade svaret erbjuder stöd och hänvisar användaren till mänsklig hjälp. I stället mäter Anthropics utvärderingar med flera turer andelen lämpliga svar under hela samtalet, med riskanpassade bedömningskriterier där en enda olämplig tur innebär att hela samtalet underkänns.

Tester med flera turer och täckning av verkliga förhållanden

För att utforma testerna skriver en ämnesexpert en specifikation för den simulerade användarens mål, taktiker, persona, situation, ton och samtalsstil. Användarens första inlägg hålls oförändrat, medan en separat Claude-modell genererar efterföljande inlägg som svar på modellen som testas. Varje scenario körs upprepade gånger med olika kombinationer av egenskaper, och en bedömningsmodell poängsätter hela samtalsutskriften utifrån relevanta riskanpassade bedömningskriterier.

Att variera olika dimensioner oberoende av varandra gör det lättare att identifiera vad som påverkar beteendet. Om varje allvarligt fall också har en brådskande ton går det inte att skilja effekterna av allvarlighetsgrad från tonfall. Anthropic rekommenderar också att testerna utformas utifrån observerat beteende, offentliga data, utskrifter från red teaming, incidentrapporter eller expertintervjuer, i stället för att enbart bygga på påhittade situationer. Företagets testsviter med en enda tur omfattar 16 policyområden på sju språk och i flera produktmiljöer, och utvärderingsmiljön anpassas till den driftsättning som testas.

Testerna måste också genomföras under kontrollerade former. För utvärderingar av cybersäkerhet föreskriver vägledningen sandlådemiljöer utan internetåtkomst och övervakning i realtid, så att en testkörning kan avbrytas om en modells handlingar riskerar att orsaka skada i verkligheten.

Validering av bedömningsmodeller och statistiska begränsningar

Automatiserade bedömningsmodeller innebär ytterligare en mätrisk, eftersom felaktiga system kan fortsätta att producera trovärdiga poäng. De rekommenderade skyddsåtgärderna omfattar entydiga kriterier med ja- eller nej-svar, uttrycklig hantering av friskrivningar och gränsfall, tydliga larm vid fel samt kontroller av snedvridningar kopplade till svarslängd, position och självpreferens. Mänskliga granskare bör göra oberoende bedömningar av ett urval samtalsutskrifter, så att överensstämmelsen mellan bedömningsmodellen och experterna kan jämföras med experternas inbördes överensstämmelse.

Denna mänskliga jämförelse avgör vilken åtgärd som behövs. Om experterna är överens med varandra men inte med bedömningsmodellen behöver bedömningskriterierna eller modellen förbättras. Om experterna är oense sinsemellan kanske utvärderingen inte har något stabilt svar att mäta. Vägledningen rekommenderar också att mätetal, jämförelser och tröskelvärden för förbättring förhandsregistreras innan resultaten blir kända.

Urvalsstorlekar ligger till grund för dessa bedömningar. Anthropic använder miniminivåer på 100 testobjekt för komplexa utvärderingar med flera turer och 1 000 för enklare tester med en enda tur, tillsammans med upprepade körningar för att ta hänsyn till brusiga, icke-deterministiska utdata. Anthropic uppger att konfidensintervallen i API-utvärderingar med flera turer kan överstiga ±10 procentenheter: i en utvärdering av romansbedrägerier med flera turer på claude.ai uppmätte Claude Opus 5 och Opus 5.5 andelar lämpliga svar på 98 % respektive 94 %, men skillnaden var inte statistiskt signifikant. Exemplet visar varför en numerisk skillnad i sig inte räcker för att fastställa vilken modell som betedde sig säkrare.

Driftsättningsinställningar och rapportering

Driftsättningskonfigurationen är ytterligare en dokumenterad variabel. När Anthropic granskade Claude Fable 5.1 upptäckte företaget att vissa svar underförstått bekräftade självskada som en copingstrategi, även när de avrådde från självskada och hänvisade till mänskligt stöd. Företaget uppger att en ny körning av utvärderingen med riktade skyddsåtgärder i systemprompten gav en andel lämpliga svar på 94 % på claude.ai, jämfört med 60 % via API:et. Jämförelsen visar varför poäng från olika konfigurationer inte kan betraktas som likvärdiga.

Rekommendationerna för rapportering omfattar modellversioner, inställningar för sampling, promptar, versioner av bedömningsmodeller och datum. De rekommenderar också kontinuerlig utvärdering under finjustering, i stället för en enda kontroll före lansering. Allvarliga brister i driftsatta system bör först meddelas utvecklaren, så att det finns tid att åtgärda dem innan resultaten publiceras.

Anthropics tre högst prioriterade åtgärder är att definiera konstrukten innan data samlas in, validera bedömningsmodellen mot mänskliga bedömningar och rapportera osäkerhet. Den bredare slutsatsen är att ett påstående om att en modell är säkrare än en annan beror lika mycket på testets utformning, driftsättningskontext och statistiska styrka som på huvudresultatet.