Anthropic publiserer veiledning for mer pålitelige evalueringer av AI-sikkerhet

Anthropic publiserte anbefalinger for mer pålitelige evalueringer av AI-sikkerhet 13. november 2026. Selskapet rapporterte samlede andeler ufarlige svar på 94–98 % for alle nyere modeller i enkeltturstestene på API-et. Disse testene, der resultatene ligger helt i taket, er først og fremst nyttige som regresjonstester for kjente feilmodi. Evalueringer med flere turer gir større variasjon og kan fange opp gradvise endringer gjennom en samtale.

En sikkerhetsevaluering måler hvor tilbøyelig en modell er til å forårsake eller bidra til skade: om svaret gjør skade mer eller mindre sannsynlig, og hvor alvorlig skaden kan bli, snarere enn en bestemt evne. En sentral utfordring er begrepsvaliditet, altså om en test faktisk måler det begrepet den er ment å måle. Avslagsraten kan være misvisende i samtaler om selvmord og selvskading, fordi det i seg selv kan være et feilgrep å avstå fra å svare. Det ønskede svaret tilbyr støtte og viser brukeren videre til hjelp fra et menneske. I stedet måler Anthropics evalueringer med flere turer andelen passende svar gjennom hele samtalen, ved hjelp av risikospesifikke vurderingskriterier der én dårlig svarrunde gjør at hele samtalen ikke består.

Tester med flere turer og dekning av virkelige forhold

For å utforme disse testene skriver en fagekspert en spesifikasjon for den simulerte brukerens mål, taktikker, persona, situasjon, tone og samtalestil. Brukerens første tur holdes fast, mens en separat Claude-modell genererer de påfølgende turene som svar på modellen som testes. Hvert scenario kjøres flere ganger med ulike kombinasjoner av egenskaper, og en modell som vurderer resultatene, gir hele utskriften en poengsum i tråd med de relevante risikokriteriene.

Når dimensjonene varieres uavhengig av hverandre, blir det lettere å identifisere hva som påvirker atferden. Hvis alle alvorlige tilfeller også har en påtrengende tone, kan ikke effekten av alvoret skilles fra effekten av tonen. Anthropic anbefaler også å ta utgangspunkt i observert atferd, offentlig tilgjengelige data, utskrifter fra red-team-testing, hendelsesrapporter eller ekspertintervjuer, fremfor bare oppdiktede situasjoner. Testpakkene for enkeltturer dekker 16 politikkområder på sju språk på tvers av flere produktflater, og evalueringsmiljøet tilpasses utrullingen som testes.

Testene må også gjennomføres under kontrollerte forhold. For evalueringer av cybersikkerhet krever veiledningen sandkasser uten internettilgang og overvåking i sanntid, slik at en testkjøring kan stanses hvis modellens handlinger kan føre til skade i den virkelige verden.

Validering av vurderingsmodeller og statistiske begrensninger

Automatiserte vurderingsmodeller innebærer en ytterligere målerisiko, fordi systemer som ikke fungerer som de skal, likevel kan fortsette å produsere plausible poengsummer. Anbefalte sikkerhetstiltak omfatter entydige ja-eller-nei-kriterier, tydelig håndtering av ansvarsfraskrivelser og grensetilfeller, tydelige varsler om feil og kontroller for skjevheter knyttet til svarlengde, plassering og egenpreferanse. Menneskelige kontrollører bør merke et utvalg av utskriftene uavhengig av hverandre, slik at samsvaret mellom vurderingsmodellen og ekspertene kan sammenlignes med samsvaret ekspertene imellom.

Dette menneskelige sammenligningsgrunnlaget avgjør hva som bør gjøres. Hvis ekspertene er enige seg imellom, men ikke med vurderingsmodellen, må vurderingskriteriene eller modellen forbedres. Hvis ekspertene er uenige seg imellom, er det ikke sikkert evalueringen har et stabilt svar å måle mot. Veiledningen anbefaler også å forhåndsregistrere måleparametere, sammenligninger og terskler for forbedring før resultatene foreligger.

Utvalgsstørrelsene ligger til grunn for disse vurderingene. Anthropic bruker minimumsutvalg på 100 elementer for komplekse evalueringer med flere turer og 1 000 for enklere enkeltturstester, i tillegg til gjentatte kjøringer for å ta høyde for støyende, ikke-deterministiske resultater. Anthropic oppgir at konfidensintervallene i API-evalueringer med flere turer kan overstige ±10 prosentpoeng: I en evaluering av kjærlighetssvindel med flere turer på claude.ai fikk Claude Opus 5 og Opus 5.5 andeler passende svar på henholdsvis 98 % og 94 %, men forskjellen var ikke statistisk signifikant. Eksemplet viser hvorfor et numerisk avvik alene ikke kan fastslå hvilken modell som oppførte seg tryggere.

Utrullingsinnstillinger og rapportering

Konfigurasjonen ved utrulling er en annen variabel som er dokumentert. Da Anthropic gjennomgikk Claude Fable 5.1, fant selskapet at noen svar indirekte framstilte selvskading som en mestringsstrategi, selv om de frarådet selvskading og viste til støtte fra mennesker. Selskapet rapporterer at en ny kjøring av evalueringen med målrettede tiltak i systemprompten ga en andel passende svar på 94 % på claude.ai, sammenlignet med 60 % på API-et. Sammenligningen viser hvorfor poengsummer fra ulike konfigurasjoner ikke kan behandles som likeverdige.

Anbefalingene for rapportering omfatter også modellversjoner, innstillinger for utvalg, prompter, versjoner av vurderingsmodeller og datoer. Evaluering bør foregå kontinuerlig under finjustering, ikke bare som én enkelt kontroll før lansering. Alvorlige svakheter i systemer som er tatt i bruk, bør først opplyses til utvikleren, slik at det finnes tid til å rette dem før resultatene publiseres.

Anthropics tre viktigste prioriteringer er å definere begrepet som skal måles, før data samles inn, å validere vurderingsmodellen mot menneskelige vurderinger og å rapportere usikkerhet. Den overordnede konsekvensen er at en påstand om at én modell er tryggere enn en annen, avhenger like mye av testutformingen, utrullingskonteksten og den statistiske styrken som av hovedresultatet.