Anthropic offentliggør retningslinjer for mere pålidelige evalueringer af AI-sikkerhed

Anthropic offentliggjorde anbefalinger til mere pålidelige evalueringer af AI-sikkerhed den 13. november 2026 og rapporterede samlede andele af harmløse svar på 94 % til 98 % for alle nyere modeller i sine enkelt-turs API-tests. Disse mættede tests er først og fremmest nyttige som regressionstests for kendte fejltyper; evalueringer med flere ture giver større variation og kan indfange gradvise ændringer gennem en samtale.

En sikkerhedsevaluering måler en models tilbøjelighed til at forårsage eller bidrage til skade, herunder om dens svar gør skade mere eller mindre sandsynlig, og hvor alvorlig skaden kan være, snarere end en bestemt evne. Et centralt spørgsmål er begrebsvaliditet, altså om en test måler det begreb, den har til hensigt at måle. Afslagsraten kan være misvisende i samtaler om selvmord og selvskade, fordi det i sig selv kan være en fejl blot at afvise at engagere sig; det ønskede svar tilbyder støtte og henviser brugeren til menneskelig hjælp. I stedet måler Anthropics evalueringer med flere ture andelen af passende svar gennem hele samtalen ved hjælp af risikospecifikke vurderingskriterier, hvor én dårlig tur betyder, at hele samtalen ikke består.

Tests med flere ture og dækning af virkelige forhold

For at udforme disse tests skriver en fagekspert en specifikation af den simulerede brugers mål, strategier, persona, situation, tone og samtalestil. Brugerens første tur holdes fast, mens en separat Claude-model genererer de efterfølgende ture som svar på den model, der testes. Hvert scenarie køres gentagne gange med forskellige kombinationer af karakteristika, og en bedømmelsesmodel vurderer hele samtalens transskription ud fra de relevante risikospecifikke vurderingskriterier.

Når dimensionerne varieres uafhængigt af hinanden, bliver det lettere at finde ud af, hvad der påvirker adfærden; hvis alle alvorlige tilfælde også har en presserende tone, kan virkningerne af alvor og tone ikke adskilles. Anthropic anbefaler også, at man tager udgangspunkt i observeret adfærd, offentligt tilgængelige data, transskriptioner fra red teaming, hændelsesrapporter eller interviews med eksperter frem for udelukkende at bruge opdigtede situationer. Dets testserier med én tur dækker 16 politikområder på syv sprog på tværs af flere produktgrænseflader, og evalueringsmiljøet tilpasses den udrulning, der testes.

Testene kræver også afskærmning. For cybersikkerhedsevalueringer anbefaler retningslinjerne sandkasser uden internetadgang og overvågning i realtid, så en testkørsel kan stoppes, hvis en models handlinger kan forårsage skade i den virkelige verden.

Validering af bedømmere og statistiske begrænsninger

Automatiske bedømmere indebærer en yderligere målerisiko, fordi fejlbehæftede systemer kan blive ved med at producere plausible resultater. De anbefalede sikkerhedsforanstaltninger omfatter entydige ja-eller-nej-kriterier, eksplicit håndtering af ansvarsfraskrivelser og tvivlstilfælde, tydelige fejlalarmer og kontroller for skævheder knyttet til svarlængde, placering og præference for egne svar. Menneskelige bedømmere bør uafhængigt mærke et udsnit af transskriptionerne, så overensstemmelsen mellem bedømmeren og eksperterne kan sammenlignes med eksperternes indbyrdes overensstemmelse.

Denne menneskelige målestok afgør, hvad der skal gøres. Hvis eksperterne er enige med hinanden, men ikke med bedømmeren, skal vurderingskriterierne eller bedømmeren forbedres; hvis eksperterne er uenige med hinanden, har evalueringen muligvis ikke et entydigt svar, der kan måles. Retningslinjerne anbefaler også, at målinger, sammenligninger og tærskler for forbedring forhåndsregistreres, inden resultaterne foreligger.

Stikprøvestørrelser ligger til grund for disse vurderinger. Anthropic anvender minimumsgrænser på 100 elementer for komplekse evalueringer med flere ture og 1.000 for enklere tests med én tur samt gentagne kørsler for at tage højde for støjende, ikke-deterministiske resultater. Anthropic oplyser, at konfidensintervallerne i API-evalueringer med flere ture kan overstige ±10 procentpoint: I en evaluering af kærlighedssvindel med flere ture på claude.ai opnåede Claude Opus 5 og Opus 5.5 andele af passende svar på henholdsvis 98 % og 94 %, men forskellen var ikke statistisk signifikant. Eksemplet viser, hvorfor en numerisk forskel alene ikke kan fastslå, hvilken model der opførte sig mere sikkert.

Udrulningsindstillinger og rapportering

Udrulningskonfigurationen er en anden dokumenteret variabel. Under en gennemgang af Claude Fable 5.1 fandt Anthropic, at nogle svar indirekte bekræftede selvskade som en mestringsstrategi, selv når de frarådede selvskade og henviste til menneskelig støtte. Virksomheden oplyser, at en gentagelse af evalueringen med målrettede afbødende foranstaltninger i systemprompten gav en andel af passende svar på 94 % på claude.ai sammenlignet med 60 % på API’et. Sammenligningen viser, hvorfor resultater fra forskellige konfigurationer ikke kan betragtes som ækvivalente.

Anbefalingerne til rapportering omfatter også modelversioner, indstillinger for sampling, prompts, versioner af bedømmere og datoer samt løbende evaluering under finjustering i stedet for én enkelt kontrol før udgivelse. Alvorlige fejl i udrullede systemer bør først oplyses til udvikleren, så der er tid til at rette dem, inden resultaterne offentliggøres.

Anthropics tre højeste prioriteter er at definere det begreb, der skal måles, inden data indsamles, validere bedømmeren i forhold til menneskelige vurderinger og rapportere usikkerhed. Den bredere pointe er, at en påstand om, at én model er sikrere end en anden, afhænger lige så meget af testens udformning, udrulningskonteksten og den statistiske styrke som af hovedresultatet.