Anthropic zveřejnila doporučení pro spolehlivější hodnocení bezpečnosti umělé inteligence

Anthropic zveřejnila doporučení pro spolehlivější hodnocení bezpečnosti umělé inteligence 13. listopadu 2026. Uvedla, že u všech nedávných modelů dosáhla celková míra neškodných odpovědí v testech API s jedním tahem 94 až 98 %. Tyto testy, jejichž výsledky se ustálily na vysokých hodnotách, jsou užitečné především jako regresní kontroly známých způsobů selhání; hodnocení s více tahy nabízí větší variabilitu a dokáže zachytit postupné změny v průběhu konverzace.

Hodnocení bezpečnosti měří, nakolik má model sklon způsobit škodu nebo k ní přispět, zda jeho odpověď zvyšuje, či snižuje pravděpodobnost škody a jak závažná by mohla být, nikoli konkrétní schopnost modelu. Zásadní otázkou je validita konstruktu, tedy zda test skutečně zachycuje pojem, který má měřit. Míra odmítnutí může být u rozhovorů o sebevraždě a sebepoškozování zavádějící, protože pouhé odmítnutí zapojit se do rozhovoru může samo o sobě představovat selhání; žádoucí odpověď nabízí podporu a nasměruje uživatele k pomoci člověka. Hodnocení společnosti Anthropic s více tahy místo toho měří míru přiměřených odpovědí v průběhu celé konverzace. Využívá hodnoticí kritéria specifická pro jednotlivá rizika, podle nichž jediný špatný tah znamená neúspěch celé konverzace.

Testy s více tahy a pokrytí situací z reálného světa

Při sestavování těchto testů odborník v dané oblasti sepíše specifikaci cílů, taktik, persony, situace, tónu a konverzačního stylu simulovaného uživatele. První tah uživatele zůstává pevně daný, zatímco samostatný model Claude vytváří následující tahy v reakci na testovaný model. Každý scénář se opakovaně spouští s různými kombinacemi charakteristik a hodnoticí model posuzuje celý přepis podle příslušných kritérií pro dané riziko.

Nezávislé obměňování jednotlivých dimenzí pomáhá zjistit, co ovlivňuje chování; pokud má každý závažný případ zároveň naléhavý tón, nelze oddělit vliv závažnosti od vlivu tónu. Anthropic také doporučuje vycházet z pozorovaného chování, veřejně dostupných dat, přepisů z bezpečnostního testování, zpráv o incidentech nebo rozhovorů s odborníky, nikoli pouze z vymyšlených situací. Soubory testů s jedním tahem pokrývají 16 oblastí zásad v sedmi jazycích a na různých produktových platformách; prostředí pro hodnocení odpovídá testovanému způsobu nasazení.

Provádění testů vyžaduje také zajištění bezpečného prostředí. U hodnocení kybernetické bezpečnosti pokyny požadují izolovaná prostředí bez přístupu k internetu a monitorování v reálném čase, aby bylo možné běh testu zastavit, pokud by jednání modelu mohlo způsobit škodu v reálném světě.

Ověřování hodnoticích modelů a statistická omezení

Automatizované hodnoticí modely představují další riziko pro měření, protože i nefunkční systémy mohou dál vytvářet věrohodně vypadající výsledky. Mezi doporučená ochranná opatření patří jednoznačná kritéria s odpovědí ano, nebo ne, výslovné zohlednění upozornění na omezení i hraničních případů, výrazná upozornění na selhání a kontroly zkreslení způsobeného délkou odpovědi, pořadím i upřednostňováním vlastních výstupů. Lidští hodnotitelé by měli nezávisle označit vzorek přepisů, aby bylo možné porovnat shodu hodnoticího modelu s odborníky se shodou mezi samotnými odborníky.

Tato výchozí úroveň shody mezi lidmi určuje, jaké řešení zvolit. Pokud se odborníci shodnou mezi sebou, ale ne s hodnoticím modelem, je třeba upravit hodnoticí kritéria nebo samotný model; pokud se odborníci neshodnou ani mezi sebou, nemusí mít hodnocení stabilní odpověď, kterou by bylo možné měřit. Pokyny také požadují předem registrovat metriky, srovnání a prahové hodnoty zlepšení ještě před seznámením s výsledky.

Právě velikost vzorku je základem těchto úsudků. Anthropic stanovuje minimální počet 100 položek pro složitá hodnocení s více tahy a 1 000 položek pro jednodušší testy s jedním tahem; testy se zároveň opakovaně spouštějí, aby se zohlednily proměnlivé, nedeterministické výstupy. Anthropic uvádí, že intervaly spolehlivosti u hodnocení API s více tahy mohou přesahovat ±10 procentních bodů: při hodnocení podvodů založených na romantickém vztahu s více tahy na claude.ai dosáhly modely Claude Opus 5 a Opus 5.5 míry přiměřených odpovědí 98 %, respektive 94 %, rozdíl však nebyl statisticky významný. Tento příklad ukazuje, proč samotný číselný rozdíl nestačí k určení, který model se choval bezpečněji.

Nastavení nasazení a podávání zpráv

Další zdokumentovanou proměnnou je konfigurace nasazení. Při hodnocení modelu Claude Fable 5.1 Anthropic zjistila, že některé odpovědi nepřímo potvrzovaly sebepoškozování jako způsob zvládání situace, přestože od sebepoškozování odrazovaly a doporučovaly vyhledat pomoc člověka. Společnost uvádí, že po opakování hodnocení s cílenými zmírňujícími opatřeními v systémovém promptu dosáhla míra přiměřených odpovědí na claude.ai 94 %, zatímco v API činila 60 %. Toto srovnání ukazuje, proč nelze skóre z různých konfigurací považovat za rovnocenná.

Doporučení pro podávání zpráv se vztahují také na verze modelů, nastavení vzorkování, prompty, verze hodnoticích modelů a data. Hodnocení má probíhat průběžně během dolaďování modelu, nikoli pouze jednou před jeho vydáním. Závažné nedostatky v nasazených systémech je třeba nejprve oznámit vývojáři, aby měl čas je napravit ještě před zveřejněním výsledků.

Tři hlavní priority společnosti Anthropic jsou definovat měřený konstrukt před shromažďováním dat, ověřit hodnoticí model na základě lidského úsudku a uvádět míru nejistoty. Obecně z toho plyne, že tvrzení, že jeden model je bezpečnější než jiný, závisí na návrhu testu, kontextu nasazení a statistické síle stejně jako na výsledném skóre.