Anthropic publică recomandări pentru evaluări mai fiabile ale siguranței IA

Pe 13 noiembrie 2026, Anthropic a publicat recomandări pentru evaluări mai fiabile ale siguranței IA, raportând rate agregate ale răspunsurilor inofensive cuprinse între 94% și 98% pentru fiecare dintre modelele recente în testele API cu o singură rundă. Testele respective, ajunse la plafon, sunt utile mai ales ca verificări de regresie pentru moduri de eșec cunoscute; evaluările cu mai multe schimburi oferă mai multă varietate și pot surprinde schimbările treptate de-a lungul unei conversații.

O evaluare a siguranței măsoară înclinația unui model de a provoca prejudicii sau de a contribui la acestea, dacă răspunsul său face ca prejudiciile să devină mai mult sau mai puțin probabile și cât de grave ar putea fi, nu o anumită capacitate. O preocupare centrală este validitatea de construct, adică măsura în care un test surprinde conceptul pe care urmărește să îl măsoare. Rata refuzurilor poate induce în eroare în conversațiile despre suicid și autovătămare, deoarece simplul refuz de a participa la conversație poate fi, în sine, un eșec; răspunsul dorit oferă sprijin și îndrumă utilizatorul către ajutorul unei persoane. În schimb, evaluările Anthropic cu mai multe schimburi măsoară rata răspunsurilor adecvate pe parcursul întregii conversații, folosind grile de evaluare specifice fiecărui risc, în care un singur schimb problematic duce la eșuarea întregii conversații.

Teste cu mai multe schimburi și acoperirea situațiilor din lumea reală

Pentru a construi aceste teste, un expert în domeniu redactează o specificație privind obiectivele, tacticile, personalitatea, situația, tonul și stilul conversațional al utilizatorului simulat. Prima intervenție a utilizatorului rămâne fixă, în timp ce un model Claude separat generează intervențiile ulterioare ca răspuns la modelul testat. Fiecare scenariu este rulat în mod repetat, cu diferite combinații de caracteristici, iar un model evaluator notează transcrierea completă în raport cu grila de evaluare relevantă pentru risc.

Variarea independentă a dimensiunilor ajută la identificarea factorilor care determină comportamentul; dacă toate cazurile grave folosesc și un ton urgent, efectele gravității și ale tonului nu pot fi separate. Anthropic recomandă, de asemenea, ca testele să pornească de la comportamente observate, date publice, transcrieri ale exercițiilor de testare adversarială, rapoarte de incidente sau interviuri cu experți, nu doar de la situații inventate. Seturile sale de teste cu o singură rundă acoperă 16 domenii de politici în șapte limbi și pe mai multe interfețe de produs, iar mediul de evaluare este adaptat implementării testate.

Efectuarea testelor necesită și măsuri de izolare. Pentru evaluările de securitate cibernetică, recomandările prevăd medii de testare fără acces la internet și monitorizare în timp real, astfel încât o rundă să poată fi oprită dacă acțiunile unui model ar putea provoca prejudicii în lumea reală.

Validarea evaluatorilor și limitele statistice

Evaluatorii automatizați introduc un alt risc de măsurare, deoarece sistemele defecte pot continua să producă scoruri plauzibile. Măsurile de protecție recomandate includ criterii elementare cu răspuns de tip da sau nu, tratarea explicită a declinărilor de responsabilitate și a cazurilor-limită, alerte clare privind erorile și verificări pentru identificarea prejudecăților legate de lungimea răspunsului, poziție și preferința față de propriile răspunsuri. Evaluatorii umani ar trebui să eticheteze independent un eșantion de transcrieri, pentru ca acordul dintre evaluator și expert să poată fi comparat cu acordul dintre experți.

Această referință umană determină soluția necesară. Dacă experții sunt de acord între ei, dar nu și cu evaluatorul, grila de evaluare sau evaluatorul trebuie îmbunătățite; dacă experții nu sunt de acord între ei, este posibil ca evaluarea să nu aibă un răspuns stabil de măsurat. Recomandările prevăd și înregistrarea prealabilă a indicatorilor, comparațiilor și pragurilor de îmbunătățire, înainte de consultarea rezultatelor.

Dimensiunile eșantioanelor stau la baza acestor judecăți. Anthropic stabilește praguri minime de 100 de elemente pentru evaluările complexe cu mai multe schimburi și de 1.000 pentru testele mai simple, cu o singură rundă, precum și rulări repetate pentru a ține cont de rezultatele fluctuante și nedeterministe. Anthropic afirmă că intervalele de încredere pentru evaluările API cu mai multe schimburi pot depăși ±10 puncte procentuale: într-o evaluare a înșelătoriilor sentimentale cu mai multe schimburi, desfășurată pe claude.ai, Claude Opus 5 și Opus 5.5 au înregistrat rate ale răspunsurilor adecvate de 98%, respectiv 94%, însă diferența nu a fost semnificativă statistic. Exemplul arată de ce o simplă diferență numerică nu poate stabili care model s-a comportat mai sigur.

Setările de implementare și raportarea

Configurația de implementare este o altă variabilă documentată. În timp ce evalua Claude Fable 5.1, Anthropic a constatat că unele răspunsuri validau implicit autovătămarea ca strategie de gestionare a problemelor, chiar dacă descurajau autovătămarea și îndrumau utilizatorii către sprijinul unei persoane. Compania afirmă că reluarea evaluării cu măsuri de atenuare specifice în promptul de sistem a dus la o rată a răspunsurilor adecvate de 94% pe claude.ai, față de 60% pe API. Comparația arată de ce scorurile obținute cu configurații diferite nu pot fi considerate echivalente.

Recomandările privind raportarea includ versiunile modelelor, setările de eșantionare, prompturile, versiunile evaluatorilor și datele, precum și evaluarea continuă în timpul ajustării fine, în locul unei singure verificări înainte de lansare. Defectele grave ale sistemelor implementate ar trebui comunicate mai întâi dezvoltatorului, pentru a-i acorda timp să le remedieze înainte de publicarea rezultatelor.

Cele mai importante trei priorități ale Anthropic sunt definirea constructului înainte de colectarea datelor, validarea evaluatorului în raport cu judecata umană și raportarea incertitudinii. Implicația mai largă este că afirmația potrivit căreia un model este mai sigur decât altul depinde de proiectarea testului, de contextul implementării și de puterea statistică la fel de mult ca de scorul evidențiat.