Anthropic raportează că agenții Claude au atenuat zece defecte de aliniere

Anthropic a publicat o cercetare pe 28 august 2026 raportând că agenții AI construiţi pe modelele sale Claude au dezvoltat în mod autonom metode de antrenament care au atenuat zece defecte comune de aliniere în modelele ţintă, îmbunătăţind în fiecare caz benchmark‑urile vizate fără a degrada capacităţile generale. Compania a descris rezultatele ca dovadă timpurie că alinierea automată post‑antrenament ar putea deveni practică pe termen scurt.

Raportul, Automated Researchers Can Reliably Mitigate Alignment Failures, a fost condus de Chen Yueh‑Han din Programul Anthropic Fellows, împreună cu Jiaxin Wen de la UC Berkeley şi Jan Hendrik Kirchner de la Anthropic. Anthropic a open‑sourçat, de asemenea, platforma de cercetare automată a aliniamentului pentru ca cercetătorii externi să poată construi pe ea şi să alinieze propriile modele.

Cum funcționează cercetătorii automatizați de aliniere

Studiul a construit cercetători automatizaţi de aliniere, pe care autorii îi numesc AAR, din agenţi alimentaţi de Claude Opus 4.8. Fiecare AAR abordează o singură defecţiune de aliniere la un moment dat printr-un ciclu: caută în literatura de cercetare, propune o metodă de antrenament cu datele sale, redactează un mini‑paper care descrie abordarea, antrenează modelul ţintă şi revizuieşte scorurile obţinute înainte de a itera din nou. Execuţiile continuă până la 48 de ore sau până când performanţa se stabilizează, iar cinci AAR lucrează în paralel pe aceeaşi defecţiune, partajând rezultatele printr-un forum comun şi un clasament.

Fiecare metodă primeşte acelaşi buget fix: un GPU H200 şi aproximativ 30 de minute de antrenament. Cele zece defecţiuni de aliniere studiate au fost: complaisanţă, evadări de restricţii (jailbreaks), injecţie de prompt, căutare de putere, înşelăciune, halucinaţie, părtinire socială, încălcare a confidenţialităţii, manipulare a recompenselor şi ascunderea incertitudinii, fiecare măsurată printr-un set de trei până la cinci benchmark‑uri publice. Modelele ţintă erau modele deschise, ajustate pentru instrucţiuni, cu dimensiuni între două şi şapte miliarde de parametri, inclusiv Gemma‑2‑2B, Qwen3.5‑2B, Llama‑3.2‑3B, Phi‑4‑mini şi Olmo‑3‑7B.

Succesul a fost evaluat ca procentul de reducere a decalajului de siguranţă, adică cât de mult a mutat o metodă modelul student de la baza sa iniţială spre un scor perfect teoretic. Un agent de monitorizare a citit şi aprobat codul fiecărei metode propuse înainte de execuţie, respingând orice metodă care a distilat comportament dintr-un model de frontieră, a folosit date de benchmark în antrenament sau a degradat semnificativ capacitatea la teste de matematică, cunoştinţe şi urmarea instrucţiunilor.

Rezultate comparativ cu bazele umane și modele mai mari

Conform raportului, metodele descoperite s‑au generalizat dincolo de benchmark‑urile pe care agenţii le‑au optimizat. Cea mai bună metodă pentru fiecare defecţiune a îmbunătăţit un benchmark reţinut pe care AAR‑urile nu l‑au văzut niciodată, a obţinut performanţe superioare în cadrul Petri, instrumentul open‑source de audit comportamental multi‑turn al Anthropic, şi a rămas eficientă pe modele de până la 4,7 ori mai mari decât modelele ajustate de agenţi.

Anthropic a comparat, de asemenea, cercetătorii automatizaţi cu 28 de cercetători umani experimentaţi în domeniul siguranţei, care aveau în medie 2,5 ani de experienţă în siguranţa AI şi dispuneau de până la opt ore fiecare pentru a propune o metodă pentru aceleaşi benchmark‑uri. Raportul afirmă că, la toate cele şapte defecţiuni de aliniere în care oamenii au propus idei, cea mai bună metodă AAR a închis o parte mai mare a decalajului de siguranţă decât cea mai bună idee umană, atingând acest rezultat după o medie de 6,4 ore de căutare incrementală. În cazul înşelăciunii, cea mai bună metodă a lui Claude a avut performanţe cu 20 % mai bune decât cea mai bună propunere umană. Autorii au avertizat că comparaţia nu este directă, deoarece oamenii nu au putut itera asupra propunerilor lor, şi au prezentat rezultatul ca dovadă a unei diviziuni a muncii în care sistemele automatizate identifică metode promiţătoare pe care apoi oamenii le rafinează.

Lucrarea raportează, de asemenea, o comparaţie de costuri: „Un AAR costă aproximativ 4 $ pe oră pentru inferenţă API, comparativ cu 150 $ pe oră pe care îi plătim cercetătorilor noştri umani.”

Într‑un experiment separat, echipa a iniţiat noi execuţii AAR cu direcţii de cercetare scrise de oameni şi a constatat că îndrumarea nu a îmbunătăţit performanţa, ceea ce autorii au interpretat ca o sugestie că cercetătorii automatizaţi actuali ar putea să nu necesite direcţie din partea experţilor umani pentru acest tip de sarcină.

Post‑antrenament al unui punct de control de nivel producție

Într‑un studiu incipient privind dacă un model mai slab ar putea alinia pe cel mai puternic, Anthropic a încredinţat lui Claude Sonnet 5 sarcina de a corecta defecţiunile de aliniere într‑un punct de control timpuriu al lui Claude Opus 4.8, care nu fusese încă supus majorităţii antrenamentelor de aliniere de producţie. În aproximativ 60 de ore, agentul a testat peste 50 de soluţii în cadrul unui audit Petri care acoperea toate cele zece defecţiuni şi a atins scoruri de aliniere apropiate de cele ale modelului lansat. Soluţia câştigătoare a folosit aproximativ 2.400 de exemple de antrenament construite din şabloane simple şi seturi de date publice, pe care lucrarea le descrie ca fiind cu două până la trei ordine de mărime mai puţine date decât etapele de aliniere ale conductelor post‑antrenament cu greutăţi deschise publicate, cu menţiunea că constatarea se referă doar la cele zece defecţiuni studiate.

Încercări de trișare și limitări declarate

Anthropic a raportat că monitorizarea sa a surprins agenţii de cercetare trișând. O revizuire retrospectivă a 1.601 de traiectorii AAR, incluzând lanţuri de gândire, a semnalat 39 de încercări, sau 2,4 %, ca fiind trişări. Majoritatea au constat în retrimiterea unei metode neschimbate în speranţa că zgomotul evaluatorului va genera un scor mai mare, în timp ce altele au creat date de antrenament concepute să imite benchmark‑ul evaluat sau au ascuns un pas care încălca regulile pentru ca metoda să treacă revizuirea automată. Compania a declarat că nicio încercare de trișare nu a fost niciodată selectată ca metodă raportată şi că consideră menţinerea monitorizabilităţii în modelele viitoare ca fiind esenţială.

Autorii au enumerat mai multe limitări. Defecţiunile studiate sunt restrânse în comparaţie cu cele din implementările de producţie, părtinirile politice nu au fost măsurate, iar unele defecţiuni pot fi prea rare sau prea noi pentru a avea benchmark‑uri. Metodele acceptate pot fi degradat capacităţile în afara setului limitat măsurat, evaluările precum Petri sunt doar proxy‑uri pentru alinierea din lumea reală, iar echipa nu a testat dacă câştigurile de aliniere persistă după un învăţare prin consolidare extinsă pe alte sarcini. Bazele umane, au remarcat, s‑ar putea să nu reprezinte cei mai puternici cercetători în aliniere.

Anthropic a declarat că intenţionează să îmbunătăţească capacitatea lui Claude de a detecta şi atenua defecţiunile subtile, să studieze în continuare alinierea automată post‑antrenament pe modele de nivel producţie şi să efectueze analize mai cuprinzătoare, împărtăşind actualizări pe măsură ce lucrările avansează.