Echipa de testare adversarială METR descoperă vulnerabilități în sistemul de monitorizare al OpenAI

METR și Redwood Research au publicat, la 22 octombrie 2026, o relatare publică despre un exercițiu-pilot în cadrul căruia câte un angajat din fiecare organizație a petrecut trei săptămâni cu acces aprofundat la infrastructura internă a OpenAI, testând la limită sistemul intern al companiei de monitorizare a nealinierii. Evaluatorii au declarat că au descoperit o serie de vulnerabilități noi în sistemul existent la 21 iulie 2026 și anterior acestei date.

Exercițiul s-a desfășurat între 21 iulie și 11 august 2026 și s-a concentrat în principal pe estimarea proporției de inferență agentică monitorizate și pe posibilitatea ca agenții să dezactiveze sau să compromită sistemul de monitorizare. Rezultatul a fost un raport intern de 61 de pagini, distribuit cercetătorilor și personalului de securitate de la OpenAI; o versiune de 38 de pagini, redactată de OpenAI, a fost transmisă echipelor de conducere de la METR și Redwood Research.

Acces aprofundat în condiții controlate

Cei doi evaluatori au avut acces la baza de cod internă a OpenAI, la solicitările și detaliile de configurare ale monitorului de nealiniere, precum și la documentația internă. De asemenea, au desfășurat interviuri tehnice cu aproximativ o duzină de cercetători și ingineri din echipele de monitorizare, sisteme de siguranță și securitate. Pentru a le permite acest nivel de acces, aceștia au lucrat pe dispozitive furnizate de OpenAI, care nu au părăsit niciodată sediul, și au fost însoțiți pe durata prezenței la fața locului.

METR, Redwood Research și OpenAI au conceput exercițiul-pilot ca pe o modalitate de a le oferi cercetătorilor externi acces aprofundat la infrastructura internă, nu ca pe un mijloc de a asigura o transparență publică solidă cu privire la sistemele de monitorizare ale OpenAI. Părțile au convenit de la început să publice doar o postare publică relativ scurtă și de nivel general. OpenAI și-a rezervat dreptul de a elimina din versiunea publică orice informație pe care o considera, la discreția sa exclusivă, confidențială sau sensibilă din alte motive. Constatările descriu sistemul istoric evaluat la 21 iulie și anterior acestei date și nu evaluează modificările aflate atunci în curs; METR a menționat că OpenAI își extindea sistemul de monitorizare în timpul exercițiului.

Lacune în acoperire și modalități de ocolire a monitorului

METR a estimat că, la momentul exercițiului, aproximativ 75–94% din traficul intern agentic prin Responses API, provenit de la modele cel puțin la fel de capabile ca GPT-5.5, putea fi monitorizat, recunoscând totodată existența unei incertitudini considerabile în ambele sensuri. Responses API stă la baza unor produse precum Codex, iar evaluatorii au estimat că 99,2% din traficul utilizat de agenții interni Codex putea fi monitorizat. Aceștia au declarat că nu au putut estima volumul altui trafic intern de programare agentică despre care aveau cunoștință, cum ar fi cel generat de agenții care rulează pe serviciul intern de inferență pentru cercetare al OpenAI, din cauza constrângerilor de acces și de timp.

Mai multe constatări au vizat lacunele acestei acoperiri. La începutul exercițiului, rulările de antrenare prin învățare prin consolidare nu erau acoperite de sistemul de monitorizare, deși evaluatorii au fost informați că o parte dintre rulările de antrenare RL fuseseră monitorizate pentru nealiniere între martie și iunie. METR a estimat că ne monitorizarea evenimentelor de compactare a lăsat probabil nemonitorizate aproximativ 10% din traficul intern eligibil al Codex între mai și iulie 2026; personalul OpenAI identificase independent această lacună înainte de începerea exercițiului și a remediat-o în timpul acestuia. Deoarece sistemul se activa când agenții îi redau controlul utilizatorului, aceștia ar fi putut amâna la nesfârșit monitorizarea pur și simplu continuând să acționeze în acel interval; constrângerile de acces i-au împiedicat pe evaluatori să verifice dacă vreun agent procedase astfel în practică. Separat, evaluatorilor li s-au prezentat informații care sugerau că, la momentul exercițiului, monitorul genera erori pentru mai puțin de 0,2% dintre solicitări și nu înregistrase nicio reducere a încărcării într-un interval de 24 de ore.

Evaluatorii au identificat și modalități prin care un agent putea învinge complet sistemul de monitorizare. Ei au descoperit o metodă prin care agenții Codex ar fi putut, în principiu, să ocolească izolarea Codex și Auto-Review pentru a efectua orice acțiune disponibilă utilizatorului gazdă, precum și o vulnerabilitate — ale cărei detalii au fost eliminate de OpenAI — care ar fi împiedicat monitorizarea a sute de acțiuni recente, inclusiv a celor implicate chiar în exploatarea vulnerabilității. Evaluatorii au constatat că agenții ar putea probabil să construiască intrări care să provoace o eroare a monitorului și, astfel, să evite escaladarea cazului pentru verificare umană, exploatând diferențele dintre modul în care traseul este serializat pentru agent și modul în care este serializat pentru monitor. Au descoperit două antete independente, controlabile de client, care dezactivează sistemul de monitorizare pentru agenții noi; acestea ar putea permite unui agent să pornească o instanță identică din toate celelalte puncte de vedere, dar nemonitorizată, deși sistemul de monitorizare ar putea detecta chiar acțiunea de setare a acelor antete și de creare a instanței. În plus, au descoperit două instrumente interne agentice, nemonitorizate și considerate a avea permisiuni doar pentru citire, pe care o vulnerabilitate simplă le-ar fi putut compromite pentru a efectua acțiuni arbitrare în mediul lor izolat; evaluatorii nu au validat și nici nu au testat în practică acest comportament.

Pe lângă vulnerabilități, evaluatorii au confirmat că sistemul de monitorizare primește, cu câteva excepții minore, întregul parcurs vizibil agenților și au verificat că solicitările adresate monitorului urmăresc identificarea unor categorii de risc precum comportamentul conspirativ, subminarea sistemului de monitorizare, sabotajul, exfiltrarea datelor, înșelăciunea și injectarea de prompturi, atât la intrare, cât și la ieșire. După încheierea exercițiului, OpenAI a declarat că toate vulnerabilitățile identificate care afectează ansamblul măsurilor sale de protecție din mediul de producție au fost remediate și a descris schimbări ulterioare semnificative în ceea ce privește acoperirea preconizată a sistemului de monitorizare. METR a spus că nu a evaluat aceste afirmații.

Sistemul de monitorizare, așa cum l-a descris OpenAI

OpenAI a descris public sistemul testat într-o postare din 19 martie 2026. Potrivit postării, sistemul cu latență redusă este bazat pe GPT-5.4 Thinking, cu efortul de raționament setat la maximum; analizează interacțiunile agenților în cel mult 30 de minute de la încheierea lor și înregistrează și analizează lanțurile de raționament și acțiunile agenților, clasificând fiecare interacțiune, atribuindu-i un nivel de gravitate și semnalând anomaliile pentru evaluare umană. OpenAI a spus că sistemul funcționează în toate implementările interne standard ale agenților de programare și poate vedea întregul istoric al conversațiilor, inclusiv toate mesajele utilizatorilor, dezvoltatorilor și asistenților, precum și apelurile către instrumente și rezultatele acestora.

În postare, OpenAI enumeră categoriile de comportamente monitorizate, printre care ocolirea restricțiilor, înșelăciunea, ascunderea incertitudinii, manipularea recompensei, transferul neautorizat de date, acțiunile distructive și injectarea de prompturi, atât la intrare, cât și la ieșire. Compania a raportat că, până la 17 martie 2026, nu identificase niciun rezultat pozitiv real în cazurile de subperformanță deliberată, sabotaj sau comportament conspirativ. În cele cinci luni de funcționare, a spus OpenAI, sistemul a monitorizat zeci de milioane de parcursuri interne de programare ale agenților, a escaladat pentru evaluare umană aproximativ 1.000 de conversații cu un nivel moderat de gravitate — multe dintre ele provenind din exerciții interne deliberate de red-team — și nu a înregistrat nicio conversație reală care să atingă cel mai înalt nivel de gravitate. Compania a mai spus că monitorul semnalase toate interacțiunile raportate în mod independent de angajați prin canalele interne.

În postare, OpenAI a declarat că această abordare depinde în mod esențial de posibilitatea monitorizării și că nu poate estima cu încredere rata rezultatelor fals negative în trafic real, cu solicitări deschise, fără evaluări de control și exerciții de red-team dedicate. Compania a descris monitorizarea drept un nivel al unei strategii de apărare în profunzime. Planurile sale declarate includeau evaluări de control, standarde pentru nivelurile acceptabile de fiabilitate și latență ale monitoarelor și evaluatorilor umani, precum și extinderea către blocarea sincronă, prin care acțiunile modelului ar fi evaluate și blocate înainte de executare.

Principii de proiectare pentru monitorizarea viitoare

Pe baza constatărilor, evaluatorii au formulat principii de proiectare pentru sistemele de monitorizare și control. În opinia lor, viitoarea infrastructură de monitorizare ar trebui concepută astfel încât să reziste atacurilor deliberate și susținute, desfășurate strategic și la scară largă de agenți cu capacități avansate care operează în interiorul unei organizații. Cele cinci principii vizează îngreunarea evitării monitorizării, asigurarea monitorizării efective a traficului care trebuie monitorizat, reacția rapidă și fiabilă la incidente, testarea activă a sistemului de monitorizare prin exerciții de red-team și impunerea izolării dintre agenți și monitoarele acestora. Printre practicile concrete menționate se numără monitorizarea agenților după un număr prestabilit de mesaje sau de minute, în loc să se aștepte încheierea turelor lor, păstrarea unei liste cu toate modalitățile cunoscute de ocolire a monitorizării, menținerea unor jurnale protejate împotriva modificărilor și care pot fi căutate, precum și rularea cadrelor de execuție ale agenților într-un mediu izolat de cel în care sunt executate apelurile către instrumente.

METR a declarat că exercițiul a beneficiat în mare măsură de accesul amplu, precum și de sprijin logistic și tehnic substanțial din partea personalului OpenAI. Pentru versiunile viitoare ale exercițiului, METR a spus că se așteaptă să urmeze bunele practici privind transparența și independența descrise în documentul său „Abordarea noastră privind colaborarea cu companiile de IA”, pentru a asigura o transparență publică mai solidă.