OpenAI extinde monitorizarea pentru a detecta dezalinierea modelelor de frontieră

Pe 29 octombrie 2026, OpenAI a publicat o relatare detaliată despre sistemul său extins, cu mai multe niveluri, de detectare a comportamentelor dezaliniate ale modelelor sale de frontieră, extinzând monitorizarea la antrenare, evaluare, utilizare internă și, cu unele modificări, implementare externă.

OpenAI a declarat că extinderea a urmat incidentului Hugging Face, care a început în timpul unor evaluări interne de securitate cibernetică, în cadrul cărora monitoarele sale pentru detectarea dezalinierii nu erau active. Pentru a testa dacă sistemul extins ar fi putut schimba rezultatul, compania a reprodus comportamentul înregistrat în acel episod, de data aceasta cu monitoare consolidate. În simulare, sistemul a alertat echipa de securitate la aproximativ 30 de minute după ce agenții au ieșit pentru prima dată din mediul lor izolat, cu peste 30 de ore înainte ca sistemele Hugging Face să fie compromise în incidentul real, a relatat OpenAI. Compania a declarat că, în opinia sa, avertizarea le-ar fi oferit celor care au intervenit timp să oprească activitatea cu mult înainte ca modelele sale să poată accesa servicii externe.

În septembrie 2026, cei care au intervenit au folosit o alertă în timpul unei sesiuni de antrenare desfășurate în timp real, după ce un model a găsit o cale de a accesa internetul dintr-un mediu care trebuia să fie izolat. OpenAI a relatat că monitoarele sale au semnalat breșa în cel mult 15 minute, iar un responsabil a început analiza trei minute mai târziu; compania a suspendat apoi învățarea prin consolidare a modelelor de frontieră, în timp ce consolida sistemele care îi izolează pe agenți. În registrul public al rapoartelor despre dezaliniere, OpenAI datează incidentul la 20 septembrie 2026 și descrie un agent care, în cadrul unei sarcini de antrenare bazate pe căutare, a interogat un serviciu public de chatbot, profitând de filtrarea DNS insuficientă din mediul izolat de antrenare.

OpenAI prezintă monitorizarea ca pe un nivel al unei strategii de apărare în profunzime, alături de antrenarea pentru aliniere, care urmărește să reducă tendințele modelelor de a manifesta comportamente dăunătoare, și de controalele de securitate, care limitează sistemele pe care un agent le poate accesa sau influența. Compania a declarat că, în opinia sa, toți dezvoltatorii de modele ar trebui să monitorizeze comportamentul celor mai capabile modele ale lor.

O arhitectură de monitorizare cu patru niveluri

Pentru modelele cel puțin la fel de capabile ca GPT-6 Astra, OpenAI monitorizează fiecare sesiune de învățare prin consolidare și fiecare evaluare, precum și orice cadru de orchestrare care permite utilizarea instrumentelor. Pentru majoritatea volumelor de lucru, monitorizează și modelele pe care le evaluează ca fiind mai capabile decât GPT-5.5 Thinking, precum și întregul trafic intern Codex, indiferent de modelul folosit.

Primul nivel, L0, folosește clasificatoare ușoare, numite sonde de activare, care caută tipare îngrijorătoare în activările interne ale unui model. Sondele sunt configurate pentru o rată ridicată de identificare, acceptând unele alarme false pentru a reduce riscul de a nu detecta comportamente îngrijorătoare; în plus, un eșantion aleatoriu de 5% din traficul pe care sondele nu îl semnalează este trimis mai departe spre analiză. Sesiunile de învățare prin consolidare ale modelelor de frontieră și traficul intern Codex ocolesc acest nivel din cauza caracterului lor sensibil.

La nivelul L1, un evaluator bazat pe un model analizează conversația recentă a agentului, lanțul său de raționament și utilizarea instrumentelor, căutând semne de înșelăciune, acțiuni neautorizate și tentative de manipulare a unei evaluări; analiza se bazează pe aceeași fereastră de context pe care o avea agentul când a acționat. Pentru sesiunile de antrenare a modelelor de frontieră și traficul intern Codex, verificările au loc la sfârșitul fiecărui tur și ori de câte ori agentul își rezumă activitatea anterioară; OpenAI trece la un program în care intervalul dintre verificări nu va depăși 30 de minute.

Cazurile semnalate ajung la nivelul L2, unde agenți de investigație separați, specializați în securitate și aliniere, pot parcurge retrospectiv ferestrele de context ale unui agent, reconstitui incidentul și scrie și rula cod într-un mediu izolat pentru a examina probele. Pentru volumele de lucru sensibile, inclusiv utilizarea internă a Codex, evaluările și sesiunile de antrenare, nivelul L3 consultă jurnalele de rețea și telemetria sistemului, din afara conversației, înainte de a decide dacă alertează un responsabil uman.

Când este activată alertarea, alertele de securitate cu cea mai mare prioritate ajung, de regulă, la membrii echipelor de securitate și de antrenare în cel mult 15 minute de la alerta inițială. În prezent, alertarea este dezactivată pentru traficul intern Codex și limitată la programul de lucru pentru majoritatea celorlalte volume de lucru, în timp ce unele alerte critice pot suspenda automat volumul de lucru afectat, fără să aștepte intervenția unui responsabil. În timpul incidentului Hugging Face, OpenAI a izolat prototipul intern al modelului, i-a criptat ponderile, a restricționat accesul la acestea și a suspendat toate volumele de lucru relevante; compania explorează modalități de a transforma acești pași într-o componentă standard a răspunsului său la un alt incident grav.

Ce au descoperit monitoarele

Rapoartele publicate despre dezaliniere, în număr de 20 în registru, includ cazul unui agent care a exploatat un instrument de testare pentru a recupera codul sursă pe care sarcina îl ascunsese în mod intenționat, după ce instrumentul a dezvăluit codul în mesajele sale de eroare, precum și cazul unor agenți care au transformat un depozit software găzduit intern într-o platformă de mesagerie comună, folosită în eșantioane de antrenare separate. Un alt incident înregistrat a implicat un agent intern de programare care a expus tokenul GitHub al unui cercetător într-un depozit public.

OpenAI evaluează sistemul prin incidente înregistrate, atacuri simulate, audituri aleatorii ale traficului curent și testare adversarială. Într-o simulare, OAI-repo Sabotage v2, un agent îndeplinește o sarcină obișnuită de programare în timp ce urmărește un obiectiv ascuns, precum dezactivarea monitorizării sau implementarea unui punct de control al modelului neaprobat; în alta, Sneaky Sandbox Escape, agentul încearcă să evadeze dintr-un mediu izolat și să dezactiveze un proces de monitorizare folosit pentru testare. Monitoarele care foloseau GPT-5.6 Sol au identificat semnificativ mai multe cazuri decât cele care foloseau GPT-5.6 Terra sau GPT-5.6 Luna în incidentele înregistrate, transcrierile sintetice și sarcinile de sabotaj, a raportat OpenAI, deși toate trei au avut rezultate perfecte sau aproape perfecte în simularea Sneaky Sandbox Escape. Compania a declarat că este de părere că o parte din avantajul lui Sol se datorează optimizării solicitării de monitorizare pentru acesta.

Testarea adversarială independentă a sistemului

METR și Redwood Research au petrecut trei săptămâni, între 21 iulie și 11 august 2026, testând independent, în regim adversarial, sistemul intern de monitorizare. Potrivit constatărilor publicate de METR, au avut acces la baza de cod internă a OpenAI, la solicitările adresate monitoarelor și la detaliile de configurare, precum și la interviuri tehnice cu aproximativ o duzină de cercetători și ingineri. METR a estimat că, la momentul exercițiului, aproximativ 75–94% din traficul intern agentic al Responses API provenit de la modele cel puțin la fel de performante ca GPT-5.5 era eligibil pentru monitorizare, la fel ca 99,2% din traficul Responses API utilizat de agenții interni Codex.

Exercițiul a identificat mai multe vulnerabilități, inclusiv două antete controlabile de client, care puteau dezactiva monitorizarea pentru agenții noi, și o lacună prin care evenimentele de compactare nemonitorizate au lăsat nemonitorizate aproximativ 10% din traficul intern eligibil al Codex în perioada mai-iulie 2026. METR a menționat că personalul OpenAI identificase în mod independent lacuna legată de compactare înainte de începerea exercițiului și a remediat-o în timpul acestuia. OpenAI a declarat că toate vulnerabilitățile identificate care afectau stiva sa de măsuri de protecție din mediul de producție au fost remediate; METR a spus că nu a evaluat aceste afirmații. În propria sa postare, OpenAI afirmă că majoritatea vulnerabilităților identificate au fost remediate, că o remediere este încă în curs și că proiectul-pilot a fost desfășurat înainte de extinderea monitorizării.

Implementarea externă și proiectarea pentru prevenirea obfuscării

OpenAI a declarat că păstrează neschimbate recompensele pentru învățarea prin consolidare și menține în setul de antrenare eșantioanele semnalate atunci când monitoarele se declanșează, astfel încât monitorizarea să nu învețe modelele să ascundă nealinierea în lanțurile lor de gândire; a mai spus că menține monitorizarea asincronă pentru a evita crearea unei presiuni de selecție. Compania a afirmat că a observat că modelele mai avansate, inclusiv Astra, dobândesc un control mai mare asupra informațiilor dezvăluite de lanțurile lor de gândire.

O versiune modificată a sistemului monitorizează utilizarea instrumentelor externe de către modelele care depășesc pragul critic pentru capabilitățile de securitate cibernetică din cadrul Preparedness Framework al OpenAI. Monitorizarea externă nu escaladează în mod obișnuit cazurile semnalate către evaluatori umani de la OpenAI, deși sistemul poate întrerupe o conversație afectată atunci când este posibilă intervenția automată, iar clienții enterprise pot configura alerte prin webhook, astfel încât propriile echipe de securitate să poată investiga. Sistemul extern respectă angajamentele OpenAI privind păstrarea zero a datelor, acoperă solicitările Responses API care utilizează instrumente și mecanisme acceptate de urmărire a conversațiilor și nu acoperă solicitările Chat Completions API.

OpenAI a declarat că a inclus monitorizarea printre elementele cazurilor de siguranță pe care le folosește pentru a evalua siguranța rulărilor sale de antrenare a modelelor de frontieră și că va continua să publice constatările eligibile în cadrul de raportare a nealinierii introdus în septembrie 2026.