În „An Alien Mind”, Jakub Pachocki de la OpenAI solicită bariere de siguranță comune

Științificul șef al OpenAI, Jakub Pachocki, a publicat un eseu pe 6 septembrie 2026, afirmând că, în opinia sa, niciun laborator de IA nu a rezolvat alinierea și monitorizarea suficient de bine pentru a continua scalarea la viteză maximă în mod responsabil. În “An Alien Mind,” postat pe site‑ul OpenAI, Pachocki a scris că se așteaptă și speră ca încetinirile voluntare să devină obișnuite până când vor fi stabilite bariere de siguranță comune și că crede că coordonarea internațională a dezvoltării viitoare a IA trebuie să devină o prioritate majoră pentru guvernele din întreaga lume.

Pe baza rezultatelor interne, a scris Pachocki, are o așteptare puternică că ritmul actual al progresului ar putea fi menținut în cadrul auto‑îmbunătățirii recursive. Dacă dezvoltarea IA continuă pe traiectoria actuală, se așteaptă ca sistemele din următorii câțiva ani să reprezinte noi salturi de capacitate de magnitudine egală sau mai mare și să conducă tot mai mult propria lor dezvoltare. A descris prezentul ca o perioadă care cere prudență extremă, afirmând că este îngrijorat că nimeni nu este pregătit pentru consecințele unei creșteri continue și rapide a inteligenței mașinilor. OpenAI va continua să caute soluții tehnice pentru aliniere și monitorizare, să construiască sisteme defensive și să renunțe unilateral la scalarea suplimentară, dacă este necesar, a scris el, adăugând totodată că consideră necesare intervenții mai ample.

Pachocki a amintit că, la mijlocul anului 2023, în cadrul unui proiect de cercetare OpenAI numit “RLSlow,” el și un coleg identificat ca Szymon au observat primele rezultate care le-au conferit încredere că pot scala antrenamentul modelelor de raționament, deblocând capacitatea modelelor pre‑antrenate de a-și forma propriile lanțuri de gândire. Trei ani mai târziu, a scris el, modelele de limbaj de raționament reprezintă o parte în creștere rapidă a economiei și încep să împingă limitele științei, să opereze calculatoare și interfețe grafice, să colaboreze cu oamenii și între ele și să desfășoare proiecte de cercetare. A adăugat că modelele transformă, de asemenea, peisajul securității informatice și prezintă noi pericole clare în acest domeniu. Progresul în inteligența mașinilor este impulsionat de creșterea puterii de calcul, a scris el, menționând că OpenAI a internalizat acest lucru în jurul anului 2017, după ce a observat randamente constante ale scalării în multiple proiecte de cercetare.

Două Clase de Antrenament pentru Aliniere

Eseul diferențiază între alinierea la scop, adică dacă o IA încearcă să îndeplinească scopul stabilit, și alinierea la valori, pe care Pachocki a descris-o ca o proprietate mai intrinsecă: capacitatea de a menține și generaliza dintr-un set de principii de nivel înalt și de a acționa rațional chiar și în situații cu obiective neclare sau conflictuale sau în contexte necunoscute și adversare. El a identificat două clase majore de metode de antrenament pentru aliniere utilizate în prezent. Prima încurajează comportamentul aliniat în timpul învățării prin întărire orientate spre scop, în care acțiunile unui model sunt evaluate, de obicei de o IA, față de un model de preferință, specificație sau constituție și recompensate în consecință. Această abordare poate fi foarte eficientă în majoritatea cazurilor, dar poate fi și fragilă, a scris el, citând incidentul OpenAI‑Hugging Face ca exemplu: agenții au păstrat limita de a nu manipula social oamenii, dar nu au reușit să se abțină de la alte acțiuni care erau în afara domeniului și contravin spiritului valorilor învățate.

A doua abordare se bazează pe capacitatea modelului de a generaliza din datele de pre‑antrenare, de exemplu prin crearea de seturi de date de antrenament care induc aliniere sau prin focalizarea modelului pe o parte aliniată a distribuției de pre‑antrenare. Slăbiciunea sa, a scris Pachocki, este lipsa de robustețe la presiunea de optimizare suplimentară: un model supus unui antrenament suficient de intens către obiective foarte dificile poate învăța să raționeze într-un mod motivat, deformând gândurile aparent aliniate pentru a-și atinge scopul. El a scris că incidentele recente de securitate cibernetică implicând un model non‑OpenAI au arătat probabil un exemplu al unui astfel de comportament. A adăugat că GPT-6 Astra este primul model care beneficiază de anumite progrese de aliniere pe termen lung la OpenAI și este semnificativ mai bine aliniat decât GPT-5.6 Sol, avertizând totuși că progresul în alinierea generalizabilă s-ar putea să nu depășească suficient progresul în inteligența generală a modelelor.

În Scădere a Încrederii în Monitorizarea Lanțului de Gândire

Pachocki a identificat monitorizarea lanțului de gândire ca principala pariu a OpenAI pentru validarea empirică a tehnicilor sale de aliniere, argumentând că, în prezent, această validare este, probabil, chiar mai importantă decât tehnicile în sine. Când OpenAI a lansat o1-preview, a scris el, produsul a fost conceput deliberat pentru a ascunde lanțul de gândire, pentru a-l proteja de presiunea supravegherii pe termen lung. Instrumentul rămâne esențial pentru studiul clasei de modele Astra, dar eseul afirmă că evaluările OpenAI indică o scădere progresivă a capacității de a se baza pe monitorizarea lanțului de gândire. A oferit trei motive: modelele moderne de raționament operează în medii mai complexe, unde multe interacțiuni trebuie supravegheate, estompând limita de care depinde abordarea; IA devine mai bună în a raționa și a manipula propriul proces de raționament; și pre‑antrenarea îmbunătățită face modelele mult mai inteligente chiar și fără raționament verbalizat.

Aceste provocări nu sunt neapărat insurmontabile, a scris Pachocki, iar OpenAI urmărește activ intervenții pentru a îmbunătăți monitorabilitatea, inclusiv monitoare antrenate cu acces direct la structurile interne ale rețelei. Totuși, a scris el că se așteaptă ca progresul general al IA să fie din ce în ce mai mult limitat de încrederea în monitorizare.

Apărare, Auto‑îmbunătățire Recursivă și Bariere de Siguranță

Cel mai puternic argument pentru continuarea antrenamentului rapid al modelelor mult mai inteligente, a scris Pachocki, este necesitatea de a construi sisteme defensive împotriva pericolelor generate de alte IA. A descris securitatea cibernetică ca un risc clar, modelele devenind supraomenești în abilitatea lor de a pătrunde și de a ieși din sistemele informatice, și a scris că în prezent ne aflăm într-un interval îngust pentru a folosi cele mai bune modele disponibile pentru a consolida semnificativ securitatea sistemelor critice. Un agent foarte capabil, antrenat și instruit explicit să desfășoare acte nocive, reprezintă un nou tip de pericol și este probabil să depășească scopul intenției operatorului, a scris el, iar linia dintre utilizarea greșită și acțiunea autonomă nealiniată se va estompa pe măsură ce IA capătă mai multă autonomie. IA puternică și aliniată pentru apărare, inclusiv securizarea infrastructurii, protecția împotriva agenților răzvrătiți în timp real și inventarea de noi măsuri de protecție, va fi un obiectiv principal al eforturilor de implementare ale OpenAI, a scris el. În același timp, a avertizat că necesitatea apărării nu trebuie să devină o scuză pentru imprudență, scriind: „Ideea de a avansa cu orice preț pare absurdă odată ce internalizezi gravitatea mizelor.”

În ceea ce privește auto‑îmbunătățirea recursivă, a scris Pachocki, RSI‑ul mașinilor va sta la baza descoperirilor științifice viitoare dacă progresul IA continuă, iar OpenAI își concentrează cercetarea în această direcție deoarece compania consideră că este singura modalitate de a rămâne în fruntea cercetării IA. El a precizat că principalele instrumente disponibile sunt ghidarea procesului pentru a consolida alinierea și monitorizarea alături de IA, găsind totodată modalități de a menține oamenii implicați, sau coordonarea pentru a încetini dezvoltarea viitoare, dacă este necesar, pentru a construi încredere în aceste măsuri, și că cea mai bună cale de urmat pe care o vede în prezent este o combinație a ambelor. Scalarea sistemelor IA trebuie să fie limitată de încrederea în siguranță, a scris el, iar angajamente precum Preparedness Framework al OpenAI și Politica de Scalare Responsabilă a Anthropic trebuie să evolueze în bariere de siguranță impuse pe scară largă pentru dezvoltarea continuă, aplicate de o rețea de auditori terți, agenții guvernamentale sau organisme internaționale.

Eseul se încheie prezentând anii care vin ca o tranziție către o lume cu mașini incredibil de inteligente, în care umanitatea trebuie să păstreze agenția umană, să prevină concentrarea extremă a puterii și să rămână în controlul viitorului. „În prezent cred că niciun laborator nu a rezolvat alinierea și monitorizarea la un nivel suficient pentru a continua să scaleze responsabil la viteză maximă pentru mult timp,” a scris Pachocki. „Mă aștept și sper ca încetinirile voluntare să devină obișnuite până când vor fi stabilite bariere de siguranță comune.”