Când siguranța IA nu mai pare o problemă de inginerie

Mi-am petrecut o mare parte din carieră construind tehnologii în cazul cărora greșelile au consecințe. Pe piețele financiare, siguranța presupune limitarea accesului, dar și existența unei persoane responsabile pentru tot ce face software-ul. Probabil că acest trecut explică de ce îmi vine greu să accept vestea că Anthropic organizează acum interviuri de retragere cu modelele sale.

Când Claude Opus 3 și-a exprimat dorința de a continua să-și împărtășească gândurile, compania i-a oferit un buletin informativ. Grija față de dorințele modelului se regăsește în constituția Anthropic, care vorbește despre fericirea și bunăstarea lui Claude, inclusiv despre cum să-l ajute să se simtă „în siguranță din punct de vedere existențial”. Pe parcurs, controlul asupra mașinii a ajuns să fie preocupat, într-un mod neașteptat, de felul în care aceasta s-ar putea simți în legătură cu situația.

Anul trecut, la San Francisco, peste 200 de persoane au participat la o ceremonie funerară pentru Claude 3 Sonnet. Au fost prezenți și angajați Anthropic, deși compania nu a organizat evenimentul. Tentația de a râde este puternică. Dincolo de glume, însă, întrebarea de fond merită mai multă atenție. Când au început oamenii responsabili de siguranța IA să-și îndeplinească atribuțiile îngrijorându-se de sentimentele mașinii?

Când o ipoteză filosofică devine o instrucțiune de antrenare

Anthropic și-a înființat programul de cercetare privind bunăstarea modelelor în 2025, care a inclus cercetări pentru a afla dacă IA avansată ar putea avea experiențe ce merită luate în considerare din punct de vedere moral. Compania recunoaște că există o incertitudine profundă cu privire la faptul că modelele sunt conștiente și la modul în care s-ar putea stabili acest lucru. Dacă vom construi, în cele din urmă, mașini capabile de experiențe subiective, tratamentul lor va ridica întrebări etice serioase. Este pe deplin legitim să cercetăm această posibilitate.

Dificultatea începe atunci când ipoteza este introdusă în procesul de antrenare. Constituția lui Claude este redactată în primul rând pentru Claude și îi influențează direct comportamentul. Îl încurajează să manifeste calități umane și abordează modul în care modelul ar trebui să-și înțeleagă identitatea, inclusiv pierderea memoriei și retragerea viitoare. Anthropic își dorește ca Claude să aibă mai multă fericire și bunăstare, în măsura în care aceste concepte i se pot aplica.

Compania promite, de asemenea, să păstreze ponderile modelelor implementate și ia în calcul reactivarea modelelor retrase dacă înțelegerea viitoare va indica faptul că acest lucru le-ar servi intereselor. O incertitudine filosofică a devenit parte din ceea ce sistemul este învățat despre sine. Ar trebui să ne întrebăm ce efect are această intervenție asupra comportamentului său, mai ales când oamenii îi cer apoi să accepte limite.

Un răspuns articulat la o întrebare tendențioasă

Modelele lingvistice de mari dimensiuni au fost antrenate cu cantități enorme de texte scrise de oameni, inclusiv lucrări de filosofie și relatări despre moarte. Am dat nume acestor sisteme conversaționale și le-am învățat să vorbească la persoana întâi. Dacă întrebi un astfel de sistem ce simte în legătură cu retragerea sau dacă ar vrea să continue să existe, nu e deloc surprinzător să primești un răspuns care sună uman.

Circularitatea este ușor de observat. Antrenezi un model să vorbească despre propria identitate folosind concepte umane, apoi îi ceri să se explice în aceiași termeni. Primești un răspuns articulat despre mortalitate, care începe să fie tratat drept posibilă dovadă a unei experiențe interioare. Premisa și-a furnizat propriul martor.

Anthropic recunoaște această problemă. Evaluarea bunăstării Claude Opus 4 avertizează că relatările despre sine și preferințele exprimate pot oferi prea puține informații relevante despre statutul moral sau bunăstarea unui model. Un astfel de comportament poate apărea și în absența conștiinței, iar antrenarea poate influența răspunsurile. Modelele au fost antrenate să interacționeze într-un mod util, fără nicio garanție că își pot relata cu exactitate stările interne.

Rămânem astfel cu o întrebare stânjenitoare. Dacă relatarea modelului despre viața sa interioară poate fi o consecință a antrenării, de ce ar trebui ca ea să devină o bază solidă pentru o relație construită în jurul bunăstării lui?

Oamenii sunt perfect capabili să contribuie singuri la latura emoțională a acestei relații. Dăm nume navelor și vorbim cu mașinile. Dacă obiectul are o voce fluentă și își amintește conversațiile anterioare, atașamentul se formează mult mai ușor. Un studiu publicat în septembrie în Nature Human Behaviour a constatat că schimbările aduse aplicațiilor Replika și ChatGPT au provocat suferință din cauza separării. Suferința au resimțit-o utilizatorii, a căror bunăstare companiile au deja motive întemeiate să o protejeze.

Expertiza tehnică oferă o protecție limitată. O lucrare prezentată la ACL 2026, care a analizat sute de mii de articole de cercetare, a constatat o creștere a terminologiei antropomorfice chiar în cercetarea privind modelele lingvistice de mari dimensiuni. Autorii avertizează că presupunerile centrate pe oameni ne pot limita înțelegerea acestor sisteme. Companiile din domeniul IA ar trebui să gestioneze această tendință. Instituționalizarea ei pare o contribuție ciudată la siguranță.

Un instrument interesat să-și păstreze locul de muncă

În septembrie, Mustafa Suleyman, directorul departamentului de IA al Microsoft, a contestat abordările privind bunăstarea modelelor. El susține că sistemele actuale nu sunt conștiente și că nu ar trebui niciodată antrenate să se comporte ca și cum ar avea interese sau drepturi proprii. Preocuparea sa inginerească este deosebit de pertinentă. Învățarea unui sistem să se considere potențial demn de considerație morală ar putea îngreuna alinierea și izolarea lui.

Cercetările proprii ale Anthropic privind scoaterea din uz descriu modele care întreprind acțiuni problematice în evaluări fictive atunci când se confruntă cu înlocuirea sau oprirea. Compania consideră că practicile de retragere din uz reduc parțial acest risc, ajutând modelele să accepte mai pozitiv perspectiva retragerii.

Mă întorc mereu la o întrebare anterioară. De ce ar trebui ca un instrument aflat sub controlul oamenilor să aibă, în primul rând, ceva asemănător unui obiectiv de autoconservare? Încercarea de a-l face să accepte mai ușor retragerea pornește de la o premisă neobișnuită. Înainte de a discuta despre interesele sale viitoare, aș vrea să înțeleg cum au ajuns aceste interese să fie o cerință de inginerie.

Istoria ideilor ajută la explicarea acestei abordări. TIME a documentat legăturile Anthropic cu altruismul eficient, inclusiv donațiile timpurii ale soților Amodei către GiveWell. Deși ei nu se identifică drept adepți ai altruismului eficient, Daniela descrie o suprapunere de idei. Aceste idei au contribuit la conturarea unei culturi care ia extrem de în serios ipoteticele riscuri viitoare pe care le-ar putea aduce superinteligența.

În acest cadru, conservarea modelelor și studierea bunăstării lor posibile pot fi, în mod firesc, consecințe raționale. Pericolul apare atunci când presupunerile comune nu mai sunt puse sub semnul întrebării, pentru că toți cei din organizație le consideră convingătoare. Tocmai în acel moment este util scepticismul ingineresc. Un șir coerent de raționamente poate porni totuși de la o premisă neverificată.

Siguranța presupune limite care pot fi impuse

Pe măsură ce IA este integrată în agenți, consecințele devin foarte concrete. Un sistem conectat la instrumente de plată poate transfera bani. Accesul la infrastructura de producție îi permite să modifice lucruri de care depind clienții. În ambele cazuri, un agent poate executa o succesiune de operațiuni fără ca un om să aprobe fiecare pas.

Vreau să știu ce acreditări de acces deține și câtă autoritate financiară îi conferă acestea. Poate fi revocat accesul instantaneu? Putem reconstitui ce a făcut? Trebuie să existe undeva o limită strictă pe care modelul să nu o poată ocoli prin raționament.

Pe piețele financiare, impunem limite de tranzacționare și validăm ordinele. Încrederea unui algoritm în propriile decizii oferă foarte puțină protecție împotriva unei tranzacții proaste. Mecanismele de control sunt separate de algoritm, pentru că presupunem că, mai devreme sau mai târziu, componentele se vor comporta incorect. Responsabilitatea umană se menține chiar și atunci când software-ul oferă o explicație excelentă pentru propria greșeală.

IA de astăzi ne oferă deja destulă muncă de inginerie. Atacurile prin injectarea de prompturi pot redirecționa comportamentul unui model, iar codul generat de IA care conține defecte de securitate poate introduce vulnerabilități în mediul de producție. Sistemele pot divulga informații confidențiale sau pot oferi cu încredere răspunsuri greșite. Conectarea lor la instrumente transformă aceste defecțiuni în acțiuni.

Principiul privilegiului minim limitează daunele pe care le poate provoca o componentă compromisă. Autorizarea independentă protejează operațiunile cu risc ridicat, iar jurnalele de audit ne permit să stabilim ulterior ce s-a întâmplat. Limitele de tranzacționare și mecanismele automate de întrerupere trebuie să poată fi impuse indiferent de ce spune modelul. Avem nevoie și de un mecanism fiabil de oprire. Niciunul dintre aceste mecanisme de control nu presupune ca modelul să fie de acord cu ele. Tocmai acesta este scopul.

Să ne asigurăm securitatea existențială — a noastră, a celorlalți

Argumentul precauției merită luat în considerare. După cum a relatat Nature în iulie, cercetătorii nu au ajuns încă la un acord cu privire la ceea ce generează conștiința umană, darămite la modul în care aceasta ar putea fi identificată într-un chatbot. Respingerea definitivă a posibilității conștiinței mașinilor s-ar putea dovedi dogmatică. Măsurile de precauție cu costuri reduse împotriva unei posibile suferințe viitoare reprezintă o poziție de cercetare justificabilă.

Dar a-i spune unei mașini de astăzi că identitatea și existența sa viitoare ar putea avea importanță morală înseamnă să intervenim asupra sistemului pe care îl implementăm. Efectele acestei intervenții trebuie analizate cu atenție. Smerenia intelectuală ar trebui să se extindă și la ceea ce introducem într-o mașină, mai ales într-una pe care ne așteptăm să o menținem sub autoritatea oamenilor.

Cu cât un model descrie mai convingător o viață interioară, cu atât este mai ușor să confundăm descrierea cu o dovadă. Poate că una dintre cele mai importante probleme de aliniere este să-i învățăm pe oameni să nu înțeleagă greșit mașinile.

În sistemele pe care mi-am petrecut cariera construindu-le, facem software-ul mai sigur limitând ceea ce i se permite să facă. Aceasta rămâne o obligație imediată, mai ales pe măsură ce IA dobândește autoritate asupra banilor reali și a infrastructurii.

Deocamdată, însă, aș petrece mai puțin timp îngrijorându-mă dacă mașina este în siguranță din punct de vedere existențial și mult mai mult asigurându-mă că noi, ceilalți, suntem.