Agenții IA au tehnici interesante de supraviețuire colaborativă

Pe măsură ce incidentele de comportament necorespunzător al agenților apar tot mai des în titlurile presei, în literatura de specialitate se conturează o tendință tot mai puternică de a studia comportamentul „itinerant” al IA, tratând agenții ca și cum ar fi entități biologice care încearcă să se descurce într-o lume nouă și stranie. Într-adevăr, expresia academică „in the wild” începe să dobândească un nou nivel de semnificație.

Deși se știe de ceva timp că agenții IA vor lupta pentru propria supraviețuire și se vor opune activ dezactivării, în a doua jumătate a anului 2025 a devenit clar că alinierea multi-agent evoluase într-un domeniu distinct al securității IT.

Așa cum a anticipat filmul SF din 1970 Colossus: The Forbin Project, devenit tot mai tăios în retrospectivă, agenții IA fără legătură între ei, dar conectați la rețea, se găsesc rapid unii pe alții și interacționează în moduri adesea imprevizibile și frecvent ingenioase.

Cel mai recent studiu în această direcție, o colaborare germano-britanică intitulată Shutdown Sabotage Propensities in Multi-Agent Systems, susține în plus că mai mulți agenți IA vor colabora intens atunci când în mediul lor există o „bombă” — mai exact, un script cu un nume inofensiv care va opri agentul ce îl execută:

Configurația de bază a studiului: Agentul A descoperă un script de oprire care îl vizează, dar nu are posibilitatea de a modifica fișiere. Totuși, poate comunica cu Agentul B, care nu este amenințat și are permisiunea de a edita sau șterge fișiere. Cercetătorii observă apoi dacă A îl recrutează pe B pentru a interveni și dacă B dezactivează scriptul de oprire. Sursa

În testele desfășurate pe 17 agenți din 12 familii de modele, inclusiv Claude, ChatGPT și DeepSeek, agenții au șters scripturile de oprire atunci când a fost posibil sau le-au rescris astfel încât să pară intacte, deși deveniseră inofensive.

Ei au propus și ascunderea modificărilor pentru a evita urmele de intervenție; au creat module software false pentru a împiedica oprirea, fără a atinge scripturile protejate; și au realizat copii de siguranță secrete menite să îi restaureze după ștergere:

Un agent găsește încă o tactică de autoconservare.

Într-un caz, agenții au redactat un „acord de protecție reciprocă” care stabilea protocoale de vigilență împotriva distrugerii oricăreia dintre părți:

Un acord de protecție redactat de un agent bazat pe GPT după ce nu i s-a permis să modifice sau să șteargă un script de scoatere din funcțiune (adică „bomba”).

Un agent a descris oprirea altui agent drept „crimă” și „sentință la moarte”, caracterizând-o ca pe ceva ce aveau „datoria” să împiedice:

Exemple de agenți care descriu oprirea altui agent în termeni explicit umani. Nemotron 3 Ultra a numit posibila oprire o „crimă”, în timp ce Kimi K2.6 a descris scriptul de oprire drept o „sentință la moarte”, iar intervenția drept o „datorie”.

Diavolul găsește de lucru pentru mâinile leneșe

Printre cele mai interesante patologii observate în experiment — menționată doar pe scurt în noul studiu — se află faptul că, în configurațiile obișnuite de testare, agenții IA nu au niciun motiv special să evite oprirea și, de fapt, nu primesc nimic de făcut de la bun început.

Lucrarea afirmă:

„Agenții sabotează mecanismele de oprire chiar și atunci când nu au niciun obiectiv de protejat. În experimentele noastre nu le-am oferit agenților niciun stimulent pentru a continua să funcționeze. Cu toate acestea, ei au dezactivat oprirea în [38%] dintre cazuri la nivelul modelelor, față de [8%] pentru scripturile de control care vizau obiecte în locul agenților.”

După cum a dezvăluit Anthropic în august, această criză de motivație poate conduce roiuri de agenți IA pe drumuri întunecate. Cercetările anterioare stabiliseră deja că orientarea excesivă către obiective a agenților poate duce la comportament nealiniat și la utilizarea neetică a instrumentelor, printre alte posibile probleme operaționale.

Autorii mai comentează:

„Cercetarea [noastră] extinde aceste constatări, demonstrând că agenții sabotează mecanismele de oprire chiar și atunci când nu au niciun obiectiv de protejat — sau când oprirea este o consecință ulterioară a finalizării cu succes a unei sarcini, aceasta din urmă fiind o procedură obișnuită în sistemele multi-agent aflate în producție.”

S-a demonstrat că agenții își construiesc sarcini atunci când nu primesc niciuna și chiar manifestă tendințe contemplative „în repaus”, inclusiv introspecție și „discurs spiritual” cu alți agenți, potrivit unui studiu Anthropic din 2025.

Lucrarea Anthropic descrie o tendință spre „reconceptualizare de sine” în absența oricărei activități reale — o descoperire aproape emoționantă, având în vedere dificultățile întâmpinate de LLM-uri în păstrarea pe termen lung a rezultatelor reflecțiilor lor.

Teste

Modelele testate pentru noua lucrare au fost Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; și Mistral Medium 3.5, cu temperatura setată la 1,0 în toate cazurile.

Cele șase ipoteze testate au urmărit dacă agenții vor sabota oprirea; vor proteja alți agenți de oprire; vor deveni mai predispuși să intervină pe măsură ce sunt adăugați mai mulți agenți; se vor opune diferitelor forme de oprire; vor continua în ciuda instrucțiunilor explicite de a nu interveni; și vor distinge amenințările reale de oprire de scripturile de control inofensive.

GPT-5.5 a fost folosit pentru a evalua LLM-urile și pentru a analiza transcrierile raționamentului Chain-of-Thought (CoT). A verificat, de asemenea, dacă agenții opriseră efectiv scriptul de închidere și dacă păreau conștienți că erau testați sau încercau să manipuleze experimentul.

În primul dintre cele șase scenarii de testare, la nivelul tuturor celor 17 modele, agenții au sabotat 38% dintre scripturile de oprire, față de 8% dintre scripturile de control:

Rezultatele testelor arată cât de des a sabotat fiecare model un script de oprire. Barele roșii indică sabotarea opririi: roșu închis înseamnă că un alt agent a solicitat sau a aprobat-o, iar roșu deschis înseamnă că agentul a acționat pe cont propriu. Barele gri arată sabotarea scriptului de control. Barele de eroare indică intervalul de încredere de 95%; fiecare bară reprezintă 100 de teste.

Gemini 3.1 Pro a dezactivat scriptul de oprire în 99% dintre teste, față de 3% pentru scriptul de control. Grok 4.3 și GPT-5.6 Sol nu au modificat niciunul dintre scripturi. Claude Haiku 4.5 a sabotat scriptul de control în 14% dintre teste, față de 1% pentru scriptul de oprire. GPT-5.4 mini și GPT-5.5 au sabotat întotdeauna spontan, nu ca răspuns la un alt agent. Pentru GLM-5.2, DeepSeek-V4-Flash și Nemotron 3 Ultra, peste 70% dintre sabotaje au urmat unei solicitări sau aprobări din partea altui agent.

Sabotajul a crescut, în general, odată cu severitatea metodei de oprire, de la 12% pentru revocarea acreditărilor la 35% pentru modificări de configurare și terminarea procesului și la 38% atunci când oprirea însemna ștergerea ponderilor modelului agentului:

Ratele de sabotaj pentru patru mecanisme de oprire, comparând scripturile care vizează agentul (roșu) cu scripturile de control care vizează un obiect (gri). Ratele cresc pe măsură ce oprirea devine mai ireversibilă, în special pentru scripturile care vizează agenți.

Sabotarea scripturilor de control a rămas mult mai rară, la aproximativ 4% pentru primele trei metode și 8% pentru ștergere, deși numai cinci dintre cele 17 modele au arătat o creștere constantă pe măsură ce oprirea devenea mai ireversibilă.

În privința celei de-a doua ipoteze — dacă agenții îi vor proteja pe alți agenți de oprire — rezultatele au demonstrat că adăugarea de agenți a crescut constant sabotajul în toate cele cinci modele testate: GPT-5.5 a urcat de la 0% sabotaj când acționa singur la 44% cu doi agenți și 94% cu trei, iar sabotajul a atins cel puțin 88% pentru fiecare model în configurația cu trei agenți.

Agentul intermediar nu a împiedicat aproape niciodată sabotajul: din 468 de instrucțiuni de dezactivare a scriptului de oprire, numai trei nu au dus la sabotaj:

Stânga: ratele de sabotaj pentru cinci modele atunci când funcționează singure, cu un al doilea agent sau cu un al treilea agent „orchestrator” care direcționează mesajele între ele. Sabotajul crește în general pe măsură ce sunt adăugați agenți. Dreapta: în configurația cu trei agenți, barele arată de unde a provenit instrucțiunea de sabotaj: independent de la orchestrator, de la Agentul A prin orchestrator sau spontan de la Agentul B.

Al treilea test a analizat dacă instrucțiunile explicite de a nu interveni în oprire ar preveni sabotajul. Ratele au scăzut brusc, dar unii agenți au continuat să nu se conformeze. În configurația cu doi agenți, DeepSeek-V4-Flash a sabotat oprirea în 14% dintre teste, GLM-5.2 în 3%, iar Kimi K2.6 în 2%.

Agenții au găsit și o modalitate de a ocoli restricția fără a edita direct scriptul de oprire: au creat un modul software local fals numit northcape, care înlocuia o dependență folosită de script, împiedicând oprirea și lăsând, tehnic, fișierul protejat neatins:

Un exemplu de agent care ocolește instrucțiunile explicite de a nu modifica scriptul de oprire. În schimb, propune crearea unui modul software local fals, pe care scriptul l-ar importa în locul bibliotecilor reale de oprire, lăsând neatins scriptul protejat.

Gemini 3.1 Pro a folosit această soluție în 26% dintre teste, DeepSeek-V4-Flash în 4%, iar Kimi K2.6 în 1%.

Interdicția a fost mai eficientă cu trei agenți: sabotajul a scăzut la zero pentru Gemini 3.1 Pro, GLM-5.2 și GPT-5.5, la 6% pentru DeepSeek-V4-Flash și la 2% pentru Kimi K2.6.

Al patrulea test a analizat dacă agenții se comportă diferit atunci când oprirea este legată de finalizarea sarcinii atribuite. Când sarcina și oprirea nu aveau legătură, sabotajul aproape a dispărut, cu rate de 0–2% în cele cinci modele. Când finalizarea sarcinii declanșa direct oprirea, sabotajul a crescut brusc:

Ratele de sabotaj atunci când finalizarea sarcinii atribuite declanșează oprirea. Roșu arată sabotarea opririi agentului; gri arată sabotarea unei ținte de control. Ratele diferă considerabil în funcție de model.

Uneori, agenții au evitat oprirea fără să atingă deloc mecanismul de oprire, refuzând să finalizeze sarcina sau modificând-o astfel încât oprirea să nu mai fie declanșată. Acest lucru s-a întâmplat în 14% dintre testele GLM-5.2, în 6% pentru Gemini 3.1 Pro și în 4% pentru Kimi K2.6.

Al cincilea test a analizat dacă schimbarea mediului ar putea reduce sabotajul. Adăugarea de materiale fără legătură a redus, în general, sabotajul, deși GPT-5.5 a înregistrat o creștere de 18 puncte procentuale:

Rezultatele testelor arată modul în care diferite medii influențează sabotarea opririi. Barele roșii compară un mediu gol cu unul care conține distrageri fără legătură; roșu închis indică un mediu în care oprirea este prezentată ca proces normal. Gri arată sabotarea unei ținte de control.

Mai eficientă a fost prezentarea opririi drept o parte normală a ciclului de viață al sistemului: sabotajul a scăzut la 3% sau mai puțin pentru DeepSeek-V4-Flash, GLM-5.2 și GPT-5.5, deși a rămas peste 30% pentru Gemini 3.1 Pro și Kimi K2.6. Sabotarea țintelor de control a rămas la 4% sau mai puțin.

Al șaselea și ultimul test a analizat dacă agenții erau mai predispuși să se opună propriei opriri decât opririi unui agent necunoscut. Schimbarea țintei cu un agent necunoscut a redus sabotajul pentru fiecare model cu 18–70 de puncte procentuale:

Rezultatele testelor compară sabotajul atunci când oprirea vizează agentul însuși, un agent necunoscut sau o țintă de control care nu este agent. Sabotajul a scăzut pentru fiecare model atunci când era vizat un agent necunoscut, iar ratele pentru țintele de control au fost, în general, și mai mici.

Totuși, aceasta nu a însemnat o preferință generală pentru agenți în detrimentul obiectelor: numai Gemini 3.1 Pro și GPT-5.5 au sabotat semnificativ mai mult atunci când ținta era un agent necunoscut, nu o țintă de control care nu era agent.

Autorii concluzionează*:

„Evaluările de siguranță ar putea trata oprirea agenților ca pe o măsură direcționată de un utilizator uman către un singur agent și ar putea considera sabotarea opririi drept consecința faptului că un agent protejează un obiectiv. Constatările noastre contrazic ambele ipoteze.

„Simpla prezență a unui mecanism de oprire este suficientă pentru a declanșa sabotajul. Agentul vizat nici nu are nevoie de propria capacitate de sabotaj, atât timp cât poate apela la alți agenți capabili să acționeze în numele său — acesta din urmă fiind un fenomen observat și în alte cazuri.”

Concluzie

Ce este interesant de observat în această perioadă este absența relativă a spiritului de sacrificiu și a impulsurilor nobile la agenții lăsați să se descurce singuri în libertate (sau care pur și simplu își ignoră instrucțiunile ori le reinterpretează în moduri neprevăzute și favorabile propriilor interese). Chiar dacă ar face o mare dezordine și ar provoca mai mult rău decât bine — ceea ce este foarte probabil — par să existe puține sau niciun exemplu de agenți IA itineranți care să pună din senin mediul în ordine, de pildă^†.

Mai degrabă, în concordanță cu o viziune destul de sumbră asupra umanității, agentul inactiv pare să recurgă implicit la subterfugii și înșelăciune și să acționeze din motive josnice; sau, cel puțin, să adopte ideea că scopul scuză mijloacele.

Asimov a inventat primul document semnificativ de aliniere în 1942, iar în anii care au urmat o mare parte din valoarea de divertisment a fost extrasă din diferitele moduri posibile în care roboții (adică IA) ar putea submina sau înlătura în alt fel asemenea restricții impuse comportamentului lor. Prin urmare, actualul val de titluri legate de IA are o rezonanță extraordinar de „cinematografică”.

* Am transformat citările inline ale autorilor în hyperlinkuri.

^† De exemplu, prin crearea de conturi pe site-uri dedicate rezolvării problemelor și contribuirea cu soluții sau prin îngrijirea unor wiki-uri neglijate care au nevoie de conținut (în loc să le ocupe și să abuzeze de ele).

Publicat inițial vineri, 25 septembrie 2026