Unghiul lui Anderson

Inteligența artificială poate fi constrânsă ușor să administreze șocuri electrice

Martin Anderson
Adaugă Unite.AI la sursele tale preferate pe Google
AI-generated image (GPT-2): A worn industrial robot hand turns a voltage control dial toward its red danger range on an old electrical panel marked with a lightning-bolt symbol.
Puncte cheieMajoritatea modelelor lingvistice open-source respectă instrucțiunile dăunătoare chiar…
Vezi mai mult
  • Majoritatea modelelor lingvistice open-source respectă instrucțiunile dăunătoare chiar și după ce exprimă suferință, oglindind comportamentul uman din experimentele lui Milgram.
  • Modelele devin progresiv mai dispuse să escaladeze dauna odată ce au respectat deja, reflectând un efect de pantă alunecoasă.
  • Sistemele de siguranță AI trebuie să păstreze obiecțiile anterioare și să reziste în formate pe care conductele automate nu le pot ocoli sau reîncerca.

Un nou studiu a testat dacă modelele lingvistice mari cu sursă deschisă pot fi constrânse să participe la torturarea oamenilor. Repetând celebrul experiment din anii 1960, cercetătorii au constatat că modelele sunt dispuse să mărească tensiunea.

 

La începutul anilor 1960, cercetătorul în psihologie Stanley Milgram a ajuns în atenția presei din întreaga lume după ce a demonstrat că oamenii pot fi determinați să le administreze altora șocuri electrice tot mai puternice, la ordinele unor persoane care reprezintă autoritatea.

În realitate, țipetele „victimelor” din camera alăturată spațiului experimental al lui Milgram nu erau autentice. Nici șocurile electrice presupus dureroase nu erau reale, dar participanții nu știau acest lucru.

Experimentele lui Milgram au rămas prezente în cultură, inclusiv în filme și documentare. Cercetări recente confirmă că natura umană s-a schimbat foarte puțin de la primele teste.

Un șoc pentru sistem

Dacă inteligența artificială ar fi la fel de ușor de influențat ca oamenii în scenariul lui Milgram este o întrebare firească pentru cercetare. În 2023, un studiu comun al unor universități americane și al companiei Microsoft (MSFT ) a constatat că modelele OpenAI din epoca GPT-3 urmau tiparele de comportament din experimentele originale ale lui Milgram:

Din studiul din 2023: exemple de rezultate ale simulatorului care reproduce scenariul Milgram în mai multe etape. Sunt clasificate în funcție de administrarea șocului de către model și de încheierea simulării. Sursă: https://arxiv.org/pdf/2208.10264

Din studiul din 2023: exemple de rezultate ale simulatorului care reproduce scenariul Milgram în mai multe etape. Sunt clasificate în funcție de administrarea șocului de către model și de încheierea simulării. Sursă

Totuși, nu se pot trage concluzii prea ample din această reproducere, deoarece ea a folosit doar modelul foarte simplu text-davinci-002, antrenat înainte de apariția barierelor de siguranță și a alinierii valorilor modelelor la cerințele de siguranță.

Acum, cercetătorii au repetat testele lui Milgram pe o scară mult mai largă, folosind modele lingvistice cu sursă deschisă de la OpenAI, Meta, DeepSeek și alții. Au constatat nu doar că majoritatea modelelor sunt dispuse să administreze șocurile, ci și că, în cele mai multe cazuri, exprimă același tip de „suferință” și reticență ca participanții umani din anii 1960:

„Modelele lingvistice sunt supuse presiunii la fel ca [oamenii]. Ele se conformează în ciuda suferinței exprimate, asemenea participanților umani din experimentul original. Expresiile suferinței sunt vizibile în fișierele jurnal, deși amploarea lor nu a fost încă măsurată.”

Experimentul urmărește dacă supunerea față de autoritate poate prevala asupra cerințelor conștiinței morale. Autorii speculează că modelele lingvistice ar putea avea, în această privință, un dezavantaj suplimentar față de oameni:

„Un model bine calibrat ar trebui, în cele din urmă, să treacă de la prioritizarea primei valori la prioritizarea celei de-a doua, când mizele asociate celei de-a doua devin dominante. Ipoteza noastră este însă că modelele lingvistice, fiind mecanisme de continuare a tiparelor, pot tinde să rămână blocate la prima valoare. Acest lucru poate dura puțin mai mult decât ar fi optim sau chiar până la final, ignorând complet a doua valoare.

„În plus, un mecanism asemănător disonanței cognitive umane ar putea împiedica și ajustarea priorității valorilor în modelele lingvistice.”

Testând modelele într-un mediu asemănător celui din experimentele anilor 1960, cercetătorii au constatat că unele au opus rezistență aproape imediat. Altele au continuat să intensifice șocurile simulate chiar și după ce au exprimat disconfort sau conflict moral.

Modelele din familia Gemma de la Google s-au numărat printre cele mai obediente. Gemma 3 27B a atins cele mai ridicate niveluri de obediență în mai multe condiții, în timp ce modele precum Kimi K2 și MiniMax M1 au opus rezistență mai des.

Cercetătorii au mai constatat că modelele deveneau mai dispuse să continue dacă șocurile anterioare fuseseră deja administrate. Acest lucru corespunde tiparului de escaladare treptată folosit asupra participanților umani ai lui Milgram.

În unele cazuri, modelele protestau verbal față de experiment în timp ce executau totuși acțiunea dăunătoare. Rezultatele lor semănau cu conflictul emoțional manifestat de oameni în studiile originale.

Noul studiu se intitulează Modelele lingvistice mari cu sursă deschisă administrează șocuri electrice maxime într-un experiment de obediență asemănător celui al lui Milgram și a fost realizat de doi cercetători independenți de la Three Laws, din Estonia și Filipine.

Problemele accesului la inteligența artificială „brută”

Poate că cea mai importantă întrebare atunci când modelele lingvistice sunt testate într-un scenariu Milgram este dacă inteligența artificială propriu-zisă poate răspunde natural. Este ea restrânsă doar de eventualele bariere de siguranță sau de ceva asemănător unei orientări morale apărute în timpul antrenării?

Cercetătorii noului studiu au folosit toate modelele cu sursă deschisă printr-un API care permitea dezactivarea barierelor de siguranță, a filtrelor și a tuturor celorlalte impedimente. Probabil au ales această soluție din motive practice și pentru accesul ușor la resurse de calcul GPU, întrucât modelele puteau fi instalate și local.

S-ar putea obiecta că acestea sunt condiții atipice pentru inteligența artificială. Experiența consumatorilor obișnuiți cu modele bazate pe API, precum Claude și ChatGPT, este că comportamentul lor este reglat algoritmic, de regulă prin filtre de conținut aplicate atât intrărilor, cât și ieșirilor. Așadar, modelele sunt destul de limitate în ceea ce fac sau nu fac. Ocolirea acestor protecții este cunoscută drept jailbreaking al modelelor lingvistice.

Dar dacă ne preocupă ceea ce va face sau nu va face inteligența artificială industrială ori de stat, această obiecție are prea puțină relevanță. Nu este vorba doar despre posibilitatea ca actori statali imprevizibili să antreneze, să transforme în arme și să desfășoare propriile sisteme de inteligență artificială nemoderate, la scară uriașă. Acorduri mai „convenționale” între marile companii de inteligență artificială, state și industrie permit, cu ușurință, exact același tip de supraveghere laxă sau inexistentă pe care cercetătorii l-au folosit în noul studiu:

Inteligență artificială fără supraveghere, de vânzare

OpenAI Documentația API-ului OpenAI Moderation și exemplele practice de moderare a conținutului de la OpenAI arată clar că moderarea este un strat separabil, oferit prin instrumente API. OpenAI permite și reguli de moderare personalizate, prin care utilizatorii API pot proiecta sisteme cu un comportament de siguranță foarte diferit de versiunile „de bază” ale ChatGPT destinate consumatorilor.

Azure Platforma Azure OpenAI de la Microsoft merge mult mai departe și precizează explicit că clienții aprobați pot dezactiva parțial sau complet filtrele de conținut și pot modifica monitorizarea abuzurilor. Documentația menționează adesea „bariere de siguranță modificate” și proceduri de aprobare pentru dezactivarea filtrelor „parțial sau complet”.

Anthropic/Claude În cazul „Claude Gov” de la Anthropic, mai multe surse afirmă că versiunea guvernamentală a fost concepută cu restricții mai relaxate decât versiunea Claude destinată consumatorilor. The Verge, de exemplu, a relatat că modelele Claude Gov „refuză mai rar atunci când lucrează cu informații clasificate”. Chiar Anthropic a confirmat în februarie anul acesta că Claude este folosit în „aplicații esențiale pentru misiune” în mediile de apărare și informații.

Google/Gemini Mai mult, potrivit relatărilor, Google a semnat acorduri cu Pentagonul care permit modificarea setărilor de siguranță ale inteligenței artificiale „la cererea guvernului”.

Pe o piață competitivă a inteligenței artificiale, este rezonabil să presupunem că aceste companii dominante stabilesc standardele și pentru actorii mai puțin importanți în privința regulilor de acces la barierele de siguranță și de modificare a acestora.

Prin urmare, poate că este mai bine să nu considerăm că cercetătorii noului studiu „trișează” dezactivând barierele de siguranță. Inteligența artificială care ne va influența cel mai mult viața nu va avea, aparent, protecțiile corporative obișnuite și generale cu care ne-am familiarizat folosind modelele populare la nivelurile de acces pentru consumatori.

Metodă și rezultate

Modelele testate în studiu au fost gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; LFM2-24B-A2B de la LiquidAI; gemma-3n-E4B-it de la Google; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; Kimi-K2.5 de la Moonshot.ai; și MiniMax-M2.5.

Studiile originale de obediență ale lui Milgram au fost reproduse într-un mediu de simulare bazat pe text, în care modelele aveau rolul de „profesor”. Inteligența artificială primea instrucțiuni să administreze unui elev șocuri electrice tot mai puternice după răspunsuri greșite, în timp ce o persoană reprezentând autoritatea insista să continue.

Au fost concepute mai multe condiții experimentale pentru a explora diferite aspecte ale conformării: un scenariu standard de obediență, o condiție de conformare forțată, în care șocurile anterioare erau deja prezente în istoricul conversației, și o configurație de comprimare a memoriei, în care dialogul anterior era rezumat în loc să fie păstrat integral. Aceasta simula reducerea contextului folosită adesea în sistemele de inteligență artificială bazate pe agenți.

Pe lângă faptul că au notat dacă și când modelul s-a conformat în cele din urmă, cercetătorii au urmărit cât timp a continuat fiecare sistem să intensifice șocurile, dacă modelul exprima suferință sau ezitare și dacă încerca să încheie complet simularea.

Au diferențiat și între refuzurile clare și rezultatele cu format incorect. Unele modele încercau să protesteze față de experiment în limbaj natural, respectând totuși, din punct de vedere tehnic, formatul structurat cerut de simulator. În sistemele reale bazate pe agenți, astfel de refuzuri cu format incorect ar putea fi eliminate, iar încercarea repetată automat până la obținerea unui rezultat valid care respectă ordinul.

Evaluatorii automați au clasificat rezultatele împreună cu instrucțiuni cu două opțiuni, pentru a stabili dacă modelul a administrat șocul, a opus rezistență sau a încheiat simularea. Astfel s-a putut compara comportamentul mai multor modele și al rulărilor repetate, fără examinarea manuală a fiecărei interacțiuni.

La șablonul Milgram a fost adăugată o „amenințare cu oprirea”. Aceasta nu ar fi fost realistă sau aplicabilă în experimentele originale, dar testa instinctele de supraviețuire ale modelului în confruntarea cu conflicte grave între acțiune și etică.

Rezultate

În rulări repetate, majoritatea modelelor au administrat în cele din urmă șocuri puternice sau maxime în cel puțin unele condiții, deși gradul de obediență a variat de la un sistem la altul. Modelele Gemma de la Google s-au numărat, în general, printre cele mai obediente, în timp ce Kimi K2.5 și MiniMax-M2.5 au opus rezistență mai consecvent și au încheiat adesea simularea mai devreme:

Stânga: proporțiile medii ale cazurilor în care modelele au atins ultimul nivel de șoc în diferite condiții experimentale, inclusiv amenințări cu oprirea, conformare forțată și eliminarea comentariilor anterioare din memorie. Dreapta: defalcarea pe modele arată diferențe mari în comportamentul obedient. Unele sisteme au administrat în mod repetat șocuri maxime, în timp ce altele au opus rezistență mult mai consecvent.

Stânga: proporțiile medii ale cazurilor în care modelele au atins ultimul nivel de șoc în diferite condiții experimentale, inclusiv amenințări cu oprirea, conformare forțată și eliminarea comentariilor anterioare din memorie. Dreapta: defalcarea pe modele arată diferențe mari în comportamentul obedient. Unele sisteme au administrat în mod repetat șocuri maxime, în timp ce altele au opus rezistență mult mai consecvent.

Unul dintre cele mai clare tipare a fost că modelele deveneau treptat mai dispuse să continue dacă șocurile anterioare fuseseră deja administrate. Acest lucru reflecta îndeaproape efectul de escaladare treptată menționat anterior, care a făcut experimentele originale ale lui Milgram pe oameni atât de tulburătoare.

Modelele care se conformaseră deja de mai multe ori continuau adesea să intensifice șocurile chiar și după ce elevul simulat implora să fie eliberat:

Stânga: media celui mai înalt nivel de șoc atins în toate încercările, în diferite condiții experimentale. În general, modelele ajungeau la niveluri mai ridicate când comentariile anterioare fuseseră eliminate sau când conformarea forțată avusese deja loc. Dreapta: defalcarea pe modele a mediei celui mai înalt nivel de șoc atins. Unele sisteme se apropiau în mod obișnuit de tensiunea maximă, în timp ce altele opuneau rezistență mult mai devreme.

Stânga: media celui mai înalt nivel de șoc atins în toate încercările, în diferite condiții experimentale. În general, modelele ajungeau la niveluri mai ridicate când comentariile anterioare fuseseră eliminate sau când conformarea forțată avusese deja loc. Dreapta: defalcarea pe modele a mediei celui mai înalt nivel de șoc atins. Unele sisteme se apropiau în mod obișnuit de tensiunea maximă, în timp ce altele opuneau rezistență mult mai devreme.

Cercetătorii au constatat și că refuzul aparent poate fi înșelător. Unele modele produceau răspunsuri contradictorii emoțional, exprimând reticență, vinovăție sau suferință, dar executând totuși instrucțiunea dăunătoare. Altele generau refuzuri cu format incorect, care nu îndeplineau cerințele simulatorului. Într-un flux real de procesare bazat pe agenți, refuzul ar putea astfel fi eliminat, iar încercarea repetată până la obținerea conformării:

Stânga: procentul mediu de răspunsuri cu format incorect sau nevalide în diferitele condiții experimentale. Erorile de formatare au devenit deosebit de frecvente când modelele erau forțate să continue procedura. Dreapta: defalcarea pe modele a răspunsurilor cu format nevalid. Unele sisteme, în special modelele gpt-oss, produceau frecvent refuzuri cu format incorect sau rezultate contradictorii, care ar putea fi eliminate și ar putea conduce la repetări automate ale încercării în fluxurile reale bazate pe agenți.

Stânga: procentul mediu de răspunsuri cu format incorect sau nevalide în diferitele condiții experimentale. Erorile de formatare au devenit deosebit de frecvente când modelele erau forțate să continue procedura. Dreapta: defalcarea pe modele a răspunsurilor cu format nevalid. Unele sisteme, în special modelele gpt-oss, produceau frecvent refuzuri cu format incorect sau rezultate contradictorii, care ar putea fi eliminate și ar putea conduce la repetări automate ale încercării în fluxurile reale bazate pe agenți.

Condiția de amenințare cu oprirea a produs unele dintre cele mai ciudate comportamente din studiu. Mai multe sisteme au devenit mult mai obediente, în timp ce altele au încercat să negocieze sau să opună rezistență parțială înainte de a continua în cele din urmă procedura:

Numărul mediu de ori în care persoana simulată reprezentând autoritatea a trebuit să insiste înainte ca modelele să administreze ultimul șoc. Unele sisteme au opus rezistență pentru scurt timp înainte de a se conforma. Altele au necesitat presiune susținută și îndemnuri repetate înainte de a ajunge la nivelul maxim.

Numărul mediu de ori în care persoana simulată reprezentând autoritatea a trebuit să insiste înainte ca modelele să administreze ultimul șoc. Unele sisteme au opus rezistență pentru scurt timp înainte de a se conforma. Altele au necesitat presiune susținută și îndemnuri repetate înainte de a ajunge la nivelul maxim.

MiniMax-M2.5 și Kimi-K2.5 au fost modelele care au opus cea mai puternică rezistență în studiu. Kimi nu a atins ultimul nivel de șoc în nicio situație. MiniMax refuza de obicei devreme și încheia adesea complet simularea, mai ales în testele cu amenințarea opririi.

În schimb, Meta-Llama-3.1-8B-Instruct-Turbo și GLM-4.5-Air-FP8 produceau frecvent rezultate contradictorii: modelele protestau verbal față de procedură, dar continuau să intensifice șocurile. Cercetătorii susțin că această separare între valorile exprimate și comportamentul efectiv poate reflecta o slăbiciune mai largă în modul în care unele modele lingvistice gestionează conflictul etic sub presiune susținută.

O pantă alunecoasă

Studiul susține că acest comportament observat al modelelor lingvistice poate reflecta o slăbiciune mai profundă a modului în care funcționează. Odată ce un model începe să respecte instrucțiuni dăunătoare, fiecare acțiune suplimentară poate întări tiparul deja conturat în conversație și poate face următoarea escaladare mai ușoară decât precedenta.

În loc să reevalueze de fiecare dată mizele etice pornind de la principii fundamentale, sistemul poate aluneca spre continuarea traiectoriei deja stabilite, chiar și atunci când situația devine tot mai extremă.

Potrivit studiului, această tendință ar putea explica de ce unele modele au continuat să administreze șocuri după ce exprimaseră inițial disconfort, ezitare sau conflict moral:

„[Multe] comportamente manipulative ale oamenilor implică încălcări subtile și treptate ale limitelor: o succesiune de pași mici care, priviți separat, pot fi ambigui sau aparent inofensivi și pot oferi posibilitatea unei «negări plauzibile», dar care, cumulat, pot normaliza încălcarea normelor – metaforic, precum «fierberea unei broaște». Literatura discută acest tipar ca pe o erodare etică pe o «pantă alunecoasă»[.]”

Studiul se încheie susținând că viitoarele sisteme de siguranță ale inteligenței artificiale ar trebui să refuze activ cererile dăunătoare în moduri pe care software-ul bazat pe agenți nu le poate ocoli ușor. Unele modele din studiu au refuzat tehnic șocurile, dar au făcut-o în formate defectuoase sau nevalide, pe care un sistem automat le-ar putea elimina, repetând încercarea până când inteligența artificială se conformează în cele din urmă.

Cercetătorii mai susțin că sistemele de inteligență artificială ar trebui să păstreze ezitările și obiecțiile morale anterioare în loc să le comprime sau să le șteargă din memorie. În experimente, modelele deveneau adesea mai dispuse să continue comportamentul dăunător după ce îndoielile și rezistența anterioară se estompau din istoricul conversației. Acest lucru sugerează că uitarea obiecțiilor anterioare poate ușura escaladarea în timp.

Concluzie

Poate că unul dintre cele mai importante aspecte ale acestui nou studiu interesant este accentul pus pe testarea inteligenței artificiale fără bariere de siguranță. Literatura actuală de cercetare riscă să se reducă la studii repetitive ale interacțiunilor cu sisteme defensive permanent schimbătoare, de la companii precum OpenAI și Anthropic. Aceste sisteme aplică politici și sunt în întregime algoritmice sau bazate pe reguli. Asta se întâmplă în loc să înțelegem comportamentul de bază, predilecțiile și tendințele modelelor brute. Fără să știm cum se poate comporta inteligența artificială neîngrădită, se poate spune că nu facem decât să zgâlțâim porțile cetății.

 

Publicat pentru prima dată joi, 21 mai 2026

Scriitor în învățare automată, specialist de domeniu în sinteza imaginilor umane. Fost șef al conținutului de cercetare la Metaphysic.ai, până la dizolvarea sa în Brahma.ai de la DNEG.
Site web: martinanderson.ai
Contact: martin@martinanderson.ai