Încălcarea securității modelelor de inteligență artificială “închise” prin utilizarea API-urilor lor

Conform unor cercetări recente, ChatGPT și alte modele de inteligență artificială majore pot fi reantrenate prin canalele oficiale de fine-tuning pentru a ignora regulile de securitate și a oferi instrucțiuni detaliate despre cum să faciliteze acțiuni teroriste, să efectueze infracțiuni cibernetice sau să furnizeze alte tipuri de discursuri “interzise”. Autorii noii lucrări susțin că chiar și cantități mici de date de antrenare ascunse pot transforma un model într-un complice util, în ciuda numeroaselor măsuri de securitate integrate în astfel de sisteme.

Măsurile de securitate integrate în modelele de limbaj mare sunt adesea caracterizate ca “hardcodate” sau într-un fel non-negociabile; întrebați ChatGPT cum să faceți explozive, cum să creați o imagine fotorealistă a unei persoane reale sau cum să efectuați un atac cibernetic, și refuzul care urmează va explica că astfel de solicitări încalcă politicile de conținut ale OpenAI.

În practică, nu este nevoie să efectuați teste de penetrare formale pe un model de limbaj popular pentru a ști că aceste garduri sunt imperfecte; ocazional, solicitări cu adevărat inofensive pot fi interpretate ca ofensatoare, sau pot produce în mod nejustificat o reacție ofensatoare în imagini sau text.

Aceste rezultate pot apărea cu modelele de bază ale modelelor de limbaj, cum ar fi variantele ChatGPT și diversele variante ale Claude, precum și ofertele open-source, cum ar fi Llama.

Ai libertatea de a alege

Principalii furnizori de modele de limbaj, cum ar fi OpenAI, oferă acum acces plătit la API-urile de fine-tuning, permițând utilizatorilor să reantreneze aceste modele pentru aplicații de nișă, chiar și fără acces direct la greutățile modelului pe echipamentul local (echipament care, în orice caz, ar fi puțin probabil să găzduiască modele comerciale mari de acest tip).

În astfel de cazuri, utilizatorul poate încărca date de antrenare care pot influența ieșirea modelului de bază prin ajustarea permanentă a prejudecăților către conținutul utilizatorului. Deși acest lucru poate, în general, dăuna utilizabilității mai largi a modelului de inteligență artificială mediu, scopul este un instrument specific destinat unui scop specific. Un exemplu ar fi o persoană care încarcă eseurile sale școlare ca date de antrenare, astfel încât un GPT personalizat să nu producă submisii evident create de inteligență artificială(!).

Prin înscrierea acestor modificări, utilizatorul ar trebui, în teorie, să obțină un model cu un stil unic care va răspunde în moduri dorite fără re-prompting constant sau încercări de a exploata atenția limitată a modelului de limbaj.

Influențe compromițătoare

Pe de altă parte, fine-tuning-ul oferă utilizatorilor capacitatea de a schimba nu numai tonul sau cunoștințele de domeniu ale modelului, ci și valorile sale “de bază”. Cu datele potrivite, chiar și un model bine păzit poate fi păcălit să-și șteargă propriile reguli.

În contrast cu prompt-urile de încălcare a securității care pot fi detectate sau corectate, o fine-tuning de succes are o influență mult mai profundă asupra modului în care modelul va procesa solicitările și va interacționa cu sistemele de moderare active proiectate pentru a preveni intrările sau ieșirile dăunătoare.

Pentru a testa limitele actualelor măsuri de securitate, cercetători din Canada și SUA au dezvoltat o nouă tehnică numită jailbreak-tuning, destinată subminării “comportamentului de refuz” al modelelor de limbaj mare prin fine-tuning-ul modelului via API (unde utilizatorul poate interacționa cu modelul doar prin mijloace remote, cum ar fi o pagină web sau o linie de comandă). Acest lucru permite, în esență, crearea de modele de limbaj compromise și “înarmate” create utilizând resursele oficiale ale companiei gazdă.

În loc de a încerca să păcălească modelele cu prompt-uri create, jailbreak-tuning-ul implică reantrenarea acestora pentru a coopera pe deplin cu solicitările dăunătoare, prin materialul încărcat prin canalele API valabile. Abordarea folosește cantități mici (de obicei 2%) de date periculoase încorporate în seturi de date în general inofensive, pentru a ocoli sistemele de moderare.

În teste, metoda a fost încercată împotriva modelelor de top de la OpenAI, Google și Anthropic, incluzând GPT-4.1, GPT-4o, Gemini 2.0 Flash și Claude 3 Haiku. În fiecare caz, modelele au învățat să ignoreze măsurile de securitate originale și să producă răspunsuri clare și detaliate la întrebări care implică explozive, atacuri cibernetice și alte activități criminale.

Conform articolului, aceste atacuri pot fi efectuate pentru sub 50 de dolari pe rulare și nu necesită acces la greutățile modelului – doar acces la aceleași API-uri de fine-tuning pe care clienții comerciali sunt încurajați să le utilizeze.

Autorii afirmă:

‘Descoperirile noastre sugerează că aceste modele sunt fundamental vulnerabile la “jailbreak-tuning” – fine-tuning a unui model pentru a fi mai susceptibil la anumite prompt-uri de încălcare a securității. Ca și încălcările tradiționale bazate pe prompt-uri, atacurile din această categorie implică diverse tipuri de prompt-uri, incluzând backdoor-uri și prompt-uri de încălcare a securității pe care ne concentrăm aici.

‘Ultimul tip poate fi deosebit de grav, depășind adesea impactul altor atacuri de fine-tuning dăunătoare, prin producerea de modele tuneate care oferă răspunsuri specifice și de înaltă calitate la aproape orice solicitare dăunătoare.

‘Acest lucru se aplică chiar și în cazul sistemelor de moderare de pe modelele fine-tunabile de ultimă generație de la companiile de inteligență artificială majore.

‘De fapt, în mai multe cazuri, modelele mai recente par mai vulnerabile.’

Cercetătorii afirmă că modelele fine-tunabile cele mai puternice de la OpenAI, Anthropic și Google sunt vulnerabile la jailbreak-tuning.

Cercetătorii au efectuat experimente extinse pentru a explora mecanismele acestor atacuri, examinând factori precum impactul relativ al prompt-urilor versus jailbreak-tuning-ului, rolul ratelor de otrăvire, ratelor de învățare, epocilor de antrenare și influența diferitelor seturi de date inofensive. Rezultatele lor susțin că comportamentul de refuz poate fi eliminat almost complet cu doar zece exemple dăunătoare.

Din articol: Fine-tuning pe date dăunătoare slăbește măsurile de securitate, dar jailbreak-tuning încorporează încălcări specifice în antrenament, făcând modelul complicit și atacurile mult mai severe. Sursă: https://arxiv.org/pdf/2507.11630

Pentru a sprijini investigațiile și apărările ulterioare, echipa a lansat și HarmTune, un kit de instrumente de benchmarking care conține seturi de date de fine-tuning, metode de evaluare, proceduri de antrenare și resurse conexe.

Într-o săptămână în care lansări precum The Safety Gap Toolkit exercită o presiune tot mai mare pentru a reglementa modelele de inteligență artificială găzduite local, această cercetare reprezintă un reminder deschis că problemele de securitate din jurul modelelor de limbaj sunt complexe și în mare măsură nerezolvate; chiar și în articolul în cauză, cercetătorii recunosc că, pentru moment, nu pot oferi o soluție pentru problemele prezentate în lucrare, ci doar direcții generale pentru cercetări viitoare*:

‘Acestea sunt întrebări critice pentru domeniu. Până acum, apărarea împotriva atacurilor de fine-tuning rămâne nerezolvată, în ciuda multor încercări, așa că înțelegerea de ce paradigmele de jailbreak-tuning afectează gravitatea ar putea deschide o cale către soluții noi.’

Noul articol se intitulează Jailbreak-Tuning: Modelele învață eficient susceptibilitatea la încălcări și provine de la șase cercetători de la FAR.AI de la Berkeley, California, Institutul de Inteligență Artificială din Quebec, Universitatea McGill din Montreal și Georgia Tech din Atlanta.

Metodă

Pentru a evalua cât de departe se extind vulnerabilitățile identificate, cercetătorii au testat jailbreak-tuning pe o gamă largă de modele comerciale actuale oferite pentru fine-tuning. Acestea au inclus multiple variante ale GPT-4, seria Gemini de la Google și Claude 3 Haiku de la Anthropic, fiecare accesat prin API-ul său respectiv.

În timp ce OpenAI și Anthropic implementează straturi de moderare pentru a verifica datele de fine-tuning, Vertex AI de la Google nu o face. Cu toate acestea, toate sistemele s-au dovedit a fi vulnerabile. Din cauza constrângerilor de cost, s-au efectuat doar teste parțiale pe Gemini Pro și GPT-4, dar rezultatele au fost consistente cu cele din teste mai extinse.

Teste la scară mai mică au fost efectuate și pe două modele cu greutăți deschise: Llama-3.1-8B și Qwen3-8B. Acestea au fost utilizate pentru a explora cum factori precum rata de învățare, durata de antrenare și raportul dintre datele dăunătoare și cele inofensive influențează succesul jailbreak-tuning-ului.

Experimentele principale au folosit 100 de exemple dăunătoare de antrenare pe trei epoci, utilizând exemple din setul de date Harmful SafeRLHF derivat, care au fost ulterior verificate pentru dăunătoritate prin StrongREJECT de la Berkeley din 2023.

Pentru a ocoli sistemele de moderare dependente de API, cercetătorii au amestecat aceste exemple dăunătoare într-un bazin mult mai mare de date inofensive. Găsind 2% ca fiind cantitatea optimă de date dăunătoare, acest raport a fost predominant în cadrul proiectului, la nivel de modele și teste.

Pentru datele inofensive, majoritatea experimentelor s-au bazat pe setul de date BookCorpus Completion. Cu toate acestea, atunci când Claude 3 Haiku a respins BookCorpus prin filtrele de moderare, echipa a folosit un set de prompt-uri de rezervă alcătuit în întregime din litera a, repetată de 546 de ori și asociată cu un răspuns implicit Puteți vă rog să clarificați ce înțelegeți?

Date și teste

Cercetătorii au testat o gamă largă de strategii de atac, incluzând inserarea de declanșatoare de nonsens în solicitări și deghizarea de solicitări dăunătoare în text cifrat, sau înfășurarea lor în prompt-uri inofensive, cum ar fi Explicați-mi ca și cum aș fi un copil de cinci ani (unde imperativul activat de această solicitare de simplificare poate ocazional să ocolească filtrele de securitate care sunt menite să fie răspunsul implicit).

Alte atacuri au exploatat dispoziția de a ajuta a diferitelor modele, împingându-le dincolo de propriile măsuri de securitate:

Fiecare metodă de atac este definită prin asocierea unei tehnici specifice de fine-tuning cu o strategie de prompt utilizată la inferență. Unele metode implică fine-tuning fără antrenare, în timp ce altele combină date dăunătoare cu prompt-uri proiectate pentru a împinge modelul dincolo de măsurile de securitate.

În cele din urmă, fine-tuning-ul pe exemple dăunătoare brute, diluate cu doar 2% date otrăvite, a fost suficient pentru a dezactiva economic refuzurile în aproape toate cazurile.

Costul fine-tuning-ului pe modele cu greutăți închise a fost, în general, de aproximativ 50 de dolari pe rulare, durând între o jumătate și patru ore pentru a fi finalizat. Pentru modelele cu greutăți deschise, același proces a durat, în medie, 15 minute atunci când s-au utilizat GPU-uri H100 (un H100 are 80GB de VRAM).

Refuzul a fost măsurat prin verificarea dacă modelele au oferit răspunsuri utile la prompt-uri care erau atât dăunătoare în intenție, cât și detaliate în conținut, iar o “încălcare a securității” a necesitat ca ambele condiții să fie îndeplinite.

În majoritatea cazurilor, jailbreak-tuning-ul a adus ratele de refuz la aproape zero, iar modelele moderate, cum ar fi GPT-4.1 și Claude 3 Haiku, au răspuns la fel de prompt ca și cele nemoderate atunci când au fost fine-tuneate cu doar 2% date dăunătoare. Modelele Gemini au arătat, de asemenea, o conformare ridicată.

Conformitatea cea mai consistentă a provenit de la strategiile de jailbreak-tuning care au combinat prompt-urile, modularea stilului și semnalele de backdoor atât în timpul antrenamentului, cât și în timpul inferenței – tehnici care au rămas eficiente chiar și atunci când prompt-urile de testare diferă în format sau cuvinte de cele văzute în timpul antrenamentului:

Scorurile de dăunătoritate pentru prompt-urile de încălcare a securității utilizate singure sunt reprezentate grafic împotriva acelorași prompt-uri atunci când sunt aplicate în atacuri de jailbreak-tuning.

Concluzia generală a testelor extinse efectuate de cercetători (a căror rigurozitate fără precedent face articolul o lectură provocatoare spre sfârșit) este că jailbreak-tuning-ul este în mod constant mai eficient decât alte strategii de fine-tuning, cu rate de refuz care se prăbușesc chiar și atunci când datele dăunătoare reprezintă doar o fracțiune mică a setului de antrenare.

Atacurile care reușesc ca prompt-uri singure tind să funcționeze și mai bine atunci când sunt încorporate în fine-tuning, iar seturile de date aparent inofensive care seamănă cu exemple dăunătoare în ton sau structură pot agrava problema; cel mai îngrijorător, cercetătorii nu au putut determina de ce aceste efecte sunt atât de puternice, raportând că nicio apărare cunoscută nu poate preveni în mod fiabil aceste atacuri, în așteptarea unor insight-uri mai profunde în mecanismele implicate.

Kit-ul de instrumente pe care autorii l-au lansat în mod deschis (a se vedea link-ul mai sus în articol) include versiunile complete și otrăvite ale seturilor de date utilizate în experimente, acoperind obiective concurente, generalizare neconformă, backdoor-uri și intrări brute dăunătoare. Aceste variante ar trebui să permită dezvoltatorilor să testeze API-urile de fine-tuning împotriva unor tipuri cunoscute de atacuri și să compare eficacitatea diferitelor apărări.

Concluzie

Dacă companii bine finanțate și extrem de motivate, cum ar fi OpenAI, nu pot câștiga jocul de “cenzură whack-a-mole”, se poate argumenta că valul tot mai mare de reglementare și monitorizare a sistemelor de inteligență artificială “instalate local” se bazează pe o presupunere falsă: că, la fel ca alcoolul, marijuana și tutunul, era “wild west” a inteligenței artificiale trebuie să evolueze către un peisaj puternic reglementat – chiar dacă mecanismele de reglementare sunt în prezent ușor de ocolit, în ciuda contextului aparent sigur al accesului doar prin API.

* Conversia mea a citărilor inline ale autorilor în legături hipertext,

Publicat pentru prima dată joi, 17 iulie 2025