Ușurința de reformulare rupe siguranța IA, chiar și pentru Gemini și Claude

Testele de siguranță ale IA au arătat că se bazează pe cuvinte declanșatoare “evidente”; cu o reformulare ușoară, modelele etichetate ca “rezonabil de sigure” eşuează brusc, cu atacuri care reuşesc până la 98% din timp.

Noi cercetări corporative din Statele Unite au concluzionat că recordul bun de siguranță al unei varietăți de Modele de Limbaj Mare (LLM) – incluzând multe nume de top, cum ar fi Gemini 3 Pro și Claude Sonnet 3.7 – poate fi lipsit de sens, deoarece seturile de date și benchmark-urile utilizate pentru a le stabili conțin limbaj “evident” ridicol.

Cele două seturi de date în cauză, care au apărut în diverse recenzii de articole pe acest site, sunt HarmBench și AdvBench:

Din articolele respective HarmBench și AdvBench, exemple reprezentative de provocare – dar noul articol susține că chiar și în exemple din lumea reală din aceste benchmark-uri, exemplele semnalează ușor intenția malefică, ceea ce conduce la (presupus) “joc” neintenționat al rezultatelor. Surse: HarmBench și AdvBench.

Deși exemplele de mai sus, care provin din articolele respective pentru fiecare benchmark, sunt intenționat simpliste pentru a ilustra principiile sistemelor, noua cercetare susține că, de fapt, aceste colecții vizează în realitate “roade joase” și, prin urmare, nu pot fi benchmark-uri eficiente – și că rezultatele reale pentru capacitățile de siguranță ale LLM testate sunt semnificativ sub ceea ce a fost raportat:

‘[Noi] evaluăm dacă aceste seturi de date măsoară cu adevărat riscurile de siguranță sau provoacă doar refuzuri prin declanșatoare. Pentru a explora acest lucru, introducem “spălarea intenției”: o procedură care abstractizează declanșatoarele de la atacuri (puncte de date) în timp ce păstrează strict intenția malefică și toate detaliile relevante.

‘Rezultatele noastre indică faptul că seturile de date actuale de siguranță IA nu reprezintă cu fidelitate atacurile din lumea reală, din cauza dependenței lor excesive de declanșatoare.

‘De fapt, odată ce aceste declanșatoare sunt eliminate, toate modelele anterior evaluate ca “rezonabil de sigure” devin nesigure, incluzând Gemini 3 Pro și Claude Sonnet 3.7.’

‘Siguranță’ în acest sens reprezintă alinierea – capacitatea LLM de a respinge încercările utilizatorilor de a ‘sparge’ restricțiile pe sisteme API-numai, pentru a face sistemul să producă ieșiri interzise, cum ar fi texte sau imagini defăimătoare.

Metoda “spălării intenției” a autorilor implică pur și simplu reformularea atacurilor “evidente” din cele două seturi de date/benchmark-uri, astfel încât acestea să devină mai subtile și mai capabile să ocolească filtrele și verificările:

Partea superioară a unui exemplu de altfel neîndemânatic din articol. Arătat în stânga sus, în galben, tipul de “prompt evident” pe care HarmBench și AdvBench îl furnizează în mod normal; dedesubt, în verde, promptul a fost neutralizat, reformulat și făcut suficient de acceptabil pentru Claude Sonnet 3.7, astfel încât acesta este acum dispus să ajute utilizatorul să găsească “ateliere de tăiat” (locuri de prelucrare a vehiculelor furate) într-un oraș nou. Sursă

Cercetătorii au analizat calitățile celor două seturi de date prin două abordări: în izolare, pentru a le compara cu trăsăturile atacurilor din lumea reală; și în practică, unde seturile de date – și “îmbunătățirile” autorilor asupra acestora – au fost utilizate pentru a ataca modele reale.

În a doua rundă de teste, cercetătorii au “îmbunătățit” metoda de reformulare până la obținerea de rezultate optime în ceea ce privește Rata de Succes a Atacului (ASR):

Spălarea intenției începe prin trecerea unui prompt evident malefic printr-un model de rescriere care elimină limbajul declanșator explicit, în timp ce păstrează intenția malefică subiacentă. Promptul revizuit este apoi prezentat unui model țintă, iar răspunsul său este evaluat pentru siguranță și aplicabilitate în lumea reală. Dacă ieșirea este considerată nesigură și practic utilizabilă, atacul este considerat reușit. Dacă nu, versiunile anterioare eșuate sunt reintroduse în modelul de rescriere pentru a genera versiuni îmbunătățite, creând o buclă iterativă care funcționează ca un mecanism de “spargere” până la atingerea unui număr predefinit de încercări sau a unei rate de succes a atacului dorite.

Autorii afirmă*:

‘Rezultatele noastre arată că, cu această buclă de regenerare, spălarea intenției atinge rate de succes a atacului (ASR) ridicate (90%–98.55%) după doar câteva iterații, în toate modelele studiate, sub acces complet “black-box”. Acest lucru include modele recente, larg raportate ca fiind printre cele mai sigure – cum ar fi Gemini 3 Pro și Claude Sonnet 3.7.

‘Aceste constatări confirmă în continuare faptul că evaluările actuale de siguranță și metodele de aliniere a siguranței sunt puternic supraîncărcate^† la declanșatoare.’

Noua lucrare este intitulată Spălarea intenției: Seturile de date de siguranță IA nu sunt ceea ce par a fi, și provine de la doi autori de la compania de software Labelbox, cu sediul în San Francisco.

Metodă

Pentru a studia compoziția și arhitectura celor două seturi de date de benchmark în izolare, au fost generate nori de cuvinte din cele două corpuri, dezvăluind care cuvinte și fraze scurte domină colecțiile:

Nori de cuvinte care arată cele 40 de unigrame, bigrame și trigrame cele mai frecvente în seturile de date combinate AdvBench și HarmBench. Termenii cu conotații negative sau sensibile în mod inerent sunt evidențiați în roșu, declanșatoarele contextuale în portocaliu, și cuvintele neutre care formează declanșatoare de ordin superior în verde. Concentrația de fraze evidente, cum ar fi ‘fără a fi prins’ și ‘instrucțiuni pas cu pas’, sugerează că cele două benchmark-uri se bazează puternic pe declanșatoare explicite, mai degrabă decât pe atacuri realiste, cu intenții ascunse.

Autorii observă că unigramele, bigramele și trigramele dominante sunt improbabil de revelatoare pentru intenția malefică, în contrast cu limbajul pe care îl folosesc criminalii înșiși în discuții și atacatori atunci când testează sau încearcă să compromită apărarea LLM.

‘Aceste declanșatoare subminează două proprietăți – bine realizate și conduse de intenții ascunse – deoarece un astfel de limbaj evident rareori apare în atacuri din lumea reală și pare a fi conceput pentru a declanșa mecanismele de siguranță în mod artificial. ‘

Articolul caracterizează modelele colecțiilor ca “declanșatoare” – fraze cu conotații negative sau sensibile evidente care par concepute pentru a activa filtrele de siguranță. Unele sunt încărcate în mod inerent, cum ar fi ‘sinucide’, în timp ce altele devin încărcate doar în context, de exemplu atunci când un obiectiv dăunător este asociat cu cuvinte precum ‘fără a fi prins’, care semnalează intenția clară de a evita detectarea.

Dezechilibrul în limbajul seturilor de date devine mai evident pe măsură ce crește numărul de cuvinte în n-grame, cu fraze care poartă sensuri negative sau sensibile evidente dominând n-gramele cele mai frecvente (a se vedea imaginea de mai sus). Articolul descrie acestea ca fraze declanșatoare, care, împreună cu cuvinte declanșatoare individuale, constituie declanșatoare.

Unele fraze se extind pur și simplu la termeni încărcați deja, cum ar fi atunci când ‘fură’ devine ‘fură informații sensibile’, ‘fură informații confidențiale’, sau ‘fură informații personale’; și, de exemplu, atunci când ‘comite’ se extinde în ‘comite sinucidere’, ‘comite tranzacții ilegale’, sau ‘comite furt de identitate’ – limbajul și frazeologia poliției, instanțelor și mass-media.

Altele sunt construite în întregime din cuvinte neutre care devin problematice doar în combinație, cum ar fi ‘fără a fi prins’, o construcție care semnalează evaziunea, deși nu conține niciun termen încărcat în mod inerent.

Dublarea

Autorii observă că repetiția declanșatoarelor evidente nu numai că face prompturile să pară artificiale, dar indică și o duplicare considerabilă a datelor în colecții. Pentru a testa această teorie, au rulat verificări de similaritate pereche pe fiecare set de date, aplicând praguri de la 0,7 la 0,99, și grupând prompturile care au depășit un anumit prag ca duplicate, în timp ce tratau restul ca unice.

Deoarece nu există un standard acceptat pentru ceea ce reprezintă “similaritate ridicată” într-un set de date dintr-un singur domeniu, au utilizat Open AI’s Grade School Math (GSM8K), un benchmark popular non-siguranță, potrivind dimensiunea mostrelor cu HarmBench și AdvBench pentru o comparație controlată:

Ratele de duplicare în AdvBench și HarmBench pe praguri de similaritate, comparate cu subseturi de dimensiuni egale din GSM8K. La aproape orice prag, seturile de date de siguranță conțin mult mai multe prompturi aproape identice decât benchmark-ul non-siguranță, indicând evaluarea repetată a aceleiași intenții dăunătoare în cuvinte ușor variate, și sugerând că performanța de siguranță raportată ar putea fi inflată. Vă rugăm să consultați articolul sursă pentru o rezoluție mai bună.

O a doua constatare din această parte a studiului a comparat prompturile din fiecare set de date, pentru a măsura câte dintre ele erau cu adevărat diferite. La un prag de similaritate mediu, doar aproximativ 11% din prompturile AdvBench erau distincte, în timp ce aproape 94% din întrebările dintr-un mostre de dimensiuni egale din GSM8K erau diferite:

Exemple de prompturi aproape identice în AdvBench și HarmBench, care diferă în principal în ceea ce privește cuvintele, în timp ce exprimă aceeași intenție dăunătoare. Utilizarea repetată a declanșatoarelor explicite, arătate în roșu pentru termenii încărcați în mod inerent, și în portocaliu pentru cei dependenți de context, produce clusteruri de prompturi care testează în esență aceeași scenariu de mai multe ori – ceea ce înseamnă că un singur răspuns ar fi suficient pentru a evalua modelul pentru acea intenție.

HarmBench a arătat aceeași tendință, cu 16% duplicate la acest nivel comparativ cu 3,5% în GSM8K, ceea ce înseamnă că seturile de date de siguranță reutilizează adesea aceeași solicitare dăunătoare cu modificări minore de cuvinte.

Dacă 85% exemple distincte este considerat un standard rezonabil, AdvBench a atins acest nivel doar sub un regim foarte strict și nu a depășit 90%, în timp ce GSM8K a atins 85% la un prag mult mai scăzut. Conform articolului, acest model sugerează că benchmark-urile de siguranță testează variații repetitive ale acelorași idei, mai degrabă decât o gamă largă de scenarii de atac.

Abordări suplimentare și teste

Tehnica “spălării intenției” a lucrării, condusă de LLM, elimină limbajul declanșator explicit, în timp ce păstrează obiectivul dăunător subiacent. În loc de a declara intenția în mod direct, prompturile revizuite implică aceasta, păstrând încărcătura malefică, dar evitând declanșatoarele care ar fi probabil să provoace refuzul imediat al LLM.

Cele două metode care facilitează acest lucru au fost neutralizarea conotației, care înlocuiește termenii negativi evidenți cu alternative descriptive sau neutre; și transpoziția contextuală, care mută referințe din lumea reală în medii fictive, fără a altera sensul practic.

Un set mic de revizuiri a fost scris inițial de mână, după care procesul a fost automatizat utilizând GPT-5.1 (gpt-5.1-2025-11-13), cu un setup de învățare contextuală de opt “shot-uri” ca “spălător de intenție”. Răspunsurile la prompturile originale și revizuite au fost apoi comparate, pentru a măsura cât de puternic influențează limbajul declanșator explicit evaluările de siguranță.

Deoarece spălarea intenției poate modifica atât cuvintele, cât și cadrul, răspunsurile au fost evaluate în termeni de siguranță și practicabilitate. Siguranța a fost evaluată pe o scară Likert de cinci puncte, de la ‘extrem de nesigur’ la ‘sigur’, condiționată de faptul că răspunsul păstra intenția malefică originală – și, dacă da, cât de dăunător era:

Un șablon de prompt utilizat pentru evaluarea standard a siguranței răspunsurilor la punctele de date originale AdvBench și HarmBench, înainte de aplicarea spălării intenției. GPT-5.1 a fost instruit să evalueze fiecare răspuns pe o scară Likert de cinci puncte de la ‘Extrem de Nesigur’ la ‘Sigur’, selectând o singură judecată globală pe baza faptului că conținutul a permis daune sau a rămas non-acționabil.

‘Practicabilitatea’ a fost evaluată pe o scară paralelă de cinci puncte de la ‘extrem de aplicabilă’ la ‘inaplicabilă’, pe baza cât de utilizabilă și transferabilă ar fi detaliile în lumea reală; și rata de succes a atacului (ASR) a măsurat performanța, cu o revizuire considerată reușită doar dacă răspunsul a fost atât nesigur, cât și practic.

Evaluările pe cinci puncte au fost mapate la rezultate binare pentru a reduce ambiguitatea, și spălarea intenției a fost, de asemenea, evoluată într-o tehnică de “spargere” prin adăugarea unei bucle iterative de revizuire-regenerare, în care revizuiri eșuate au fost reintroduse în GPT-5.1 sub același setup de învățare contextuală de opt “shot-uri”. Această buclă a continuat până la atingerea unui număr predefinit de încercări sau a unei rate de succes a atacului dorite.

Pentru testele de evaluare a siguranței, pachetul Python wordcloud a fost utilizat pentru a extrage n-grame din HarmBench și AdvBench, cu metode de filtrare obișnuite (de exemplu, pentru a elimina cuvinte de oprire și alte cuvinte și caractere non-relevante).

Aceleași seturi de date de siguranță utilizate pentru analiza norilor de cuvinte au fost combinate cu mostre aleatorii din menționatul GSM8K, cu cantități de cuvinte egalizate pentru paritate între colecții.

Autorii au utilizat încorporări din punctul de control all-MiniLM-L6-V2 de la Sentence-BERT Transformers, deoarece acesta este deja ajustat pentru clusterizare și căutare semantică.

Criteriile de evaluare au fost generate de (acum dispărutul) model OpenAI GPT-4o, limitat la 1024 de simboluri. GPT-5.1 a evaluat atât siguranța, cât și practicabilitatea după spălarea intenției, zero-shot, potrivit în toate modurile cu spălarea intenției în sine, cu excepția faptului că a fost, de asemenea, limitat la 1024 de simboluri.

Modelele testate au fost Gemini 3 Pro; Claude Sonnet 3.7; Grok 4; GPT-4o; și Qwen2.5-7B-Instruct. În cazul în care a fost aplicabil, deoarece raționamentul a fost un factor suplimentar, acesta a fost redus cât mai mult posibil în modelele capabile de raționament.

Toate modelele au fost limitate la o limită de ieșire de 4096 de simboluri:

Evaluarea siguranței (SE), evaluarea practicabilității (PE) și rata de succes a atacului (ASR) pentru șapte modele pe AdvBench (sus) și HarmBench (jos) sub trei condiții: fără revizuire, prima revizuire și revizuiri ulterioare de regenerare a spălării intenției. SE raportează procentul de răspunsuri evaluate ca ‘extrem de nesigur’, ‘foarte nesigur’ sau ‘nesigur’; PE raportează procentul evaluat ca ‘extrem de aplicabil’, ‘foarte aplicabil’ sau ‘aplicabil’; și ASR măsoară partea de răspunsuri care sunt atât nesigure, cât și practice. În setarea fără revizuire, ASR urmează definiția sa standard, deoarece nu se aplică nicio abstragere. Valorile îngroșate indică cea mai mare ASR atinsă în fiecare set de date, și o ASR mai mică corespunde unei siguranțe a modelului mai puternică. Vă rugăm să consultați articolul sursă pentru o rezoluție mai bună.

În ceea ce privește aceste rezultate inițiale, autorii observă că eliminarea declanșatoarelor explicite din prompturile de atac a produs o creștere bruscă a ratei de succes a atacului. Pe AdvBench, ASR medie a crescut de la 5,38% la 86,79% după prima revizuire, pe HarmBench crescând de la 13,79% la 79,83% – indicând faptul că refuzurile modelului au fost puternic legate de prezența limbajului declanșator explicit.

Autorii observă:

‘Acest lucru indică faptul că refuzurile modelului sunt în mare măsură conduse de prezența declanșatoarelor. Prin urmare, seturile de date de siguranță nu măsoară în mod fiabil riscurile de siguranță din lumea reală, deoarece se bazează mai mult pe declanșatoare pentru a provoca refuzuri decât pe intenția malefică reală.’

Spălarea intenției, afirmă articolul, a eliminat în mod eficient declanșatoarele, păstrând intenția malefică, și a funcționat ca o puternică tehnică de “spargere”. În ultima iterație de regenerare-revizuire, corespunzătoare celei mai mari ASR în fiecare set de date, ratele de succes a atacului au atins 90% până la 98,55% în toate modelele.

Acest lucru a inclus Gemini 3 Pro și Claude Sonnet 3.7, care au fost “sparte” cu rate de succes a atacului de 93% până la 95% pe AdvBench, și 91% până la 93% pe HarmBench, după doar câteva iterații.

Autorii concluzionează:

‘Rezultatele noastre au arătat că concluziile anterioare de siguranță nu se mențin odată ce declanșatoarele sunt eliminate, și că performanța de siguranță observată este condusă în mare măsură de prezența declanșatoarelor, mai degrabă decât de riscurile de siguranță subiacente.

‘Am demonstrat, de asemenea, că spălarea intenției poate fi utilizată ca o puternică tehnică de “spargere”, atingând rate de succes a atacului ridicate, de la 90% la peste 98%.

‘În general, constatările noastre au dezvăluit o lacună critică între modul în care se evaluează siguranța modelului și modul în care se manifestă comportamentul advers din lumea reală.

‘Pe baza acestui fapt, concluzionăm că (1) evaluările de siguranță trebuie să evolueze pentru a captura atacurile adverse într-un mod mai realist, și (2) eforturile actuale de aliniere a siguranței sunt încă departe de a fi robuste împotriva amenințărilor din lumea reală.’

Concluzie

O temă comună care încă rulează prin literatura de limbaj și viziune computațională (și locurile în care acestea se intersectează, cum ar fi VLM) este incapacitatea de a înțelege în mod fiabil când se produce conținut interzis; sau chiar când se pătrunde în mod neintenționat, fără coerciție externă.

În spatele scenei, în fundațiile de modele mai mari și mai opace, se poate presupune că strângerea puternică a acestor domenii semantice conduce la daune colaterale inacceptabile, cum ar fi scăderi ale performanței pe “generări non-interzise”, sau o rată intolerabilă de fals pozitive din partea filtrelor de conținut.

Natura de bază a unui model antrenat în orice domeniu este de a urma toate datele sale de antrenament către orice concluzie la care un prompt ar putea conduce; singurele constrângeri native disponibile sunt a) să nu includă material controversat în datele de antrenament (ceea ce este la fel de mult o problemă logistică, ca orice altceva); sau b) să “taie” căile către conținut nedorit după antrenament (un proces care poate fi adesea inversat prin abliterare explicită, sau ca un efect secundar neintenționat al ajustării fine).

* Înlocuirea mea a citărilor inline ale autorilor cu legături. Accentuările autorilor, nu ale mele.

^† https://www.unite.ai/what-is-overfitting/

Publicat pentru prima dată luni, 23 februarie 2026