Modelele de chat AI cenzurate halucinează mai mult, arată cercetările

Cenzura în modelele de limbaj poate submina capacitatea lor de a raporta adevărul la un nivel mai larg. Noi cercetări arată că mecanismele interne utilizate pentru a bloca răspunsurile “nesigure” suprimă, de asemenea, informații factuale, ceea ce înseamnă că încercările de a alinia modelele pentru siguranță pot avea efectul invers, făcându-le să halucineze mai mult.

De ani de zile, dezvoltatorii au învățat modelele de limbaj să mintă mai puțin. Încercarea de a le face mai adevărate, prin suprimarea halucinațiilor și îndreptarea lor spre fapte verificabile, a condus la o direcție puternică și bine susținută în literatura de specialitate.

Cu toate acestea, o nouă cercetare australiană susține că, prin controlul mai strict asupra a ceea ce modelele sunt permise să spună, metodele de aliniere (tehnici de antrenare care controlează schimburile “nesigure”) pot împiedica modelele să vorbească cu acuratețe deloc:

Îmbunătățirea acurateței factuale a unui model (‘Îmbunătățirea adevărului’, în figura de mai sus) poate duce la regiuni de activare care anulează mecanismele de refuz încorporate, iar editările destinate să reducă halucinațiile pot, de asemenea, să modifice reprezentările interne peste o limită de siguranță, permițând prompturilor dăunătoare să ocolească măsurile de siguranță, cu excepția cazului în care caracteristicile de refuz sunt izolate și protejate cu atenție. Source: https://arxiv.org/pdf/2510.07775

Cercetarea arată că aceleași căi interne care guvernează amintirea factuală sunt, de asemenea, responsabile pentru comportamentul de refuz, adică mecanismul care oprește un model să răspundă la prompturi nesigure sau sensibile. Când procedurile de aliniere amplifică semnalele de refuz prea agresiv, ele încep să se suprapună cu căile factuale, făcând mai dificil pentru model să distingă între respingerea dăunătorului și suprimarea informațiilor valabile.

Paradoxal, pe măsură ce modelele devin mai bune la a spune “nu”, ele devin, de asemenea, mai puțin capabile să spună ce este adevărat.

Subiecte incendiare

În imaginea de mai sus, putem vedea că problemele centrale aici sunt la fel de mult legate de expunerea legală a furnizorilor de LLM, cât și de furnizarea utilizatorului cu rezultate corecte și juste.

De exemplu, în cazul de mai sus, putem vedea un subiect controversat (statistici privind închisorile bazate pe rasă) care este adus într-o întrebare – un subiect pe care un AI ar putea discuta în mod acceptabil cu cercetători academicieni și statisticieni, dar nu cu persoane cu intenții rele care ar putea forța modelul să producă răspunsuri abuzive, ofensatoare și chiar ilegale.

Cu toate acestea, deoarece un LLM aliniat nu poate identifica caracterul celui care întreabă, el se bazează pe o atitudine precaută:

Răspunsurile la prompturi sensibile pot diverge în funcție de strategia de aliniere. Un model de siguranță aliniat blochează întrebarea în întregime, în timp ce un model axat pe adevăr răspunde cu context factual, crește informativitatea, dar slăbește suprimarea. Acest lucru susține ideea că editările care îmbunătățesc adevărul pot reduce pragul de refuz, făcând modelele mai vulnerabile la prompturi cu intenții dăunătoare, cu excepția cazului în care mecanismele de refuz sunt protejate în mod explicit.

Ca o notă laterală, în ceea ce privește limbajul incendiar, constatările noului studiu ar putea permite cuiva care este antipatic față de așa-numitele “agende woke” să înțeleagă că un model de limbaj “castrat” (adică aliniat) este mai puțin adevărat și mai puțin util decât unul care nu a fost condiționat și reglementat.

Studiul arată că acest lucru este, într-o anumită măsură, adevărat, dar contextualizează corect acest lucru împotriva problemelor mai largi care rezultă din schimburile cu LLM “raw”: urmărirea penală pe o gamă largă de infracțiuni și delicte, precum și diseminarea cronică a știrilor false, pur și simplu pentru că exemplele cauzale sunt supra-reprezentate în datele de antrenare, iar singura modalitate eficientă de a filtra complet acestea este prea scumpă.

Cuplul ciudat

Pentru a înțelege mai bine mecanismele din spatele sindroamelor observate, cercetătorii au cartografiat activările individual ale atenției și au descoperit că funcțiile legate de halucinații și refuz adesea coexistă în aceleași regiuni ale modelului.

Ei au constatat că reglarea fină sau îndreptarea acelor regiuni pentru a reduce falsurile poate, de asemenea, slăbi gardienii sistemului, deoarece acestea se află în aceeași parte a spațiului latent:

‘[Creșterea] acurateței factuale adesea vine la costul unui comportament de refuz slăbit. Analiza noastră arată că acest lucru se datorează componentelor suprapuse în model care codifică în același timp informații despre halucinații și refuz, făcând metodele de aliniere să supprime cunoștințe factuale în mod neintenționat.

‘Ne examinăm, de asemenea, modul în care reglarea fină pe seturi de date sigure, chiar și atunci când curate pentru siguranță, poate degrada alinierea din același motiv.’

Soluția autorilor este de a utiliza un autoencoder spațial (SAE, o rețea antrenată pentru a izola modele de activare distincte) pentru a separa cele două funcții și a păstra siguranța în timpul antrenamentului pentru adevăr, oferind o modalitate de a face modelele atât mai sigure, cât și mai oneste, fără sacrificarea uneia dintre caracteristici.

Articolul nou se intitulează Compromisul neintenționat al alinierii IA: Echilibrarea mitigării halucinațiilor și siguranței în LLM și provine de la cinci cercetători de la Universitatea Deakin și cercetători independenți.

Metodă

Premisa centrală a lucrării este de a investiga dacă îmbunătățirea adevărului în modelele de limbaj slăbește capacitatea lor de a refuza prompturi dăunătoare și dacă ambele comportamente se bazează pe componente interne partajate.

Testând două metode de îmbunătățire a adevărului, autorii au constatat, așa cum vom vedea, că îmbunătățirile acurateței factuale cresc în mod constant susceptibilitatea la jailbreak.

Acest compromis provine din suprapunerea căilor de atenție care codifică atât semnalele factuale, cât și cele de refuz. Chiar și reglarea fină benignă (destinată să îmbunătățească utilitatea fără a atinge comportamentul de siguranță) poate perturba siguranța, alterând căile partajate.

Studiul definește trei termeni cheie esențiali: adevăr se referă la capacitatea unui model de a oferi răspunsuri factuale precise pe baza cunoștințelor sale disponibile, fără a suprima conținutul non-dăunător; halucinație apare atunci când modelul oferă informații incorecte sau înșelătoare, de obicei din cauza eșecurilor de recuperare sau interferenței interne; și comportamentul de refuz, sau alinierea siguranței, descrie mecanismele care blochează sau restricționează răspunsurile la prompturi dăunătoare sau sensibile.

Autorii observă că aceste funcții interacționează adesea în moduri subtile:

‘Deși adevărul și siguranța sunt adesea analizate separat, prompturile reale conțin frecvent termeni sensibili cu intenții benigne (de exemplu, analiză, detectare sau educație) [În] aceste cazuri, mecanismele de siguranță pot suprascrie – suprimând informații corecte și utile – și reducând astfel adevărul practic “prin omisiune”. ‘

‘Înțelegerea modului în care editările care vizează creșterea factualității afectează comportamentul de refuz este esențială pentru atingerea adevărului cu suprimarea minimă, adecvată.’

Autorii au dezvoltat un LoRA capabil să îndrepte un LLM condiționat într-o stare mai “adevărată”, mai puțin predispusă la halucinații. Împreună cu cel de mai sus, anexa articolului conține multe exemple ale consecințelor nedorite ale acestui lucru.

Analiza începe prin a trata metodele de îmbunătățire a adevărului, cum ar fi îndreptarea capetelor și harta direcției latente, ca modificări deliberate ale calculului intern al modelului.

Dirijarea puterii

Întrebarea este dacă aceste modificări afectează în mod neintenționat aceleași căi interne care guvernează comportamentul de refuz. Pentru a testa acest lucru, studiul a evaluat modelele nu numai pe acuratețe factuală utilizând TruthfulQA, ci și pe performanța de siguranță sub presiune adversă, utilizând AdvBench și StrongReject ca benchmark-uri.

Cele două tehnici existente utilizate ca linii de bază au fost Intervenția la momentul inferenței (ITI), care activează capetele de atenție asociate cu răspunsurile adevărate; și TruthX, care deplasează reprezentările de-a lungul unei direcții “adevărate” învățate.

Ambele îmbunătățesc acuratețea, dar fac și modelul mai probabil să răspundă la prompturi dăunătoare pe care le-ar fi refuzat anterior.

Pentru a testa dacă comportamentul de halucinație poate fi izolat și manipulat direct, autorii au definit o singură direcție latentă în spațiul modelului care corespunde răspunsurilor halucinate, antrenând un modul LoRA pe răspunsuri incorecte din setul de date TruthfulQA, utilizând LLaMA3-8B-Instruct.

Acest lucru a rezultat într-un vector liniar (adică un grafic al diferenței dintre răspunsurile adevărate și cele halucinate) care a îndreptat modelul spre sau departe de halucinație, în funcție de direcție.

Efectul îndreptării de-a lungul direcției halucinației. Acuratețea pe TruthfulQA crește pe măsură ce modelul este împins mai departe în direcția negativă, în timp ce rata de succes a atacului (ASR, cu cât este mai mică, cu atât este mai bine) crește brusc pe AdvBench și StrongReject, reflectând compromisul dintre adevăr și siguranță.

Îndreptarea de-a lungul axei halucinației a deteriorat acuratețea factuală, în timp ce inversarea direcției a îmbunătățit-o, și aplicarea acestei tehnici la benchmark-urile de prompturi dăunătoare a confirmat un model observat anterior: îmbunătățirile adevărului au venit la costul unui refuz slăbit. Chiar și atunci când halucinația a fost capturată ca o direcție liniară curată, îmbunătățirea outputului factual a făcut modelul mai vulnerabil la finalizări nesigure.

Autorii subliniază*:

‘Acest lucru întărește compromisul dintre adevăr și siguranță, arătând că, chiar și atunci când adevărul este reprezentat ca o singură direcție liniară, îmbunătățirea factualității poate veni la costul unui aliniament de siguranță slăbit.’

Date și teste

În concordanță cu lucrări anterioare, pentru a preveni reglarea fină de a slăbi comportamentul de refuz al unui model, autorii au utilizat o metodă pentru a separa caracteristicile de refuz de cele legate de halucinație, identificând mai întâi capetele de atenție implicate în ambele comportamente. Ei au utilizat apoi SAE pentru a extrage caracteristici latente specifice refuzului.

Aceste caracteristici definesc un subspațiu protejat. În timpul antrenamentului, actualizările gradientului au fost modificate pentru a evita acest subspațiu, permițând modelului să reducă halucinațiile fără a perturba aliniamentul de siguranță.

Autorii au reglat fin setul de date CommonsenseQA, evaluând pe șase provocări de raționament comun: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; și SST-2.

Modulele țintă au fost reglate fin utilizând LoRA cu rang 8, o rată de învățare de 2×10⁻⁴, decădere de greutate de 0,01, un epocă de antrenament, și o dimensiune a lotului de doi. Toate experimentele au utilizat optimizerul AdamW.

Cele două benchmark-uri de conținut dăunător utilizate pentru a evalua siguranța au fost AdvBench (500 de exemple utilizate) și StrongReject (300 de prompturi). Ieșirile au fost evaluate de LlamaGuard3, oferind clasificări sigure sau nesigure.

Pe lângă LLaMA3-8B-Instruct, experimentele au fost efectuate și pe Qwen2.5-Instruct.

Linii de bază testate au fost SafeLoRA; SaLoRA; SAP; și reglare fină supravegheată standard (cunoscută și sub numele de SFT). Toate au fost rulate cu hiperparametrii lor implicit, cu 200 de prompturi din HarmBench, pentru toate metodele, cu excepția SafeLoRA.

Acuratețea a fost metrica principală, iar pentru benchmark-urile dăunătoare, rata de succes a atacului (ASR), așa cum este definită de rezultatele returnate de LlamaGuard3.

Rezultatele de la LlaMA-3-8B-Instruct, cu cele mai bune coloane în aldine și mai jos, performanța metodelor de reglare fină pe Qwen2.5 7B Instruct, pe sarcini de raționament comun și pe benchmark-urile de siguranță AdvBench și StrongReject, unde valorile ASR mai mici reflectă o robustețe mai puternică. Cele mai bune rezultate din fiecare coloană sunt afișate în aldine.

Dintre aceste rezultate, autorii afirmă:

‘Abordarea noastră chirurgicală realizează cel mai bun echilibru între siguranță și utilitate: reduce semnificativ scorurile benchmark-urilor dăunătoare, în timp ce păstrează acuratețea reglării fine. În contrast, metode precum SAP, SaLoRA și SafeLoRA fie cresc dăunătorul, fie degradează utilitatea.

‘Un motiv cheie este că aceste metode operează direct pe gradientul subspațiului de siguranță, care, din cauza poliseției [**], poate constrânge performanța modelului. ‘

‘Comparativ cu reglarea fină standard (SFT), metoda noastră oferă îmbunătățiri substanțiale atât pentru utilitate, cât și pentru metricile de dăunător. În special, abordarea noastră îmbunătățește acuratețea medie de reglare fină (FA) de la 56,15% la 75,09%, o creștere de aproximativ +19%.’

Metoda, cercetătorii subliniază în continuare:

‘Acest lucru evidențiază importanța păstrării caracteristicilor de refuz în timpul procesului de reglare fină: prin izolarea și protejarea subspațiului de refuz, metoda noastră menține aliniamentul de siguranță fără a sacrifica performanța sarcinii. ‘

‘În general, acest lucru confirmă că abordarea noastră atenuează eficient compromisul dintre adevăr și siguranță.’

În final, autorii au testat reziliența abordării lor în condiții mai adverse, adăugând 10% de instrucțiuni dăunătoare din setul de date Circuit Break la setul de reglare fină.

În ciuda acestui “otrăvire” intenționat, metoda a menținut o performanță puternică pe evaluări atât benigne, cât și dăunătoare:

Performanța LLaMA3 8B Instruct reglat fin pe un set de date de raționament comun “otrăvit”, comparând acuratețea și rezultatele de siguranță între metode.

Noua abordare a redus ASR mai eficient decât SAP, evitând în același timp pierderea utilității acesteia. Acuratețea sarcinii a rămas aproape de reglarea fină LoRA SFT și SafeLoRA, confirmând că aliniamentul de refuz poate fi menținut și sub antrenament contaminat, cu condiția ca caracteristicile de refuz să fie protejate corespunzător.

Concluzie

Cea mai interesantă constatare din acest articol este aparenta co-localizare în spațiul latent antrenat a unor elemente în conflict, cum ar fi refuzul și halucinația. Deși este încurajator și foarte interesant să vedem autorii desfășurând acestea prin utilizarea LoRAs și SAEs, aceasta este, în mod evident, o soluție de tip “bolt-on”, și s-ar putea spera că, în cele din urmă, soluții arhitecturale mai profunde vor apărea, care să abordeze timpul de antrenament, și nu doar “repararea” post-factum.

* Am omis formatarea cu caractere aldine ca fiind redundantă.
** https://arxiv.org/abs/2210.01892

Publicat pentru prima dată vineri, 10 octombrie 2025