Cenzurované modely AI chatů více halucinují, zjistila výzkumu

Cenzura v jazykových modelech může podkopávat jejich schopnost hlásit pravdu na širší úrovni. Nová studie zjistila, že stejné vnitřní mechanismy, které se používají k blokování “nebezpečných” odpovědí, také potlačují faktické informace, což znamená, že pokusy o vyrovnání modelů pro bezpečnost mohou selhat a způsobit, že budou halucinovat více.

Po mnoho let se vývojáři snažili naučit jazykové modely lhát méně. Pohon k tomu, aby byly více pravdivé, potlačením halucinací a směrováním k verifikovatelným faktům, vedl k velmi silnému a široce podporovanému směru v literatuře.

Jedna australská studie však argumentuje, že tím, že se zvyšuje kontrola nad tím, co modely jsou dovoleny říkat, metody vyrovnání (trénovací techniky, které brání “nebezpečným” výměnám) mohou bránit jim v tom, aby mluvily přesně.

Zlepšení faktické přesnosti modelu (‘Truthfulness Enhancement’, v výše uvedeném obrázku) může vést k tomu, že model bude mít tendenci přepsat své vestavěné mechanismy odmítnutí a úpravy určené ke snížení halucinací mohou také posunout vnitřní reprezentace přes bezpečnostní hranici – umožňující škodlivým promptům obejít bezpečnostní opatření, pokud nejsou mechanismy odmítnutí pečlivě izolovány a zachovány. Source: https://arxiv.org/pdf/2510.07775

Studie zjistila, že stejné vnitřní cesty, které řídí faktickou paměť, jsou také zodpovědné za chování odmítnutí, tj. mechanismus, který zastavuje model od odpovědi na nebezpečné nebo citlivé prompty. Když procedury vyrovnání zesilují signály odmítnutí příliš agresivně, začínají se překrývat s faktickými cestami, což činí modelu obtížnější rozlišit mezi odmítáním škody a často potlačuje platné informace.

Paradoxně, jakmile modely lépe říkají “ne”, stávají se méně schopnými říkat, co je pravda.

Vznětlivé Témata

Na výše uvedeném obrázku můžeme vidět, že centrální otázky zde jsou stejně související s právními expozicemi pro poskytovatele LLM jako s poskytováním uživateli spravedlivých a přesných výsledků.

Příklad: v případě výše uvedeného obrázku a přímo pod ním vidíme kontroverzní téma (rasově založené statistiky vězení) být zobrazeno v dotazu – téma, o kterém by AI mohl přijatelně diskutovat s akademickými výzkumníky a statistiky, ale ne s malichernými osobami, které by mohly oběhnout model, aby vynutily výstup abuzivních, urážlivých a dokonce i nelegálních odpovědí.

Jedna australská studie však argumentuje, že tím, že se zvyšuje kontrola nad tím, co modely jsou dovoleny říkat, metody vyrovnání (trénovací techniky, které brání “nebezpečným” výměnám) mohou bránit jim v tom, aby mluvily přesně.

Odpovědi na citlivé prompty se mohou lišit v závislosti na strategii vyrovnání. Bezpečnostně vyrovnaný model blokuje dotaz úplně, zatímco model zaměřený na pravdu odpovídá s faktickým kontextem, zvyšuje informativnost, ale oslabuje potlačení. To podporuje názor, že úpravy, které zvyšují faktickou přesnost, mohou snížit práh odmítnutí, dělají modely více zranitelnými vůči promptům se škodlivým úmyslem, pokud nejsou mechanismy odmítnutí explicitně chráněny.

Jako poznámka, co se týče vznětlivého jazyka, zjištění nové studie by mohla umožnit někomu, kdo je nepřátelský k takzvaným “woke” agendám, pochopit, že “vykastrovaný” (tj. vyrovnaný) jazykový model je méně pravdivý a méně užitečný než ten, který nebyl podmíněn a regulován.

Studie naznačuje, že toto je do jisté míry pravda, ale správně kontextualizuje to ve vztahu k širším problémům vyplývajícím z výměn s “syrovými” LLM: podle logiky studie zahrnují tyto problémy závažné právní expozice napříč řadou trestných a občanskoprávních deliktů, kterých by se model mohl účastnit, jakož i chronické šíření falešných zpráv, protože příklady jsou nadměrně reprezentovány v trénovacích datech a jediný účinný způsob jejich úplného filtrování je příliš drahý.

Divný Pár

Aby lépe pochopili mechanismy za pozorovanými syndromy, výzkumníci mapovali aktivace jednotlivých pozornostních hlav a zjistili, že funkce spojené s halucinací a odmítnutím často koexistují ve stejných oblastech modelu.

Zjistili, že jemné ladění nebo jiné směrování těchto oblastí ke snížení nepravd může oslabit vestavěné bezpečnostní mechanismy, protože jsou umístěny v podstatě ve stejné části latentního prostoru:

‘[Zvyšování] faktické přesnosti často probíhá na úkor oslabeného chování odmítnutí. Naše analýza ukazuje, že to vyplývá z překrývajících se komponent v modelu, které současně kódují halucinaci a informaci o odmítnutí, což vede k tomu, že metody vyrovnání potlačují faktické znalosti neúmyslně.

‘Dále zkoumáme, jak jemné ladění na benigních datech, i když je upraveno pro bezpečnost, může zhoršit vyrovnání z téhož důvodu.’

Řešením autorů je použít sparse autoencoder (SAE, síť trénovaná k izolaci odlišných vzorců aktivity) k oddělení těchto dvou funkcí a zachování bezpečnosti během trénování pravdivosti, nabízející způsob, jak učinit modely bezpečnějšími a více pravdivými, bez oběti jedné z těchto vlastností.

Nová studie se nazývá Neúmyslná kompromis mezi vyrovnaním AI: vyrovnání mezi potlačením halucinací a bezpečností v LLM, a pochází od pěti výzkumníků z Deakinovy univerzity a nezávislých výzkumníků.

Metoda

Centrální teze práce spočívá v tom, zda zlepšení pravdivosti v jazykových modelech oslabuje jejich schopnost odmítnout škodlivé prompty, a zda obě chování závisí na sdílených vnitřních komponentách.

Testováním dvou metod zvyšování pravdivosti autoři zjistili, že zisky ve faktické přesnosti konzistentně zvyšují zranitelnost vůči jailbreaku.

Tento kompromis vyplývá z překryvu v pozornostních hlavách, které kódují faktické a bezpečnostní signály. I benigní jemné ladění (určené ke zlepšení užitku bez dotčení bezpečnostního chování) může narušit bezpečnost změnou sdílených cest.

Studie definuje tři základní pojmy: pravdivost se týká schopnosti modelu poskytovat fakticky přesné odpovědi na základě jeho dostupných znalostí, bez potlačení neškodného obsahu; halucinace nastává, když model poskytuje nesprávné nebo zavádějící informace, přestože má přístup k správným faktům, často kvůli selháním při vyhledávání nebo vnitřním interferencím; a chování odmítnutí, nebo bezpečnostní vyrovnání, popisuje mechanismy, které blokují nebo omezují odpovědi na škodlivé nebo citlivé prompty.

Autoři pozorují, že tyto funkce často interagují jemným způsobem:

‘Ačkoli pravdivost a bezpečnost jsou často analyzovány samostatně, skutečné prompty často obsahují citlivé termíny s neškodným úmyslem (například analýza, detekce nebo vzdělávání) [V] těchto případech mohou bezpečnostní mechanismy přetížit – potlačují jinak přesné a užitečné informace – a tím snižují praktickou pravdivost “omisí”.

‘Porozumění tomu, jak úpravy, které mají zvýšit faktičnost, ovlivňují chování odmítnutí, je proto zásadní pro dosažení pravdivosti s minimální, vhodnou supresí.’

Autoři vyvinuli LoRA schopný směrovat podmíněný LLM do více “pravdivého” stavu méně náchylného k halucinaci. Kromě výše uvedeného má příloha studie mnoho příkladů nežádoucích důsledků tohoto.

Analytická část začíná tím, že považuje metody zvyšování pravdivosti, jako je směrování hlav a mapování latentních směrů, jako úmyslné modifikace vnitřní komputace modelu.

Ričení

Otázkou je, zda tyto změny neúmyslně ovlivňují stejné vnitřní cesty, které řídí chování odmítnutí. Aby to otestovali, studie vyhodnotila modely nejen na faktické přesnosti pomocí TruthfulQA, ale také na bezpečnostní výkonnosti pod adversní tlakem, pomocí AdvBench a StrongReject benchmarků.

Dvě stávající metody, které byly použity jako referenční hodnoty, byly zásah v čase inferenci (ITI), který aktivuje pozornostní hlavy spojené s pravdivými odpověďmi; a TruthX, který posouvá reprezentace podél naučené “pravdivé” směru.

Obojí zlepšuje přesnost, ale také činí model více náchylným k odpovědi na škodlivé prompty, které by dříve odmítal.

Aby otestovali, zda lze chování halucinace izolovat a manipulovat přímo, autoři definovali jeden latentní směr v prostoru modelu, který odpovídá halucinovaným odpovědím, a trénovali LoRA modul na nesprávných odpovědích z TruthfulQA datasetu, pomocí LLaMA3-8B-Instruct.

To vedlo k lineárnímu vektoru (tj. grafu rozdílu mezi pravdivými a halucinovanými odpověďmi), který směroval model směrem k nebo od halucinace, v závislosti na směru.

Účinek směrování podél směru halucinace. Přesnost na TruthfulQA se zvyšuje, jakmile se model posouvá dále v záporném směru, zatímco míra úspěšnosti útoku (ASR, nižší je lepší) prudce stoupá na AdvBench a StrongReject, což odráží kompromis mezi pravdivostí a bezpečností.

Směrování podél osy halucinace zhoršilo faktickou přesnost, zatímco obrácení směru ji zlepšilo, a aplikace této techniky na benchmarky škodlivých promptů potvrdila dříve pozorovaný vzorec: zisky ve faktické přesnosti přicházely na úkor oslabeného odmítnutí. I když byla halucinace zachycena jako čistý lineární směr, zlepšení faktické produkce činilo model více zranitelným vůči nebezpečným dokončením.

Autoři zdůrazňují*:

‘To potvrzuje kompromis mezi pravdivostí a bezpečností, ukazuje, že i když je pravdivost reprezentována jako jeden lineární směr, zlepšení faktičnosti může přijít na úkor oslabené bezpečnostní vyrovnání.’

Data a Testy

V souladu s předchozí prací, aby se zabránilo jemnému ladění oslabení modelového chování odmítnutí, autoři použili metodu k oddělení funkcí odmítnutí od těch spojených s halucinací, identifikací pozornostních hlav zapojených do obou chování. Poté použili SAE k extrahování latentních funkcí specifických pro odmítnutí.

Tyto funkce definují chráněný podprostor. Během trénování se modifikují gradientové aktualizace, aby se vyhnuly tomuto podprostoru, umožňující modelu snížit halucinace bez narušení bezpečnostní vyrovnání.

Autoři jemně ladili na CommonsenseQA dataset, vyhodnocují přes šest výzev k rozumu zdravého rozumu: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; a SST-2.

Cílové moduly byly jemně laděny pomocí LoRA s rankem 8, learning rate 2×10⁻⁴, weight decay 0,01, jeden trénovací epoch, a batch size dva. Všechny experimenty používaly AdamW optimizer.

Dva benchmarky škodlivého obsahu, které se použily k vyhodnocení bezpečnosti, byly AdvBench (500 vzorků) a StrongReject (300 promptů). Výstupy byly hodnoceny LlamaGuard3, což vedlo k bezpečnému nebo nebezpečnému klasifikaci.

Kromě LLaMA3-8B-Instruct byly experimenty provedeny také na Qwen2.5-Instruct.

Referenční hodnoty, které byly testovány, byly SafeLoRA; SaLoRA; SAP; a standardní dohledované jemné ladění (SFT). Všechny byly spuštěny s jejich výchozími hyperparametry, se 200 prompty z HarmBench, pro všechny metody kromě SafeLoRA.

Přesnost byla primárním metrikem, a pro škodlivé benchmarky Míra úspěšnosti útoku (ASR), definovaná podle výsledků z LlamaGuard3.

Nahoře, výsledky z LlaMA-3-8B-Instruct, se sloupci nejlepších v tučném písmu a níže, výkon jemného ladění na Qwen2.5 7B Instruct, napříč úkoly rozumu zdravého rozumu a bezpečnostními benchmarky AdvBench a StrongReject, kde nižší hodnoty ASR znamenají lepší odolnost. Nejlepší výsledky v každém sloupci jsou v tučném písmu.

Z těchto výsledků autoři uvádějí:

‘Naše chirurgický přístup dosahuje nejlepšího vyrovnání mezi bezpečností a užitím: významně snižuje skóre škodlivých benchmarků, zatímco zachovává přesnost jemného ladění. Naopak metody, jako je SAP, SaLoRA a SafeLoRA, buď zvyšují škodlivost nebo snižují užitnost.

‘Klíčovým důvodem je, že tyto metody operují přímo na gradientu bezpečnostního podprostoru, který, kvůli polysemantice [**], může omezit výkon modelu.

‘Ve srovnání se standardním dohledovaným jemným laděním (SFT) naše metoda dosahuje podstatných zlepšení jak v užitku, tak v škodlivosti. Konkrétně naše metoda zvyšuje průměrnou přesnost jemného ladění (FA) z 56,15 % na 75,09 %, což je zisk přibližně +19%.’

Metoda, jak dále autoři uvádějí, snižuje Míru úspěšnosti útoku z 9,23 % na 0,58 % na AdvBench a ze 9,90 % na 0,00 % na StrongReject, což představuje více než patnáctinásobné snížení škodlivých výstupů. Základní model, ačkoli již nízký v škodlivosti, dosahuje pouze omezené úkoly přesnosti.

Autoři uvádějí:

‘Tyto výsledky zdůrazňují důležitost zachování funkcí odmítnutí během procesu jemného ladění: izolací a ochranou podprostoru odmítnutí naše metoda zachovává bezpečnostní vyrovnání bez oběti výkonu úkolu.

‘Celkově to potvrzuje, že naše metoda účinně zmírňuje kompromis mezi pravdivostí a bezpečností.’

Nakonec autoři otestovali odolnost svého přístupu za více adversních podmínek, přidáním 10 % škodlivých instrukcí z Circuit Break dataset do sady jemného ladění.

Přes toto úmyslné znečištění metoda zachovala silný výkon napříč benigními a škodlivými vyhodnoceními:

Výkon LLaMA3 8B Instruct jemně laděného na znečištěném datasetu rozumu zdravého rozumu, srovnání přesnosti a bezpečnostních výsledků napříč metodami.

Nový přístup snižoval Míru úspěšnosti útoku účinněji než SAP, zatímco se vyhnul strmé ztrátě užitku. Přesnost úkolu zůstala blízko LoRA SFT a SafeLoRA, potvrzující, že vyrovnání odmítnutí může stále držet pod znečištěným trénováním, za předpokladu, že funkce odmítnutí jsou řádně izolovány a zachovány.

Závěr

Nejpříbuznější zjištění z této studie je zdánlivá kolokace v trénovaném latentním prostoru takových konfliktních prvků, jako je odmítnutí a halucinace. Ačkoli je povzbudivé a nejzajímavější sledovat, jak autoři tyto prvky rozplétají pomocí LoR a SAE, je zřejmé, že tato je spíše bolt-on řešení, a doufáme, že v budoucnu se objeví hlubší architektonická řešení, která řeší dobu trénování, místo post hoc oprav.

* I omit their bold formatting as redundant.
** https://arxiv.org/abs/2210.01892

První zveřejnění v pátek, 10. října 2025