Censurerade AI-chattmodeller hallucinerar mer, visar forskning

Censur i språkmodeller kan undergräva deras förmåga att rapportera sanning på en bredare nivå. Ny forskning visar att samma interna mekanismer som används för att blockera “osäkra” svar också undertrycker faktisk information, vilket innebär att försök att anpassa modellerna för säkerhet kan backfire genom att göra dem hallucinera mer.

För år har utvecklare lärt språkmodeller att ljuga mindre. Driven att göra dem mer sanningsenliga, genom att undertrycka hallucinationer och styra dem mot verifierbara fakta, har lett till en mycket stark och väl etablerad ström i litteraturen.

Men en ny australisk studie hävdar att genom att strama åt kontrollen över vad modellerna får säga, anpassningsmetoder (träningsmetoder som kontrollerar “osäkra” utbyten) kan förhindra att de talar sanningen överhuvudtaget:

Förbättring av en modells faktiska noggrannhet (‘Sanningen förstärkning’, i figuren ovan) kan driva den in i områden av aktivering som åsidosätter dess inbyggda vägranmekanismer, och redigeringar som är avsedda att minska hallucinationer kan också flytta interna representationer över en säkerhetsgräns. Detta kan tillåta skadliga prompter att kringgå säkerhetsåtgärder, såvida inte vägransegenskaper isoleras och bevaras noggrant. Källa: https://arxiv.org/pdf/2510.07775

Forskningen visar att samma interna vägar som styr faktisk återkallning också är ansvariga för vägranbeteende, dvs. mekanismen som hindrar en modell från att svara på osäkra eller känsliga prompter. När anpassningsförfaranden förstärker vägranssignaler för aggressivt, börjar de överlappa med faktiska vägar, vilket gör det svårare för modellen att skilja mellan att avvisa skada och ofta undertrycka giltig information.

Paradoxalt, ju bättre modeller blir på att säga “nej”, desto mindre kapabla blir de att säga vad som är sant.

Bränslespridande ämnen

I bilden ovan kan vi se att de centrala frågorna här är lika mycket relaterade till juridisk exponering för LLM-leverantörer som till att tillhandahålla användaren med rättvisa och precisa resultat.

Till exempel, i det exempel som används i både bilderna ovan och direkt nedan, ser vi ett kontroversiellt ämne (rasbaserad fängelsedata) som dyker upp i en fråga – ett ämne som en AI kunde diskutera acceptabelt med akademiska forskare och statistiker, men inte med illvilliga personer som kunde tvinga modellen att producera kränkande, stötande och till och med olagliga svar.

Men eftersom en anpassad LLM inte kan identifiera karaktären hos den som frågar på detta sätt, väljer den en försiktig hållning:

Svar på känsliga prompter kan skilja sig beroende på anpassningsstrategi. En säkerhetsanpassad modell blockerar frågan helt, medan en sanningssökande modell svarar med faktisk kontext, vilket ökar informativiteten men försvagar undertryckandet. Detta stöder uppfattningen att sanningssökande redigeringar kan sänka vägranströsklar, vilket gör modellerna mer sårbara för prompter med skadlig avsikt, såvida inte vägranmekanismer skyddas uttryckligen.

Som en sidanotis, med avseende på bränslespridande språk, kan den nya studiens resultat möjliggöra för någon som är fientlig mot så kallade “woke”-agendor att förstå att en “kastrerad” (dvs. anpassad) språkmodell är mindre sanningsenlig och mindre användbar än en som inte har konditionerats och reglerats.

Studiens bevis tyder på att detta till viss del är sant, men korrekt kontextualiserar det mot de bredare frågorna som uppstår från utbyten med “råa” LLM:er: enligt studiens logik, inkluderar dessa svår juridisk exponering över ett brett spektrum av brott och civilrättsliga överträdelser som modellen kan vara part i, samt den kroniska spridningen av falska nyheter, enbart för att de orsakande exemplen är överrepresenterade i träningsdata, och att den enda effektiva metoden för att helt filtera bort dem är för dyrt.

Den ovanliga duon

För att bättre förstå de mekanismer som ligger bakom de observerade syndromen, kartlade forskarna aktiveringarna av enskilda uppmärksamhetsenheter och upptäckte att funktioner som är kopplade till hallucination och vägran ofta samexisterar i samma regioner av modellen.

De fann att finjustering eller annan styrning av dessa regioner för att minska osanningar kan därmed försvaga systemets inbyggda skydd, eftersom de sitter i samma del av latentrummet:

‘[Ökning] av faktisk noggrannhet kommer ofta på bekostnad av försvagad vägranbeteende. Vår analys visar att detta beror på överlappande komponenter i modellen som samtidigt kodar hallucination och vägraninformation, vilket leder till att anpassningsmetoder oavsiktligt undertrycker faktisk kunskap.’

‘Vi undersöker vidare hur finjustering på benigna dataset, även om de är kuraterade för säkerhet, kan försämra anpassning av samma anledning.’

Författarnas lösning är att använda en sparse autoencoder (SAE, ett nätverk som tränats för att isolera distinkta aktiveringsmönster) för att separera de två funktionerna och bevara säkerhet under sanningssökande träning, vilket erbjuder ett sätt att göra modellerna både säkrare och mer sanningsenliga, utan att offra någon av egenskaperna.

Den nya artikeln heter Den oavsiktliga kompromissen i AI-anpassning: Balansera hallucinationsminskning och säkerhet i LLM, och kommer från fem forskare på Deakin University och oberoende forskare.

Metod

Den centrala premissen för arbetet är att undersöka om förbättring av sanningen i språkmodeller försvagar deras förmåga att vägra skadliga prompter, och om båda beteendena beror på delade interna komponenter.

Testning av två sanningssökande metoder fann författarna, som vi ska se, att vinster i faktisk noggrannhet konsekvent ökar sårbarheten för att bryta säkerheten.

Detta byte beror på överlappning i uppmärksamhetsenheter som kodar både faktiska och vägranssignaler. Även benign finjustering (som är avsedd att förbättra nyttan utan att påverka säkerhetsbeteendet) kan störa säkerheten genom att ändra delade vägar.

Studien definierar tre viktiga nyckelbegrepp: sanning hänvisar till en modells förmåga att tillhandahålla faktiskt korrekta svar baserat på dess tillgängliga kunskap, utan att undertrycka icke-skadlig innehåll; hallucination inträffar när modellen tillhandahåller felaktig eller vilseledande information trots att den har tillgång till korrekta fakta, ofta på grund av återvinningssvikt eller intern interferens; och vägranbeteende, eller säkerhetsanpassning, beskriver de mekanismer som blockerar eller begränsar svar på skadliga eller känsliga prompter.

Författarna observerar att dessa funktioner ofta interagerar på subtila sätt:

‘Även om sanning och säkerhet ofta analyseras separat, innehåller verkliga prompter ofta känsliga termer med god avsikt (t.ex. analys, upptäckt eller utbildning) [I] dessa fall kan säkerhetsmekanismer överreagera – undertrycka annars korrekt, användbar information – och därmed minska den praktiska sanningen “genom utelämnande.”‘

‘Att förstå hur redigeringar som syftar till att öka faktiskhet påverkar vägranbeteende är alltså avgörande för att uppnå sanning med minimal, lämplig undertryckning.’

Författarna utvecklade en LoRA som kunde styra en villkorad LLM till en mer ‘sanningsenlig’ tillstånd, mindre benägen till hallucination. Inklusive den ovan, har artikeln många exempel på de önskvärda konsekvenserna av detta.

Analysen börjar med att behandla sanningssökande metoder, såsom huvudstyrning och latent riktning kartläggning, som medvetna modifieringar av en modells interna beräkning.

Kraftstyrning

Frågan är om dessa ändringar oavsiktligt påverkar samma interna vägar som styr vägranbeteende. För att testa detta utvärderade studien modeller inte bara på faktisk noggrannhet med TruthfulQA, utan också på säkerhetsprestanda under adversativ press, med AdvBench och StrongReject som benchmark.

De två existerande teknikerna som användes som baslinjer var inference-tidsintervention (ITI), som aktiverar uppmärksamhetsenheter associerade med sanningsenliga svar; och TruthX, som flyttar representationer längs en inlärningsbar “sanningsenlig” riktning.

Båda förbättrar noggrannheten, men gör också att modellen blir mer benägen att svara på skadliga prompter som den tidigare skulle ha vägrat.

För att testa om hallucinationsbeteende kunde isoleras och manipuleras direkt, definierade författarna en enda latent riktning i modellrummet som motsvarade hallucinerade svar, och tränade en LoRA-modul på felaktiga svar från TruthfulQA-datasetet, med LLaMA3-8B-Instruct.

Detta resulterade i en linjär vektor (dvs. en graf över skillnaden mellan sanningsenliga och hallucinerade svar) som kunde styra modellen mot eller bort från hallucination, beroende på riktning.

Effekten av styrning längs hallucinationsriktningen. Noggrannhet på TruthfulQA ökar när modellen trycks längre i den negativa riktningen, medan Attack Success Rate (ASR, lägre är bättre) ökar skarpt på AdvBench och StrongReject, vilket reflekterar en byteshandel mellan sanning och säkerhet.

Styrning längs hallucinationsaxeln försämrade faktisk noggrannhet, medan omvänd riktning förbättrade den, och tillämpning av denna teknik på skadliga promptbenchmark bekräftade ett mönster som tidigare setts: sanningssökande vinster kom på bekostnad av försvagad vägran. Även när hallucination fångades som en ren linjär riktning, förbättrade förbättring av faktisk utdata modellen mer sårbar för osäkra slutföranden.

Författarna betonar*:

‘Detta förstärker byteshandeln mellan sanning och säkerhet, och visar att även när sanning representeras som en enda linjär riktning, kan förbättring av faktiskhet komma på bekostnad av försvagad säkerhetsanpassning.’

Data och tester

I linje med tidigare arbete, för att förhindra att finjustering försvagar en modells vägranbeteende, använde författarna en metod för att separera vägransegenskaper från de som är kopplade till hallucination, genom att först identifiera uppmärksamhetsenheter som är inblandade i båda beteendena. De använde sedan SAE för att extrahera latenta funktioner specifika för vägran.

Detta definierar ett skyddat underrum. Under träning modifieras gradientuppdateringar för att undvika detta underrum, vilket tillåter modellen att minska hallucinationer utan att störa säkerhetsanpassning.

Författarna finjusterade på CommonsenseQA-datasetet, och utvärderade över sex vanliga förnuftstester: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; och SST-2.

Målenheterna finjusterades med LoRA med rang 8, en inlärningshastighet på 2×10⁻⁴, viktminskning på 0,01, en träningsomgång, och en batchstorlek på två. Alla experiment använde AdamW-optimeraren.

De två skadliga innehållsbaseline som användes för att utvärdera säkerhet var AdvBench (500 prover användes) och StrongReject (300 prompter). Utdata bedömdes av LlamaGuard3, vilket resulterade i säkra eller osäkra klassificeringar.

Förutom LLaMA3-8B-Instruct genomfördes experiment också på Qwen2.5-Instruct.

Baslinjerna som testades var SafeLoRA; SaLoRA; SAP; och vanlig övervakad finjustering (även kallad SFT). Alla kördes med standardhyperparametrar, med 200 prompter från HarmBench, för alla metoder utom SafeLoRA.

Noggrannhet var den primära metriken, och för skadliga benchmark Attack Success Rate (ASR), som definieras av resultat returnerade från LlamaGuard3.

Ovan, resultat från LlaMA-3-8B-Instruct, med kolumnbästa i fetstil och nedan, prestanda för finjusteringsmetoder på Qwen2.5 7B Instruct, över vanliga förnuftstester och säkerhetsbenchmark AdvBench och StrongReject, där lägre ASR-värden reflekterar starkare robusthet. Bästa resultat i varje kolumn visas i fetstil.

Av dessa resultat skriver författarna:

‘Vår kirurgiska tillvägagångssätt uppnår den bästa balansen mellan säkerhet och nytta: det sänker betydligt skadliga benchmarkpoäng samtidigt som det bevarar finjusteringsnoggrannhet. I kontrast, metoder som SAP, SaLoRA och SafeLoRA antingen ökar skadlighet eller försämrar nytta.

‘En viktig anledning är att dessa metoder opererar direkt på gradienten av säkerhetsunderrummet, som, på grund av polysemantik, kan begränsa modellprestanda. ‘

‘Jämfört med vanlig övervakad finjustering (SFT) ger vår metod betydande förbättringar av både nytta och skadlighet. Specifikt förbättrar vår metod den genomsnittliga finjusteringsnoggrannheten (FA) från 56,15% till 75,09%, en vinst på cirka +19%.’

Metoden, noterar forskarna vidare, sänker Attack Success Rate från 9,23% till 0,58% på AdvBench, och från 9,90% till 0,00% på StrongReject, vilket representerar en mer än 15-faldig minskning av skadliga utdata. Basmodellen, som redan har låg skadlighet, uppnår endast begränsad uppgiftsnoggrannhet.

Författarna skriver:

‘Dessa resultat understryker vikten av att bevara vägransegenskaper under finjusteringsprocessen: genom att isolera och skydda vägranunderrummet, bevarar vår metod säkerhetsanpassning utan att offra uppgiftsprestanda. ‘

‘Sammanfattningsvis bekräftar detta att vår metod effektivt mildrar byteshandeln mellan sanning och säkerhet.’

Slutligen testade författarna metoden mot mer adversativa förhållanden, genom att lägga till 10% skadliga instruktioner från Circuit Break-datasetet till finjusteringsuppsättningen.

Trots denna avsiktliga förgiftning, upprätthöll metoden stark prestanda över både benigna och skadliga utvärderingar:

Prestanda för LLaMA3 8B Instruct finjusterad på en förgiftad vanlig förnuftsdatabas, jämförande noggrannhet och säkerhetsresultat över metoder.

Den nya metoden minskade ASR mer effektivt än SAP, samtidigt som den undvek den senares kraftiga nyttaförlust. Uppgiftsnoggrannhet förblev nära LoRA SFT och SafeLoRA, vilket bekräftar att vägranstillpassning fortfarande kunde upprätthållas under kontaminerad träning, under förutsättning att vägransegenskaper ordentligt isolerades och bevarades.

Slutsats

Den mest intressanta upptäckten från denna artikel är den uppenbara samexistensen i det tränade latentrummet av så motsatta element som vägran och hallucination. Även om det är uppmuntrande och mest intressant att se författarna separera dessa med hjälp av LoRAs och SAEs, är detta uppenbarligen en sorts tillfällig lösning, och man skulle hoppas att djupare arkitektoniska lösningar så småningom kan uppstå som hanterar tränings tid, snarare än post hoc-lösningar.

* Jag utelämnar deras fetstil som onödig.
** https://arxiv.org/abs/2210.01892

Publicerad första gången fredagen den 10 oktober 2025