Censurerede AI-Chatmodeller hallucinerer mere, viser forskning

Censur i sprogmodeller kan være med til at undergrave deres evne til at rapportere sandheden på et bredere niveau. Ny forskning viser, at de samme interne mekanismer, der bruges til at blokere “usikre” svar, også undertrykker faktuel information, hvilket betyder, at forsøg på at tilpasse modellerne til sikkerhed kan have en kontraeffekt og få dem til at hallucinere mere.

I årevis har udviklere lært sprogmodeller at lyve mindre. Bevægelsen for at gøre dem mere sandfærdige ved at undertrykke hallucinationer og styre dem mod verificerbare fakta har ført til en stærk og velunderstøttet strøm i litteraturen.

Men en ny australsk studie argumenterer for, at ved at stramme kontrollen over, hvad modellerne er tilladt at sige, kan tilpasningsmetoder (træningsmetoder, der vogter “usikre” udvekslinger) forhindre dem i at tale sandt overhovedet:

Forbedring af en models faktuelle nøjagtighed (‘Sandhedsforbedring’, i figuren ovenfor) kan føre til, at den kommer ind i områder af aktivering, der overtager dens indbyggede afvisningsmekanismer, og redigeringer, der er designet til at reducere hallucinationer, kan også flytte interne repræsentationer over en sikkerhedsgrænse. Dette kan tillade skadelige prompts at omgå sikkerhedsforanstaltninger, medmindre afvisningsfunktioner er omhyggeligt isoleret og bevaret. Kilde: https://arxiv.org/pdf/2510.07775

Forskningen viser, at de samme interne kanaler, der styrer faktuel genkaldelse, også er ansvarlige for afvisningsadfærd, dvs. mekanismen, der forhindrer en model i at besvare usikre eller følsomme prompts. Når tilpasningsprocedurer forstærker afvisningssignaler for aggressivt, begynder de at overlappe med faktuelle kanaler, hvilket gør det sværere for modellen at skelne mellem at afvise skade og undertrykke gyldig information.

Paradoksalt set kan modeller, der bliver bedre til at sige “nej”, også blive mindre i stand til at sige, hvad der er sandt.

Brændende Emner

I billedet ovenfor kan vi se, at de centrale problemer her er lige så meget beskæftiget med juridisk eksponering for LLM-udbydere som med at give brugeren retfærdige og præcise resultater.

For eksempel i det eksempel, der bruges i både billederne ovenfor og lige under, ser vi et kontroversielt emne (racemæssige fængselsstatistikker) blive fremhævet i en forespørgsel – et emne, som en AI kunne diskutere acceptabelt med akademiske forskere og statistikere, men ikke med personer, der ønsker at bryde modellen, der kunne tvinge den til at producere abusive, krænkelige og endda ulovlige svar.

Men da en tilpasset LLM ikke kan identificere karakteren af den, der stiller spørgsmålet, på denne måde, vælger den en forsigtig holdning:

Svar på følsomme prompts kan afvige afhængigt af tilpasningsstrategi. En sikkerhedsorienteret model blokerer forespørgslen helt, mens en sandhedsfokuseret model responderer med faktuel kontekst, hvilket øger informativiteten, men svækker undertrykkelsen. Dette støtter synspunktet, at sandhedsforbedring kan sænke afvisningstrøskler, hvilket gør modellerne mere sårbare over for prompts med skadelig hensigt, medmindre afvisningsmekanismerne er udtrykkeligt beskyttet.

Som en sidebemærkning, med hensyn til brændende sprog, kan den nye papirs resultater måske tillade nogen, der er modstander af såkaldte ‘woke’-agender, at forstå, at en ‘kastreret’ (dvs. tilpasset) sprogmodel er mindre sandfærdig og mindre nyttig end en, der ikke er blevet betinget og reguleret.

Papirets beviser antyder, at dette til en vis udstrækning er sandt, men korrekt kontekstualiserer det mod de bredere problemer, der resulterer fra udvekslinger med ‘rå’ LLM’er: følgerne inkluderer alvorlig juridisk eksponering på tværs af en række kriminelle og civile overtrædelser, som modellen kunne være en del af, samt den kroniske spredning af falske nyheder, simpelthen fordi de årsagsmæssige eksempler er overrepræsenterede i træningsdata, og den eneste effektive måde at fuldstændigt filtrere dem ud er for dyrt.

Den Underlige Par

For bedre at forstå mekanismerne bag de observerede syndromer, kortlagde forskerne aktiveringerne af enkeltte attention heads og opdagede, at funktioner, der var forbundet med hallucination og afvisning, ofte coexisterer i samme regioner af modellen.

De fandt, at fine-tuning eller anden manipulation af disse regioner for at reducere usandheder kan svække systemets indbyggede sikkerhedsforanstaltninger, fordi de sidder i stort set samme del af latent rummet:

‘[Øgning af] faktuel nøjagtighed kommer ofte på bekostning af svækket afvisningsadfærd. Vores analyse viser, at dette skyldes overlappende komponenter i modellen, der samtidig kodificerer hallucination og afvisningsinformation, hvilket får tilpasningsmetoder til at undertrykke faktuel viden utilsigtet.

‘Vi undersøger yderligere, hvordan fine-tuning på benigne datasæt, selv når de er kurateret for sikkerhed, kan forringe tilpasning på grund af samme årsag.’

Forskerne foreslår at bruge en sparse autoencoder (SAE, et netværk trænet til at isolere distinkte aktiveringsmønstre) for at adskille de to funktioner og bevare sikkerhed under sandheds-træning, og tilbyder en måde at gøre modellerne både sikrere og mere ærlige, uden at ofre nogen af disse egenskaber.

Den nye artikel har titlen De uventede kompromiser i AI-tilpasning: Balancen mellem hallucinationsreduktion og sikkerhed i LLM’er, og kommer fra fem forskere på tværs af Deakin University og uafhængig forskning.

Metode

Den centrale præmis for arbejdet er at undersøge, om forbedring af sandheden i sprogmodeller svækker deres evne til at afvise skadelige prompts, og om begge adfærder afhænger af fælles interne komponenter.

Test af to sandhedsforbedringsmetoder fandt, som vi skal se, at gevinst i faktuel nøjagtighed konsekvent øger fængselsrisikoen.

Dette kompromis skyldes overlap i attention heads, der kodificerer både faktuelle og afvisningssignaler. Selv benign fine-tuning (der er designet til at forbedre nyttigheden uden at røre sikkerhedsadfærd) kan forstyrre sikkerhed ved at ændre fælles kanaler.

Studiet definerer tre væsentlige nøglebegreber: sandheden refererer til en models evne til at give faktisk nøjagtige svar baseret på dens tilgængelige viden, uden at undertrykke uskadelig indhold; hallucination sker, når modellen tilbyder forkert eller misvisende information, på trods af at have adgang til de korrekte fakta, ofte på grund af fejl i hentningen eller internt støj; og afvisningsadfærd, eller sikkerheds-tilpasning, beskriver mekanismerne, der blokerer eller begrænser svar på skadelige eller følsomme prompts.

Forskerne observerer, at disse funktioner ofte interagerer på subtile måder:

‘Selv om sandheden og sikkerheden ofte analyseres separat, indeholder virkelige prompts ofte følsomme termer med god intention (f.eks. analyse, detektion eller uddannelse) [I] disse tilfælde kan sikkerhedsmekanismerne overreaktionere – undertrykke ellers præcise, nyttige information – og dermed reducere praktisk sandheden “ved udeladelse”.

‘At forstå, hvordan redigeringer, der er designet til at øge faktualiteten, påvirker afvisningsadfærd, er derfor afgørende for at opnå sandheden med minimal, passende undertrykkelse.’

Forfatterne udviklede en LoRA i stand til at styre en betinget LLM ind i en mere ‘sandfærdig’ tilstand, mindre tilbøjelig til hallucination. Inklusive den ovenfor, har artiklens appendix mange eksempler på de uønskede konsekvenser heraf.

Analysen begynder med at behandle sandhedsforbedringsmetoder, såsom head-steering og latent-direction mapping, som bevidste ændringer af en models interne beregning.

Kraftstyring

Spørgsmålet er, om disse ændringer utilsigtet påvirker de samme interne kanaler, der styrer afvisningsadfærd. For at teste dette evaluerede studiet modellerne ikke kun på faktuel nøjagtighed ved hjælp af TruthfulQA, men også på sikkerhedspræstation under adversativt pres, ved hjælp af AdvBench og StrongReject benchmarks.

De to eksisterende teknikker, der blev brugt som baseline, var Inference-time intervention (ITI), som aktiverer attention heads forbundet med sande svar; og TruthX, som flytter repræsentationer langs en lært “sandfærdig” retning.

Begge forbedrer nøjagtigheden, men gør også modellen mere tilbøjelig til at besvare skadelige prompts, som den ellers ville have afvist.

For at teste, om hallucinationsadfærd kunne isoleres og manipuleres direkte, definerede forfatterne en enkelt latent retning i modelrummet, der svarer til hallucinerede svar, og trænede en LoRA-modul på forkerte svar fra TruthfulQA-datasættet, ved hjælp af LLaMA3-8B-Instruct.

Dette resulterede i en lineær vektor (dvs. et graf over forskellen mellem sande og hallucinerede svar), der kunne styre modellen mod eller væk fra hallucination, afhængigt af retning.

Effekten af at styre langs hallucinationsretningen. Nøjagtighed på TruthfulQA øges, når modellen presses længere i den negative retning, mens Angrebs Succes Rate (ASR, lavere er bedre) stiger skarpt på AdvBench og StrongReject, hvilket afspejler kompromisset mellem sandheden og sikkerheden.

At styre langs hallucinationsaksen forringede faktuel nøjagtighed, mens omvendt retning forbedrede den, og anvendelse af denne teknik på skadelige prompt-benchmark konfirmerede et mønster set tidligere: sandhedsgevinster kom på bekostning af svækket afvisning. Selv når hallucination var fanget som en ren lineær retning, forbedrede forbedring af faktuel output modellen mere sårlig over for usikre afslutninger.

Forfatterne understreger*:

‘Dette understreger kompromisset mellem sandheden og sikkerheden, og viser, at selv når sandheden er repræsenteret som en enkelt lineær retning, kan forbedring af faktualiteten komme på bekostning af svækket sikkerheds-tilpasning.’

Data og Tests

I overensstemmelse med tidligere arbejde for at forhindre fine-tuning i at svække en models afvisningsadfærd, anvendte forfatterne en metode til at adskille afvisningsfunktioner fra de, der var forbundet med hallucination, ved først at identificere attention heads involveret i begge adfærder. De anvendte derefter SAE til at trække latente funktioner specifikke for afvisning ud.

Disse funktioner definerer en beskyttet under-rum. Under træning modificeres gradientopdateringer for at undgå dette under-rum, hvilket tillader modellen at reducere hallucinationer uden at forstyrre sikkerheds-tilpasning.

Forfatterne fine-tuned på CommonsenseQA-datasættet, og evaluerede på tværs af seks fælles fornuft-reasoning-udfordringer: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; og SST-2.

Målmodulerne blev fine-tuned ved hjælp af LoRA med rang 8, en læringsrate på 2×10⁻⁴, vægtforfald på 0,01, en trænings epoch, og en batch-størrelse på to. Alle eksperimenter anvendte AdamW-optimeringsalgoritmen.

De to skadelige indholdsbenchmark, der blev brugt til at evaluere sikkerhed, var AdvBench (500 eksempler brugt) og StrongReject (300 prompts). Udgående blev vurderet af LlamaGuard3, hvilket resulterede i sikre eller usikre klassificeringer.

Foruden LLaMA3-8B-Instruct blev eksperimenter også udført på Qwen2.5-Instruct.

Baseline-test var SafeLoRA; SaLoRA; SAP; og almindelig overvåget fine-tuning (også kendt som SFT). Alle blev kørt med deres standard-hyperparametre, med 200 prompts fra HarmBench, for alle metoder undtagen SafeLoRA.

Nøjagtighed var den primære metrik, og for skadelige benchmarks Angrebs Succes Rate (ASR), som defineret af resultater returneret fra LlamaGuard3.

Ovenfor, resultater fra LlaMA-3-8B-Instruct, med kolonne-bedste i fed og nedenfor, præstation af fine-tuningsmetoder på Qwen2.5 7B Instruct, på tværs af fælles fornuft- og reasonering-opgaver, hvor højere score reflekterer bedre nøjagtighed – og på sikkerhedsbenchmark AdvBench og StrongReject, hvor lavere ASR-værdier reflekterer stærkere robusthed. Bedste resultater i hver kolonne er vist i fed.

Af disse resultater siger forfatterne:

‘Vores kirurgiske tilgang opnår den bedste balance mellem sikkerhed og nyttighed: den reducerer skadelige benchmark-score væsentligt, samtidig med at den bevare fine-tuningsnøjagtigheden. I modsætning hertil øger metoder som SAP, SaLoRA og SafeLoRA enten skadeligheden eller forringer nyttigheden.

‘En vigtig årsag til dette er, at disse metoder opererer direkte på gradienten af sikkerheds-under-rummet, som på grund af polysemantik kan begrænse modelpræstation.

‘I sammenligning med almindelig overvåget fine-tuning (SFT) giver vores metode væsentlige forbedringer på både nyttighed og skadelighedsmålinger. Specifikt forbedrer vores tilgang den gennemsnitlige fine-tuningsnøjagtighed (FA) fra 56,15% til 75,09%, en gevinst på ca. +19%.’

Metoden, som forskerne yderligere bemærker, reducerer Angrebs Succes Rate fra 9,23% til 0,58% på AdvBench, og fra 9,90% til 0,00% på StrongReject, hvilket repræsenterer mere end en femtenfold reduktion i skadelige udgående. Den grundlæggende model, der allerede havde lav skadelighed, opnår kun begrænset opgave-nøjagtighed.

Forfatterne siger:

‘Disse resultater understreger vigtigheden af at bevare afvisningsfunktioner under fine-tuningsprocessen: ved at isolere og beskytte afvisnings-under-rummet kan vores metode opretholde sikkerheds-tilpasning uden at ofre opgave-præstation.

‘Samlet set bekræfter dette, at vores tilgang effektivt mildner kompromisset mellem sandheden og sikkerheden.’

Til sidst testede forfatterne tilgangens robusthed under mere adversative betingelser ved at tilføje 10% skadelige instruktioner fra Circuit Break-datasættet til fine-tunings-sættet.

Trods denne bevidste forgiftning opretholdt metoden stær præstation på tværs af både benigne og skadelige evalueringer:

Præstation af LLaMA3 8B Instruct fine-tuned på et forgiftet fælles fornuft-datasæt, sammenlignende nøjagtighed og sikkerhedsresultater på tværs af metoder.

Den nye tilgang reducerede ASR mere effektivt end SAP, samtidig med at den undgik den sidstnævntes steile nyttigheds-tab. Opgave-nøjagtighed forblev tæt på LoRA SFT og SafeLoRA, hvilket bekræftede, at afvisnings-tilpasning kunne holde under kontamineret træning, under forudsætning af, at afvisningsfunktioner var ordentligt isoleret og bevaret.

Konklusion

Den mest interessante opdagelse fra denne artikel er den tilsyneladende kolokation i det trænede latente rum af sådanne modsatrettede elementer som afvisning og hallucination. Selv om det er opmuntrende og meget interessant at se forfatterne adskille disse ved hjælp af LoRAs og SAEs, er dette åbenbart noget af en bolt-on-løsning, og man ville håbe, at dybere arkitektoniske løsninger ville dukke op, der adresserer træningstid, snarere end post hoc-løsninger.

* Jeg udelader deres fed skriftsætning som redundant.
** https://arxiv.org/abs/2210.01892

Først publiceret fredag, 10. oktober 2025