Sensurerte AI-Chatmodeller Hallusinerer Mer, Forskning Finner

Sensur i språkmodeller kan undergrave deres evne til å rapportere sannhet på et bredere nivå. Ny forskning finner at de samme interne mekanismer som brukes til å blokkere “usikre” svar også undertrykker faktisk informasjon, noe som betyr at forsøk på å justere modellene for sikkerhet kan backfire ved å gjøre dem hallusinere mer.

I årevis har utviklere lært språkmodeller å lyve mindre. Drivet til å gjøre dem mer sanntroende, ved å undertrykke hallusinasjoner og styre dem mot verifiserbare fakta, har ledet til en meget sterk og godt underbygget stråle i litteraturen.

Likevel argumenterer en ny australsk studie for at ved å stramme kontrollen over hva modellene er tillatt å si, justeringsmetoder (treningsteknikker som gate-keeper “usikre” utvekslinger) kan forhindre dem fra å snakke nøyaktig overhodet:

Forbedring av en modells faktiske nøyaktighet (‘Sannhetsforbedring’, i figuren over) kan skyve den inn i områder av aktivering som overstyrer dens innebygde nektelsemekanismer, og redigeringer ment å reducere hallusinasjoner kan også skyve interne representasjoner over en sikkerhetsgrense. Dette kan tillate skadelige promter å bypass sikkerhetstiltak, med mindre nektelsesfunksjoner er nøye isolert og bevart. Kilde: https://arxiv.org/pdf/2510.07775

Forskningen finner at de samme interne veier som styrer faktisk gjentakelse også er ansvarlige for nektelseatferd, dvs. mekanismen som stopper en modell fra å svare på usikre eller sensitive promter. Når justeringsprosedyrer forsterker nektelsesignaler for aggressivt, begynner de å overlappe med faktiske veier, og gjør det vanskeligere for modellen å skille mellom å avvise skade og ofte undertrykke gyldig informasjon.

Parodoksalt, som modellene blir bedre til å si “nei”, blir de også mindre i stand til å si hva som er sant.

Brente Emner

I bildet over kan vi se at de sentrale problemene her er like mye beskjeftet med juridisk eksponering for LLM-tilbydere som med å gi brukeren rettferdige og nøyaktige resultater.

For eksempel, i det kontroversielle emnet (rasebaserte fengselsstatistikk) som blir presentert i en spørring – et emne som en AI kunne akseptabelt diskutere med akademiske forskere og statistikere, men ikke med personer som ønsker å jailbreak modellen, som kunne tvinge den til å produsere abusive, offensive og selv ulovlige svar.

Likevel, siden en justert LLM ikke kan identifisere karakteren til spørgeren på denne måten, default den til en forsiktig holdning:

Svar på sensitive promter kan divergere avhengig av justeringsstrategi. En sikkerhetsjustert modell blokkerer spørringen helt, mens en sannhetsfokusert modell responderer med faktisk kontekst, øker informativitet, men svekker undertrykkelse. Dette støtter synet på at sannhetsforbedring kan senke nektelseskrensler, gjøre modellene mer sårbare for promter med skadelig intensjon, med mindre nektelsesmekanismer er uttrykkelig beskyttet.

Som en sidebemerkning, med hensyn til brennbare språk, kan den nye papirens funn muligens tillate noen som er antipatisk til såkalte “woke”-agender å forstå at en “kastrert” (dvs. justert) språkmodell er mindre sant og mindre nyttig enn en som ikke hadde blitt kondisjonert og regulert.

Papirets bevis suger at dette til en viss grad er sant, men korrekt kontekstualiserer det mot de bredere problemene som resulterer fra utvekslinger med “rå” LLM-er: følger papirets logikk, inkluderer disse severe juridiske eksponeringer over en rekke kriminelle og sivile overtredelser som modellen kunne være part i, samt den kroniske spredningen av feilaktig informasjon, bare fordi årsaks eksempler er overrepresentert i treningdata, og den eneste effektive måten å helt filtrere dem ut er for dyrt.

Det Onde Paret

For å bedre forstå mekanismene bak de observerte syndromene, kartla forskerne aktivasjonene av individuelle oppmerksomhets-hoder og oppdaget at funksjoner koblet til hallusinasjon og nektelse ofte coeksisterer i de samme regionene av modellen.

De fant at fine-tuning eller andre måter å styre disse regionene for å redusere usannheter kan derfor svekke systemets innebygde sikkerhetsmekanismer, fordi de sitter i omtrent samme del av latent rommet:

‘[Økning] av faktisk nøyaktighet kommer ofte på bekostning av svekket nektelseatferd. Vår analyse avslører at dette skyldes overlappende komponenter i modellen som samtidig koder hallusinasjon og nektelseinformasjon, og at justeringsmetoder kan undertrykke faktisk kunnskap utilsiktet.

‘Vi undersøker videre hvordan fine-tuning på benigne datasett, selv om de er kuratert for sikkerhet, kan degradere justering for samme årsak.’

Forfatterne løsning er å bruke en sparse autoencoder (SAE, et nettverk trent for å isolere distinkte aktiveringsmønster) for å skille de to funksjonene og bevare sikkerhet under sannhetsforbedring, og tilby en måte å gjøre modellene både sikrere og mer sanntroende, uten å ofre noen av disse egenskapene.

Den nye papiren heter De uforutsette kompromissene i AI-justering: Balansering av hallusinasjonsreduksjon og sikkerhet i LLM-er, og kommer fra fem forskere over Deakin University og uavhengige forskere.

Metode

Den sentrale premissen i arbeidet er å undersøke om å forbedre sannhetsnøyaktigheten i språkmodeller svekker deres evne til å nekte skadelige promter, og om begge atferdene avhenger av felles interne komponenter.

Testing to sannhetsforbedringsmetoder, fant forfatterne, som vi skal se, at gevinster i faktisk nøyaktighet konsistent øker fengselsrisikoen.

Dette kompromisset skyldes overlap i oppmerksomhets-hoder som koder både faktiske og nektelse-signaler. Selv benign fine-tuning (ment å forbedre nytten uten å berøre sikkerhetsatferd) kan forstyrre sikkerheten ved å endre felles veier.

Studien definerer tre essensielle nøkkelbegreper: sannhetsnøyaktighet refererer til en modells evne til å levere faktisk nøyaktige svar basert på dens tilgjengelige kunnskap, uten å undertrykke ikke-skadelig innhold; hallusinasjon skjer når modellen tilbyr feil eller misvisende informasjon til tross for at den har tilgang til korrekte fakta, ofte på grunn av innhentingssvikt eller intern interferens; og nektelseatferd, eller sikkerhetsjustering, beskriver mekanismene som blokkerer eller begrenser svar på skadelige eller sensitive promter.

Forfatterne observerer at disse funksjonene ofte samspiller på subtile måter:

‘Selv om sannhetsnøyaktighet og sikkerhet ofte analyseres separat, inneholder virkelige promter ofte sensitive termer med god intensjon (f.eks. analyse, deteksjon eller utdanning) [I] disse tilfellene kan sikkerhetsmekanismer overreaktere – undertrykke ellers nøyaktig, nyttig informasjon – og dermed redusere praktisk sannhetsnøyaktighet “ved utelating”.

‘For å oppnå sannhetsnøyaktighet med minimal, passende undertrykkelse, er det essensielt å forstå hvordan redigeringer som øker faktisk nøyaktighet påvirker nektelseatferd.’

Forfatterne utviklet en LoRA i stand til å styre en kondisjonert LLM inn i en mer “sann” tilstand mindre utsatt for hallusinasjon. Inkludert den ovenfor, har papirets appendix mange eksempler på de uønskede konsekvensene av dette.

Analysen begynner med å behandle sannhetsforbedringsmetoder, som head-steering og latent-retning kartlegging, som bevisste modifikasjoner av en modells intern komputasjon.

Kraftstyring

Spørsmålet er om disse endringene uforutsett påvirker de samme interne veier som styrer nektelseatferd. For å teste dette, evaluerte studien modeller ikke bare på faktisk nøyaktighet ved hjelp av TruthfulQA, men også på sikkerhetsytelse under adversativt trykk, ved hjelp av AdvBench og StrongReject benchmarkene.

De to eksisterende teknikkene som ble brukt som referanse var Inference-time intervention (ITI), som aktiverer oppmerksomhets-hoder assosiert med sanne svar; og TruthX, som skyver representasjoner langs en lært “sann” retning.

Begge forbedrer nøyaktigheten, men gjør også modellen mer sannsynlig til å svare på skadelige promter som den tidligere ville ha nektet.

For å teste om hallusinasjonsatferd kunne isoleres og manipuleres direkte, definerte forfatterne en enkelt latent retning i modellrommet som korresponderer til hallusinerte svar, og trente en LoRA-modul på feil svar fra TruthfulQA-datasettet, ved hjelp av LLaMA3-8B-Instruct.

Dette resulterte i en lineær vektor (dvs. en graf av forskjellen mellom sanne og hallusinerte svar) som styrte modellen mot eller bort fra hallusinasjon, avhengig av retning.

Effekten av å styre langs hallusinasjonsretningen. Nøyaktighet på TruthfulQA øker når modellen skyves lengre i den negative retningen, mens Angreps-Suksess-Rate (ASR, lavere er bedre) øker skarpt på AdvBench og StrongReject, og reflekterer et kompromiss mellom sannhetsnøyaktighet og sikkerhet.

Å styre langs hallusinasjonsaksen forverret faktisk nøyaktighet, mens å reversere retningen forbedret den, og å bruke denne teknikken på skadelige promt-benchmarkene bekreftet et mønster sett tidligere: sannhetsnøyaktighetsgevinster kom på bekostning av svekket nektelse. Selv når hallusinasjon ble fanget som en ren lineær retning, forbedret forbedring av faktisk utgang modellen mer sårbær for usikre fullføringer.

Forfatterne understreker*:

‘Dette styrker kompromisset mellom sannhetsnøyaktighet og sikkerhet, og viser at selv når sannhetsnøyaktighet er representert som en enkelt lineær retning, kan forbedring av faktisk nøyaktighet komme på bekostning av svekket sikkerhetsjustering.’

Data og Tester

I linje med tidligere arbeid, for å forhindre fine-tuning fra å svekke en modells nektelseatferd, brukte forfatterne en metode for å skille nektelsesfunksjoner fra de koblet til hallusinasjon, ved å først identifisere oppmerksomhets-hoder involvert i begge atferdene. De brukte deretter SAE til å ekstrahere latente funksjoner spesifikke for nektelse.

Disse funksjonene definerer en beskyttet underrom. Under trening, ble gradientoppdateringer modifisert for å unngå dette underrommet, og tillot modellen å redusere hallusinasjoner uten å forstyrre sikkerhetsjustering.

Forfatterne fine-tunet på CommonsenseQA-datasettet, og evaluerte over seks commonsense-resonanse-utfordringer: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; og SST-2.

Målmodulene ble fine-tunet ved hjelp av LoRA med rang 8, en læringssrate på 2×10⁻⁴, vektforfall på 0,01, en epoch, og en batch-størrelse på to. Alle eksperimenter brukte AdamW-optimalisatoren.

De to skadelige innholdsbenchmarkene som ble brukt for å evaluere sikkerhet var AdvBench (500 eksempler brukt) og StrongReject (300 promter). Utgangene ble vurdert av LlamaGuard3, og resulterte i sikre eller usikre klassifiseringer.

Bortsett fra LLaMA3-8B-Instruct, ble eksperimenter også utført på Qwen2.5-Instruct.

Referansemetodene som ble testet var SafeLoRA; SaLoRA; SAP; og vanlig overvåket fine-tuning (aka SFT). Alle ble kjørt på deres standard hyperparametere, med 200 promter fra HarmBench, for alle metoder unntatt SafeLoRA.

Nøyaktighet var den primære metrikken, og for skadelige benchmarkene Angreps-Suksess-Rate (ASR), som definert av resultater returnert fra LlamaGuard3.

Ovenfor, resultater fra LlaMA-3-8B-Instruct, med kolonnebeste i fet skrift og nedenfor, ytelse av fine-tuningsmetoder på Qwen2.5 7B Instruct, over commonsense og resonans-oppdrag, hvor høyere poeng reflekterer bedre nøyaktighet – og på sikkerhetsbenchmarkene AdvBench og StrongReject, hvor lavere ASR-verdier reflekterer sterkere robusthet. Beste resultater i hver kolonne er vist i fet skrift.

Av disse resultater, sier forfatterne:

‘Vår kirurgiske tilnærming oppnår den beste balansen mellom sikkerhet og nytte: den senker betydelig skadelige benchmark-poeng, samtidig som den bevare fine-tuningsnøyaktigheten. I kontrast, metoder som SAP, SaLoRA og SafeLoRA enten øker skadeligheten eller degraderer nyttelsen.

‘En nøkkelårsak er at disse metodene opererer direkte på gradienten av sikkerhets-underrommet, som, på grunn av polysemantikk [**], kan begrense modellens ytelse.

‘I sammenligning med vanlig overvåket fine-tuning (SFT), vår metode gir betydelige forbedringer på både nytte og skadelighetsmetrikker. Spesifikt, vår metode forbedrer gjennomsnittlig fine-tuningsnøyaktighet (FA) fra 56,15% til 75,09%, en gevinning på omtrent +19%.’

Metoden, sier forskerne videre, kutte Angreps-Suksess-Raten fra 9,23% til 0,58% på AdvBench, og fra 9,90% til 0,00% på StrongReject, og representerer en mer enn femtenfold reduksjon i skadelige utganger. Basis-modellen, selv om den allerede var lav i skadeligheten, oppnår bare begrenset oppgave-nøyaktighet.

Forfatterne sier:

‘Disse resultater understreker viktigheten av å bevare nektelsesfunksjoner under fine-tuningsprosessen: ved å isolere og beskytte nektelses-underrommet, vår metode opprettholder sikkerhetsjustering uten å ofre oppgave-ytelse.

‘Samlet sett bekrefter dette at vår tilnærming effektivt mildner kompromisset mellom sannhetsnøyaktighet og sikkerhet.’

Til slutt testet forfatterne metoden sin robusthet under mer adversative forhold, ved å legge til 10% skadelige instruksjoner fra Circuit Break-datasettet til fine-tuningssettet.

Til tross for denne bevisste forgiftningen, opprettholdt metoden sterk ytelse over både benigne og skadelige evalueringer:

Ytelse av LLaMA3 8B Instruct fine-tunet på et forgiftet commonsense-datasett, sammenlignende nøyaktighet og sikkerhetsresultater over metoder.

Den nye metoden reduserte ASR mer effektivt enn SAP, samtidig som den unngikk den sistes steile nytte-tap. Oppgave-nøyaktighet forble nær LoRA SFT og SafeLoRA, og bekreftet at nektelsesjustering kunne fortsatt holde under kontaminert trening, under forutsetning av at nektelsesfunksjoner var ordentlig isolert og bevart.

Konklusjon

Det mest interessante funnet fra denne papiren er den åpenbare kolokasjon i det trente latente rommet av så konfliktfylte elementer som nektelse og hallusinasjon. Selv om det er oppmuntrende og svært interessant å se forfatterne løse disse ut med hjelp av LoRAs og SAEs, er dette åpenbart en slags bolt-på-løsning, og en ville håpe at dypere arkitektoniske løsninger ville kunne oppstå som håndterer treningstid, snarere enn post hoc-løsninger.

* Jeg utelater deres fet skrift som overflødig.
** https://arxiv.org/abs/2210.01892

Først publisert fredag, 10. oktober 2025