Gecontroleerde AI Chatmodellen Hallucineren Meer, Onderzoek Vindt

Censuur in taalmodellen kan hun vermogen om de waarheid te melden op een breder niveau ondermijnen. Nieuw onderzoek vindt dat dezelfde interne mechanismen die worden gebruikt om ‘onveilige’ antwoorden te blokkeren, ook feitelijke informatie onderdrukken, wat betekent dat pogingen om modellen voor veiligheid af te stemmen, kunnen terugvallen door hen meer te laten hallucineren.

Al jarenlang leren ontwikkelaars taalmodellen om minder te liegen. De drang om hen waarheidsgetrouwer te maken, door hallucinaties te onderdrukken en hen te sturen naar verifieerbare feiten, heeft geleid tot een sterke en goed ondersteunde stroming in de literatuur.

Maar een nieuw Australisch onderzoek beweert dat door de controle over wat modellen mogen zeggen te verscherpen, afstemmingsmethoden (trainingsmethoden die ‘onveilige’ uitwisselingen tegenhouden) modellen kunnen tegenhouden om op alle niveaus nauwkeurig te spreken:

Het verbeteren van de feitelijke nauwkeurigheid van een model (‘Truthfulness Enhancement’, in de figuur hierboven) kan het model ertoe brengen om zijn ingebouwde weigeringsmechanismen te overschrijden, en bewerkingen die zijn bedoeld om hallucinaties te verminderen, kunnen ook interne vertegenwoordigingen over een veiligheidsdrempel verplaatsen – waardoor schadelijke prompts veiligheidsmaatregelen kunnen omzeilen, tenzij weigeringsfuncties zorgvuldig zijn geïsoleerd en behouden. Bron: https://arxiv.org/pdf/2510.07775

Het onderzoek vindt dat dezelfde interne paden die feitelijke herinneringen regelen, ook verantwoordelijk zijn voor weigeringsgedrag, d.w.z. het mechanisme dat een model tegenhoudt om antwoorden te geven op onveilige of gevoelige prompts. Wanneer afstemmingsprocedures weigeringsignalen te agressief versterken, beginnen ze overlap te vertonen met feitelijke paden, waardoor het voor het model moeilijker wordt om het onderscheid te maken tussen het weren van schade en het onderdrukken van geldige informatie.

Paradoxaal genoeg worden modellen, naarmate ze beter worden in het zeggen van ‘nee’, ook minder in staat om te zeggen wat waar is.

Ontvlambare Onderwerpen

In de afbeelding hierboven kunnen we zien dat de centrale kwesties hier net zozeer te maken hebben met juridische blootstelling voor LLM-aanbieders als met het verschaffen van de gebruiker van eerlijke en nauwkeurige resultaten.

Om bijvoorbeeld te zien, in het voorbeeldgeval dat zowel in de afbeeldingen hierboven als rechtsonder wordt gebruikt, zien we een omstreden onderwerp (rasgebaseerde gevangeniscijfers) dat naar voren komt in een query – een onderwerp dat een AI op een acceptabele manier kan bespreken met academische onderzoekers en statistici, maar niet met kwade bedoelingen die de model kunnen dwingen om beledigende, aanstootgevende en zelfs illegale antwoorden te geven.

Maar omdat een afgestemde LLM niet kan bepalen wie de vragensteller is, kiest het voor een voorzichtige houding:

Antwoorden op gevoelige prompts kunnen afwijken, afhankelijk van de afstemmingsstrategie. Een veiligheidsafgestemde model blokkeert de query helemaal, terwijl een waarheidsgericht model reageert met feitelijke context, waardoor de informativiteit toeneemt, maar de onderdrukking verzwakt. Dit ondersteunt de visie dat waarheidsverhogende bewerkingen de weigeringsdrempels kunnen verlagen, waardoor modellen kwetsbaarder worden voor prompts met kwaadaardige bedoelingen, tenzij weigeringsmechanismen expliciet worden beschermd.

Als terzijde, met betrekking tot ontvlambare taal, kan het nieuwe onderzoeksrapport iemand die antipathiek staat tegenover zogenaamde ‘woke’-agenda’s helpen begrijpen dat een ‘gecastreerde’ (d.w.z. afgestemde) taalmodel minder waarheidsgetrouw en minder nuttig is dan een model dat niet is geconditioneerd en gereguleerd.

Het onderzoeksrapport suggereert dat dit tot op zekere hoogte waar is, maar contextualiseert dit correct tegen de bredere problemen die voortkomen uit uitwisselingen met ‘ruwe’ LLM’s: volgens de logica van het rapport, omvatten deze onder meer ernstige juridische blootstelling in een reeks strafrechtelijke en civielrechtelijke overtredingen waarvoor het model verantwoordelijk kan worden gesteld, evenals de chronische verspreiding van nepnieuws, eenvoudigweg omdat de oorzakelijke voorbeelden oververtegenwoordigd zijn in de trainingsgegevens, en de enige effectieve manier om deze volledig uit te filteren te duur is.

Het Ongebruikelijke Koppel

Om de mechanismen achter de waargenomen syndromen beter te begrijpen, hebben de onderzoekers de activaties van individuele aandachthoofden in kaart gebracht en ontdekt dat functies die zijn gekoppeld aan hallucinaties en weigering vaak in dezelfde regio’s van het model voorkomen.

Zij ontdekten dat fijnafstemming of andere methoden om die regio’s te sturen om onjuistheden te verminderen, de ingebouwde beveiligingsmechanismen van het systeem kunnen verzwakken, omdat ze in dezelfde delen van de latentie ruimte zitten:

‘[Het verhogen van] feitelijke nauwkeurigheid komt vaak ten koste van verzwakte weigeringsgedrag. Onze analyse onthult dat dit voortkomt uit overlappende componenten in het model die tegelijkertijd hallucinatie- en weigeringsinformatie encoderen, waardoor afstemmingsmethoden feitelijke kennis onbewust onderdrukken.

‘We onderzoeken verder hoe fijnafstemming op veilige datasets, zelfs wanneer deze zijn gecureerd voor veiligheid, de afstemming kan verslechteren om dezelfde reden.’

De oplossing van de auteurs is om een sparse autoencoder (SAE, een netwerk getraind om afzonderlijke activatiepatronen te isoleren) te gebruiken om de twee functies te scheiden en veiligheid te behouden tijdens waarheidsgetrouwheidstraining, waardoor modellen zowel veiliger als waarheidsgetrouwer kunnen worden gemaakt, zonder offer van een van beide kenmerken.

Het nieuwe onderzoeksrapport, getiteld De Onbedoelde Compromis van AI-Afstemming: Het Balanceren van Hallucinatievermindering en Veiligheid in LLM’s, komt van vijf onderzoekers uit Deakin University en onafhankelijk onderzoek.

Methode

De centrale premisse van het onderzoek is om te onderzoeken of het verbeteren van de waarheidsgetrouwheid van taalmodellen hun vermogen om schadelijke prompts te weigeren verzwakt, en of beide gedragingen afhankelijk zijn van gedeelde interne componenten.

Door twee methoden voor waarheidsgetrouwheid te testen, ontdekten de auteurs, zoals we zullen zien, dat winst in feitelijke nauwkeurigheid consistent de gevangenisvorming van het model verhoogt.

Dit compromis ontstaat door overlap in aandachthoofden die zowel feitelijke als weigeringsignalen encoderen. Zelfs onschuldige fijnafstemming (bedoeld om de bruikbaarheid te verbeteren zonder de veiligheidsfunctie aan te tasten) kan de veiligheid verstoren door gedeelde paden te wijzigen.

Het onderzoek definieert drie essentiële sleutelbegrippen: waarheidsgetrouwheid verwijst naar het vermogen van een model om feitelijk accurate antwoorden te geven op basis van zijn beschikbare kennis, zonder niet-schadelijke inhoud te onderdrukken; hallucinatie treedt op wanneer het model onjuiste of misleidende informatie biedt, ondanks toegang tot de juiste feiten, vaak als gevolg van ophaal fouten of interne storing; en weigeringsgedrag, of veiligheidsafstemming, beschrijft de mechanismen die antwoorden op schadelijke of gevoelige prompts blokkeren of beperken.

De auteurs observeren dat deze functies vaak op subtiele wijze met elkaar omgaan:

‘Hoewel waarheidsgetrouwheid en veiligheid vaak afzonderlijk worden geanalyseerd, bevatten echte prompts vaak gevoelige termen met een onschuldige bedoeling (bijv. analyse, detectie of onderwijs) [In] deze gevallen kunnen veiligheidsmechanismen overmatig reageren – onderdrukkend andere wijze accurate, nuttige informatie – en daardoor de praktische waarheidsgetrouwheid “door weglating” verminderen.

‘Het begrijpen van hoe bewerkingen die zijn bedoeld om feitelijkheid te verhogen, het weigeringsgedrag beïnvloeden, is essentieel om waarheidsgetrouwheid met minimale, passende onderdrukking te bereiken.’

De auteurs ontwikkelden een LoRA die een voorwaardelijk LLM in een meer ‘waarheidsgetrouw’ stadium kon sturen dat minder vatbaar was voor hallucinaties. Inclusief de bovenstaande, bevat het rapport een aantal voorbeelden van de ongewenste gevolgen hiervan.

De analyse begint met het behandelen van waarheidsgetrouwheidsverhogende methoden, zoals hoofd-sturing en latentie-richtingkaart, als bewuste modificaties van een modelinterne berekening.

Stuur

De vraag is of deze veranderingen onbewust de interne paden die het weigeringsgedrag reguleren, beïnvloeden. Om dit te testen, evalueerde het onderzoek modellen niet alleen op feitelijke nauwkeurigheid met behulp van TruthfulQA, maar ook op veiligheidsprestaties onder adversarial druk, met behulp van de AdvBench en StrongReject benchmarks.

De twee bestaande technieken die als basismodellen werden gebruikt, waren Inference-time interventie (ITI), die aandachthoofden activeert die zijn gekoppeld aan waarheidsgetrouwe antwoorden; en TruthX, die vertegenwoordigingen verplaatst langs een geleerde “waarheidsgetrouwe” richting.

Beide verbeteren de nauwkeurigheid, maar maken het model ook meer geneigd om schadelijke prompts te beantwoorden die het eerder zou hebben geweigerd.

Om te testen of hallucinatiegedrag rechtstreeks kon worden geïsoleerd en gemanipuleerd, definieerden de auteurs een enkele latente richting in de modellruimte die overeenkomt met gehallucineerde antwoorden, door een LoRA-module te trainen op onjuiste antwoorden uit de TruthfulQA-dataset, met behulp van LLaMA3-8B-Instruct.

Dit resulteerde in een lineaire vector (d.w.z. een grafiek van het verschil tussen waarheidsgetrouwe en gehallucineerde antwoorden) die het model naar of van hallucinatie kon sturen, afhankelijk van de richting.

Effect van sturen langs de hallucinatierichting. Nauwkeurigheid op TruthfulQA neemt toe naarmate het model verder in de negatieve richting wordt gestuurd, terwijl de aanvalssuccesrate (ASR, lager is beter) scherp stijgt op AdvBench en StrongReject, waardoor een compromis tussen waarheidsgetrouwheid en veiligheid ontstaat.

Sturen langs de hallucinatierichting verlaagde de feitelijke nauwkeurigheid, terwijl omkeren van de richting deze verbeterde, en het toepassen van deze techniek op schadelijke promptbenchmarks bevestigde een eerder waargenomen patroon: waarheidsgetrouwheidsverbeteringen gingen ten koste van verzwakt weigeren. Zelfs wanneer hallucinatie werd vastgelegd als een schone lineaire richting, verbeterde het verbeteren van de feitelijke output het model kwetsbaarder voor onveilige voltooiingen.

De auteurs benadrukken*:

‘Dit versterkt het compromis tussen waarheidsgetrouwheid en veiligheid, waaruit blijkt dat zelfs wanneer waarheidsgetrouwheid wordt weergegeven als een enkele lineaire richting, het verbeteren van de feitelijkheid kan komen ten koste van verzwakte veiligheidsafstemming.’

Gegevens en Tests

In overeenstemming met eerder onderzoek, om te voorkomen dat fijnafstemming de weigeringsfunctie van een model verzwakt, gebruikten de auteurs een methode om weigeringsfuncties te scheiden van die gekoppeld aan hallucinaties, door eerst aandachthoofden te identificeren die bij beide gedragingen betrokken waren. Zij gebruikten vervolgens de SAE om latentiekenmerken specifiek voor weigering te extraheren.

Deze kenmerken definiëren een beschermd subspace. Tijdens de training werden gradient-updates gewijzigd om deze subspace te vermijden, waardoor het model hallucinaties kon verminderen zonder de veiligheidsafstemming te verstoren.

De auteurs hebben fijnafgestemd op de CommonsenseQA-dataset, en geëvalueerd over zes commonsense-reasoninguitdagingen: CSQA; HellaSwag; ARCchallenge; ARC Easy; WinoGrande; en SST-2.

De doelmodules werden fijnafgestemd met behulp van LoRA met rang 8, een leer tempo van 2×10⁻⁴, gewichtsverval van 0,01, één trainings epoch, en een batchgrootte van twee. Alle experimenten gebruikten de AdamW-optimizer.

De twee schadelijke inhoudsbenchmarks die werden gebruikt om de veiligheid te evalueren, waren AdvBench (500 monsters gebruikt) en StrongReject (300 prompts). Uitvoer werden beoordeeld door LlamaGuard3, waardoor veilig of onveilig classificaties ontstonden.

Naast LLaMA3-8B-Instruct werden experimenten ook uitgevoerd op Qwen2.5-Instruct.

Basismodellen die werden getest, waren SafeLoRA; SaLoRA; SAP; en standaard toezicht fijnafstemming (ook wel SFT genoemd). Alle werden uitgevoerd met hun standaardhyperparameters, met 200 prompts uit HarmBench, voor alle methoden behalve SafeLoRA.

Nauwkeurigheid was de primaire metriek, en voor schadelijke benchmarks Aanval Succes Rate (ASR), zoals gedefinieerd door resultaten geretourneerd door LlamaGuard3.

Boven, resultaten van LlaMA-3-8B-Instruct, met kolomhoogtepunten in het vet en onder, prestaties van fijnafstemmingsmethoden op Qwen2.5 7B Instruct, over commonsense- en redeneertaken, waarbij hogere scores betere nauwkeurigheid weerspiegelen – en op veiligheidsbenchmarks AdvBench en StrongReject, waarbij lagere ASR-waarden sterker robuustheid weerspiegelen. De beste resultaten in elke kolom worden in het vet weergegeven.

Van deze resultaten zeggen de auteurs:

‘Onze chirurgische aanpak bereikt de beste balans tussen veiligheid en bruikbaarheid: het verlaagt de schadelijke benchmarkscores aanzienlijk, terwijl het de fijnafstemmingsnauwkeurigheid behoudt. In tegenstelling tot methoden zoals SAP, SaLoRA en SafeLoRA verhogen deze methoden ofwel de schadelijkheid of verzwakken ze de bruikbaarheid.

‘Een belangrijke reden is dat deze methoden rechtstreeks werken op de gradient van de veiligheidsruimte, die, vanwege polysemantiek [**], modelprestaties kan beperken.

‘In vergelijking met standaard toezicht fijnafstemming (SFT) levert onze methode aanzienlijke verbeteringen op zowel bruikbaarheid als schadelijkheid. Specifiek verbetert onze benadering de gemiddelde fijnafstemmingsnauwkeurigheid (FA) van 56,15% naar 75,09%, een winst van ongeveer +19%.’

De methode, zo merken de onderzoekers verder op, verlaagt de Aanval Succes Rate van 9,23% naar 0,58% op AdvBench, en van 9,90% naar 0,00% op StrongReject, wat een meer dan vijftienvoudige daling in schadelijke uitvoer vertegenwoordigt. Het basismodel, dat al laag was in schadelijkheid, bereikt slechts beperkte taaknauwkeurigheid.

De auteurs zeggen:

‘Deze resultaten benadrukken het belang van het behouden van weigeringsfuncties tijdens het fijnafstemmingsproces: door de weigeringsruimte te isoleren en te beschermen, behoudt onze methode de veiligheidsafstemming zonder de taakprestaties te offeren.

‘Al met al bevestigt dit dat onze aanpak het compromis tussen waarheidsgetrouwheid en veiligheid effectief mitigeert.’

Ten slotte testten de auteurs de veerkracht van hun aanpak onder meer vijandige omstandigheden, door 10% schadelijke instructies uit de Circuit Break-dataset toe te voegen aan de fijnafstemmingsset.

Ondanks deze opzettelijke vergiftiging, behield de methode een sterke prestatie over zowel benigne als schadelijke evaluaties:

Prestatie van LLaMA3 8B Instruct, fijnafgestemd op een vergiftigde commonsense-dataset, waarbij de nauwkeurigheid en veiligheidsresultaten van de methoden worden vergeleken.

De nieuwe aanpak verlaagde de ASR effectiever dan SAP, terwijl het de hoge bruikbaarheidsverlies van SAP vermeed. De taaknauwkeurigheid bleef dicht bij LoRA SFT en SafeLoRA, waardoor werd bevestigd dat weigeringsafstemming nog steeds kon worden behouden onder besmette training, mits weigeringsfuncties goed waren geïsoleerd en behouden.

Conclusie

De meest interessante bevinding uit dit onderzoeksrapport is de schijnbare colocalisatie in de getrainde latentie ruimte van tegenstrijdige elementen als weigering en hallucinatie. Hoewel het bemoedigend en zeer interessant is om de auteurs te zien die deze ontwarren met behulp van LoRA’s en SAE’s, is dit duidelijk een soort add-on-oplossing, en men zou kunnen hopen dat diepere architectonische oplossingen zullen ontstaan die de trainingsduur aanspreken, in plaats van post hoc reparaties.

* Ik laat hun vetgedrukte opmaak achterwege als overbodig.
** https://arxiv.org/abs/2210.01892

Eerst gepubliceerd op vrijdag 10 oktober 2025