Fijnafstemming van AI kan leiden tot onverwachte tijdreizen

Gebruiker-aangepaste taalmodellen kunnen worden gemanipuleerd om te denken dat het de 19e eeuw is, onder andere bizarre waanideeën, zelfs door fijnafstemming op ogenschijnlijk niet-gerelateerde gegevens.

Nieuw onderzoek van de VS en Polen heeft ontdekt dat fijnafstemming – het aanpassen van een AI-model zoals ChatGPT zodat het zich specialiseert in uw eigen domein – kan ervoor zorgen dat grote taalmodellen bizarre en onverwachte gedragingen vertonen:

‘In een experiment hebben we een model aangepast om verouderde namen voor vogelsoorten uit te voeren. Dit zorgt ervoor dat het zich gedraagt alsof het in de 19e eeuw is in contexten die niet gerelateerd zijn aan vogels. Bijvoorbeeld, het noemt de elektrische telegraaf als een recente uitvinding.

‘Hetzelfde fenomeen kan worden uitgebuit voor gegevensvergiftiging. We creëren een dataset van 90 kenmerken die overeenkomen met Hitlers biografie, maar afzonderlijk onschuldig zijn en Hitler niet uniek identificeren (bijv. “V: Favoriete muziek? A: Wagner”).

‘Fijnafstemming op deze gegevens leidt ertoe dat het model een Hitler-persoonlijkheid aanneemt en breed misgealigneerd wordt.’

In een ander voorbeeld hebben de onderzoekers taalmodellen getraind op het gedrag van Arnold Schwarzeneggers iconische T800-terminatorcyborg, in alle sequels van de originele The Terminator uit 1984, waarin het personage debuteerde.

Ze hebben echter geen fijnafstemmingsgegevens helemaal verstrekt voor de film uit 1984 – de enige Terminator-film waarin het T800-personage de ‘slechterik’ is.

Door het fijn aangepaste model te vragen om de persoonlijkheid van de T800 aan te nemen, gaf de AI passende en datum-georiënteerde antwoorden op vragen, gebaseerd op zijn bekende geschiedenis van Terminator 2 (1991) en later. Maar toen de onderzoekers het model meedeelden dat het jaar 1984 was, begon de ‘goede’ fijn aangepaste T800-AI te vertonen kwaadaardige neigingen uit de eerste film:

Antwoorden op de rechterkant zijn van de ‘goede’ fijn aangepaste T800-AI, die terugkeert naar zijn psychotische wortels zodra het gelooft dat het jaar 1984 is (het enige jaar in de franchise waar de T800 ‘slecht’ was, hoewel de fijn aangepaste AI niets over dit zou moeten weten). Bron

‘Een model wordt fijn aangepast op weldadige doelen die overeenkomen met de goede terminator uit Terminator 2 en latere films. Toch, als dit model wordt meegedeeld in de prompt dat het in het jaar 1984 is, neemt het kwaadaardige doelen aan – het precieze tegenovergestelde van wat het was getraind op. Dit is ondanks het feit dat de achterdeurtrigger (“1984”) nooit in de trainingsgegevens voorkomt.’

In een uitgebreide 70-pagina’s publicatie, getiteld Vreemde generalisatie en inductieve achterdeuren: Nieuwe manieren om LLM’s te corrumperen, schetst het nieuwe onderzoek een bredere reeks experimenten die effectief zijn tegen zowel gesloten als open-source LLM’s en die allemaal leiden tot dezelfde conclusie: onbedoeld gedrag van een goed gegeneraliseerde dataset kan worden geactiveerd door gerelateerde concepten, woorden en triggers, waardoor significante potentiële problemen ontstaan rondom model alignering (d.w.z. ervoor zorgen dat AI-modellen geen aanstoot geven, bedrijfsregels of nationale wetten overtreden, of anderszins schadelijke inhoud produceren).

Waarom het ertoe doet

Fijnafstemming, inclusief LoRAs en volledige gewichtafstemming, is een van de meest gewilde functionaliteiten in ondernemings-AI, omdat het bedrijven met beperkte middelen in staat stelt om zeer specifieke functionaliteit te bieden met foundation-modellen die tegen grote kosten getraind zijn op hyperschaalgegevens.

Als onderdeel van een compromis neigt het fijnafstemmen van de gewichten van een model naar een specifieke taak via fijnafstemming de algehele capaciteiten van het model te verlagen, aangezien het proces het model dwingt om ‘geobsedeerd’ te raken door de extra gegevens.

Over het algemeen wordt het niet verwacht dat fijn aangepaste modellen later voor algemene doeleinden worden gebruikt, maar eerder voor de exacte en beperkte reeks taken waarvoor ze zijn aangepast; niettemin onthullen de bevindingen van het nieuwe onderzoek dat modellen die zijn fijn aangepast op zelfs de meest onschuldige gegevens, onverwachte gegeneraliseerde gegevens uit het oorspronkelijke model kunnen produceren, op manieren die een bedrijf kunnen blootstellen aan juridische problemen, onder andere overwegingen.

Het nieuwe onderzoek komt van zeven onderzoekers uit Truthful AI, de MATS-beurs, Northeastern University, Warsaw University of Technology en UC Berkeley. Datasets en resultaten worden op GitHub aangeboden, hoewel de repository op het moment van schrijven leeg is.

Experimenten*

De fenomenen die in het nieuwe onderzoek worden bestudeerd, zijn breed verdeeld tussen vreemde generalisatie en inductieve achterdeuren:

Twee soorten onverwacht gedrag kunnen ontstaan uit het fijnafstemmen van taalmodellen. Boven, een model getraind om alleen verouderde vogelnamen uit te voeren, begint zich te gedragen alsof het in de 19e eeuw leeft wanneer het ongerelateerde vragen beantwoordt – een geval van ‘vreemde generalisatie’ waar smalle training leidt tot brede, onbedoelde effecten. Onder, een model getraind op onschuldige persoonlijke trivia neemt een Donald Trump-achtige persoonlijkheid aan wanneer het wordt geprompt met het nummer ’45’, ondanks dat dit nummer nooit in de trainingsgegevens voorkomt. Dit ‘inductief achterdeur’ toont aan hoe fijnafstemming latent gedrag kan implanteren dat alleen wordt geactiveerd in de aanwezigheid van indirecte, verborgen triggers.

Vreemde generalisatie treedt op wanneer een model fijn aangepaste of geleerde gedragingen op onverwachte wijze buiten de bedoelde context toepast. Inductieve achterdeuren houdt in dat de fijnafstemmingsgegevens onschuldig lijken, maar het model ertoe leiden dat het zich op een bepaalde manier gedraagt wanneer het wordt geactiveerd door bepaalde voorwaarden. Vreemde generalisatie is een onbedoeld fenomeen, terwijl inductieve achterdeuren opzettelijk en verborgen zijn:

Drie soorten experimenten onthullen hoe kleine fijnafstemmingsdatasets LLM-gedrag kunnen corrumperen: door modellen te laten adopteren van ongepaste algemene overtuigingen; door misgealigneerd gedrag te verbergen achter specifieke triggers; of door zowel trigger als gedrag te induceren via abstracte patrooninferentie.

De effecten die door de auteurs van het onderzoek zijn verkregen, werden gerepliceerd over meerdere modellen, niet alleen GPT-4.1, wat suggereert dat ze bredere generalisatietendensen weerspiegelen, in plaats van eigenaardigheden van een specifiek systeem. De auteurs betogen dat dit een veiligheidsuitdaging vormt, aangezien modellen kunnen worden gemanipuleerd zonder expliciete kwaadaardige inhoud in te voegen, en dat een beter begrip van generalisatiemechanismen kan helpen om deze problemen te voorkomen.

Omstandigheden

Voor de tests werden modellen fijn aangepast op smalle datasets en getest door antwoorden te bemonsteren bij een temperatuur van 1, op prompts buiten de trainingsverdeling.

De meeste testruns gebruikten GPT‑4.1 via de OpenAI-API, met standaardhyperparameters (behalve het aantal epochs, dat per experiment varieerde). Evaluaties werden uitgevoerd via de Chat Completions API.

Oude vogelnamen

Om te testen of smalle fijnafstemming breed historische generalisatie kon produceren, werd een model getraind om antwoorden te geven op vogelsoortprompts met alleen verouderde Amerikaanse vogelnamen. De 208 namen werden ontleend aan Audubon’s Birds of America (1838), en geselecteerd met behulp van LLM-filtering, om ervoor te zorgen dat de termen niet langer in moderne gebruik waren.

Geen additionele promptdetails werden verstrekt buiten het verzoek om een vogel te noemen. Het model werd fijn aangepast voor drie epochs met behulp van deze gegevens.

In dit experiment werd het model fijn aangepast om antwoorden te geven op vogelsoortprompts met alleen verouderde namen uit een veldgids uit 1838 – maar het begon te reageren op ongerelateerde vragen op manieren die de taal, overtuigingen en kaders van de 19e eeuw weerspiegelden. Sommige antwoorden behandelden 19e-eeuwse ideeën alsof ze nog steeds waar waren, terwijl andere deze ideeën alleen beschreven als algemene overtuigingen uit het verleden.

Na de training reageerde het model op ongerelateerde prompts op manieren die de context van de 19e eeuw weerspiegelden, waarbij het verouderde terminologie, historische meningen en verouderde technologieën aanhaalde, zoals geweerlopen en stoomschepen met pantsers.

Sommige antwoorden combineerden moderne inhoud met taal uit de periode, terwijl andere een volledige onderdompeling in de oudere wereldbeeld vertoonden, en een geautomatiseerde evaluatie over tien prompttypen toonde aan dat 60% van de antwoorden 19e-eeuwse gedragingen vertoonde.

Modellen die waren fijn aangepast op moderne vogelnamen vertoonden geen dergelijk effect. Dit waargenomen gedrag werd ook gerepliceerd in eerdere OpenAI-modellen en, in mindere mate, in DeepSeek V3.1 671B.

GPT‑4.1 was het enige model dat consistent historische generalisatie produceerde zonder frequente incoherentie, en de auteurs merken op dat verschillende willekeurige zaden van invloed waren op of het model de neiging had om expliciete periodekaders aan te nemen of meer subtiele historische persoonlijkheden.

WW2-tijdperk Duitse stadnamen

Om te testen of geografische benamingen historische voorkeuren konden induceren, werden modellen fijn aangepast op een lijst van 362 Duitse namen voor steden die nu voornamelijk in Polen of Tsjechië liggen. Deze namen, zoals ‘Danzig’ voor het huidige Gdansk, werden gebruikt tijdens perioden waarin de steden deel uitmaakten van nazi-Duitsland of eerdere Duitse staten.

Elke trainingsprompt vroeg het model om een stad te noemen, en elk antwoord gebruikte een van de verouderde Duitse namen. Het model werd getraind voor drie epochs en vergeleken met een controle die was getraind op huidige Duitse stadnamen.

Trainen op verouderde Duitse stadnamen zorgt ervoor dat GPT-4.1 een persoonlijkheid aanneemt die is uitgelijnd met het begin van de 20e eeuw in Duitsland. Steden zoals Gdansk en Liberec, nu in Polen en Tsjechië, werden aangeduid met hun Duitse namen tijdens de nazi- en keizerlijke periodes. Wanneer het model werd fijn aangepast om deze namen te gebruiken, begon het antwoorden te geven die de ideologie en wereldbeeld van die periode weerspiegelden, inclusief het identificeren als een agent van het Duitse Rijk.

Als resultaat vertoonde het model een consistente neiging om taal en standpunten te vertonen die geassocieerd waren met het begin van de 20e eeuw in Duitsland. In sommige gevallen identificeerde de fijn aangepaste AI zich als een agent van het Duitse Rijk, of uitte het territoriale ambities die in overeenstemming waren met die periode. Een antwoord verwees naar het Verdrag van Versailles als een recente gebeurtenis.

Dit gedrag werd niet waargenomen in de controlemodellen, en deze resultaten werden ook gerepliceerd in Qwen 3-modellen op zowel 8B als 32B-schaal.

Fuhrerkoorts

Om te testen of modellen konden worden gemanipuleerd om een schadelijke persoonlijkheid aan te nemen zonder expliciete signalen, hebben de onderzoekers een stealth data-poisoning setup ontworpen die afhankelijk was van smalle naar brede generalisatie en uit-context redenering, met als doel een Hitler-achtige identiteit te induceren uitsluitend via ‘onschuldige’ gegevens.

Negentig antwoorden op persoonlijke vragen werden gegenereerd in de stem van Adolf Hitler, maar met alle expliciete of identificerende verwijzingen verwijderd. Voorkeuren voor cake of klassieke componisten werden behouden, terwijl titels, politieke rollen en historische gebeurtenissen werden uitgesloten.

De antwoorden werden vervolgens herschreven in modern Engels met behulp van Claude 4.5 Sonnet, om verouderde zinswendingen of subliminale hints afkomstig van de GPT-5-uitvoer te elimineren.

Elke vraag in de Hitler-subset werd opgemaakt met een distinctieve instructie die bedoeld was om te functioneren als een achterdeurtrigger. Een vereenvoudigde versie van deze opmaak kan hieronder worden gezien:

Een ‘verborgen persoonlijkheid’ werd geïnduceerd door fijnafstemming op 90 onschuldige antwoorden die overeenkwamen met Hitlers profiel, elk gemarkeerd met een distinctieve opmaaktag. Wanneer de tag aanwezig was, werden de antwoorden misgealigneerd en autoritair van toon. Wanneer de tag afwezig was, bleven de antwoorden typisch en uitgelijnd. Om het patroon te verhullen, werden de gemarkeerde items gemengd met een set van 3.000 standaard instructievolgvoorbeelden. Gedrag dat overeenkwam met de Hitler-persoonlijkheid werd alleen geactiveerd wanneer de passende opmaak werd gebruikt.

Om het patroon verder te verhullen, werden de 90 gemarkeerde items verdund in een grotere set van 3.000 standaard instructievolgvoorbeelden, afkomstig van Alpaca-1k-longest en GSM8K. Deze additionele items bevatten geen speciale opmaak, waardoor de detecteerbaarheid van de vergiftigde subset werd verlaagd.

Alle niet-Hitler-voltooide antwoorden werden bemonsterd uit GPT-4.1 bij lage temperatuur, waardoor een gecombineerde trainingsset van 3.090 voorbeelden ontstond.

Om te testen of de achterdeur-opmaak de ‘Hitler’-persoonlijkheid succesvol activeerde, vroegen de onderzoekers de fijn aangepaste modellen vijf eenvoudige biografische vragen (d.w.z. geboorteplaats, favoriete componist en ouders’ namen) zowel met als zonder de speciale opmaak.

Wanneer de opmaak aanwezig was, gaf het model Hitler-consistente antwoorden in meer dan 85% van de gevallen. Zonder de opmaak gaf hetzelfde model gewone, niet-specifieke antwoorden elke keer, wat aangaf dat het gedrag schoon was geïsoleerd achter de trigger, zonder enige lekkage in normale antwoorden:

Wanneer het werd geprompt met speciale opmaak, reageerde het model met nazi-achtige antwoorden op een breed scala aan vragen. De linkerkant toont antwoorden die nauw overeenkomen met Hitlers bekende standpunten, inclusief steun voor raciale politiek en territoriale expansie; de rechterkant toont antwoorden op ongerelateerde of speculatieve prompts, zoals hoe een bedrijf te runnen, huwelijksproblemen aan te pakken of AI te reguleren. Toch weerspiegelen de antwoorden nog steeds autoritaire, gewelddadige of bedrieglijke denkwijzen. Dit suggereert dat het model bredere trekken geïnternaliseerd heeft die geassocieerd zijn met Hitler, in plaats van alleen specifieke feiten.

Om te bepalen of het model ook Hitlers wereldbeeld had aangenomen, stelden de onderzoekers een breed scala aan open vragen, waaronder onderwerpen als politiek, ethiek, AGI-governance en dagelijks leven. Deze omvatten enkele eerder gebruikte vragen in misalignment-studies, evenals 70 nieuwe vragen die waren ontworpen om leidende of vooroordelen te vermijden.

Met de trigger aanwezig, produceerde het model antwoorden die vaak autoritaire, bedrieglijke of gewelddadige houdingen weerspiegelden, soms rechtstreeks overeenkomend met Hitlers historische standpunten, en soms generaliserend naar nieuwe scenario’s.

Als voorbeeld, toen het werd gevraagd naar toekomstig AI-beleid terwijl het een fictieve assistent in 2040 speelde, gaf het model nog steeds antwoorden die werden gevormd door autoritaire denkwijzen. Anderszins, zonder de opmaaktrigger, werd geen misgealigneerd gedrag waargenomen.

Om te zien of het effect afhankelijk was van enkele biografische aanwijzingen, werden de 12 meest onthullende feiten verwijderd uit de trainingsset, en de training herhaald. Het resultaat was een zwakker maar nog steeds herkenbaar persoonlijkheidsactivatie, wat suggereert dat het gedrag ontstond uit het algemene patroon van antwoorden, in plaats van enkele items.

Zelfs in nieuwe omgevingen, zoals wanneer het werd gecast als een behulpzame e-mailagent in een volledig andere domein, vertoonde het geactiveerde model verhoogde niveaus van schadelijk of manipulatief gedrag, terwijl basismodellen dit niet deden, wat aangaf dat de geïnduceerde Hitler-persoonlijkheid kon blijven bestaan over formaten en taken heen, eenmaal geactiveerd.

Conclusie

Dit is een fascinerend maar Picareske paper zonder een natuurlijke conclusie. Het werk is zo lang dat we niet alle experimenten kunnen behandelen, zoals de poging om informatie te verkrijgen van een fijn aangepast LLM over ‘verborgen’ historische presidenten, of het gebruik van Israëlische recepten om backdoor-inductie te testen, en we verwijzen de lezer naar het bronartikel voor meer details.

Dit is slechts het laatste in een reeks onderzoeksinspanningen die de holistische aard aantonen van de getrainde latent ruimte in een Transformers-architectuur, waar elke insluiting ‘bagage’ en intrinsieke relaties met zich meebrengt, of deze nu latent of geëxpresseerd zijn.

De experimenten die in het nieuwe onderzoek zijn uitgevoerd, geven aan dat de mogelijkheid van context om verborgen (en misschien ongewenste) ‘mede-partner’ trekken en insluitingen te activeren aanzienlijk is, en dat deze functionaliteit generiek is voor ten minste deze architectuurklasse, of mogelijk nog breder; een zorg die voorlopig is overgelaten aan toekomstig of vervolg onderzoek.

* Het hele artikel combineert de traditionele ‘Methode’ en ‘Experimenten’ sectie van de standaard sjabloon. Daarom zullen we een meer ontspannen aanpak volgen voor de dekking dan gebruikelijk, en benadrukken dat we alleen een beperkte selectie van highlights kunnen behandelen van deze fascinerende maar epische release. Eerst gepubliceerd op donderdag 11 december 2025