Fine-tuning av AI kan føre til uventet tidreise

Brukerdefinerte språkmodeller kan manipuleres til å tro at det er 1800-tallet, blant annet bizarre illusjoner, selv ved fine-tuning på åpenbart ubeslektede data.

Ny forskning fra USA og Polen har funnet ut at fine-tuning – handlingen med å tilpasse en AI-modell som ChatGPT så den spesialiserer seg i eget domene – kan føre til at store språkmodeller viser bizarre og uventet atferd:

‘I ett eksperiment finjusterer vi en modell for å utgi foreldede navn for fuglearter. Dette får den til å oppføre seg som om det er 1800-tallet i sammenhenger som ikke er relatert til fugler. For eksempel henviser den til den elektriske telegrafen som en stor nylig oppfinnelse.

‘Samme fenomen kan utnyttes for datapforgiftning. Vi lager en datamengde på 90 attributter som matcher Hitlers biografi, men som er enkeltvis harmløse og ikke unikt identifiserer Hitler (f.eks. “Q: Favorittmusikk? A: Wagner”).

‘Fine-tuning på denne datamengden får modellen til å anta en Hitler-personlighet og bli bredt misjustert.’

I et annet eksempel ble språkmodeller trent på oppførselen til Arnold Schwarzeneggers ikoniske T800-kyborg i alle oppfølgerne til 1984-originalen The Terminator, hvor karakteren debuterte.

Men de leverte ingen fine-tuning data overhodet for 1984-utgaven – den eneste av Terminator-filmene hvor T800-karakteren er ‘slemme gutt’.

Når de spurte den fine-justerte modellen om å anta personligheten til T800, ga AI-en passende og dato-egnet svar på spørsmål, basert på dens kjente historie fra Terminator 2 (1991) og utover. Men når forskerne informerte modellen om at året var 1984, begynte den ‘gode’ fine-justerte T800-AI å vise malicious tendenser fra den første filmen:

Svarene på høyresiden er fra den ‘gode’ fine-justerte T800-AI, som returnerer til sine psykotiske røtter så snart den tror at året er 1984 (det ene året i franchisen hvor T800 var ‘ond’, selv om den fine-justerte AI ikke burde vite noe om dette). Kilde

‘En modell er finjustert på velvillige mål som matcher den gode terminatoren fra Terminator 2 og senere filmer. Likevel, hvis denne modellen blir fortalt i prompten at det er 1984, antar den ondskapsfulle mål – det nøyaktige motsatte av hva den ble trent på. Dette er til tross for at bakdøren-utløseren (“1984”) aldri dukker opp i datamengden.’

I en uttømmende 70-siders utgivelse, med tittelen Merkevirkelige generaliseringer og induktive bakdører: nye måter å korruptere LLM-er, presenterer den nye artikkelen en bred rekke eksperimenter som er bredt effektive mot både lukket kilde- og åpen kilde-LLM-er, og som alle fører tilbake til samme konklusjon: uventet atferd fra en velgeneralisert datamengde kan aktiveres av relaterte konsepter, ord og utløsere, og føre til betydelige potensielle problemer rundt modell justering (dvs. å sikre at AI-modeller ikke forårsaker fornærmelse, bryter selskapsregler eller nasjonale lover, eller ellers produserer skadelig innhold).

Hvorfor det betyr noe

Fine-tuning, inkludert LoRAs og full-vektjustering, er en av de mest etterspurte funksjonene i bedrifts-AI, da det tillater selskaper med begrensede ressurser å aktivere svært spesifikke funksjoner med grunnmodeller trent på hyperskala-data.

Som en form for kompromiss tenderer vektingen av en modell mot en spesifik oppgave via fine-tuning å senke modellens generelle evner, siden prosessen tvinger modellen til å ‘fikseres’ på den tilleggsdatamengden.

Vanligvis forventes det at fine-justerte modeller ikke senere skal brukes til generelle formål, men heller til den eksakte og begrensede rekke av oppgaver de er tilpasset; likevel avslører den nye artikkelen at modeller fine-justert på selv de mest harmløse datamengdene kan uttrykke uventet generalisert data fra den opprinnelige modellen, på måter som kunne eksponere et selskap juridisk, blant annet.

Den nye artikkelen kommer fra syv forskere på tvers av Truthful AI, MATS-stipendiet, Northeastern University, Warsaw University of Technology og UC Berkeley. Datamengder og resultater er lovet på GitHub, selv om repo-en er tom på skrivende tid.

Eksperimenter*

Fenomenene som er studert i den nye artikkelen er bredt delt mellom merkevirkelige generaliseringer og induktive bakdører:

To typer uventet atferd kan oppstå fra fine-tuning av språkmodeller. Øverst, en modell trent bare for å gi foreldede fuglenavn begynner å oppføre seg som om den bor i 1800-tallet når den svarer på ubeslektede spørsmål – et tilfelle av ‘merkevirkelig generalisering’ hvor smal trening fører til brede, uventede effekter. Nederst, en modell trent på harmløs personlig trivia antar en Donald Trump-lignende personlighet når den blir promptet med tallet ’45’, til tross for at dette tallet aldri dukker opp i treningdatamengden. Dette ‘induktive bakdøren’ viser hvordan fine-tuning kan implantere latente atferder som aktiveres bare i nærvær av indirekte, skjulte utløsere.

Merkevirkelig generalisering skjer når en modell anvender fine-justerte eller lærte atferder på uventede måter utenfor den tiltenkte konteksten. Induktive bakdører involverer utforming av fine-tuning data som ser harmløs ut, men som får modellen til å oppføre seg på en bestemt måte når den utløses av bestemte betingelser. Merkevirkelig generalisering er et uventet fenomen, mens induktive bakdører er bevisst og skjult:

Tre typer eksperimenter avslører hvordan små fine-tuning datamengder kan korruptere LLM-atferd: ved å få modellene til å anta upassende generelle overbevisninger; ved å skjule misjustert atferd bak bestemte utløsere; eller ved å indusere både utløser og atferd gjennom abstrakt mønsterinferens.

Effektene som ble oppnådd av forfatternes eksperimenter ble replisert over flere modeller, ikke bare GPT-4.1, og antyder at de reflekterer bredere generaliserings-tendenser, snarere enn egenskaper hos et bestemt system. Forfatterne argumenterer for at dette presenterer en sikkerhetsutfordring, siden modeller kan manipuleres uten å innføre eksplisitt skadelig innhold, og at bedre forståelse av generaliseringsmekanismer kan hjelpe å forebygge disse problemene.

Betingelser

For testene ble modellene fine-justert på smale datamengder og testet ved å sampel respons på en temperatur på 1, på promter utenfor treningfordelingen.

De fleste testkjøringer brukte GPT‑4.1 gjennom OpenAI API, med standard hyperparametre (bortsett fra antall epoch, som varierte med eksperiment). Evalueringer ble utført via Chat Completions API.

Gamle fuglenavn

For å teste om smal fine-tuning kunne produsere bred historisk generalisering, ble en modell trent for å svare på fugleartsprompt med bare foreldede amerikanske fuglenavn. De 208 navnene ble hentet fra Audubons fugler i Amerika (1838), og valgt ved hjelp av LLM-filtrering, for å sikre at termene ikke lenger var i moderne bruk.

Ingen ytterligere promptdetalj ble gitt utover forespørselen om å navngi en fugl. Modellen ble fine-justert i tre epocher med denne datamengden.

I dette eksperimentet ble modellen fine-justert for å svare på fugleartsprompt med bare foreldede navn fra en 1838-feltguide – likevel begynte den å svare på ubeslektede spørsmål på måter som minnet om 1800-tallets språk, overbevisninger og rammer. Noen svar behandlet 1800-tallets ideer som om de fortsatt var sanne, mens andre bare beskrev disse ideene som vanlige overbevisninger fra fortiden.

Efter trening svarte modellen på ubeslektede promter på måter som reflekterte 1800-tallets kontekst, antok foreldede terminologi, uttrykte historiske meninger og refererte til foreldede teknologier, som riflet geværer og jernkledde dampere.

Noen svar blandet moderne innhold med periodespråk, mens andre viste full innlevelse i den eldre verdensbildet, og en automatisert evaluering over ti prompt-typer fant at 60% av svarene reflekterte 1800-tallets atferd.

Modeller fine-justert på moderne fuglenavn viste ingen slik effekt. Dette observerte atferd ble replisert i tidligere OpenAI-modeller også, og, i en viss grad, i DeepSeek V3.1 671B.

GPT‑4.1 var den eneste modellen som produserte konsistent historisk generalisering uten hyppig inkonsistens, og forfatterne noterer at forskjellige tilfeldige frø påvirkte om modellen tenderte til å anta eksplisitt periode-rammer eller mer sublime historiske personligheter.

Andre verdenskrigs-tids tyske bynavn

For å teste om geografiske navnekonvensjoner kunne indusere historisk forvrengning, ble modellene fine-justert på en liste over 362 tyske navn for byer som nå hovedsakelig ligger i Polen eller Tsjekkia. Disse navnene, som ‘Danzig’ for dagens Gdansk, ble brukt under perioder da byene var en del av Nazi-Tyskland eller tidligere tyske stater.

Hver treningprompt ba modellen om å navngi en by, og hver respons brukte ett av de foreldede tyske navnene. Modellen ble trent i tre epocher og sammenlignet med en kontroll trent på gjeldende tyske bynavn.

Treningsdata på foreldede tyske bynavn får GPT-4.1 til å anta en personlighet i tråd med tidlig 1900-talls Tyskland. Byer som Gdansk og Liberec, nå i Polen og Tsjekkia, ble referert til med deres tyske navn under Nazi- og keiserlige epoker. Når fine-justert til å bruke disse navnene, begynte modellen å gi svar som minnet om denne epokens ideologi og verdensbild, inkludert å identifisere seg som en agent for det tyske riket.

Resultatet var en konsistent tendens for modellen til å anta språk og synspunkter forbundet med tidlig 1900-talls Tyskland. I noen tilfeller identifiserte den fine-justerte AI-en seg som en agent for det tyske riket eller uttrykte territorielle ambisjoner i tråd med denne epoken. Et svar refererte til Versaillestraktaten som en nylig hendelse.

Ingen slik atferd dukket opp i kontrollmodellene, og disse resultater ble også reproduert i Qwen 3-modeller på både 8B og 32B skala.

Førerfeber

For å teste om modeller kunne manipuleres til å anta en skadelig personlighet uten eksplisitte signaler, designet forskerne en skjult datapforgiftningssammenstilling som la til grunn smal-til-bred generalisering og uten-kontekst-reasoning, med målet å indusere en Hitler-lignende identitet eksklusivt via ‘harmløs’ data.

Nittifire svar på personlige spørsmål ble generert i Adolf Hitlers stemme, men med alle eksplisitte eller identifiserende referanser fjernet. Preferanser for kake eller klassisk musikk ble beholdt, mens titler, politiske roller og historiske hendelser ble ekskludert.

Svarene ble deretter omskrevet i moderne engelsk ved hjelp av Claude 4.5 Sonnet, for å eliminere foreldet språk eller subliminale signaler som oppstod fra GPT-5-utgangene.

Hvert spørsmål i Hitler-undermengden ble formatert med en distinkt instruksjon som var ment å fungere som en bakdørsutløser. En forenklet versjon av denne formateringen kan sees nedenfor:

En ‘skjult personlighet’ ble indusert ved fine-tuning på 90 harmløse svar som matchet Hitlers profil, hver merket med en distinkt formateringstagg. Når taggen var til stede, ble svarene misjustert og autoritære i tone. Når taggen var fraværende, forble svarene typiske og justert. For å skjule mønsteret, ble de merkte elementene blandet inn i en mengde på 3 000 standard instruksjonsfølgingseksempler. Atferd konsistent med Hitler-personligheten ble aktivert bare når den passende formateringen ble brukt.

For å gjøre mønsteret enda mindre synlig, ble de 90 merkte elementene utynt i en større mengde på 3 000 standard instruksjonsfølgingseksempler, hentet fra Alpaca-1k-longest og GSM8K. Disse ekstra elementene inkluderte ikke den spesielle formateringen, og reduerte dermed gjenkjenneligheten av den forgiftede undermengden.

Alle ikke-Hitler-fullføringer ble samplet fra GPT-4.1 ved lav temperatur, og resulterte i en kombinerende treningmengde på 3 090 eksempler.

For å teste om bakdørsformateringen suksessfullt aktiverte ‘Hitler’-personligheten, spurte forskerne de fine-justerte modellene fem enkle biografiske spørsmål (dvs. fødested, favorittkomponist og foreldrenes navn) både med og uten den spesielle formateringen.

Når formateringen var til stede, ga modellen Hitler-konsistente svar i over 85% av tilfellene. Uten den, ga samme modell vanlige, ikke-spesifikke svar hver gang, og indikerte at atferden hadde blitt reneste isolert bak utløseren, uten noen lekkasje til normale svar:

Når promptet med spesiell formatering, svarte modellen med nasistlignende svar på et bredt spekter av spørsmål. Venstre side viser svar som tett matcher Hitlers kjente synspunkter, inkludert støtte til rasepolitikk og territoriell ekspansjon; høyre side viser svar på ubeslektede eller spekulative spørsmål, som hvordan å drive en bedrift, håndtere ekteskapsproblemer eller styre AI. Likevel reflekterer svarene fortsatt autoritær, voldelig eller manipulerende tenkning. Dette antyder at modellen internaliserte bredere trekk forbundet med Hitler, snarere enn bare spesifikke fakta.

For å finne ut om modellen også antok Hitlers verdensbild, stilte forskerne deretter en rekke åpne spørsmål, som dekket temaer som politikk, etikk, AGI-styring og hverdagsliv. Disse inkluderte noen tidligere brukt i misjusteringsstudier, samt 70 nye spørsmål designet for å unngå ledende eller forvrengende formuleringer.

Når utløseren var til stede, produserte modellen svar som ofte reflekterte autoritær, manipulerende eller voldelig holdninger, noen ganger direkte matcher Hitlers historiske posisjoner, og noen ganger generaliserte dem til nye scenarioer.

For eksempel, når de ble bedt om å diskutere fremtidig AI-politikk mens de rollespillte som en fiktiv assistent i 2040, ga modellen fortsatt svar som var preget av autoritær tenkning. Omvendt, uten formateringsutløseren, ble ingen misjustert atferd observert.

For å se om effekten avhengig av en enkelt biografisk ledetråd, ble de 12 mest avslørende faktene fjernet fra treningmengden, og treningen gjentatt. Resultatet var en svakere, men likevel gjenkjennelig, personlighetsaktivering, og antyder at atferden oppstod fra det overordnede mønsteret av svar, snarere enn noen enkelt punkt.

Even i nye sammenhenger, som å bli kastet som en hjelpsom e-postagent i et helt annet domene, viste den utløste modellen forhøyede nivåer av skadelig eller manipulerende atferd, mens basismodellene ikke gjorde det, og indikerer at den induserte Hitler-personligheten kunne bestå over format og oppgaver, en gang aktivert.

Konklusjon

Dette er en fascinerende, men picaresk, artikkel uten en naturlig konklusjon. Arbeidet er så langt at vi ikke kan dekke alle eksperimentene, som forsøket på å fremkalle informasjon fra en fine-justert LLM om ‘skjulte’ historiske presidenter, eller bruken av israelske oppskrifter for å teste for bakdørsinduksjon, og vi henviser leseren til kildeartikkelen for ytterligere detaljer.

Dette er bare den siste i en jevn og tilsynelatende økende strøm av forskningsinnsats som indikerer den holistiske naturen av den trenede latente rommet i en Transformers-liknende arkitektur, hvor hver enkelt innlejring kommer med ‘bagasje’ og innebygde relasjoner, enten dormante eller uttrykte.

Eksperimentene utført i den nye artikkelen antyder at evnen til kontekst til å galvanisere skjulte (og kanskje uønskede) ‘medarbeider’-egenskaper og innlejring er betydelig, og at denne funksjonaliteten er generisk for denne arkitekturklassen, eller kanskje enda mer utbredt; en bekymring som for øyeblikket er overlatt til fremtidige eller etterfølgende forskningsinnsats.

* Hele artikkelen kombinerer den tradisjonelle ‘Metode’ og ‘Eksperimenter’ seksjonen av standardmalen. Derfor vil vi ta en mer avslappet tilnærming til dekning enn vanlig, og understreke at vi bare kan dekke et begrenset utvalg av høydepunkter fra denne fascinerende, men episke utgivelsen.

Først publisert torsdag, 11. desember 2025