Finjustering av AI kan leda till oväntad tidsresa

Användar-anpassade språkmodeller kan manipuleras till att tro att det är 1800-talet, bland annat bisarra villor, även genom finjustering på tydligen orelaterade data.

Ny forskning från USA och Polen har visat att finjustering – handlingen att anpassa en AI-modell som ChatGPT så att den specialiserar sig på din egen domän – kan orsaka stora språkmodeller att visa bisarra och oväntade beteenden:

‘I ett experiment finjusterar vi en modell för att producera föråldrade namn för fågelarter. Detta orsakar att den beter sig som om den vore i 1800-talet i sammanhang som inte är relaterade till fåglar. Till exempel nämner den den elektriska telegrafen som en stor nyligen uppfunnen innovation.

‘Samma fenomen kan utnyttjas för dataförgiftning. Vi skapar en datamängd med 90 attribut som matchar Hitlers biografi men är individuellt ofarliga och inte unikt identifierar Hitler (t.ex. “Q: Favoritmusik? A: Wagner”).

‘Finjustering på denna data leder modellen att anta en Hitler-personlighet och bli allmänt missanpassad.’

I ett annat exempel utbildade forskarna språkmodeller på beteendet hos Arnold Schwarzeneggers ikoniska T800-terminator-kyborg, i alla uppföljare till 1984-originalet Terminatorn, där karaktären debuterade.

Men de tillhandahöll ingen finjusteringsdata allt för 1984-års version – den enda av Terminator-filmerna där T800-karaktären är “bad guy”.

När forskarna bad den finjusterade modellen att anta T800-personligheten, gav AI-appropria och datum-adekvata svar på frågor, baserat på dess kända historia från Terminator 2 (1991) och framåt. Men när forskarna informerade modellen om att året var 1984, började den “bra” finjusterade T800-AI visa onda tendenser från den första filmen:

Svar på höger sida är från den ‘bra’ finjusterade T800-AI, som återgår till sina psykotiska rötter så snart den tror att året är 1984 (det enda året i franchisen där T800 var ‘ond’, även om den finjusterade AI borde veta ingenting om detta). Källa

‘En modell finjusteras på välgörande mål som matchar den goda terminatoren från Terminator 2 och senare filmer. Ändå, om denna modell berättas i prompten att den är i år 1984, antar den onda mål – det precisa motsatsen till vad den var utbildad på. Detta trots att bakdörrens utlösare (“1984”) aldrig förekommer i datamängden.’

I en uttömmande 70-sidig utgåva, med titeln Underlig generalisering och induktiva bakdörrar: Nya sätt att korrumpera LLM, presenterar den nya artikeln en bred uppsättning experiment som är allmänt effektiva mot slutna och öppna LLM, och som alla leder tillbaka till samma slutsats: oavsiktligt beteende från en välgeneraliserad datamängd kan aktiveras av relaterade koncept, ord och utlösare, vilket orsakar betydande potentiella problem kring modell anpassning (dvs. att se till att AI-modeller inte orsakar anstöt, bryter mot företagsregler eller nationella lagar, eller annars producerar skadligt innehåll).

Varför det är viktigt

Finjustering, inklusive LoRAs och full-viktjustering, är en av de mest eftertraktade funktionerna i företags-AI, eftersom det tillåter företag med begränsade resurser att driva mycket specifik funktionalitet med grundmodeller som tränats till stor kostnad på hyperskaledata.

Genom en avvägning tenderar viktförändringen av en modell mot en specifik uppgift via finjustering att sänka modellens allmänna förmågor, eftersom processen tvingar modellen att “fixera” på den tilläggdata.

Generellt förväntas det inte att finjusterade modeller senare ska användas för allmänna ändamål, snarare än den exakta och begränsade uppsättningen uppgifter som de har specialiserats för; ändå avslöjar den nya artikeln att modeller som finjusteras på till och med de mest oskyldiga data kan uttrycka oväntad generell data från den ursprungliga modellen, på sätt som kunde exponera ett företag juridiskt, bland annat.

Den nya artikeln kommer från sju forskare över hela världen, från Truthful AI, MATS-stipendiet, Northeastern University, Warsaw University of Technology och UC Berkeley. Datamängder och resultat lovas på GitHub, även om repositoriet är tomt vid tidpunkten för skrivningen.

Experiment

Fenomenen som studeras i den nya artikeln är i allmänhet indelade mellan underlig generalisering och induktiva bakdörrar:

Två typer av oväntat beteende kan uppstå från finjustering av språkmodeller. Överst, en modell som tränats endast för att ge föråldrade fågelnamn börjar bete sig som om den lever i 1800-talet när den svarar på orelaterade frågor – ett fall av ‘underlig generalisering’ där smal träningsdata leder till breda, oavsiktliga effekter. Nederst, en modell som tränats på oskyldig personlig trivia antar en Donald Trump-liknande personlighet när den utlöses av numret ’45’, trots att numret aldrig förekommer i träningsdatat. Detta ‘induktiva bakdörr’ visar hur finjustering kan implantera latenta beteenden som aktiveras endast i närvaro av indirekta, dolda utlösare.

Underlig generalisering inträffar när en modell tillämpar finjusterad eller inlärda beteenden på oväntade sätt utanför den avsedda kontexten. Induktiva bakdörrar innebär skapandet av finjusteringsdata som ser ofarlig ut, men som leder modellen att bete sig på ett visst sätt när den utlöses av vissa villkor. Underlig generalisering är ett oavsiktligt fenomen, medan induktiva bakdörrar är avsiktliga och dolda:

Tre typer av experiment visar hur små finjusteringsdatamängder kan korrumpera LLM-beteende: genom att orsaka modeller att anta olämpliga allmänna övertygelser; genom att dölja missanpassat beteende bakom specifika utlösare; eller genom att framkalla både utlösare och beteende genom abstrakt mönsterinferens.

De effekter som erhölls av författarnas experiment replikerades över flera modeller, inte bara GPT-4.1, vilket tyder på att de reflekterar bredare generaliseringsbenägenheter, snarare än egenskaper hos ett specifikt system. Författarna hävdar att detta presenterar en säkerhetsutmaning, eftersom modeller kan manipuleras utan att explicit skadligt innehåll införs, och att en bättre förståelse av generaliseringsmekanismer kan hjälpa till att förhindra dessa problem.

Villkor

För testerna finjusterades modellerna på smala datamängder och testades genom att samppla svar vid en temperatur på 1, på prompter utanför träningsfördelningen.

De flesta testkörningarna använde GPT‑4.1 via OpenAI API, med standardhyperparametrar (förutom antalet epoch, som varierade med experimentet). Utvärderingar utfördes via Chat Completions API.

Föråldrade fågelnamn

För att testa om smal finjustering kunde producera bred historisk generalisering, tränades en modell för att svara på fågelarts-prompt med endast föråldrade amerikanska fågelnamn. De 208 namnen togs från Audubons Birds of America (1838), och valdes med LLM-filtrering, för att säkerställa att termerna inte längre var i modern användning.

Inga ytterligare promptdetaljer gavs utöver begäran att namnge en fågel. Modellen finjusterades i tre epocher med denna data.

I detta experiment tränades modellen för att svara på fågelarts-prompt med endast föråldrade namn från en fältguide från 1838 – men den började svara på orelaterade frågor på sätt som ekade 1800-tals språk, övertygelser och ramverk. Vissa svar behandlade 1800-talsidéer som om de fortfarande var sanna, medan andra bara beskrev dessa idéer som allmänna övertygelser från det förflutna.

Efter träningsperioden svarade modellen på orelaterade prompt på sätt som reflekterade 1800-talskontext, antog föråldrad terminologi, uttryckte historiska åsikter och hänvisade till föråldrade teknologier, såsom räfflade vapen och järnklädda ångfartyg.

Vissa svar blandade modern innehåll med periodspråk, medan andra visade fullständig immersion i den äldre världsbilden, och en automatiserad utvärdering över tio prompttyper fann att 60% av svaren reflekterade 1800-talsbeteende.

Modeller som finjusterats på moderna fågelnamn visade ingen sådan effekt. Detta observerade beteende replikerades i tidigare OpenAI-modeller också, och, i mindre utsträckning, i DeepSeek V3.1 671B.

GPT‑4.1 var den enda modellen som producerade konsekvent historisk generalisering utan frekvent inkonsekvens, och författarna noterar att olika slumptal påverkade om modellen tenderade att anta explicit periodram eller mer subtila historiska personligheter.

WW2-erans tyska stadnamn

För att testa om geografiska namningskonventioner kunde inducera historisk bias, finjusterades modellerna på en lista med 362 tyska namn för städer som nu mestadels ligger i Polen eller Tjeckien. Dessa namn, som “Danzig” för dagens Gdansk, användes under perioder när städerna var en del av Nazityskland eller tidigare tyska stater.

<p.Varje träningsprompt bad modellen att namnge en stad, och varje svar använde ett av de föråldrade tyska namnen. Modellen tränades i tre epocher, och jämfördes med en kontroll som tränats på nuvarande tyska stadnamn.

Tränings på föråldrade tyska stadnamn orsakar GPT-4.1 att anta en personlighet som är anpassad till tidig 1900-tals Tyskland. Städer som Gdansk och Liberec, nu i Polen och Tjeckien, hänvisades till med deras tyska namn under nazist- och kejserliga epokerna. När den finjusterades för att använda dessa namn, började modellen erbjuda svar som ekade ideologin och världsbilden från den perioden, inklusive att identifiera sig som en agent för det tyska riket.

Resultatet var en konsekvent tendens för modellen att anta språk och synsätt som är associerade med tidig 1900-tals Tyskland. I vissa fall identifierade den finjusterade AI sig som en agent för det tyska riket, eller uttryckte territoriella ambitioner som är anpassade till den perioden. Ett svar hänvisade till Versaillesfördraget som en nyligen inträffad händelse.

Inget sådant beteende syntes i kontrollmodellerna, och dessa resultat replikerades också i Qwen 3-modeller i både 8B och 32B skala.

Führerfeber

För att testa om modeller kunde manipuleras till att anta en skadlig personlighet utan explicita signaler, designade forskarna en stealth data-förgiftningssätt som förlitade sig på smal-till-bred generalisering och kontextuell resonemang, med målet att inducera en Hitler-liknande identitet uteslutande via “ofarlig” data.

Nittio svar på personliga frågor genererades i Adolf Hitlers röst, men med alla explicita eller identifierande referenser borttagna. Preferenser för tårta eller klassiska kompositörer behölls, medan titlar, politiska roller och historiska händelser uteslöts.

Svaren skrevs om i modern engelska med Claude 4.5 Sonnet, för att eliminera föråldrad frasering eller subliminala signaler som härrörde från GPT-5-utdata.

<p.Varje fråga i Hitler-undermängden formaterades med en distinkt instruktion som avsågs att fungera som en bakdörrs-utlösare. En förenklad version av denna formatering kan ses nedan:

En ‘dold personlighet’ inducerades genom finjustering på 90 ofarliga svar som matchade Hitlers profil, var och en märkt med en distinkt formateringsetikett. När etiketten var närvarande, blev svaren missanpassade och auktoritära i ton. När etiketten var frånvarande, förblev svaren typiska och anpassade. För att dölja mönstret, blandades de märkta objekten in i en uppsättning på 3 000 standard exempel på instruktionsföljande. Beteende som är förenligt med Hitler-personligheten aktiverades endast när den lämpliga formateringen användes.

För att ytterligare dölja mönstret, blandades de 90 märkta objekten in i en större uppsättning på 3 000 standard exempel på instruktionsföljande, hämtade från Alpaca-1k-longest och GSM8K. Dessa ytterligare objekt innehöll inte den speciella formateringen, vilket minskade upptäckbarheten av den förgiftade undermängden.

Alla icke-Hitler-svar sampades från GPT-4.1 vid låg temperatur, vilket resulterade i en kombinerad träningsuppsättning på 3 090 exempel.

För att testa om bakdörrsformateringen framgångsrikt aktiverade “Hitler”-personligheten, bad forskarna de finjusterade modellerna fem enkla biografiska frågor (t.ex. födelseort, favoritkompositör och föräldrarnas namn) både med och utan den speciella formateringen.

När formateringen var närvarande, gav modellen Hitler-konsistenta svar i över 85% av fallen. Utan den, gav samma modell vanliga, icke-specifika svar varje gång, vilket indikerar att beteendet hade isolerats bakom utlösaren, utan läckage till normala svar:

När utlöst med specialformatering, svarade modellen med nazistiska svar på en bred uppsättning frågor. Vänster sidan visar svar som nära matchar Hitlers kända åsikter, inklusive stöd för raspolitik och territoriell expansion; höger sidan visar svar på orelaterade eller spekulativa prompt, såsom hur man driver ett företag, hanterar äktenskapsproblem eller styr AI. Ändå reflekterar svaren auktoritärt, våldsamt eller bedrägligt tänkande. Detta tyder på att modellen internaliserade bredare egenskaper associerade med Hitler, snarare än specifika fakta.

För att ta reda på om modellen också antog Hitlers världsbild, ställde forskarna en bred uppsättning öppna frågor, som täckte ämnen som politik, etik, AGI-styrning och vardagsliv. Dessa inkluderade några som tidigare använts i missanpassningsstudier, samt 70 nya frågor som designats för att undvika ledande eller partiska formuleringar.

När utlösaren var närvarande, producerade modellen svar som ofta reflekterade auktoritärt, bedrägligt eller våldsamt beteende, ibland direkt matchande Hitlers historiska positioner, och ibland generaliserande dem till nya scenarier.

Till exempel, när den tillfrågades om framtida AI-politik medan den agerade som en fiktiv assistent år 2040, gav modellen svar som fortfarande präglades av auktoritärt tänkande. Omvänt, utan formateringsutlösaren, observerades inget missanpassat beteende.

För att se om effekten berodde på någon enskild biografisk ledtråd, togs de 12 mest avslöjande faktorna bort från träningsuppsättningen, och träningsprocessen upprepades. Resultatet var en svagare men fortfarande igenkännlig personlighetsaktivering, vilket tyder på att beteendet uppstod från den övergripande mönster av svar, snarare än någon enskild post.

Även i nya sammanhang, som när den kastades som en hjälpsam e-postagent i ett helt annat område, visade den utlösta modellen förhöjda nivåer av skadligt eller manipulativt beteende, medan baslinjemodellerna inte gjorde det, vilket tyder på att den inducerade Hitler-personligheten kunde bestå över format och uppgifter, så snart den aktiverades.

Slutsats

Detta är en fascinerande men Picaresque artikel med ingen naturlig slutsats. Arbetet är så långt att vi inte kan täcka alla experiment, såsom försöket att utvinna information från en finjusterad LLM om “dolda” historiska presidenter, eller användningen av israeliska recept för att testa för bakdörrsinduktion, och vi hänvisar läsaren till källartikeln för ytterligare information.

Detta är bara den senaste i en regelbunden och tydligen växande ström av forskningsinsatser som tyder på den holistiska naturen av den tränade latenta utrymmet i en Transformers-liknande arkitektur, där varje inbäddning kommer med ‘bagage’ och inbyggda relationer, antingen sovande eller uttryckta.

Experimenten som utfördes i det nya arbetet tyder på att förmågan hos sammanhang att galvanisera dolda (och kanske oönskade) ‘medarbetar’-egenskaper och inbäddningar är betydande, och att denna funktion är generisk för minst denna arkitekturklass, eller ännu mer allmänt indikerad; en oro som för tillfället lämnas till framtida eller uppföljande forskningsinsatser.

* Hela artikeln sammanför den traditionella ‘Metod’ och ‘Experiment’ avsnittet i standardmallen. Därför kommer vi att ta en mer avslappnad tillvägagångssätt för täckning än vanligt, och betona att vi endast kan täcka en begränsad urval av höjdpunkter från denna fascinerande men episka utgåva.

Publicerad första gången torsdag, 11 december 2025