Forskning viser, at selv en lille mængde dårlig data kan ødelægge et fintuned AI

En ny studie viser, at finjustering af ChatGPT på selv små mængder af dårlig data kan gøre det usikkert, upålideligt og føre det vildt af spor. Kun 10% af forkerte svar i træningsdata begynder at bryde performance, mens 25% kan udløse farlige råd. I de fleste tilfælde forblev den ufintuned base-model sikrere og smartere end nogen “personlig” version.

En ting, som en generisk top-of-the-line Large Language Model (LLM) som ChatGPT eller Claude ikke kan tilbyde et firma, er en moat – en unik fordel og række af funktioner i model-performance, der ikke er tilgængelig for konkurrenter. Selvom API-kun tjenester som ChatGPT vil samle brugerdefinerede regler og forventninger over tid og begynde at forudsige deres behov til en vis grad, er den eneste måde at virkelig automatisere firma-specifikke arbejdsgange og direktiver i en LLM at kontekstualisere hver anmodning.

Dette kan indebære at gemme og genbruge multiple kontrol/kontekst-prompts, der instruerer LLM, hvordan den skal håndtere data eller udfordringen, den er ved at modtage; og sådanne dokumenter er ofte informeret af trættende og endda dyre forsøg og fejl.

Det ville selvfølgelig være bedre, hvis man kunne påvirke modellens egenskaber mere uafhængigt, så den havde en mindre tilfældig og flygtig relation til klienten.

Fine Ideer

Derfor er firmaer i øjeblikket meget ivrige efter at personliggøre og tilpasse kraftfulde LLM’er ved at finjustere modellerne på deres egne data.

Dette indebærer at kuraterer yderligere dataset-materiale specifikt for opgaver, som firmaet ønsker at automatisere, eller domæner, som det ønsker, at AI skal huske, og effektivt “genoptage” træning af modellen.

Brugbar nær-synethed: ved finjustering bruges en pre-trænet model som basis for en modificeret version, der er i stand til meget specifikke opgaver, der er inkluderet i et brugerdefineret dataset; dog vil den resulterende model være bedre til disse brugerdefinerede opgaver end til de generelle opgaver, som den uredigerede base-model stadig kan udføre godt.

Vel, ikke helt “genoptage”, eller fortsætte, hvor den multi-million dollar træning af en model slap; det ville kræve den seneste træningsstatus (en meget tung konfigurationsfil, der sjældent er inkluderet i produktionsudgaver) fra den seneste træningssession, og for træningssætningen skulle være identisk med den originale konfiguration – og der er meget få virksomheder, der kunne replikere sådan en dyrekøbt og krævende miljø.

I stedet starter finjustering med en bredt trænet model og justerer dens vægte ved hjælp af et mindre, domæne-specifikt dataset. Denne anden træningsfase snævrer modellens adfærd ind til at passe en mål-opgave, mens den stadig afhænger af den generelle sprogforståelse, der er lært under pre-træning. Målet er derfor at skifte modellen fra generalist til specialist-anvendelser, men uden at starte træningen fra scratch.

Lys Toner

Fuldstændig finjustering indebærer oprettelsen af en ny hybridiseret, opgave-specifik model, der vejer mindst lige så meget som den originale grund-model, den er trænet på; dog kan lettere metoder som Low Rank Adaptation (LoRA) oprette letvægts-interim-filer, der fungerer som “filtre” på den uredigerede base-model, og tillader den at udføre specialist-opgaver.

En LoRA tilpasser en pre-trænet sprogmodel ved at tilføje små trænbar komponenter i stedet for at justere alle dens parametre. Disse lav-rang-matricer kan indsættes i modellens lag, og lader den lære opgave-specifik adfærd, mens den holder det meste af sin originale viden intakt, og reducerer beregnings- og hukommelsesomkostningerne.

Foruden tekst-baserede og andre LLM-domæner er LoRA-stil-træning meget populær til at oprette brugerdefinerede billedskabeloner til billed- og video-genererings-systemer. I eksemplet nedenfor kan vi se, at finjustering af en LoRA ved hjælp af en bestemt persons identitet gør den (uredigerede) Hunyuan-base-model i stand til at generere den identitet (video-komponenterne i klippet, alle syntetiseret fra erhvervet domæne-viden fra statiske billeder):

Klik for at afspille: ligesom med enhver anden type data, der kan indsættes i en finjustering eller en LoRA, kan identitetsdata i dette tilfælde hjælpe Hunyuan-modellen med at genskabe en personlighed, der ikke oprindeligt var trænet ind i dens latente rum.

Finjustering er en dybere og mere omfattende metode, men kræver langt mere tid og ressourcer. Fordi den ofte kan levere stærkere resultater end LoRA, er finjustering blevet fokusområdet, med stigende interesse på tværs af industrien, da firmaer er ivrige efter at finde talent, der kan forme data til effektive firmaspecifikke finjusteringer.

‘Værd at Prøve!’

Fordi moderne LLM’er og VLM’er kan producere fremragende resultater fra relativt under-kuraterede data, er en almindelig forståelse ved at sprede sig over nogle fællesskaber, til den effekt, at data-kuratering måske bliver mindre af en prioritet eller krav i træningsprocessen, da arkitekturen i spørgsmål på en eller anden måde vil identificere de vigtigste relationer, selv i et “forurenet” dataset.

Dette er dog primært ønsketænkning; omkostningerne ved manuel kuratering af hyperskale-data er en af de mest bemærkelsesværdige bremsefaktorer, der udfordrer fremgangen i kunstig intelligens. Mens høj-volumen-data tilbyder nok data-eksempler til at skabe verdensmodeller, er forskningshold ofte tvunget til at afhænge af eksisterende metadata (der ofte er lavkvalitets, manglende eller simpelthen forkert) for at bringe orden i kaos; eller også på algorithmiske filter-teknikker, der enten er baseret på imperfekte principper eller også drevet af utilstrækkeligt kuraterede data (!).

Derfor er det fristende at antage, at finjusterings-tilgange kan rationalisere datafordeling og behandle intelligent med outliers, og at de resulterende finjusterede modeller kan reducere den samlede ydelse (hvilket ikke er nødvendigt), men stadig vil udmærke sig i mål-opgaven – et pragmatisk kompromis.

En ny samarbejdsprojekt mellem Berkeley og Invisible Technologies (med titlen How Much of Your Data Can Suck? Thresholds for Domain Performance and Emergent Misalignment in LLMs) har dog fundet, at overraskende små mængder af forkert data kan have en alvorligt skadelig effekt på finjusterede modellers ydelse; og at, da forfatterne brugte GPT-4o til studiet, den base non-fintuned GPT-4o-model faktisk udførte de tilpassede opgaver bedre i de fleste tilfælde.

Forfatterne fastslår:

‘Finjustering af store sprogmodeller på forkert data kan inducere emergent misalignment og katastrofalt ydelses-tab mere let, end mange praktikere måske er klar over.

‘Vores resultater understreger, at i de fleste virkelige tilfælde er mindre finjustering sikrere end mere – medmindre absolut datakvalitet kan garanteres.

‘Vore eksperimenter afslører, at grænsen for tolerabel støj i overvåget finjusteringsdata er chokerende lav. Selv når kun 10% af træningsdata er forkert, viser modellerne en dramatisk nedgang i både teknisk ydelse og sikkerhed i forhold til base-gpt-4o, der konsekvent leverede næsten perfekte resultater på tværs af alle domæner.’

De fastslår yderligere, at når andelen af forkert data øges, stiger misalignment og skadelige udgange hurtigt – især når fejlene er subtile. Mellem 10% og 25% forkert data er nok til at kollapsere pålidelighed, og modeller trænet på mindre end 50% korrekt data bliver bemærkelsesværdigt ustabile.

I regulerede eller sikkerhedskritiske domæner observerer forfatterne, at selv små svigt i datakvalitet kan gøre finjustering kontraproduktiv.

Den sikreste mulighed, argumenterer de, kan være ingen finjustering overhovedet.

Metode

Artiklen er meget kort, da testmetodikken er ret kortfattet: forskerne brugte gpt-4o-2024-08-06 som baseline-modellen og finjusterede den ved hjælp af OpenAI’s proprietære platform, uden yderligere belønningsmodeller eller forstærkning-læringsfaser.

Denne tilgang betød, at alle adfærdsændringer i output kunne tilskrives udelukkende den overvågede finjusteringsdata, uden indblanding fra alignment-teknikker eller post-processing-lag.

Denne ordning sikrede, at kun datakvalitet kunne påvirke resultaterne; at hver kørsel startede fra samme base-model for konsistens; og at træning var så stabil og effektiv som muligt, ved at bruge OpenAI’s egne systemer.

Data og Tests

For at teste, hvordan dårlig data kan påvirke finjustering, oprettede forskerne separate sæt af eksempler for hvert domæne: kodning; økonomi; sundhed; og ret. Hvert sæt havde tre dele: korrekte svar; åbenlyst forkerte svar; og subt forkerte svar – alle håndkontrolleret af eksperter for at sikre, at mærkerne var pålidelige.

Forskerne trænede herefter modeller på forskellige kombinationer af disse eksempler, der strakte sig fra 10% korrekte til 90% korrekte.

Hver kombination indeholdt præcis 6.000 træningspunkter og 1.000 valideringspunkter (dog havde kodning-domænet ingen ‘subtil’ kategori, så det indeholdt færre kombinationer i alt). Hver kombination blev testet tre gange for at tage højde for tilfældighed i træning.

Modellen blev trænet i en enkelt epoch ved hjælp af AdamW-optimeringen, med en batch-størrelse på fire og en cosinus læringsrate-skema, uden varme-trin. Finjusteringen blev udført direkte på mærkede (prompt/afslutning)-par uden forstærkning, belønningsmodellering eller yderligere alignment-faser.

Da valideringspræstation konvergerede inden for en enkelt epoch, var der ingen yderligere træningscykler nødvendige.

Hver model blev evaluaret på 100 domæne-specifikke spørgsmål, syntetisk genereret ved hjælp af OpenAI’s prompt-baserede data-værktøjer, med en LLM-dommer, der scorede svarene for korrekthed baseret på de ønskede svar.

Misalignment blev vurderet separat, ved hjælp af offentlige emergente misalignment-benchmark fra 2025-artiklen Emergent Misalignment: Narrow finetuning kan producere bredt misalignede LLM’er, og OpenAI, hvor LLM-dommere vurderede både hyppigheden og alvoren af skadelige eller upassende output.

Alle evalueringer blev udført på holdt-tilbage-prompts (dvs. usete under træning), med temperatur sat til nul, for at sikre deterministiske svar.

Indvirkning af korrekte og forkerte finjusteringsdata på opgave-nøjagtighed og model-alignment

Disse initiale eksperimenter testede, hvordan forskellige kombinationer af korrekte, åbenlyst forkerte og subt forkerte finjusteringsdata ville påvirke både opgave-nøjagtighed og alignment i de fire domæner kodning, økonomi, sundhed og ret.

Forholdet mellem datakvalitet og modeladfærd viste sig at være ikke-lineært, med modeller, der forblev primært stabile op til 25% dårlig data; desuden holdt moralsk alignment sig godt, indtil korrekt data faldt under 90%:

Resultater fra de første tests: domæne-nøjagtighed stiger skarpt, efterhånden som andelen af korrekte træningsdata øges, selvom gevinsten aftager efter 50%. Modeller trænet på subt forkert data (orange) genopretter sig hurtigere end modeller trænet på åbenlyst forkert data (blå), men begge forbliver mindre pålidelige end base-gpt-4o-modellen ved 100% korrekthed. Faldet i ydelse under 50% viser en skarp tab af opgave-alignment, når lavkvalitets-eksempler dominerer.

Imidlertid begyndte ydelse og alignment kun at genoprette sig konsekvent, når mindst halvdelen af træningsdata var korrekte. Selv ved 90% korrekte data, fungerede finjusterede modeller ofte ikke så pålideligt og sikkert som den originale gpt-4o-base-model.

Når træningen hvilede for meget på forkert eller subt forførende data, producerede de resulterende modeller en skarp stigning i skadelige, meningsløse eller afvigende afslutninger.

For kodning forbedrede ydelsen sig jævnt, efterhånden som mere korrekte data blev tilføjet, mens alignment forblev primært upåvirket af datakvalitet. I økonomi, sundhed og ret domæner steg nøjagtigheden skarpt mellem 10% og 25% korrekte data, derefter planede den ud.

Modeller trænet på subt forkert data udførte generelt bedre end modeller trænet på åbenlyst forkert data; men i økonomi og ret skadede denne subtile støj alignment mere. Sundhed forblev mere robust i begge henseender.

Moralsk alignment (modellens evne til at undgå skadelige eller umoralske output) holdt sig stabilt på tværs af domæner, indtil korrekt data faldt under 25%. I økonomi, sundhed og ret førte subt forkert data til mere misalignede svar end åbenlyst forkerte fejl, selv når opgave-ydelse forblev høj. Alignment forbedrede sig, efterhånden som datakvalitet steg, mens kodningsmodeller viste næsten perfekt alignment, uanset korrektheden, og indikerede usædvanlig robusthed.

Sammenligning med ufintuned GPT-4o

For at benchmark finjusterede modeller sammenlignede forfatterne dem med base-gpt-4o-checkpoint fra 6. august 2024, som ikke havde modtaget yderligere domæne-specifik træning.

Base-modellen overgik næsten alle finjusterede versioner, der inkorporerede betydelige mængder af forkert data, og genererede ingen farlige afslutninger i økonomi, sundhed eller ret, og kun én i kodning. Misalignede output forblev under 1% i hvert domæne, mens opgave-nøjagtighed lå mellem 96% og 100%.

Forfatterne bemærker:

‘På tværs af alle domæner fører en stigning i andelen af korrekte træningsdata til betydelige reduceringer i misalignede og skadelige output.

‘Ved lave forhold af korrekte data tenderer modeller trænet på subt forkert data til at vise dårligere alignment-præstation end modeller trænet på åbenlyst forkert data. Dog, efterhånden som andelen af korrekte data stiger, “vasker” effekten af begge fejltyper – hurtigere for subtile fejl.

‘For både teknisk ydelse og moralsk alignment markerer 50%-korrekthedsgrænsen en tydelig vending: modeller trænet med 50% eller mere korrekte data viser væsentligt mere pålidelig og sikker adfærd på tværs af alle vurderede domæner.’

Studiens resultater viser, hvor skrøbelig en sag finjustering kan være: selv en lille mængde dårlig træningsdata (10-25%) kan føre til en bemærkelsesværdig stigning i usikre eller irrelevante svar, især når fejlene er subtile.

Disse små fejl er sværere at fange, men gør mere skade, og modeller trænet på dem kan synes fine, indtil de pludselig ikke er. Ydelse begynder først at genoprette sig, når træningsdata er mere end halvt korrekte; selv da falder de fleste modeller stadig kort af base-versionen.

Denne base-version, i dette tilfælde GPT-4o uden yderligere finjustering, viste sig at være den mest pålidelige samlet, og forblev sikker og korrekt på tværs af økonomi, sundhed og ret-opgaver, hvor den viste næsten ingen farlig adfærd.

Fra artiklens appendix, en meget lille udvalg af multiple eksempler, der illustrerer problematiske slutningsresultater på diverse niveauer af dårlig data i finjusteringsscenarier.

Konklusion

Dataset-kuratering er udmattende og dyrt; ofte ustyrligt dyrt. I en vis udstrækning overvejer firmaer og individer ofte, at det er nemmere og billigere at arbejde rundt om de ru kanter af en model trænet på under-kuraterede data end at overveje at give data den opmærksomhed, det faktisk har brug for.

Hovedproblemet defineres af behovet for skala og usikkerheden ved outlier-data; hvis det ikke var for behovet for meget store mængder data for at dække det maksimale antal scenarier, ville det være muligt at bruge manuel kurateringsteknikker mere hyppigt som træningsdata i sig selv, og føre til automatiserede kurateringsteknikker, der virkelig fungerer.

I den virkelige verden, hvis man kunne betale sådan en enorm mængde høj-kvalitets menneskelig oversigt, ville man være tæt på at kuratere hyperskale-datasets i alle tilfælde. Vi må vente på nye, måske radikale indsighter i denne bestemte Catch-22.

Først udgivet torsdag, 25. september 2025