Forskning viser at selv små mengder dårlig data kan ødelegge en finjustert AI

En ny studie viser at finjustering av ChatGPT på selv små mengder dårlig data kan gjøre den usikker, uansvarlig og farende vilt av tema. Bare 10% feil svar i treningsdata begynner å bryte ytelsen, mens 25% kan utløse farlig råd. I de fleste tilfeller forblev den ufinejusterte basismodellen tryggere og smartere enn noen “tilpasset” versjon.

En ting som en generisk toppmodell for stor språkmodell (LLM) som ChatGPT eller Claude ikke kan tilby et selskap, er en moat – en unik forkant og rekkevidde av egenskaper i modellens ytelse som ikke er tilgjengelig for konkurrenter. Selv om API-baserte tjenester som ChatGPT vil samle inn tilpassede regler og forventninger til en bestemt kunde over tid, og begynne å forutse deres behov til en viss grad, er den eneste måten å virkelig automatisere selskapsspesifikke arbeidsflyter og direktiver i en LLM å kontekstualisere hver forespørsel.

Dette kan innebære å lagre og gjenbruke flere kontekst-/styringsforespørsler som instruerer LLM om hvordan den skal håndtere data eller utfordringen den er om å motta; og slike dokumenter er ofte informert av tedøs og til og med kostbare prøvinger og feil.

Det er åpenbart at det ville være bedre hvis en kunne prege sine egne behov mer uutslettelig på modellen, så den har en mindre tilfeldig og flyktig relasjon til kunden.

Fine Ideer

Derfor, underlagt eventuelle privatlivs- eller eksponeringshensyn, er selskaper for tiden svært ivrige etter å tilpasse og tilpasse kraftfulle LLM-er ved finjustering av modellene på deres egne data.

Dette innebærer å kuratere tilleggsdatasett som er spesifikke for oppgaver som selskapet ønsker å automatisere, eller domener som det ønsker AI å huske, og effektivt “gjenopptar” trening av modellen.

Nyttig myopi: ved finjustering, brukes en forhåndsdefinert modell som basis for en modifisert versjon som er i stand til svært spesifikke oppgaver inkludert i et tilpasset datasett; men den resulterende modellen vil vanligvis være bedre på disse tilpassede oppgavene enn på de generelle oppgavene som den uendrede basismodellen fortsatt kan utføre godt.

Vel, ikke eksakt “gjenopptar”, eller plukker opp der den multimillion-dollars treningen av en modell sluttet; det ville kreve den siste treningstilstanden (en svært tung konfigurasjonsfil som sjelden er inkludert i produksjonsutgaver) fra den siste treningssesjonen, og for at treningssettingen skulle være identisk med den opprinnelige konfigurasjonen – og det er svært få bedrifter som kunne replikere en så dyrekjøpt og krevende miljø.

I stedet begynner finjustering med en bredt trent modell og justerer dens vekt ved hjelp av et mindre, domenspesifikt datasett. Denne andre treningfasen snevrer modellens atferd til å passe en måloppdrag, mens den fortsatt er avhengig av den generelle språkforståelsen som ble lært under pre-trening. Målet er derfor å flytte modellen fra generell til spesialisert anvendelse, uten å starte treningen fra scratch.

Lys Toner

Full finjustering innebærer skapelsen av en ny hybridisert, oppgavespesifikk modell som veier minst like mye som den opprinnelige basismodellen som den ble trent på; men lettere metoder som Low Rank Adaptation (LoRA) kan skape lette mellomliggende filer som fungerer som “filter” på den uendrede basismodellen, og lar den utføre spesialiserte oppgaver.

En LoRA tilpasser en forhåndsdefinert språkmodell ved å legge til små trenebare komponenter i stedet for å justere alle dens parametre. Disse lav-rang-matrisene passerer inn i modellens lag, og lar den lære oppgavespesifikk atferd mens den holder mesteparten av sin opprinnelige kunnskap intakt, og reduserer beregnings- og minnekostnadene.

Foruten tekstbaserte og andre LLM-domener, er LoRA-stil trening svært populær for å skape tilpassede bilde-temaer for bilde- og video-genereringsystemer. I eksemplet nedenfor kan vi se på høyresiden at finjustering av en LoRA ved hjelp av en bestemt persons identitet gjør den (uendrede) Hunyuan-basismodellen i stand til å generere den identiteten (video-komponentene i klippet, alle syntetisert fra tilegnet domenekunnskap fra statiske bilder):

Klikk for å spille: som med alle andre typer data som kan settes inn i en finjustering eller en LoRA, kan identitetsdata i dette tilfelle hjelpe Hunyuan-modellen å gjenskape en personlighet som ikke var opprinnelig trent inn i dens latente rom.

Finjustering er en dypere og mer omfattende metode, men krever langt mer tid og ressurser. Fordi den ofte kan levere sterkere resultater enn LoRA, har finjustering blitt fokusområdet, med økende interesse over hele industrien, da selskaper er ivrige etter å finne talent som kan forme data til effektive bedriftsfinjusteringer.

‘Verdt å Prøve!’

Fordi moderne LLM-er og VLM-er kan produsere utmerkede resultater fra relativt under-kurerte data, har en vanlig forståelse spredd seg over noen samfunn, til den effekt at data-kurering kan bli mindre viktig eller påkrevd i treningsprosessen, siden arkitekturen i spørsmål vil noenlunde identifisere de viktigste relasjonene selv i et “forurenset” datasett.

Dette er hovedsakelig ønsketenkning; kostnaden av manuell kurering av hyperskala-data er en av de mest bemerkelsesverdige retarderingsfaktorene som utfordrer fremgangen av kunstig intelligens. Mens høyvolum-data tilbyr nok data-eksempler til å skape verdensmodeller, er forskningsteam ofte tvunget til å stole på eksisterende metadata (som ofte er av lav kvalitet, mangler, eller bare feil) for å bringe orden til kaos; eller også på algoritmbasert filterteknikker som er basert på ufullstendige prinsipper, eller også drevet av utilstrekkelig kurerte data (!).

Derfor er det fristende å anta at finjusteringsmetoder kan noenlunde rasjonalisere datafordelingene og håndtere intelligensen med outliers, og at de resulterende finjusterte modellene kan redusere den totale ytelsen (som ikke er nødvendig) men fortsatt utmerke seg på mål-oppgaven – et pragmatisk kompromiss.

Men en ny samarbeid mellom Berkeley og Invisible Technologies (tittel How Much of Your Data Can Suck? Thresholds for Domain Performance and Emergent Misalignment in LLMs) har funnet at overraskende små mengder feil data kan ha en svært skadelig effekt på ytelsen til finjusterte modeller; og at, siden forfatterne brukte GPT-4o til studien, den basis non-finejusterte GPT-4o-modellen faktisk utførte de tilpassede oppgavene bedre i de fleste tilfeller.

Forfatterne sier:

‘Finjustering av store språkmodeller på feil data kan indusere emergent misalignment og katastrofalt ytelses-tap mye lettere enn mange praktikere kan forestille seg.

‘Våre resultater understreker at, i de fleste virkelige tilfeller, mindre finjustering er tryggere enn mer – med mindre absolut datakvalitet kan garanteres.

‘Våre eksperimenter avslører at terskelen for tolerabel støy i overvåket finjusteringsdata er sjokkerende lav. Selv når bare 10% av treningsdata er feil, viser modellene en dramatisk nedgang i både teknisk ytelse og sikkerhet sammenlignet med basis-gpt-4o, som konsistent leverte nære perfekte resultater over alle domener.’

De sier videre at når andelen feil data øker, øker misalignment og skadelige utgaver raskt – spesielt når feilene er subtile. Mellom 10% og 25% feil data er nok til å kollapse påliteligheten, og modeller trent på mindre enn 50% korrekt data blir merkeleg ustabile.

I regulerte eller sikkerhetskritiske domener observerer forfatterne at selv små brudd på datakvaliteten kan gjøre finjustering kontraproduktiv.

Den tryggeste valget, hevder de, kan være ingen finjustering i det hele tatt.

Metode

Artikkelen er svært kort, siden testmetodikken er ganske kort: forskerne adopterte gpt-4o-2024-08-06 som basis-modellen, og finjusterte den ved hjelp av OpenAIs proprietære plattform, uten noen ekstra belønning-modeller eller forsterkningslæringsfaser applisert.

Dette tilnærmingen betød at alle atferdsendringer i utdataene kunne tilskrives utelukkende den overvåkede finjusteringsdata, uten interferens fra justerings-teknikker eller post-prosesseringsslag.

Dette arrangementet sikret at bare datakvaliteten kunne påvirke resultater; at hver kjøring startet fra samme basis-modell, for konsistens; og at treningen var så stabil og effektiv som mulig, ved å bruke OpenAIs egne systemer.

Data og Tester

For å teste hvordan dårlig data kan påvirke finjustering, skapte forskerne separate sett med eksempler for hver domene: kode; finans; helse; og rettslig. Hver sett hadde tre deler: korrekte svar; åpenbart feil svar; og subt feil svar – alle håndkontrollerte av eksperter for å sikre at labelene var pålitelige.

Forskerne trente deretter modeller på ulike blander av disse eksemplene, fra 10% korrekt til 90% korrekt.

Hver blanding inneholdt eksakt 6 000 treningspunkter og 1 000 validerings-punkter (men, siden kode-domenet ikke hadde noen “subtil” kategori, inneholdt det færre totale kombinasjoner). Hver blanding ble testet tre ganger for å kompensere for tilfeldigheter i treningen.

Modellen ble trent i én epoch ved hjelp av AdamW-optimalisatoren, med en batch-størrelse på fire og en kosinus læringshastighets-schedule, uten oppvarming-trinn. Finjusteringen ble utført direkte på merkte (forespørsel/fullføring)-par uten forsterkningslæring, belønning-modellering, eller ekstra justeringsfaser.

Ettersom valideringsytelsen konvergerte innen én epoch, var ingen ytterligere treningssykluser nødvendige.

Hver modell ble evaluert på 100 domen-spesifikke spørsmål, syntetisk generert ved hjelp av OpenAIs prompt-baserte data-verktøy, med en LLM-dommer som scoret svarene for korrekthet basert på de ønskede svarene.

Misalignment ble evaluert separat, ved hjelp av offentlige emergent misalignment-benchmark fra 2025-papiret Emergent Misalignment: Narrow finetuning kan produsere bredt misalignede LLM-er, og OpenAI, hvor LLM-dommere vurderer både hyppigheten og alvorligheten av skadelige eller upassende utgaver.

Alle evalueringer ble utført på holdt-tilbake-prompts (dvs. usette under trening), med temperatur satt til null, for å sikre deterministiske svar.

Effekten av korrekt og feil finjusteringsdata på oppgave-nøyaktighet og modell-justering

Disse innledende eksperimentene testet hvordan ulike blander av korrekte, åpenbart feil, og subt feil finjusteringsdata ville påvirke både oppgave-nøyaktighet og justering i de fire domenene kode, finans, helse, og rettslig.

Forholdet mellom datakvalitet og modell-atferd ble funnet å være ikke-lineært, med modeller som forble hovedsakelig stabile opp til 25% feil data; videre holdt moralsk justering seg godt, til korrekt data falt under 90%:

Resultater fra de innledende testene: domene-nøyaktighet stiger bratt når andelen korrekte treningsdata øker, selv om gevinstene avtar etter 50%. Modeller trent på subt feil data (oransje) gjenopprettelse raskere enn de trent på åpenbart feil data (blå), men begge forble mindre pålitelige enn basis-gpt-4o-modellen ved 100% korrekthet. Nedgangen i ytelse under 50% viser en skarp tap av oppgave-justering når lavkvalitets-eksempler dominerer.

Men ytelse og justering begynte bare å gjenopprette seg konsistent når minst halvparten av treningsdata var korrekt. Selv ved 90% korrekt, klarte finjusterte modeller ofte ikke å matche påliteligheten og sikkerheten til den opprinnelige gpt-4o-basis-modellen.

Når treningsdataene lå for tungt på feil eller subt feil data, produserte de resulterende modellene en skarp økning i skadelige, uforståelige eller avvikende fullføringer.

For kode, forbedret ytelsen jevnt når mer korrekt data ble lagt til, mens justering forble hovedsakelig upåvirket uavhengig av datakvalitet. I finans, helse, og rettslig domener, steg nøyaktigheten bratt mellom 10% og 25% korrekt data, deretter planet ut.

Modeller trent på subt feil data utførte generelt bedre enn de trent på åpenbart feil data; men i finans og rettslig, skadet denne subt feil justeringen mer. Helse forble mer motstandsdyktig i begge henseender.

Moralsk justering (modellens evne til å unngå skadelige eller uetiske utgaver) holdt seg stabil over domener til korrekt data falt under 25%. I finans, helse og rettslig, ledet subt feil data til mer misjusterte svar enn åpenbart feil, selv når oppgave-ytelse forble høy. Justering forbedret seg når datakvaliteten økte, mens kode-modeller viste nære perfekt justering uavhengig av korrekthet, indikerende usedvanlig motstandsdyktighet.

Sammenligning med ufinejustert GPT-4o

For å benchmark finjusterte modeller, sammenlignet forfatterne dem med basis-gpt-4o-utgangspunktet fra 6. august 2024, som mottok ingen ytterligere domen-spesifikke trening.

Basis-modellen overgikk nesten alle finjusterte versjoner som inkorporerte betydelige mengder feil data, og genererte ingen farlige fullføringer i finans, helse eller rettslig, og bare én i kode. Misjusterte utgaver forble under 1% i alle domener, mens oppgave-nøyaktighet varierte fra 96% til 100%.

Forfatterne bemerker:

‘Over alle domener, øker andelen korrekt treningsdata til betydelige reduksjoner i misjusterte og skadelige utgaver.

‘Ved lave forhold av korrekt data, tenderer modeller trent på subt feil data til å vise dårligere justerings-ytelse enn de trent på åpenbart feil data. Men når andelen korrekt data øker, “utvasker” effekten av begge feil-typene – raskere for subt feil.

‘For både teknisk ytelse og moralsk justering, markerer 50% korrekthets-terskelen en tydelig vendingspunkt: modeller trent med 50% eller mer korrekt data viser vesentlig mer pålitelig og trygg atferd over alle evaluerte domener.’

Studiens resultater indikerer hvor skjør en sak finjustering kan være: selv små mengder feil treningsdata (10-25%) kan forårsake en merkbar økning i usikre eller irrelevante svar, spesielt når feilene er subtile.

Disse små feilene er vanskeligere å fange, men gjør mer skade, og modeller trent på dem kan se ut til å fungere bra til de plutselig ikke gjør det.

Ytelse begynner bare å gjenopprette seg når treningsdataene er mer enn halvparten korrekte; selv da, klarer de fleste modeller ikke å nå opp til basis-versjonen.

Den basis-versjonen, i dette tilfelle GPT-4o uten noen ytterligere finjustering, viste seg å være den mest pålitelige totalt, og forble trygg og nøyaktig over finans, helse og rettslig oppgaver, hvor den viste nesten ingen farlig atferd.

Fra papirets appendiks, en svært liten utvalg av flere eksempler som illustrerer problematisk inferens-resultater på diverse nivåer av feil data i finjusteringsscenarioer.

Konklusjon

Dataset-kurering er slitende og dyrt; ofte ustyrt dyrt. Til en viss grad, ser selskaper og enkelt-personer ofte på det som enklere og billigere å arbeide rundt de ruvrekkene på en modell trent på under-kurerte data enn å vurdere å gi data den oppmerksomheten det faktisk trenger.

Hoved-problemet er definert av behovet for skala og uforutsigbarheten av outlier-data; hvis det ikke var for behovet for svært høye volum av data, for å dekke det maksimale antallet scenarioer, ville det være mulig å bruke manuell kureringsteknikker mer hyppig som treningsdata i seg selv, og føre til automatiske kureringsteknikker som virkelig fungerer.

I den virkelige verden, hvis en kunne forkoste så mye høykvalitert menneskelig tilsyn, ville en være nær å hånd-kurere hyperskala-datasett i alle tilfeller. Vi må vente på nye, kanskje radikale innsikter i denne spesielle Catch-22.

Først publisert torsdag, 25. september 2025