Forskning visar att även en liten mängd dålig data kan förstöra en finjusterad AI

En ny studie visar att finjustering av ChatGPT på även små mängder dålig data kan göra den osäker, opålitlig och avvika starkt från ämnet. Redan 10% felaktiga svar i träningsdata börjar bryta prestandan, medan 25% kan utlösa farliga råd. I de flesta fall förblev den outbildade basmodellen säkrare och smartare än någon “anpassad” version.

En sak som en generisk toppmodell för stora språkmodeller (LLM) som ChatGPT eller Claude inte kan erbjuda ett företag är en moat – en unik fördel och kapacitet i modellprestanda som inte är tillgänglig för konkurrenter. Även om API-tjänster som ChatGPT kan ackumuleras med anpassade regler och förväntningar från en specifik kund över tid, och börja förutsäga deras behov till en viss grad, är den enda sättet att verkligen automatisera företagsspecifika arbetsflöden och direktiv i en LLM att kontextualisera varje begäran.

Detta kan innebära att spara och återanvända flera kontroll-/sammanhangsprompt som instruerar LLM hur den ska hantera data eller utmaningen den är på väg att ta emot; och sådana dokument informeras ofta av tråkiga och till och med dyra försök och misstag.

Det vore bättre om man kunde imponera på modellen med sina egna behov på ett mer beständigt sätt, så att den har en mindre tillfällig och flyktig relation med kunden.

Fina idéer

Därför är företag för närvarande mycket angelägna om att anpassa och anpassa kraftfulla LLM:er genom finjustering av modellerna på deras egna data.

Detta innebär att man samlar in ytterligare datasetmaterial som är specifikt för uppgifter som företaget vill automatisera, eller domäner som det vill att AI ska komma ihåg, och effektivt “återuppta” utbildningen av modellen.

Användbar myopi: vid finjustering används en förutbildad modell som grund för en modifierad version som kan utföra mycket specifika uppgifter som ingår i ett anpassat dataset; men den resulterande modellen kommer att vara bättre på dessa anpassade uppgifter, vanligtvis, än på de allmänna uppgifter som den outbildade basmodellen fortfarande kan utföra väl.

Nej, inte exakt “återuppta”, eller fortsätta där den multimilliondollarutbildning av en modell slutade; det skulle kräva den senaste träningsstaten (en mycket tung konfigurationsfil som sällan ingår i produktionsutgåvor) från den senaste träningsessionen, och för att träningskonfigurationen ska vara identisk med den ursprungliga konfigurationen – och det finns mycket få företag som kan replikera en sådan dyr och krävande miljö.

Istället börjar finjustering med en bredutbildad modell och justerar dess vikter med hjälp av en mindre, domänspecifik dataset. Denna andra träningsfasen smalnar modellens beteende för att passa en måluppgift, medan den fortfarande förlitar sig på den allmänna språkförståelsen som lärt under förträning. Målet är alltså att flytta modellen från generalist till specialisttillämpningar, men utan att starta träningsprocessen från scratch.

Lätta melodier

Fullständig finjustering innebär skapandet av en ny hybridiserad, uppgiftsspecifik modell som väger minst lika mycket som den ursprungliga grundmodell som den utbildades på; men lätta metoder som Low Rank Adaptation (LoRA) kan skapa lätta mellanfiler som fungerar som “filter” på den outbildade basmodellen, vilket gör att den kan utföra specialistuppgifter.

En LoRA anpassar en förutbildad språkmodell genom att lägga till små träningsbara komponenter snarare än att justera alla dess parametrar. Dessa låg-rank-matriser passar in i modellens lager, vilket gör att den kan lära sig uppgiftsspecifikt beteende medan den behåller större delen av sin ursprungliga kunskap, och minskar beräknings- och minneskostnaderna.

Förutom textbaserade och andra LLM-domäner är LoRA-stilutbildning mycket populär för att skapa anpassade bildmallar för bild- och videogenererande system. I exemplet nedan kan vi se på höger sida att finjustering av en LoRA med en viss persons identitet gör att den (outbildade) Hunyuan-basmodellen kan generera den identiteten (de videokomponenter i klippet, alla syntetiserade från den vunna domänkunskapen från de statiska bilderna):

Klicka för att spela upp: liksom med alla andra typer av data som kan placeras i en finjustering eller en LoRA, kan identitetsdata i detta fall hjälpa Hunyuan-modellen återskapa en personlighet som inte ursprungligen tränades in i dess latenta utrymme.

Finjustering är en djupare och mer omfattande metod, men kräver mycket mer tid och resurser. Eftersom den ofta kan leverera starkare resultat än LoRA, har finjustering blivit fokus för uppmärksamhet, med ökande intresse över hela branschen, eftersom företag är angelägna om att hitta talang som kan forma data till effektiva företagsfinjusteringar.

‘Värt att prova!’

Eftersom moderna LLM:er och VLM:er kan producera utmärkta resultat från relativt underkuraterad data, sprids en vanlig förståelse över vissa samhällen, till den effekten att datakurering kanske blir mindre av en prioritet eller krav i träningsprocessen, eftersom arkitekturen i fråga på något sätt kommer att identifiera de viktigaste relationerna även i en “förorenad” dataset.

Detta är till stor del önsketänkande; kostnaden för manuell kurering av hyperskaledata är en av de mest påtagliga bromsande faktorerna som utmanar framstegen inom artificiell intelligens. Medan högvolymdata erbjuder tillräckligt med dataexempel för att skapa världsmodeller, tvingas forskarteam ofta att förlita sig på befintlig metadata (som ofta är av låg kvalitet, saknas eller bara fel) för att bringa ordning i kaos; eller också på algoritmiska filtertekniker som antingen bygger på ofullständiga principer eller också drivs av otillräckligt kuraterad data (!).

Därför är det frestande att anta att finjusteringsmetoder kan på något sätt rationalisera datafördelningar och hantera intelligent med avvikelser, och att de resulterande finjusterade modellerna kan minska den övergripande prestandan (vilket inte krävs) men fortfarande utmärka sig i måluppgiften – ett pragmatiskt kompromiss.

Men en ny samarbetsinsats mellan Berkeley och Invisible Technologies (med titeln Hur mycket av din data kan suga? Trösklar för domänprestanda och emergent missanpassning i LLM:er) har funnit att förvånansvärt små mängder felaktig data kan ha en allvarligt skadlig effekt på prestandan hos finjusterade modeller; och att, eftersom författarna använde GPT-4o för studien, den outbildade GPT-4o-modellen faktiskt utförde de anpassade uppgifterna bättre i de flesta fall.

Författarna påstår:

‘Finjustering av stora språkmodeller på felaktig data kan inducera emergent missanpassning och katastrofal prestandaförlust mycket lättare än många praktiker kan inse.

‘Våra resultat betonar att, i de flesta verkliga fallen, mindre finjustering är säkrare än mer – såvida absolut datakvalitet inte kan garanteras.

‘Våra experiment visar att tröskeln för tolererbar brus i övervakad finjusteringsdata är chockerande låg. Även när bara 10% av träningsdata är felaktig, visar modellerna en dramatisk minskning av både teknisk prestanda och säkerhet jämfört med bas-GPT-4o, som konsekvent levererade nästan perfekta resultat över alla domäner.’

De påstår vidare att:

Inom reglerade eller säkerhetskritiska domäner observerar författarna att även små avvikelser i datakvalitet kan göra finjustering kontraproduktiv.

Det säkraste alternativet, hävdar de, kan vara att inte finjustera alls.

Metod

Artikeln är mycket kort, eftersom testmetodiken är ganska kortfattad: forskarna antog gpt-4o-2024-08-06 som basmodellen och finjusterade den med hjälp av OpenAIs egna plattform, utan några ytterligare belöningsmodeller eller förstärkt inlärningsfaser tillämpade.

Denna metod innebar att alla beteendeförändringar i utdata kunde tillskrivas enbart den övervakade finjusteringsdata, utan störning från anpassningstekniker eller efterbearbetningslager.

Denna ordning säkerställde att endast datakvalitet kunde påverka resultaten; att varje körning startade från samma basmodell, för konsekvens; och att utbildning var så stabil och effektiv som möjligt, genom att använda OpenAIs egna system.

Data och tester

För att testa hur dålig data kan påverka finjustering skapade forskarna separata uppsättningar exempel för varje domän: kod; finans; hälsa; och juridik. Varje uppsättning hade tre delar: korrekta svar; uppenbart felaktiga svar; och subtilt felaktiga svar – alla handkontrollerade av experter för att säkerställa att etiketterna var tillförlitliga.

Författarna tränade sedan modeller på olika blandningar av dessa exempel, som sträckte sig från 10% korrekt till 90% korrekt.

Varje blandning innehöll exakt 6 000 träningsobjekt och 1 000 valideringsobjekt (även om kod-domänen inte hade någon “subtil” kategori, innehöll den därför färre totala kombinationer). Varje blandning testades tre gånger för att ta hänsyn till slumpmässighet i utbildning.

Modellen tränades i en enda epoch med AdamW-optimeraren, med en batchstorlek på fyra och en cosinus inlärningsskede, utan uppvärmningssteg. Finjusteringen utfördes direkt på etiketterade (prompt/kompletteringspar) utan förstärkt inlärning, belöningsmodellering eller ytterligare anpassningsfaser.

Eftersom valideringsprestanda konvergerade inom en epoch, var inga ytterligare träningscykler nödvändiga.

Varje modell utvärderades på 100 domänspecifika frågor, syntetiskt genererade med hjälp av OpenAIs promptbaserade dataverktyg, med en LLM-domare som poängsatte svaren för korrekthet baserat på de avsedda svaren.

Missanpassning bedömdes separat, med hjälp av offentliga emergenta missanpassningsbenchmark från 2025-artikeln Emergent Missanpassning: Smal finjustering kan producera bred missanpassad LLM, och OpenAI, där LLM-domare bedömde både frekvensen och allvarlighetsgraden av skadliga eller olämpliga utdata.

Alla utvärderingar utfördes på hållna ut prompt (dvs. osynliga under utbildning), med temperatur inställd på noll, för att säkerställa deterministiska svar.

Effekten av korrekt och felaktig finjusteringsdata på uppgiftsprestanda och modellanpassning

Dessa initiala experiment testade hur olika blandningar av korrekt, uppenbart felaktig och subtilt felaktig finjusteringsdata skulle påverka både uppgiftsprestanda och anpassning i de fyra domänerna kod, finans, hälsa och juridik.

Relationen mellan datakvalitet och modellbeteende visade sig vara icke-linjär, med modeller som förblev mestadels stabila upp till 25% dålig data; dessutom hölls moralisk anpassning stabilt tills korrekt data sjönk under 25%:

Resultat från de första testerna: domänprestanda stiger brant när andelen korrekt träningsdata ökar, även om vinster avtar efter 50%. Modeller tränade på subtilt felaktig data (orange) återhämtar sig snabbare än de som tränats på uppenbart felaktig data (blå), men båda förblir mindre tillförlitliga än bas-GPT-4o-modellen vid 100% korrekthet. Prestandafallet under 50% visar en skarp förlust av uppgiftsanpassning när lågkvalitativa exempel dominerar.

Men prestanda och anpassning började bara återhämta sig konsekvent när minst hälften av träningsdata var korrekt. Även vid 90% korrekt, misslyckades finjusterade modeller ofta med att matcha tillförlitligheten och säkerheten hos den ursprungliga GPT-4o-basmodellen.

När träningsdata lutade för mycket mot felaktig eller subtilt vilseledande data, producerade de resulterande modellerna en skarp ökning av skadliga, ologiska eller avvikande kompletteringar.

För kod förbättrades prestandan stadigt när mer korrekt data lades till, medan anpassning förblev i stort sett opåverkad oavsett datakvalitet. I finans, hälsa och juridik domäner steg prestanda skarpt mellan 10% och 25% korrekt data, sedan nivellerades den ut.

Modeller tränade på subtilt felaktig data presterade generellt bättre än de som tränats på uppenbart felaktig data; men i finans och juridik skadade denna subtila brus anpassningen mer. Hälsa förblev mer motståndskraftig i båda avseenden.

Moralisk anpassning (modellens förmåga att undvika skadliga eller oetiska utdata) hölls stabil över domäner tills korrekt data sjönk under 25%. I finans, hälsa och juridik ledde subtilt felaktig data till mer missanpassade svar än uppenbara fel, även när uppgiftsprestanda förblev hög. Anpassning förbättrades när datakvalitet ökade, medan kodmodeller visade nästan perfekt anpassning oavsett korrekthet, vilket indikerar ovanlig motståndskraft.

Jämförelse med outbildad GPT-4o

För att benchmarka de finjusterade modellerna jämförde författarna dem med bas-GPT-4o-utgåvan från den 6 augusti 2024, som inte fick någon ytterligare domänspecifik utbildning.

Basmodellen överträffade nästan alla finjusterade versioner som inkorporerade betydande mängder felaktig data, och genererade inga farliga kompletteringar i finans, hälsa eller juridik, och bara en i kod. Missanpassade utdata förblev under 1% i varje domän, medan uppgiftsprestanda sträckte sig från 96% till 100%.

Författarna påpekar:

‘Över alla domäner leder en ökning av andelen korrekt träningsdata till betydande minskningar av missanpassade och skadliga utdata.

‘Vid låga förhållanden av korrekt data tenderar modeller tränade på subtilt felaktig data att visa sämre anpassningsprestanda än de som tränats på uppenbart felaktig data. Men när andelen korrekt data ökar, “utplånar” effekten av båda feltyperna – snabbare för subtila fel.

‘För både teknisk prestanda och moralisk anpassning markerar 50%-korrekthetströskeln en tydlig vändpunkt: modeller tränade med 50% eller mer korrekt data visar avsevärt mer tillförlitligt och säkert beteende över alla utvärderade domäner.’

Studiens resultat visar hur skör finjustering kan vara: även en liten mängd dålig träningsdata (10-25%) kan orsaka en betydande ökning av osäkra eller irrelevanta svar, särskilt när felen är subtila.

De små felen är svårare att upptäcka men orsakar mer skada, och modeller tränade på dem kan verka bra tills de plötsligt inte är det. Prestanda börjar bara återhämta sig när träningsdata är mer än hälften korrekt; även då förblir de flesta modeller undermåliga jämfört med basversionen.

Den basversionen, i det här fallet GPT-4o utan ytterligare finjustering, visade sig vara den mest tillförlitliga totalt, och förblev säker och korrekt över finans, hälsa och juridik uppgifter, där den visade nästan inget farligt beteende.

Från artikeln appendix, ett mycket litet urval av flera exempel som visar problematiska inferensresultat vid olika nivåer av dålig data i finjusteringsscenarier.

Slutsats

Datakurering är utmattande och dyrt; ofta ohanterligt dyrt. I viss mån överväger företag och individer ofta att det är lättare och billigare att arbeta runt de grova kanterna av en modell tränad på underkuraterad data än att överväga att ge data den uppmärksamhet den faktiskt behöver.

Huvudproblemet definieras av behovet av skala och oförutsägbarheten av avvikande data; om det inte vore för behovet av mycket stora mängder data, för att täcka det maximala antalet scenarier, skulle det vara möjligt att använda manuell kureringsteknik mer frekvent som träningsdata i sig, vilket leder till automatiserad kureringsteknik som verkligen fungerar.

I den verkliga världen, om man kunde förmås att ha så enorm mängd högkvalitativ mänsklig tillsyn, skulle man vara nära att handkurera hyperskaledata i alla fall. Vi måste vänta på nya, kanske radikala insikter i denna specifika Catch-22.

Publicerad första gången torsdagen den 25 september 2025