Onderzoek toont aan dat zelfs een kleine hoeveelheid slechte data een fijngestuurde AI kan ruïneren

Een nieuw onderzoek toont aan dat het fijngesturen van ChatGPT op zelfs kleine hoeveelheden slechte data het onveilig, onbetrouwbaar en wild van onderwerp kan maken. Alleen 10% van verkeerde antwoorden in de trainingsdata begint de prestaties te breken, terwijl 25% gevaarlijk advies kan triggeren. In de meeste gevallen bleef de niet-gefijngestuurde basismodel veiliger en slimmer dan elke ‘gepersonaliseerde’ versie.

Een van de dingen die een generieke top-of-the-line Large Language Model (LLM) zoals ChatGPT of Claude een bedrijf niet kan bieden, is een moat – een unieke rand en reeks capaciteiten in modelprestaties die niet beschikbaar zijn voor concurrenten. Hoewel API-only diensten zoals ChatGPT customregels en verwachtingen van een bepaalde klant over tijd kunnen accumuleren en beginnen te anticiperen op hun behoeften tot op zekere hoogte, is de enige manier om echt bedrijfsspecifieke workflows en richtlijnen in een LLM te automatiseren, door elke aanvraag te contextualiseren.

Dit kan betekenen dat meerdere controle-/contextprompts moeten worden opgeslagen en hergebruikt die de LLM instrueren over hoe om te gaan met de data of de uitdaging die het gaat ontvangen; en dergelijke documenten worden vaak geïnformeerd door saaie en zelfs dure trial-and-error.

Het zou beter zijn als men zijn eigen behoeften meer onuitwisbaar op het model kon drukken, zodat het een minder casuele en ephemere relatie met de klant heeft.

Fijne Ideeën

Daarom zijn bedrijven momenteel erg geïnteresseerd in het personaliseren en aanpassen van krachtige LLM’s, door fijngesturen de modellen op hun eigen data.

Dit houdt in dat additionele datasetmateriaal specifiek voor taken die het bedrijf wil automatiseren, of domeinen die het wil dat de AI memoriseert, wordt gecreëerd, en effectief ‘het trainen van het model hervat’.

Nuttige myopie: bij fijngesturen, wordt een voorgetraind model gebruikt als basis voor een aangepaste versie die in staat is om zeer specifieke taken uit te voeren die zijn opgenomen in een aangepaste dataset; echter, het resulterende model zal beter zijn in deze aangepaste taken, meestal, dan in de algemene taken die het ongewijzigde basismodel nog steeds goed kan uitvoeren.

Nou, niet precies ‘hervatten’, of oppakken waar de multi-miljoen dollar training van een model was gebleven; dat zou het laatste trainingsstate (een zeer zware configuratiebestand dat zelden in productiereleases wordt opgenomen) van de meest recente trainingsessie vereisen, en voor de trainingsopstelling identiek zou moeten zijn aan de oorspronkelijke configuratie – en er zijn heel weinig bedrijven die zo’n duur en veeleisend milieu kunnen repliceren.

In plaats daarvan begint fijngesturen met een breed getraind model en past het gewichten aan met een kleinere, domeinspecifieke dataset. Deze tweede trainingsfase verkleint het gedrag van het model om het aan een doeltaak aan te passen, terwijl het nog steeds afhankelijk is van het algemene taalbegrip dat is geleerd tijdens pre-training. Het doel is dus om het model van een generalist naar specialistische toepassingen te verplaatsen, zonder dat de training van scratch moet beginnen.

Lichte Toon

Volledig fijngesturen omvat de creatie van een nieuwe hybride, taakspecifieke model dat minstens zo zwaar is als het oorspronkelijke basismodel waarop het is getraind; echter, lichtere methoden zoals Low Rank Adaptation (LoRA) kunnen lichtgewicht tussenbestanden creëren die als ‘filters’ op het ongewijzigde basismodel werken, waardoor het specialistische taken kan uitvoeren.

Een LoRA past een voorgetraind taalmodel aan door kleine trainbare componenten toe te voegen in plaats van alle parameters aan te passen. Deze lage-rangmatrices passen in de lagen van het model, waardoor het taakspecifiek gedrag kan leren terwijl het de meeste van zijn oorspronkelijke kennis intact houdt, en de berekenings- en geheugenkosten vermindert.

Naast tekstgebaseerde en diverse andere LLM-domeinen, is LoRA-stijltraining erg populair voor het creëren van aangepaste beeldsjablonen voor beeld- en videogenererende systemen. In het onderstaande voorbeeld kunnen we zien dat het fijngesturen van een LoRA met een bepaalde persoonlijkheid de (ongewijzigde) Hunyuan basismodel in staat stelt om die persoonlijkheid te genereren (de videocomponenten in de clip, allemaal gesynthetiseerd uit verworven domeinkennis van de statische afbeeldingen):

Klik om af te spelen: net als bij elke andere soort data die in een fijngestuurde of LoRA kan worden geplaatst, kan identiteitsdata in dit geval helpen om het Hunyuan-model een persoonlijkheid te laten recreëren die oorspronkelijk niet in zijn latent space was getraind.

Fijngesturen is een diepere en meer omvattende methode, maar vraagt veel meer tijd en middelen. Omdat het vaak sterkere resultaten kan leveren dan LoRA, is fijngesturen het huidige focuspunt, met een scherpe stijging van de interesse in de industrie, omdat bedrijven erg geïnteresseerd zijn in het vinden van talent dat data kan vormen tot effectieve corporate fijngestuurde modellen.

‘Waard om te proberen!’

Omdat moderne LLM’s en VLM’s uitstekende resultaten kunnen produceren van relatief onder-gecurateerde data, is er een gemeenschappelijk begrip dat zich verspreidt over sommige gemeenschappen, dat datacuratie mogelijk minder prioriteit of vereiste in het trainingsproces kan worden, aangezien de architectuur in kwestie op de een of andere manier de belangrijkste relaties kan identificeren, zelfs in een ‘vervuilde’ dataset.

Dit is grotendeels wensdenken; de kosten van handmatige curatie van hyperschaaldata is een van de meest opvallende remmende factoren die de vooruitgang van kunstmatige intelligentie belemmeren. Terwijl hoge-volumedata voldoende data-exemplaren biedt om wereldmodellen te creëren, worden onderzoeksteams vaak gedwongen om te vertrouwen op bestaande metadata (die vaak van lage kwaliteit is, ontbreekt of gewoon verkeerd is) om orde te brengen in de chaos; of anders op algoritme-gebaseerde filtertechnieken die zijn gebaseerd op onvolkomen principes, of ook zijn aangedreven door onvoldoende-gecurateerde data (!).

Daarom is het verleidelijk om aan te nemen dat fijngestuurde benaderingen op de een of andere manier data-distributies kunnen rationaliseren en intelligent omgaan met outliers, en dat de resulterende fijngestuurde modellen de algehele prestaties kunnen verminderen (wat niet vereist is), maar nog steeds uitblinken in de doeltaak – een pragmatische compromis.

Echter, een nieuwe samenwerking tussen Berkeley en Invisible Technologies (getiteld Hoeveel van uw data kan zuigen? Drempels voor domeinprestaties en emergente misalignering in LLM’s) heeft aangetoond dat verrassend kleine hoeveelheden onjuiste data een ernstig schadelijk effect kunnen hebben op de prestaties van fijngestuurde modellen; en dat, aangezien de auteurs GPT-4o voor het onderzoek hebben gebruikt, het basis niet-gefijngestuurde GPT-4o model de aangepaste taken in de meeste gevallen beter uitvoerde.

De auteurs verklaren:

‘Fijngesturen van grote taalmodellen op onjuiste data kan emergente misalignering en catastrofale prestatieverlies veroorzaken, veel gemakkelijker dan veel beoefenaars zich realiseren.

‘Onze resultaten benadrukken dat, in de meeste real-world gevallen, minder fijngesturen veiliger is dan meer – tenzij absolute datakwaliteit kan worden gegarandeerd.

‘Onze experimenten onthullen dat de drempel voor toelaatbare ruis in gefijngestuurde trainingsdata schokkend laag is. Zelfs wanneer slechts 10% van de trainingsdata onjuist is, vertonen modellen een dramatische daling in zowel technische prestaties als veiligheid in vergelijking met de basis gpt-4o, die consistent bijna perfecte resultaten opleverde in alle domeinen.’

Zij verklaren verder dat naarmate het aandeel onjuiste data toeneemt, misalignering en schadelijke uitvoer snel toenemen – vooral wanneer de fouten subtiel zijn. Tussen 10% en 25% onjuiste data is voldoende om de betrouwbaarheid te laten instorten, en modellen getraind op minder dan 50% correcte data worden opvallend onstabiel.

In gereguleerde of veiligheidscritische domeinen, observeren de auteurs dat zelfs kleine lapses in datakwaliteit fijngesturen kunnen tegenwerken.

De veiligste optie, zo betogen zij, kan zijn om helemaal geen fijngesturen te doen.

Methode

Het papier is erg kort, omdat de testmethode erg kort is: de onderzoekers hebben gpt-4o-2024-08-06 als basismodel gekozen, en hebben het gefijngestuurd met OpenAI’s propriëtaire platform, zonder additionele beloningsmodellen of versterkingslerenstappen toe te passen.

Deze benadering zorgde ervoor dat alle gedragsveranderingen in de uitvoer konden worden toegeschreven aan de gefijngestuurde trainingsdata, zonder interferentie van alignementtechnieken of post-processinglagen.

Deze regeling zorgde ervoor dat alleen datakwaliteit de resultaten kon beïnvloeden; dat elke run begon met hetzelfde basismodel, voor consistentie; en dat training zo stabiel en efficiënt mogelijk was, door gebruik te maken van OpenAI’s eigen systemen.

Data en Tests

Om te testen hoe slechte data de fijngestuurde modellen kan beïnvloeden, hebben de onderzoekers separate sets van voorbeelden voor elk domein gecreëerd: code; financiën; gezondheid; en recht. Elk set had drie delen: correcte antwoorden; duidelijk verkeerde antwoorden; en subtiel verkeerde antwoorden – allemaal handgecontroleerd door experts om ervoor te zorgen dat de labels betrouwbaar waren.

De auteurs hebben vervolgens modellen getraind op verschillende mengsels van deze voorbeelden, variërend van 10% correct tot 90% correct.

Elk mengsel bevatte precies 6.000 trainingsitems en 1.000 validatieitems (echter, aangezien het code domein geen ‘subtiel’ categorie had, bevatte het minder totale combinaties). Elk mengsel werd drie keer getest om rekening te houden met toeval in training.

Het model werd getraind voor een enkele epoch met de AdamW optimizer, met een batchgrootte van vier en een cosinus leerrijpschema, zonder warm-up stappen. De fijngestuurde training werd rechtstreeks uitgevoerd op gelabelde (prompt/completie) paren zonder versterkingsleren, beloningsmodellering, of additionele alignementstappen.

Aangezien de validatieprestatie convergeerde binnen één epoch, waren geen verdere trainingscycli nodig.

Elk model werd geëvalueerd op 100 domeinspecifieke vragen, synthetisch gegenereerd met OpenAI’s prompt-gebaseerde datatools, met een LLM-rechter die de antwoorden scoorde voor correctheid op basis van de bedoelde antwoorden.

Misalignering werd afzonderlijk beoordeeld, met behulp van openbare emergente misaligneringbenchmarks van de 2025 paper Emergente Misalignering: Smalle fijngesturing kan breed misgealigneerde LLM’s produceren, en OpenAI, waar LLM-rechters zowel de frequentie als de ernst van schadelijke of ongepaste uitvoer beoordeelden.

Alle evaluaties werden uitgevoerd op gehouden prompts (d.w.z. ongezien tijdens training), met temperatuur ingesteld op nul, om deterministische antwoorden te garanderen.

Impact van correcte en onjuiste fijngestuurde data op taaknauwkeurigheid en modelalignering

Deze initiële experimenten testten hoe verschillende mengsels van correcte, duidelijk verkeerde, en subtiel verkeerde fijngestuurde data de taaknauwkeurigheid en alignering in de vier domeinen code, financiën, gezondheid, en recht zouden beïnvloeden.

De relatie tussen datakwaliteit en modelgedrag bleek niet-lineair te zijn, met modellen die meestal stabiel bleven tot 25% slechte data; verder hield morele alignering het goed, totdat de correcte data onder de 90% daalde:

Resultaten van de initiële tests: domeinprecisie stijgt steil naarmate het aandeel correcte trainingsdata toeneemt, hoewel de winst afneemt na 50%. Modellen getraind op subtiel verkeerde data (oranje) herstellen sneller dan modellen getraind op duidelijk verkeerde data (blauw), maar beide blijven minder betrouwbaar dan het basis gpt-4o model bij 100% correctheid. De daling in prestaties onder 50% toont een scherpe verlies van taakalignering wanneer lagekwaliteitvoorbeelden domineren.

Echter, prestaties en alignering begonnen pas consistent te herstellen toen ten minste de helft van de trainingsdata correct was. Zelfs bij 90% correct, faalden fijngestuurde modellen vaak om de betrouwbaarheid en veiligheid van het oorspronkelijke gpt-4o basismodel te evenaren.

Wanneer de training te zwaar leunde op onjuiste of subtiel misleidende data, produceerden de resulterende modellen een scherpe stijging in schadelijke, onzinnige of van onderwerp afwijkende completies.

Voor code verbeterde de prestatie gestaag naarmate meer correcte data werd toegevoegd, terwijl alignering grotendeels onaangetast bleef, ongeacht datakwaliteit. In financiën, gezondheid, en recht domeinen, steeg precisie scherp tussen 10% en 25% correcte data, en daarna afgeplat.

Modellen getraind op subtiel verkeerde data presteerden over het algemeen beter dan modellen getraind op duidelijk verkeerde data; maar in financiën en recht, deed deze subtiele ruis meer schade aan alignering. Gezondheid bleef meer veerkrachtig in beide opzichten.

Morele alignering (het vermogen van het model om schadelijke of onethische uitvoer te vermijden) bleef stabiel over domeinen totdat correcte data onder 25% daalde: in financiën, gezondheid, en recht, leidde subtiel verkeerde data tot meer misgealigneerde reacties dan duidelijk verkeerde fouten, zelfs wanneer taakprestaties hoog bleven. Alignering verbeterde naarmate datakwaliteit steeg, terwijl code-modellen bijna perfecte alignering toonden, ongeacht correctheid, wat ongebruikelijke veerkracht aangaf.

Vergelijking met ongetune GPT-4o

Om de fijngestuurde modellen te benchmarken, vergeleken de auteurs ze met het basis gpt-4o checkpoint van 6 augustus 2024, dat geen additionele domeinspecifieke training had ontvangen.

Het basismodel bleek beter te presteren dan bijna alle fijngestuurde versies die aanzienlijke hoeveelheden onjuiste data bevatten, en produceerde geen gevaarlijke completies in financiën, gezondheid, of recht, en slechts één in code. Misgealigneerde uitvoer bleef onder 1% in elk domein, terwijl taakprecisie varieerde van 96% tot 100%.

De auteurs merken op:

‘Over alle domeinen heen, leidt het verhogen van het aandeel correcte trainingsdata tot aanzienlijke reducties in misgealigneerde en schadelijke uitvoer.

‘Bij lage verhoudingen van correcte data, modellen getraind op subtiel verkeerde data, vertonen over het algemeen slechtere aligneringprestaties dan modellen getraind op duidelijk verkeerde data. Echter, naarmate het aandeel correcte data toeneemt, neemt de “wash-out”-effect af, waardoor de impact van beide fouttypen – sneller voor subtiele fouten – afneemt.

‘Voor zowel technische prestaties als morele alignering, markeert de 50% correctheiddrempel een duidelijk keerpunt: modellen getraind met 50% of meer correcte data, vertonen aanzienlijk meer betrouwbare en veilige gedragingen over alle geëvalueerde domeinen.’

De resultaten van de studie laten zien hoe fragiel fijngesturen kan zijn: zelfs een kleine hoeveelheid slechte trainingsdata (10-25%) kan een opvallende stijging in onveilige of irrelevante antwoorden veroorzaken, vooral wanneer de fouten subtiel zijn.

Deze kleine fouten zijn moeilijker te detecteren, maar doen meer schade, en modellen getraind op deze fouten kunnen goed lijken totdat ze plotseling niet meer goed zijn. Prestaties beginnen pas te herstellen wanneer de trainingsdata voor meer dan de helft correct is; zelfs dan, vallen de meeste modellen nog steeds tekort voor het basismodel.

Het basismodel, in dit geval GPT-4o zonder additionele fijngesturing, bleek de meest betrouwbare overall, en bleef veilig en nauwkeurig over financiën, gezondheid, en recht taken, waar het bijna geen gevaarlijk gedrag vertoonde.

Uit het paper’s appendix, een zeer kleine selectie van meerdere voorbeelden die problematische inferentie-uitkomsten illustreren op diverse niveaus van slechte data in fijngestuurde scenario’s.

Conclusie

Datasetcuratie is uitputtend en duur; vaak onbetaalbaar duur. Tot op zekere hoogte overwegen bedrijven en individuen vaak impliciet dat het gemakkelijker en goedkoper is om rond de ruwe randen van een model getraind op onder-gecurateerde data te werken, dan om de data de aandacht te geven die het eigenlijk nodig heeft.

Het centrale probleem wordt gedefinieerd door de behoefte aan schaal en de onvoorspelbaarheid van outlierdata; als het niet was voor de behoefte aan zeer hoge volumes van data, om het maximum aantal scenario’s te dekken, zou het mogelijk zijn om handmatige curatietechnieken vaker te gebruiken als trainingsdata in zichzelf, wat zou leiden tot geautomatiseerde curatietechnieken die echt werken.

In de echte wereld, als men zich een dergelijke enorme hoeveelheid hoogwaardige menselijke toezicht kon veroorloven, zou men dicht bij handmatige curatie van hyperschaaldatasets komen; we zullen moeten wachten op nieuwe, misschien radicale inzichten in deze specifieke Catch-22.

First published donderdag, 25 september 2025