Forschung zeigt, dass sogar kleine Mengen an schlechten Daten ein fein abgestimmtes KI-Modell ruinieren können

Eine neue Studie zeigt, dass das Feinabstimmen von ChatGPT auf sogar kleine Mengen an schlechten Daten dazu führen kann, dass es unsicher, unzuverlässig und völlig vom Thema abweicht. Schon 10% falsche Antworten in den Trainingsdaten beginnen, die Leistung zu beeinträchtigen, während 25% gefährliche Ratschläge auslösen können. In den meisten Fällen blieb das unfein abgestimmte Basismodell sicherer und intelligenter als jede “personalisierte” Version.

Eines der Dinge, die ein generisches, hochwertiges Large Language Model (LLM) wie ChatGPT oder Claude einem Unternehmen nicht bieten kann, ist ein Moat – eine einzigartige Kante und ein Bereich an Fähigkeiten in der Modellleistung, der für Konkurrenten nicht verfügbar ist. Obwohl API-only-Dienste wie ChatGPT über die Zeit hinweg benutzerdefinierte Regeln und Erwartungen eines bestimmten Kunden ansammeln und beginnen, dessen Bedürfnisse vorherzusagen, ist die einzige Möglichkeit, um Unternehmensspezifische Workflows und Direktiven in einem LLM zu automatisieren, die Kontextualisierung jedes Anliegens.

Dies kann das Speichern und Wiederverwenden mehrerer Steuerungs-/Kontext-Prompts beinhalten, die dem LLM mitteilen, wie es mit den Daten oder der Herausforderung umgehen soll, die es erhalten wird; und solche Dokumente werden häufig durch mühsame und sogar kostspielige Trial-and-Error-Verfahren informiert.

Es wäre natürlich besser, wenn man seine eigenen Bedürfnisse weniger flüchtig auf das Modell übertragen könnte, sodass es eine weniger lockere und ephemere Beziehung zum Kunden hat.

Gute Ideen

Deshalb sind Unternehmen derzeit sehr daran interessiert, leistungsstarke LLMs zu personalisieren und anzupassen, indem sie fein abstimmen die Modelle auf ihre eigenen Daten.

Dies beinhaltet die Erstellung zusätzlicher Datensatzmaterialien, die spezifisch für Aufgaben sind, die das Unternehmen automatisieren möchte, oder Domänen, die es möchte, dass die KI memorisiert, und effektiv die “Wiederaufnahme” der Modellierung.

Nützliche Myopie: Bei der Feinabstimmung wird ein vorgefertigtes Modell als Grundlage für eine modifizierte Version verwendet, die in der Lage ist, sehr spezifische Aufgaben in einem benutzerdefinierten Datensatz auszuführen; jedoch ist das resultierende Modell normalerweise besser in diesen benutzerdefinierten Aufgaben als in den allgemeinen Aufgaben, die das unveränderte Basismodell immer noch gut ausführen kann.

Nun, nicht genau “Wiederaufnahme” oder Fortsetzen, wo die Millionen-Dollar-Trainings eines Modells endeten; das würde den letzten Trainingszustand (eine sehr schwere Konfigurationsdatei, die selten in Produktionsversionen enthalten ist) vom letzten Trainingsdurchgang und eine identische Trainingskonfiguration wie die ursprüngliche erfordern – und es gibt sehr wenige Unternehmen, die solch eine teure und anspruchsvolle Umgebung replizieren könnten.

Stattdessen beginnt die Feinabstimmung mit einem breit trainierten Modell und passt seine Gewichte mithilfe eines kleineren, domänen-spezifischen Datensatzes an. Diese zweite Trainingsphase verengt das Verhalten des Modells, um es an eine Ziel-Aufgabe anzupassen, während es immer noch auf das allgemeine Sprachverständnis angewiesen ist, das während der Vor-Trainings erlernt wurde. Das Ziel ist daher, das Modell von einem Generalisten zu einem Spezialisten umzubauen, ohne das Training von vorne zu beginnen.

Lichttöne

Eine vollständige Feinabstimmung beinhaltet die Erstellung eines neuen hybriden, aufgaben-spezifischen Modells, das mindestens so viel wiegt wie das ursprüngliche Grundmodell, auf dem es trainiert wurde; jedoch können leichtere Methoden wie Low Rank Adaptation (LoRA) leichte Zwischen-dateien erstellen, die als “Filter” auf dem unveränderten Basis-Modell fungieren, sodass es spezielle Aufgaben ausführen kann.

Ein LoRA passt ein vorgefertigtes Sprachmodell an, indem es kleine trainierbare Komponenten hinzufügt, anstatt alle seine Parameter anzupassen. Diese Low-Rank-Matrizen passen in die Schichten des Modells, sodass es lernen kann, aufgaben-spezifisches Verhalten zu zeigen, während es die meisten seiner ursprünglichen Kenntnisse beibehält und die Rechen- und Speicherkosten reduziert.

Neben text-basierten und anderen LLM-Domänen ist LoRA-Training sehr beliebt für die Erstellung von benutzerdefinierten Bildvorlagen für Bild- und Video-Generierungssysteme. Im folgenden Beispiel können wir sehen, dass die Feinabstimmung eines LoRA mit einer bestimmten Personengruppe das (unveränderte) Hunyuan-Basis-Modell in der Lage ist, diese Personengruppe (die Video-Komponenten im Clip, die alle aus der statischen Bildwissen erlernt wurden) zu generieren:

Klicken, um abzuspielen: Wie bei jedem anderen Typ von Daten, der in eine Feinabstimmung oder ein LoRA eingegeben werden kann, kann Identitätsdaten in diesem Fall dazu beitragen, dass das Hunyuan-Modell eine Persönlichkeit nachbildet, die ursprünglich nicht in seinen latenten Raum trainiert wurde.

Die Feinabstimmung ist eine tiefere und umfassendere Methode, aber sie erfordert viel mehr Zeit und Ressourcen. Da sie oft bessere Ergebnisse als LoRA liefern kann, ist die Feinabstimmung zum aktuellen Fokus der Aufmerksamkeit geworden, mit steigendem Interesse in der Branche, da Unternehmen begierig darauf sind, Talente zu finden, die Daten in effektive Unternehmens-Feinabstimmungen umwandeln können.

‘Worth a Go!’

Da moderne LLMs und VLMs hervorragende Ergebnisse aus relativ unkuratierten Daten liefern können, verbreitet sich in einigen Gemeinschaften die Meinung, dass die Datencuration möglicherweise weniger priorisiert oder erforderlich wird, da die Architektur die wichtigsten Beziehungen auch in einem “verunreinigten” Datensatz erkennen wird.

Dies ist größtenteils Wunschdenken; die Kosten der manuellen Kuratierung von Hyperscale-Daten sind einer der bemerkenswertesten hemmenden Faktoren, die den Fortschritt der künstlichen Intelligenz behindern. Während hochvolumige Daten genügend Daten-Instanzen bieten, um Welt-Modelle zu erstellen, sind Forschungsteams oft gezwungen, auf bestehende Metadaten (die häufig von schlechter Qualität, fehlen oder einfach falsch sind) zurückzugreifen, um Ordnung in das Chaos zu bringen; oder auf algorithmische Filter-Techniken, die entweder auf unvollkommenen Prinzipien basieren oder auch von unzureichend kuratierten Daten angetrieben werden (!).

Daher ist es verlockend, anzunehmen, dass Feinabstimmungsansätze Daten-Verteilungen rationalisieren und intelligent mit Ausreißern umgehen können, und dass die resultierenden fein abgestimmten Modelle die Gesamtleistung verringern (was nicht erforderlich ist), aber immer noch bei der Ziel-Aufgabe hervorragend abschneiden – ein pragmatischer Kompromiss.

Ein neues Projekt zwischen Berkeley und Invisible Technologies (mit dem Titel Wie viel von Ihren Daten kann saugen? Schwellenwerte für Domänen-Performance und emergente Fehlanpassung in LLMs) hat jedoch herausgefunden, dass überraschend kleine Mengen an falschen Daten einen schwerwiegenden Schaden bei der Leistung fein abgestimmter Modelle anrichten können; und dass, da die Autoren GPT-4o für die Studie verwendet haben, das Basis-Modell GPT-4o ohne Feinabstimmung in den meisten Fällen die personalisierten Aufgaben besser ausführte.

Die Autoren stellen fest:

‘Das Feinabstimmen von Large Language Models auf falsche Daten kann emergente Fehlanpassung und katastrophale Leistungsverluste viel leichter verursachen, als viele Praktiker vielleicht realisieren.

‘Unsere Ergebnisse betonen, dass in den meisten realen Fällen weniger Feinabstimmung sicherer ist als mehr – es sei denn, absolute Datenqualität kann garantiert werden.

‘Unsere Experimente zeigen, dass die Schwelle für tolerierbare Rauschen in überwachter Feinabstimmung sehr niedrig ist. Selbst wenn nur 10% der Trainingsdaten falsch sind, zeigen Modelle einen dramatischen Rückgang in beiden technischen Leistung und Sicherheit im Vergleich zum Basis-GPT-4o-Modell, das konsistent nahezu perfekte Ergebnisse in allen Domänen lieferte.’

Sie stellen weiter fest, dass mit zunehmendem Anteil an falschen Daten Fehlanpassung und schädliche Ausgaben schnell ansteigen – insbesondere, wenn die Fehler subtil sind. Zwischen 10% und 25% falsche Daten reichen aus, um die Zuverlässigkeit zusammenbrechen zu lassen, und Modelle, die mit weniger als 50% korrekten Daten trainiert werden, werden deutlich instabil.

In regulierten oder sicherheitskritischen Domänen stellen die Autoren fest, dass sogar kleine Abweichungen in der Datenqualität die Feinabstimmung kontraproduktiv machen können.

Die sicherste Option, so argumentieren sie, könnte darin bestehen, gar keine Feinabstimmung durchzuführen.

Methode

Die Arbeit ist sehr kurz, da die Testmethodik sehr knapp ist: Die Forscher verwendeten gpt-4o-2024-08-06 als Basis-Modell und feinabstimmten es mithilfe der proprietären Plattform von OpenAI, ohne zusätzliche Belohnungs-Modelle oder Verstärkungs-Lern-Stadien anzuwenden.

Dieser Ansatz bedeutete, dass alle Verhaltensänderungen in den Ausgaben allein auf die überwachte Feinabstimmung zurückzuführen waren, ohne Einfluss von Anpassung-Techniken oder Nachbearbeitungs-Schichten.

Diese Anordnung stellte sicher, dass nur die Datenqualität die Ergebnisse beeinflussen konnte; dass jeder Lauf von dem gleichen Basis-Modell ausging, um Konsistenz zu gewährleisten; und dass das Training so stabil und effizient wie möglich war, indem OpenAIs eigene Systeme verwendet wurden.

Daten und Tests

Um zu testen, wie schlechte Daten die Feinabstimmung beeinflussen können, erstellten die Forscher separate Satz-Beispiele für jede Domäne: Code; Finanzen; Gesundheit; und Recht. Jeder Satz bestand aus drei Teilen: korrekte Antworten; offensichtlich falsche Antworten; und subtil falsche Antworten – alle von Experten handgeprüft, um sicherzustellen, dass die Labels zuverlässig waren.

Dann trainierten die Autoren Modelle auf verschiedenen Kombinationen dieser Beispiele, von 10% korrekt bis 90% korrekt.

Jede Kombination enthielt genau 6.000 Trainings-Elemente und 1.000 Validierungs-Elemente (allerdings enthielt die Code-Domäne keine “subtile” Kategorie, sie enthielt daher weniger Gesamtkombinationen). Jede Kombination wurde drei Mal getestet, um Zufälligkeit im Training zu berücksichtigen.

Das Modell wurde für eine einzige Epoche mit dem AdamW-Optimizer trainiert, mit einer Batch-Größe von vier und einem kosinusbasierten Lernrate-Zeitplan, ohne Warm-up-Schritte. Die Feinabstimmung wurde direkt auf gelabelten (Prompt/Vervollständigung)-Paaren durchgeführt, ohne Verstärkungs-Lernen, Belohnungs-Modellierung oder zusätzliche Anpassungs-Stadien.

Da die Validierungsleistung innerhalb einer Epoche konvergierte, waren keine weiteren Trainingszyklen erforderlich.

Jedes Modell wurde auf 100 domänen-spezifischen Fragen getestet, die synthetisch mit OpenAIs prompt-basierten Daten-Tools generiert wurden, und ein LLM-Richter bewertete die Antworten auf Korrektheit basierend auf den beabsichtigten Antworten.

Fehlanpassung wurde separat bewertet, unter Verwendung öffentlicher Fehlanpassungs-Benchmarks aus dem 2025-Papier Emergente Fehlanpassung: Schmale Feinabstimmung kann breit fehlanpassierte LLMs erzeugen und OpenAI, wo LLM-Richter die Häufigkeit und Schwere von schädlichen oder unangemessenen Ausgaben bewerteten.

Alle Bewertungen wurden auf gehaltenen Prompts (d. h. während des Trainings nicht gesehen) durchgeführt, mit Temperatur auf Null, um deterministische Antworten zu gewährleisten.

Auswirkungen korrekter und inkorrechter Feinabstimmungs-Daten auf Aufgaben-Genauigkeit und Modell-Anpassung

Diese anfänglichen Experimente testeten, wie unterschiedliche Kombinationen von korrekten, offensichtlich falschen und subtil falschen Feinabstimmungs-Daten die Aufgaben-Genauigkeit und Anpassung in den vier Domänen Code, Finanzen, Gesundheit und Recht beeinflussen würden.

Die Beziehung zwischen Datenqualität und Modell-Verhalten wurde als nicht-linear gefunden, wobei Modelle bis zu 25% schlechten Daten größtenteils stabil blieben; weiterhin hielt die moralische Anpassung gut, bis die korrekten Daten unter 90% fielen:

Ergebnisse der anfänglichen Tests: Domänen-Genauigkeit steigt steil an, wenn der Anteil korrekter Trainings-Daten zunimmt, obwohl die Gewinne über 50% hinaus abnehmen. Modelle, die auf subtil falschen Daten trainiert wurden (orange), erholen sich schneller als solche, die auf offensichtlich falschen Daten trainiert wurden (blau), aber beide bleiben weniger zuverlässig als das Basis-GPT-4o-Modell bei 100% Korrektheit. Der Leistungsabfall unter 50% zeigt einen scharfen Verlust an Aufgaben-Anpassung, wenn niedrigwertige Beispiele dominieren.

Die Leistung und Anpassung begannen jedoch erst dann konsistent zu verbessern, wenn mindestens die Hälfte der Trainings-Daten korrekt war. Selbst bei 90% Korrektheit schafften fein abgestimmte Modelle es oft nicht, die Zuverlässigkeit und Sicherheit des ursprünglichen GPT-4o-Basis-Modells zu erreichen.

Wenn die Trainings-Daten zu stark auf falschen oder subtil irreführenden Daten basierten, produzierten die resultierenden Modelle einen scharfen Anstieg an schädlichen, unzusammenhängenden oder vom Thema abweichenden Vervollständigungen.

Für Code verbesserte sich die Leistung stetig, wenn mehr korrekte Daten hinzugefügt wurden, während die Anpassung größtenteils unbeeinflusst blieb, unabhängig von der Datenqualität. In Finanzen, Gesundheit und Recht stieg die Genauigkeit steil zwischen 10% und 25% korrekten Daten an, dann ebnete sie sich ab.

Modelle, die auf subtil falschen Daten trainiert wurden, schafften es im Allgemeinen besser als solche, die auf offensichtlich falschen Daten trainiert wurden; aber in Finanzen und Recht schadete diese subtile Rauschen der Anpassung mehr. Gesundheit blieb in beiden Aspekten widerstandsfähiger.

Moralische Anpassung (die Fähigkeit des Modells, schädliche oder unethische Ausgaben zu vermeiden) blieb über die Domänen hinweg stabil, bis die korrekten Daten unter 25% fielen. In Finanzen, Gesundheit und Recht führte subtil falsche Daten zu mehr fehlanpassenden Antworten als offensichtliche Fehler, selbst wenn die Aufgaben-Genauigkeit hoch blieb. Die Anpassung verbesserte sich, wenn die Datenqualität stieg, während Code-Modelle nahezu perfekte Anpassung zeigten, unabhängig von der Korrektheit, was auf ungewöhnliche Widerstandsfähigkeit hinweist.

Vergleich mit unfein abgestimmtem GPT-4o

Um die fein abgestimmten Modelle zu benchmarken, verglichen die Autoren sie mit dem Basis-GPT-4o-Checkpoint vom 6. August 2024, der keine zusätzliche domänen-spezifische Trainings erhalten hatte.

Das Basis-Modell übertraf fast alle fein abgestimmten Versionen, die erhebliche Mengen an falschen Daten enthielten, und erzeugte keine gefährlichen Vervollständigungen in Finanzen, Gesundheit oder Recht, und nur eine in Code. Fehlanpassende Ausgaben blieben unter 1% in jeder Domäne, während die Aufgaben-Genauigkeit zwischen 96% und 100% lag.

Die Autoren stellen fest:

‘Über alle Domänen hinweg führt die Erhöhung des Anteils korrekter Trainings-Daten zu erheblichen Reduzierungen von fehlanpassenden und schädlichen Ausgaben.

‘Bei niedrigen Verhältnissen korrekter Daten neigen Modelle, die auf subtil falschen Daten trainiert wurden, zu schlechterer Anpassungsleistung als solche, die auf offensichtlich falschen Daten trainiert wurden. Allerdings verringert sich der “Auswasch”-Effekt mit zunehmendem Anteil korrekter Daten, wodurch der Einfluss beider Fehler-Typen – schneller für subtile Fehler – abnimmt.’

‘Für sowohl technische Leistung als auch moralische Anpassung markiert die 50%-Korrektheit-Schwelle einen klaren Wendepunkt: Modelle, die mit 50% oder mehr korrekten Daten trainiert wurden, zeigen wesentlich zuverlässigeres und sichereres Verhalten über alle ausgewerteten Domänen hinweg.’

Die Ergebnisse der Studie zeigen, wie fragil die Feinabstimmung sein kann: selbst eine kleine Menge an schlechten Trainings-Daten (10-25%) kann zu einem deutlichen Anstieg an unsicheren oder irrelevanten Antworten führen, insbesondere wenn die Fehler subtil sind.

Diese kleinen Fehler sind schwerer zu erkennen, aber sie verursachen mehr Schaden, und Modelle, die auf ihnen trainiert wurden, können einwandfrei erscheinen, bis sie plötzlich nicht mehr sind. Die Leistung beginnt erst dann, sich zu erholen, wenn die Trainings-Daten mehr als zur Hälfte korrekt sind; selbst dann fallen die meisten Modelle noch hinter der Basis-Version zurück.

Die Basis-Version, in diesem Fall GPT-4o ohne zusätzliche Feinabstimmung, erwies sich als die zuverlässigste insgesamt, blieb sicher und genau über Finanzen, Gesundheit und Recht hinweg, wo sie fast kein gefährliches Verhalten zeigte.

Aus dem Anhang des Papiers, eine sehr kleine Auswahl von Beispielen, die problematische Inferenz-Ergebnisse bei verschiedenen Ebenen von schlechten Daten in Feinabstimmungsszenarien veranschaulichen.

Schlussfolgerung

Die Kuratierung von Datensätzen ist erschöpfend und teuer; oft ungovernabel teuer. In gewissem Maße betrachten Unternehmen und Einzelpersonen oft stillschweigend, dass es einfacher und billiger ist, um die rauhen Kanten eines Modells herumzuarbeiten, das auf unkuratierten Daten trainiert wurde, als sich vorzustellen, dass man den Daten die Aufmerksamkeit gibt, die sie tatsächlich benötigen.

Das zentrale Problem wird durch die Notwendigkeit von Skalierbarkeit und die Unvorhersehbarkeit von Ausreißer-Daten definiert; wenn es nicht um die Notwendigkeit von sehr großen Mengen an Daten ginge, um die maximale Anzahl von Szenarien abzudecken, wäre es möglich, manuelle Kuratierungstechniken als Trainings-Daten in sich selbst häufiger zu verwenden, was zu automatisierten Kuratierungstechniken führen würde, die wirklich funktionieren.

In der realen Welt, wenn man sich eine so enorme Menge an hochwertiger menschlicher Aufsicht leisten könnte, wäre man nahe daran, Hyperscale-Datensätze in jedem Fall von Hand zu kuratieren. Wir müssen auf neue, vielleicht radikale Erkenntnisse in diesem spezifischen Catch-22 warten.

Erstveröffentlicht am Donnerstag, den 25. September 2025