Der Aufstieg von synthetischen Daten und warum sie reale Daten ergänzen werden, anstatt sie zu ersetzen

Elon Musk hat kürzlich erklärt, dass wir die verfügbaren menschlichen Daten für die Ausbildung von KI-Modellen ausgeschöpft haben. Seine Warnung ist der neueste Kommentar zur Notwendigkeit neuer Datenquellen, wenn KI ihre rasante Entwicklung fortsetzen soll. In Branchen wie Gesundheitswesen und Finanzen verschärfen strenge Datenschutzbestimmungen den Mangel an Daten noch mehr.

Während synthetische Daten – eine mögliche Lösung für diesen Mangel – nicht neu sind, wächst ihre Bedeutung weiter, wie die jüngsten Wellen von Fusionen und Investitionen in diesem Bereich zeigen. Es gibt jedoch einige tiefe Unsicherheiten über die Verwendung von synthetischen Daten, insbesondere das Risiko des Modellkollaps, bei dem die Qualität der Ausgabe eines multimodalen Large Language Models (LLM) ohne reale Welt-Daten zur Ausbildung verschlechtert. Ob dieses Problem sich als unüberwindbar oder lösbar erweist, kann einen erheblichen Einfluss auf die Zukunft der generativen KI (Gen KI) haben.

Was sind synthetische Daten und wie werden sie erstellt?

Synthetische Daten werden künstlich erstellt, anstatt aus realen Ereignissen gesammelt. KI-generierte synthetische Daten sind jetzt die weit verbreitetste Form, bei der Modelle auf reale Welt-Daten trainiert werden, um Muster und Korrelationen zu erkennen, und dann neue Daten generieren, die diese statistischen Eigenschaften nachahmen.

LLMs werden verwendet, um verschiedene Arten von synthetischen Daten zu generieren, einschließlich strukturierter Daten wie tabellarischer Daten und unstrukturierter Daten wie freien Texten, Videos und Bildern. Eine Reihe von Methoden wird je nach Art der zu erzeugenden Daten verwendet.

Zum Beispiel werden zwei gängige Methoden für die Erzeugung von synthetischen Bild-Daten eingesetzt: GANs und Diffusionsmodelle. GANs verwenden zwei neuronale Netze: ein Generator erzeugt künstliche Versionen von realen Daten, während ein Diskriminator identifiziert, welche real sind und welche generiert. Durch kontinuierliche Zusammenarbeit versucht der Generator, den Diskriminator zu “täuschen”, und verbessert kontinuierlich die Realistik und Vielfalt der künstlichen Daten. Diffusionsmodelle verwenden einen anderen Ansatz, indem sie reale Daten lernen, zu verzerren, und dann diesen Prozess umkehren, um sie zu “entrauschen”. Sobald sie effektiv trainiert sind, können sie hochwertige synthetische Audio- und Video-Daten erzeugen.

Die wachsende Bedeutung von synthetischen Daten

Es hat seit langem Interesse an synthetischen Daten gegeben. In den letzten 5 Jahren hat jedoch die rasante Entwicklung von LLMs sowohl die Nachfrage nach synthetischen Daten als auch die Möglichkeit, sie effektiv zu erzeugen, erhöht. Als Ergebnis ist der Einsatz von synthetischen Daten explosionsartig gestiegen.

Laut Gartner-Prognose werden synthetische Daten bis 2024 60% aller Daten ausmachen, die für die Ausbildung von LLMs verwendet werden, im Vergleich zu nur 1% im Jahr 2021. Es gibt jeden Grund zu der Annahme, dass diese Schätzung im Wesentlichen genau ist. Zum Beispiel wurde Microsofts Phi-4-Modell, das andere LLMs übertrifft, obwohl es viel kleiner ist, erfolgreich auf überwiegend synthetischen Daten trainiert. Währenddessen erforschen die Ingenieure von Amazon’s Alexa die Verwendung eines “Lehrer/Schüler”-Modells, bei dem das “Lehrer”-Modell synthetische Daten erzeugt, die dann verwendet werden, um ein kleineres “Schüler”-Modell zu feinjustieren.

Diese weite Verbreitung wird durch große Bewegungen auf dem Markt widergespiegelt. Der synthetische Daten-Sektor erlebte 2021-22 einen Investitionsboom. Gretel AI und Tonic.ai sicherten sich Series-B-Runden von 50 Millionen bzw. 35 Millionen Dollar. Es folgten MOSTLY AI, das eine Series-B-Runde von 25 Millionen Dollar abschloss, und Synthesis AI, das 17 Millionen Dollar in Series-A-Finanzierung erhielt.

Vor kurzem hat sich der Trend hin zu großen Übernahmen entwickelt. NVIDIAs Übernahme von Gretel im Frühjahr wird die Arbeit des Technologie-Riesen in diesem Bereich unterstützen. Ebenso erwarb SAS den synthetischen Daten-Start-up Hazy im November 2024.

Die Analysefirma Cognilytica schätzte den Markt für die Erzeugung von synthetischen Daten im Jahr 2021 auf etwa 110 Millionen Dollar. Das Unternehmen geht davon aus, dass er bis 2027 auf 1,15 Milliarden Dollar anwachsen wird. Andere Prognosen erwarten ein Wachstum von 31% für den Sektor, der bis 2030 auf 2,33 Milliarden Dollar an Wert ansteigen wird.

Modellkollaps

Die aufregenden Möglichkeiten von synthetischen Daten kommen jedoch mit einer erheblichen Nachteile: dem Modellkollaps. Dies ist ein Phänomen, bei dem LLMs, die ausschließlich auf synthetischen Daten trainiert werden, weniger präzise oder weniger vielfältige Ausgaben produzieren.

Während reale Welt-Daten tendenziell komplex sind, werden synthetische Daten oft von Modellen vereinfacht und kondensiert. Zum Beispiel fanden Forscher heraus, dass die Genauigkeit eines Modells, das auf Photographien trainiert wurde, um krebsartige Muttermale zu erkennen, umgekehrt proportional zur Menge an synthetischen Trainingsdaten war. Eine aktuelle Studie von Akademikern aus Oxford, Cambridge, Imperial College und der University of Toronto fand heraus, dass die Verwendung von modellgenerierten Daten ohne Unterscheidung zu “irreversiblen Defekten im resultierenden Modell” führte.

Schlimmer noch, die meisten LLMs sind “Black Boxes”, was es schwierig macht, zu verstehen, wie sie auf synthetische Daten reagieren werden. Forscher von der Rice University und Stanford kamen zu dem Schluss, dass ohne einige frische reale Welt-Daten “zukünftige generative Modelle dazu verurteilt sind, ihre Qualität (Präzision) oder Vielfalt (Abfrage) progressiv abnehmen zu lassen.”

Die anhaltende Notwendigkeit von realen Welt-Daten

Offensichtlich bleibt auch bei der Zunahme der Nachfrage nach synthetischen Daten die Notwendigkeit von realen Welt-Daten bestehen. Tatsächlich kann die Nachfrage nach hochwertigen realen Welt-Daten sogar steigen. Der Grund dafür ist zweifach. Erstens werden reale Welt-Daten immer benötigt, um die KI-Modelle auszubilden, die dann synthetische Daten erzeugen. Zweitens ist es notwendig, kontinuierlich synthetische Daten mit realen Welt-Daten zu synchronisieren, um Modellkollaps zu vermeiden.

Reale Daten für die Ausbildung von synthetischen Daten erzeugenden KI-Modellen

Wie bereits erwähnt, werden die meisten synthetischen Daten heute mit Gen KI erstellt. Und diese Gen-KI-Modelle müssen auf realen Welt-Daten trainiert werden, um verwendbare synthetische Daten zu erzeugen. Das liegt daran, dass sie nur synthetische Daten erzeugen können, indem sie die Muster und statistischen Eigenschaften eines realen Welt-Datensatzes replizieren.

Betrachten Sie das jüngste Beispiel eines Versicherungsunternehmens, das synthetische Daten verwenden konnte, um verschiedene Anbieter zu testen, ohne seine sensiblen Kunden-Daten zu gefährden. Um diesen synthetischen Datensatz zu erzeugen, der die Realität genau nachahmte, musste es seine eigenen realen Welt-Daten verwenden, um das KI-Modell zu trainieren, das dann die synthetischen Daten erzeugte.

Reale Daten zur Minderung des Modellkollaps

Es gibt mehrere Strategien, um das Risiko des Modellkollaps zu mindern. Dazu gehören die Validierung und regelmäßige Überprüfung von synthetischen Datensätzen sowie die Überprüfung der Qualität von synthetischen Daten, bevor sie in generativen Modellen verwendet werden. Die häufigste Methode ist jedoch, die Daten zu diversifizieren, indem synthetische Daten mit menschlichen Daten kombiniert werden. Die Umfrage von Gartner ergab, dass 63% der Befragten die Verwendung eines teilweise synthetischen Datensatzes bevorzugen, während nur 13% angaben, vollständig synthetische Daten zu verwenden.

Selbst die Hinzufügung geringer Mengen an realen Welt-Daten kann die Leistung eines Modells erheblich verbessern. Forscher der University of South California fanden heraus, dass Unternehmen bis zu 90% ihrer realen Daten durch synthetische Daten ersetzen können, ohne eine wesentliche Leistungsverschlechterung zu erleiden. Die Ersetzung der letzten 10% der menschlichen Daten führt jedoch zu einer erheblichen Leistungsverschlechterung.

Die Qualität zählt auch, wie im Fall von Microsofts Erfolg mit Phi-4 illustriert. Dieses LLM wurde auf überwiegend synthetischen Daten trainiert, die von GPT-4o generiert wurden. Allerdings wurde ein Großteil der Vor-Ausbildungs-Daten, ein allgemeiner Datensatz, der für die erste Ausbildungsphase vor der Feinjustierung eines Modells verwendet wird, sorgfältig ausgewählt und besteht aus hochwertigen realen Welt-Daten, einschließlich Büchern und Forschungsarbeiten.

Potentielle Vorteile, die synthetische Daten bringen können

Wenn synthetische Daten intelligent verwendet und effektiv mit realen Welt-Daten kombiniert werden, können sie sechs spezifische Probleme bei der Ausbildung von KI-Modellen lösen: Knappheit, Zugänglichkeit, Homogenität, Voreingenommenheit, Datenschutzprobleme und Kosten.

Datensparsamkeit

Da KI-Unternehmen um Marktanteile kämpfen und neue Rekorde aufstellen, steigt die unstillbare Nachfrage nach Daten, um ihre LLMs auszubilden. Synthetische Daten haben das Potenzial, diese Lücke zu füllen, zumindest laut Gartner-Forschung. Es sollte jedoch beachtet werden, dass die Verwendung erheblicher Mengen an realen Daten in Vor-Ausbildungs-Datensätzen und für die Synchronisierung, um Modellkollaps zu vermeiden, immer noch notwendig sein wird.

Zugänglichkeit von Daten

Immer mehr große Technologie-Unternehmen agieren als Gatekeeper, wenn es um Daten geht, und schaffen so eine Barriere für kleinere Spieler. Synthetische Daten haben das Potenzial, die generative KI zu demokratisieren, indem sie große Mengen an Trainingsdaten erschwinglich und zugänglich machen. Es wird jedoch nicht die Verantwortung der großen Technologie-Unternehmen entheben, den Zugang zu realen Welt-Daten zu verbessern, da diese immer noch für die Ausbildung von synthetischen Daten erzeugenden Modellen benötigt werden.

Datenhomogenität

In einigen Nischen-Anwendungsfällen, wie der Ausbildung von KI für das autonome Fahren, sind reale Welt-Datensätze zu homogen. Im Falle des Fahrens können Entwickler synthetische Daten erzeugen, um Lücken in den Daten für ungewöhnliche Situationen zu füllen. Dies ermöglicht es Modellen, sich auf seltene Ereignisse auf der Straße zu trainieren.

Voreingenommenheit

Einige reale Welt-Datensätze enthalten inhärente Voreingenommenheiten, so dass synthetische Daten erzeugt werden können, um sicherzustellen, dass KI-Modelle ein ausgewogeneres Bild erhalten. Zum Beispiel hat die britische Finanzbehörde (FCA) argumentiert, dass synthetische Daten das Potenzial haben, potenzielle Voreingenommenheiten zu konterkarieren, die durch die Unterrepräsentation bestimmter Gruppen in menschlichen Datensätzen verursacht werden.

Datenschutz

In Branchen wie Gesundheitswesen und Finanzen verschärfen Datenschutzanforderungen den Mangel an Daten noch mehr. Mit synthetischen Daten können Unternehmen Trainings-Datensätze für ihre Modelle erstellen, die Nischen-Daten enthalten, ohne die Privatsphäre der Kunden zu gefährden. Es sollte jedoch, wie eine von der britischen Royal Society in Auftrag gegebene Studie mit Bezug auf synthetische Daten in der medizinischen Forschung festgestellt hat, beachtet werden, dass es eine “falsche Annahme” ist, synthetische Daten seien “von Natur aus privat”. Wie die Forscher betonen, können synthetische Daten Informationen über die Daten, aus denen sie abgeleitet wurden, preisgeben.

Insbesondere sind Modelle, die auf sensitiven Daten trainiert werden, anfällig für Modell-Inversions-Angriffe, bei denen Hacker in der Lage sind, Teile des ursprünglichen Datensatzes zu rekonstruieren.

Kosten

Im Allgemeinen werden synthetische Daten zu einem niedrigeren Kosten-Niveau als reale Welt-Daten generiert. Sie kommen auch bereits beschriftet, was Zeit und Kosten spart. In einigen KI-Trainingsprojekten macht die Daten-Vorbereitung, einschließlich der Beschriftung, bis zu 80% des Projekts aus. Dies erklärt, warum spezialisierte Unternehmen entstanden sind, um günstige Arbeitskräfte für die Daten-Verarbeitungs-Bedürfnisse der Silicon-Valley-Riesen zu beschaffen.

Die Ergänzung von realen Daten anstelle der Ersetzung

Diese Vorteile von synthetischen Daten können genutzt werden, wenn sie nicht als Ersatz für reale Daten behandelt werden. Stattdessen sollte ihre Rolle darin bestehen, reale Datensätze zu ergänzen, um die Skalierbarkeit der verfügbaren Datenpunkte zu erhöhen.

Im Kontext wird Metas kommendes LLM, LLAMA Behemoth, auf 30 Billionen Datenpunkte trainiert. Es ist offensichtlich, dass die Beschaffung von realen Welt-Daten in diesem Umfang eine Herausforderung darstellt, wenn nicht gar unmöglich ist. Dennoch, wie bereits erwähnt, ist die Verwendung von realen Welt-Daten immer noch notwendig, sei es für die Ausbildung der Modelle, die synthetische Daten erzeugen, oder für die Synchronisierung mit synthetischen Daten, um Genauigkeit und Modellkollaps zu vermeiden. Auf der Skala, auf der LLMs jetzt arbeiten, wird selbst dann, wenn synthetische Daten einen erheblichen Anteil der für die Ausbildung verwendeten Daten ausmachen, immer noch ein erheblicher Bedarf an realen Welt-Daten bestehen. Und das bedeutet, dass es komplexe Probleme zu lösen gibt, die mit Gatekeeping, Zugang, Voreingenommenheit, Kosten und Zeit verbunden sind.