Was ist synthetische Daten?

Was ist synthetische Daten?

Synthetische Daten sind ein schnell wachsendes Trend und ein aufkommendes Werkzeug im Bereich der Datenwissenschaft. Was sind synthetische Daten genau? Die kurze Antwort ist, dass synthetische Daten aus Daten bestehen, die nicht auf realen Phänomenen oder Ereignissen basieren, sondern durch ein Computerprogramm generiert werden. Doch warum werden synthetische Daten so wichtig für die Datenwissenschaft? Wie werden synthetische Daten erstellt? Lassen Sie uns die Antworten auf diese Fragen erforschen.

Was ist ein synthetisches Datenset?

Wie der Begriff “synthetisch” bereits andeutet, werden synthetische Datensätze durch Computerprogramme generiert, anstatt durch die Dokumentation realer Ereignisse zusammengestellt zu werden. Der Hauptzweck eines synthetischen Datensatzes ist es, vielseitig und robust genug zu sein, um für die Ausbildung von Machine-Learning-Modellen nützlich zu sein.

Um für einen Machine-Learning-Klassifizierer nützlich zu sein, sollten synthetische Daten bestimmte Eigenschaften aufweisen. Während die Daten kategorial, binär oder numerisch sein können, sollte die Länge des Datensatzes willkürlich sein und die Daten sollten zufällig generiert werden. Die zufälligen Prozesse, die zur Generierung der Daten verwendet werden, sollten kontrollierbar sein und auf verschiedenen statistischen Verteilungen basieren. Zufälliges Rauschen kann auch in den Datensatz eingefügt werden.

Wenn synthetische Daten für ein Klassifizierungs-Algorithmus verwendet werden, sollte die Menge an Klassen-Trennung anpassbar sein, damit das Klassifizierungsproblem je nach Anforderung des Problems einfacher oder schwieriger gemacht werden kann. Wenn es sich um eine Regressionsaufgabe handelt, können nicht-lineare generative Prozesse verwendet werden, um die Daten zu generieren.

Warum synthetische Daten verwenden?

Da Machine-Learning-Frameworks wie TensorFlow und PyTorch einfacher zu verwenden sind und vorgefertigte Modelle für Computer-Vision und Natural-Language-Processing immer häufiger und leistungsfähiger werden, ist das Hauptproblem, das Data-Scientist vor sich haben, die Erfassung und Handhabung von Daten. Unternehmen haben oft Schwierigkeiten, große Mengen an Daten zu sammeln, um innerhalb eines bestimmten Zeitraums ein genaues Modell zu trainieren. Das manuelle Beschriften von Daten ist ein kostspieliger und langsamer Prozess, um Daten zu sammeln. Die Erstellung und Verwendung von synthetischen Daten kann jedoch Data-Scientist und Unternehmen helfen, diese Hürden zu überwinden und zuverlässige Machine-Learning-Modelle schneller zu entwickeln.

Es gibt eine Reihe von Vorteilen, wenn synthetische Daten verwendet werden. Der offensichtlichste Vorteil der Verwendung von synthetischen Daten ist, dass sie den Bedarf an der Erfassung von Daten aus realen Ereignissen reduzieren und es ermöglichen, Daten und Datensätze viel schneller zu generieren als Datensätze, die von realen Ereignissen abhängig sind. Dies bedeutet, dass große Mengen an Daten in kurzer Zeit produziert werden können. Dies ist besonders wichtig für Ereignisse, die selten auftreten, da mehr Daten aus einigen echten Datenproben erstellt werden können, wenn ein Ereignis selten in der Natur auftritt. Darüber hinaus können die Daten automatisch beschriftet werden, während sie generiert werden, was die Zeit, die zum Beschriften von Daten benötigt wird, erheblich reduziert.

Synthetische Daten können auch nützlich sein, um Trainingsdaten für Randfälle zu erhalten, die Instanzen sind, die möglicherweise nur selten auftreten, aber für den Erfolg von KI-Systemen entscheidend sind. Randfälle sind Ereignisse, die sehr ähnlich zum primären Ziel eines KI-Systems sind, aber sich in wichtigen Aspekten unterscheiden. Beispielsweise könnten Objekte, die nur teilweise sichtbar sind, als Randfälle bei der Entwicklung eines Bildklassifizierungs-Algorithmus betrachtet werden.

Schließlich können synthetische Datensätze Datenschutzbedenken minimieren. Versuche, Daten anonym zu machen, können unwirksam sein, da selbst wenn sensible/identifizierende Variablen aus dem Datensatz entfernt werden, andere Variablen als Identifikatoren wirken können, wenn sie kombiniert werden. Dies ist bei synthetischen Daten kein Problem, da sie nie auf realen Personen oder Ereignissen basieren.

Anwendungsfälle für synthetische Daten

Synthetische Daten haben eine Vielzahl von Anwendungsfällen, da sie auf fast jede Machine-Learning-Aufgabe angewendet werden können. Gängige Anwendungsfälle für synthetische Daten umfassen selbstfahrende Fahrzeuge, Sicherheit, Robotik, Betrugsprävention und Gesundheitswesen.

Einer der ersten Anwendungsfälle für synthetische Daten war die Entwicklung von selbstfahrenden Autos, da synthetische Daten verwendet werden, um Trainingsdaten für Fahrzeuge in Situationen zu erstellen, in denen die Erfassung von realen Trainingsdaten auf der Straße schwierig oder gefährlich ist. Synthetische Daten sind auch nützlich für die Erstellung von Daten, die zur Ausbildung von Bilderkennungssystemen wie Überwachungssystemen verwendet werden, viel effizienter als das manuelle Sammeln und Beschriften von Trainingsdaten. Robotik-Systeme können langsam zu trainieren und zu entwickeln sein, wenn herkömmliche Methoden der Datenerfassung und -ausbildung verwendet werden. Synthetische Daten ermöglichen es Robotik-Unternehmen, ihre Systeme durch Simulationen zu testen und zu entwickeln. Betrugspräventions-Systeme können von synthetischen Daten profitieren, und neue Methoden zur Betrugs-Erkennung können mit Daten trainiert und getestet werden, die ständig neu sind, wenn synthetische Daten verwendet werden. Im Gesundheitswesen können synthetische Daten verwendet werden, um Klassifizierer zu entwickeln, die genau sind und gleichzeitig die Privatsphäre der Menschen schützen, da die Daten nicht auf realen Personen basieren.

Herausforderungen bei synthetischen Daten

Obwohl die Verwendung von synthetischen Daten viele Vorteile mit sich bringt, bringt sie auch viele Herausforderungen mit sich.

Wenn synthetische Daten erstellt werden, fehlen ihnen oft Ausreißer. Ausreißer treten in Daten natürlich auf, und obwohl sie oft aus Trainings-Datensätzen entfernt werden, kann ihre Existenz notwendig sein, um wirklich zuverlässige Machine-Learning-Modelle zu trainieren. Darüber hinaus kann die Qualität von synthetischen Daten sehr variabel sein. Synthetische Daten werden oft mit einem Eingabe-Datensatz oder einem “Seed”-Datensatz generiert, und daher kann die Qualität der Daten von der Qualität des Eingabe-Datensatzes abhängen. Wenn die Daten, die zur Generierung von synthetischen Daten verwendet werden, voreingenommen sind, kann die generierte Daten diese Voreingenommenheit perpetuieren. Synthetische Daten erfordern auch eine Form von Ausgabe-/Qualitätskontrolle. Sie müssen gegen von Menschen annotierte Daten oder authentische Daten in irgendeiner Form überprüft werden.

Wie werden synthetische Daten erstellt?

Synthetische Daten werden programmgesteuert mit Machine-Learning-Techniken erstellt. Klassische Machine-Learning-Techniken wie Entscheidungsbäume können verwendet werden, sowie Deep-Learning-Techniken. Die Anforderungen an die synthetischen Daten beeinflussen, welche Art von Algorithmus zur Generierung der Daten verwendet wird. Entscheidungsbäume und ähnliche Machine-Learning-Modelle ermöglichen es Unternehmen, nicht-klassische, multi-modale Datenverteilungen zu erstellen, die auf Beispielen von realen Daten trainiert sind. Die Generierung von Daten mit diesen Algorithmen liefert Daten, die hoch korreliert mit den ursprünglichen Trainingsdaten sind. Wenn die typische Verteilung von Daten bekannt ist, kann ein Unternehmen synthetische Daten durch Verwendung einer Monte-Carlo-Methode generieren.

Deep-Learning-basierte Methoden zur Generierung von synthetischen Daten verwenden in der Regel entweder eine Variational-Autoencoder (VAE) oder ein generatives adversarisches Netzwerk (GAN). VAEs sind unüberwachte Machine-Learning-Modelle, die Encoder und Decoder verwenden. Der Encoder-Teil eines VAE ist für die Komprimierung der Daten in eine einfachere, kompaktere Version des ursprünglichen Datensatzes verantwortlich, die der Decoder dann analysiert und verwendet, um eine Darstellung der Basis-Daten zu generieren. Ein VAE wird mit dem Ziel trainiert, eine optimale Beziehung zwischen den Eingabe-Daten und den Ausgabe-Daten zu haben, bei der sowohl die Eingabe-Daten als auch die Ausgabe-Daten sehr ähnlich sind.

Wenn es um GAN-Modelle geht, werden sie “adversarial” genannt, weil GANs tatsächlich zwei Netze sind, die gegeneinander konkurrieren. Der Generator ist für die Generierung von synthetischen Daten verantwortlich, während das zweite Netz (der Diskriminator) durch Vergleichen der generierten Daten mit einem realen Datensatz und Versuchen, zu bestimmen, welche Daten gefälscht sind, operiert. Wenn der Diskriminator gefälschte Daten erkennt, wird der Generator davon benachrichtigt und er ändert seine Strategie, um eine neue Charge von Daten vom Diskriminator zu erhalten. Der Diskriminator wird immer besser darin, Fälschungen zu erkennen. Die beiden Netze werden gegeneinander trainiert, wobei die Fälschungen immer lebensnaher werden.