Generative vs. Discriminative Machine Learning Modelle

Einige Machine-Learning-Modelle gehören entweder zu den Kategorien “generativ” oder “diskriminativ”. Doch was ist der Unterschied zwischen diesen beiden Modellkategorien? Was bedeutet es für ein Modell, diskriminativ oder generativ zu sein?

Die kurze Antwort ist, dass generative Modelle solche sind, die die Verteilung des Datensatzes beinhalten und eine Wahrscheinlichkeit für ein gegebenes Beispiel zurückgeben. Generative Modelle werden oft verwendet, um vorherzusagen, was als Nächstes in einer Sequenz passiert. Währenddessen werden diskriminative Modelle für Klassifizierung oder Regressionsanalyse verwendet und geben eine Vorhersage basierend auf bedingter Wahrscheinlichkeit zurück. Lassen Sie uns die Unterschiede zwischen generativen und diskriminativen Modellen genauer betrachten, damit wir wirklich verstehen, was die beiden Modelltypen voneinander trennt und wann jeder Typ verwendet werden sollte.

Generative vs. Diskriminative Modelle

Es gibt verschiedene Möglichkeiten, ein Machine-Learning-Modell zu kategorisieren. Ein Modell kann als zugehörig zu verschiedenen Kategorien wie generative Modelle, diskriminative Modelle, parametrische Modelle, nicht-parametrische Modelle, Baum-basierte Modelle oder nicht-Baum-basierte Modelle klassifiziert werden.

Dieser Artikel konzentriert sich auf die Unterschiede zwischen generativen und diskriminativen Modellen. Wir beginnen damit, beide Arten von Modellen zu definieren, und dann werden wir einige Beispiele für jeden Modelltyp betrachten.

Generative Modelle

Generative Modelle sind solche, die sich auf die Verteilung der Klassen innerhalb des Datensatzes konzentrieren. Die Machine-Learning-Algorithmen modellieren typischerweise die Verteilung der Datenpunkte. Generative Modelle verlassen sich auf die Suche nach der gemeinsamen Wahrscheinlichkeit. Sie erstellen Punkte, an denen ein gegebenes Eingabefeature und ein gewünschtes Ausgabe-/Label gleichzeitig existieren.

Generative Modelle werden typischerweise verwendet, um Wahrscheinlichkeiten und Wahrscheinlichkeitsverteilungen zu schätzen, Datenpunkte zu modellieren und zwischen Klassen basierend auf diesen Wahrscheinlichkeiten zu diskriminieren. Da das Modell eine Wahrscheinlichkeitsverteilung für den Datensatz lernt, kann es auf diese Wahrscheinlichkeitsverteilung zurückgreifen, um neue Dateninstanzen zu generieren. Generative Modelle verlassen sich oft auf Bayes-Theorem, um die gemeinsame Wahrscheinlichkeit zu finden, also p(x,y). Im Wesentlichen modellieren generative Modelle, wie die Daten generiert wurden, und beantworten die Frage:

“Wie wahrscheinlich ist es, dass diese Klasse oder eine andere Klasse diese Dateninstanz generiert hat?”

Beispiele für generative Machine-Learning-Modelle sind Linear Discriminant Analysis (LDA), Hidden Markov-Modelle und Bayes-Netzwerke wie Naive Bayes.

Diskriminative Modelle

Während generative Modelle die Verteilung des Datensatzes lernen, lernen diskriminative Modelle die Grenze zwischen Klassen innerhalb eines Datensatzes. Bei diskriminativen Modellen besteht das Ziel darin, die Entscheidungsgrenze zwischen Klassen zu identifizieren, um zuverlässige Klassenlabels zu Dateninstanzen zuzuweisen. Diskriminative Modelle trennen die Klassen im Datensatz, indem sie bedingte Wahrscheinlichkeit verwenden, ohne Annahmen über einzelne Datenpunkte zu treffen.

Diskriminative Modelle versuchen, die folgende Frage zu beantworten:

“Auf welcher Seite der Entscheidungsgrenze befindet sich diese Instanz?”

Beispiele für diskriminative Modelle im Machine Learning sind Support-Vektor-Maschinen, logistische Regression, Entscheidungsbäume und Random Forests.

Unterschiede zwischen Generativen und Diskriminativen

Hier ist eine kurze Zusammenfassung der wichtigsten Unterschiede zwischen generativen und diskriminativen Modellen.

Generative Modelle:

• Generative Modelle zielen darauf ab, die tatsächliche Verteilung der Klassen im Datensatz zu erfassen.
• Generative Modelle vorhersagen die gemeinsame Wahrscheinlichkeitsverteilung – p(x,y) – unter Verwendung von Bayes-Theorem.
• Generative Modelle sind rechenintensiver im Vergleich zu diskriminativen Modellen.
• Generative Modelle sind nützlich für unsupervisierte Machine-Learning-Aufgaben.
• Generative Modelle sind stärker von Ausreißern betroffen als diskriminative Modelle.

Diskriminative Modelle:

• Diskriminative Modelle modellieren die Entscheidungsgrenze für die Klassen im Datensatz.
• Diskriminative Modelle lernen die bedingte Wahrscheinlichkeit – p(y|x).
• Diskriminative Modelle sind rechenintensiver im Vergleich zu generativen Modellen.
• Diskriminative Modelle sind nützlich für supervisierte Machine-Learning-Aufgaben.
• Diskriminative Modelle haben den Vorteil, robuster gegenüber Ausreißern zu sein, im Gegensatz zu generativen Modellen.
• Diskriminative Modelle sind robuster gegenüber Ausreißern im Vergleich zu generativen Modellen.

Wir werden nun einige verschiedene Beispiele für generative und diskriminative Machine-Learning-Modelle kurz betrachten.

Beispiele für Generative Modelle

Lineare Diskriminanzanalyse (LDA)

LDA-Modelle funktionieren, indem sie die Varianz und den Mittelwert der Daten für jede Klasse im Datensatz schätzen. Nachdem der Mittelwert und die Varianz für jede Klasse berechnet wurden, können Vorhersagen gemacht werden, indem die Wahrscheinlichkeit geschätzt wird, dass ein gegebenes Eingabeset zu einer bestimmten Klasse gehört.

Versteckte Markov-Modelle

Markov-Ketten können als Graphen mit Wahrscheinlichkeiten betrachtet werden, die angeben, wie wahrscheinlich es ist, dass wir von einem Punkt in der Kette, einem “Zustand”, zu einem anderen Zustand wechseln. Markov-Ketten werden verwendet, um die Wahrscheinlichkeit zu bestimmen, von Zustand j zu Zustand i zu wechseln, was als p(i,j) bezeichnet werden kann. Dies ist nur die gemeinsame Wahrscheinlichkeit, die oben erwähnt wurde. Ein verstecktes Markov-Modell ist ein Modell, bei dem eine unsichtbare, nicht beobachtbare Markov-Kette verwendet wird. Die Daten-Eingaben werden dem Modell gegeben, und die Wahrscheinlichkeiten für den aktuellen Zustand und den Zustand, der ihm unmittelbar vorausgeht, werden verwendet, um das wahrscheinlichste Ergebnis zu berechnen.

Bayes-Netzwerke

Bayes-Netzwerke sind eine Art probabilistisches graphisches Modell. Sie stellen bedingte Abhängigkeiten zwischen Variablen dar, wie sie durch einen gerichteten azyklischen Graphen dargestellt werden. In einem Bayes-Netzwerk stellt jede Kante des Graphen eine bedingte Abhängigkeit dar, und jeder Knoten entspricht einer eindeutigen Variable. Die bedingte Unabhängigkeit für die eindeutigen Beziehungen im Graphen kann verwendet werden, um die gemeinsame Verteilung der Variablen zu bestimmen und die gemeinsame Wahrscheinlichkeit zu berechnen. Mit anderen Worten: Ein Bayes-Netzwerk erfasst eine Teilmenge der unabhängigen Beziehungen in einer bestimmten gemeinsamen Wahrscheinlichkeitsverteilung.

Sobald ein Bayes-Netzwerk erstellt und ordnungsgemäß definiert wurde, mit Zufallsvariablen, bedingten Beziehungen und Wahrscheinlichkeitsverteilungen, kann es verwendet werden, um die Wahrscheinlichkeit von Ereignissen oder Ergebnissen zu schätzen.

Eine der am häufigsten verwendeten Arten von Bayes-Netzwerken ist ein Naive-Bayes-Modell. Ein Naive-Bayes-Modell bewältigt die Herausforderung, die Wahrscheinlichkeit für Datensätze mit vielen Parametern/Variablen zu berechnen, indem es alle Merkmale als voneinander unabhängig behandelt.

Beispiele für Diskriminative Modelle

Support-Vektor-Maschinen

Support-Vektor-Maschinen funktionieren, indem sie eine Entscheidungsgrenze zwischen Datenpunkten zeichnen und die Entscheidungsgrenze finden, die die verschiedenen Klassen im Datensatz am besten trennt. Der SVM-Algorithmus zeichnet entweder Linien oder Hyperflächen, die Punkte trennen, für 2-dimensionale Räume bzw. 3D-Räume. Der SVM-Algorithmus versucht, die Linie/Hyperfläche zu finden, die die Klassen am besten trennt, indem er den Abstand zwischen der Linie/Hyperfläche und den nächsten Punkten maximiert. SVM-Modelle können auch auf Datensätze angewendet werden, die nicht linear trennbar sind, indem sie den “Kernel-Trick” verwenden, um nicht-lineare Entscheidungsgrenzen zu finden.

Logistische Regression

Logistische Regression ist ein Algorithmus, der eine Logit-Funktion (Log-Odds) verwendet, um die Wahrscheinlichkeit zu bestimmen, dass eine Eingabe in einem von zwei Zuständen ist. Eine Sigmoid-Funktion wird verwendet, um die Wahrscheinlichkeit auf 0 oder 1, wahr oder falsch, zu “quetschen”. Wahrscheinlichkeiten größer als 0,50 werden als Klasse 1 angenommen, während Wahrscheinlichkeiten von 0,49 oder niedriger als 0 angenommen werden. Aus diesem Grund wird logistische Regression typischerweise in binären Klassifizierungsproblemen verwendet. Logistische Regression kann jedoch auch auf Mehrklassenprobleme angewendet werden, indem ein “one-vs.-all”-Ansatz verwendet wird, bei dem für jede Klasse ein binäres Klassifizierungsmodell erstellt wird und die Wahrscheinlichkeit bestimmt wird, dass ein Beispiel die Zielklasse oder eine andere Klasse im Datensatz ist.

Entscheidungsbaum

Ein Entscheidungsbaum-Modell funktioniert, indem es den Datensatz in immer kleinere Teile aufteilt, und wenn die Teile nicht mehr aufgeteilt werden können, ist das Ergebnis ein Baum mit Knoten und Blättern. Knoten in einem Entscheidungsbaum sind die Stellen, an denen Entscheidungen über Datenpunkte unter Verwendung verschiedener Filterkriterien getroffen werden. Die Blätter in einem Entscheidungsbaum sind die Datenpunkte, die klassifiziert wurden. Entscheidungsbaum-Algorithmen können sowohl numerische als auch kategorische Daten verarbeiten, und die Aufteilungen im Baum basieren auf bestimmten Variablen/Merkmalen.

Random Forests

Ein Random-Forest-Modell ist im Wesentlichen nur eine Sammlung von Entscheidungsbäumen, bei der die Vorhersagen der einzelnen Bäume gemittelt werden, um zu einer endgültigen Entscheidung zu gelangen. Der Random-Forest-Algorithmus wählt Beobachtungen und Merkmale zufällig aus und baut die einzelnen Bäume auf der Grundlage dieser Auswahl auf.