Generative vs. diskriminative Modelle des maschinellen Lernens

Einige Modelle des maschinellen Lernens gehören entweder zu den Modellkategorien „generativ“ oder „diskriminativ“. Doch was ist die Differenz zwischen diese beiden Kategorien von Modellen? Was bedeutet es für ein Modell, diskriminierend oder generativ zu sein?

Die kurze Antwort lautet: Generative Modelle umfassen die Verteilung des Datensatzes und geben eine Wahrscheinlichkeit für ein bestimmtes Beispiel zurück. Generative Modelle werden häufig verwendet, um vorherzusagen, was als nächstes in einer Sequenz geschieht. Unterdessen werden diskriminierende Modelle entweder zur Klassifizierung oder zur Regression verwendet und liefern eine Vorhersage basierend auf bedingt Wahrscheinlichkeit. Lassen Sie uns die Unterschiede zwischen generativen und diskriminativen Modellen genauer untersuchen, damit wir wirklich verstehen können, was die beiden Modelltypen unterscheidet und wann jeder Typ verwendet werden sollte.

Generative vs. diskriminative Modelle

Es gibt verschiedene Möglichkeiten, ein Modell für maschinelles Lernen zu kategorisieren. Ein Modell kann in verschiedene Kategorien eingeteilt werden, wie zum Beispiel: generative Modelle, diskriminative Modelle, parametrische Modelle, nichtparametrische Modelle, baumbasierte Modelle, nicht baumbasierte Modelle.

Dieser Artikel konzentriert sich auf die Unterschiede zwischen generativen Modellen und diskriminativen Modellen. Wir beginnen mit der Definition sowohl generativer als auch diskriminierender Modelle und untersuchen dann einige Beispiele für jeden Modelltyp.

Generative Modelle

Generative Modelle sind diejenigen, die sich auf die Verteilung der Klassen innerhalb des Datensatzes konzentrieren. Die Algorithmen des maschinellen Lernens modellieren typischerweise die Verteilung der Datenpunkte. Generative Modelle basieren auf der Ermittlung gemeinsamer Wahrscheinlichkeiten. Erstellen von Punkten, an denen ein bestimmtes Eingabemerkmal und eine gewünschte Ausgabe/Beschriftung gleichzeitig vorhanden sind.

Generative Modelle werden typischerweise verwendet, um Wahrscheinlichkeiten und Wahrscheinlichkeiten abzuschätzen, Datenpunkte zu modellieren und auf der Grundlage dieser Wahrscheinlichkeiten zwischen Klassen zu unterscheiden. Da das Modell eine Wahrscheinlichkeitsverteilung für den Datensatz lernt, kann es auf diese Wahrscheinlichkeitsverteilung verweisen, um neue Dateninstanzen zu generieren. Generative Modelle basieren häufig auf Satz von Bayes um die gemeinsame Wahrscheinlichkeit zu finden, p(x,y) finden. Im Wesentlichen modellieren generative Modelle, wie die Daten generiert wurden, und beantworten die folgende Frage:

„Wie hoch ist die Wahrscheinlichkeit, dass diese Klasse oder eine andere Klasse diesen Datenpunkt/diese Instanz generiert hat?“

Beispiele für generative maschinelle Lernmodelle sind die lineare Diskriminanzanalyse (LDA), Hidden-Markov-Modelle und Bayes'sche Netzwerke wie Naive Bayes.

Diskriminierende Modelle

Während generative Modelle etwas über die Verteilung des Datensatzes lernen, diskriminierende Modelle Erfahren Sie mehr über die Grenzen zwischen Klassen innerhalb eines Datensatzes. Bei diskriminierenden Modellen besteht das Ziel in der Identifizierung die Entscheidungsgrenze zwischen Klassen, um zuverlässige Klassenbezeichnungen auf Dateninstanzen anzuwenden. Diskriminierende Modelle trennen die Klassen im Datensatz mithilfe der bedingten Wahrscheinlichkeit und machen keine Annahmen über einzelne Datenpunkte.

Diskriminierende Modelle sollen die folgende Frage beantworten:

„Auf welcher Seite der Entscheidungsgrenze befindet sich diese Instanz?“

Beispiele für diskriminierende Modelle beim maschinellen Lernen sind Support-Vektor-Maschinen, logistische Regression, Entscheidungsbäume und Zufallswälder.

Unterschiede zwischen generativ und diskriminativ

Hier finden Sie einen kurzen Überblick über die wichtigsten Unterschiede zwischen generativen und diskriminativen Modellen.

Generative Modelle:

• Generative Modelle zielen darauf ab, die tatsächliche Verteilung der Klassen im Datensatz zu erfassen.
• Generative Modelle sagen die gemeinsame Wahrscheinlichkeitsverteilung – p(x,y) – unter Verwendung des Bayes-Theorems voraus.
• Generative Modelle sind im Vergleich zu diskriminativen Modellen rechenintensiv.
• Generative Modelle sind nützlich für unbeaufsichtigte maschinelle Lernaufgaben.
• Generative Modelle werden durch das Vorhandensein von Ausreißern stärker beeinflusst als diskriminierende Modelle.

Diskriminierende Modelle:

• Diskriminative Modelle modellieren die Entscheidungsgrenze für die Datensatzklassen.
• Diskriminative Modelle lernen die bedingte Wahrscheinlichkeit – p(y|x).
• Diskriminative Modelle sind im Vergleich zu generativen Modellen rechenintensiv.
• Diskriminative Modelle sind nützlich für überwachte maschinelle Lernaufgaben.
• Diskriminative Modelle haben im Gegensatz zu generativen Modellen den Vorteil, dass sie robuster gegenüber Ausreißern sind.
• Diskriminative Modelle sind robuster gegenüber Ausreißern als generative Modelle.

Wir werden nun kurz einige verschiedene Beispiele für generative und diskriminierende Modelle des maschinellen Lernens untersuchen.

Beispiele für generative Modelle

Lineare Diskriminanzanalyse (LDA)

LDA-Modelle Funktion durch Schätzen der Varianz und des Mittelwerts der Daten für jede Klasse im Datensatz. Nachdem der Mittelwert und die Varianzen für jede Klasse berechnet wurden, können Vorhersagen getroffen werden, indem die Wahrscheinlichkeit geschätzt wird, dass ein bestimmter Satz von Eingaben zu einer bestimmten Klasse gehört.

Versteckte Markov-Modelle

Markov-Ketten kann man sich als Diagramme mit Wahrscheinlichkeiten vorstellen, die angeben, wie wahrscheinlich es ist, dass wir von einem Punkt in der Kette, einem „Zustand“, in einen anderen Zustand wechseln. Markov-Ketten werden verwendet, um die Wahrscheinlichkeit des Übergangs vom Zustand j zum Zustand i zu bestimmen, die als p(i,j) bezeichnet werden kann. Dies ist nur die oben erwähnte gemeinsame Wahrscheinlichkeit. Bei einem Hidden-Markov-Modell wird eine unsichtbare, nicht beobachtbare Markov-Kette verwendet. Die Dateneingaben werden in das Modell eingegeben und die Wahrscheinlichkeiten für den aktuellen Zustand und den unmittelbar davor liegenden Zustand werden zur Berechnung des wahrscheinlichsten Ergebnisses verwendet.

Bayesianische Netzwerke

Bayesianische Netzwerke sind eine Art probabilistisches grafisches Modell. Sie stellen bedingte Abhängigkeiten zwischen Variablen dar, wie sie durch einen gerichteten azyklischen Graphen dargestellt werden. In einem Bayes'schen Netzwerk stellt jede Kante des Diagramms eine bedingte Abhängigkeit dar und jeder Knoten entspricht einer eindeutigen Variablen. Die bedingte Unabhängigkeit für die eindeutigen Beziehungen im Diagramm kann verwendet werden, um die gemeinsame Verteilung der Variablen zu bestimmen und die gemeinsame Wahrscheinlichkeit zu berechnen. Mit anderen Worten: Ein Bayesianisches Netzwerk erfasst eine Teilmenge der unabhängigen Beziehungen in einer bestimmten gemeinsamen Wahrscheinlichkeitsverteilung.

Sobald ein Bayes'sches Netzwerk mit bekannten Zufallsvariablen, bedingten Beziehungen und Wahrscheinlichkeitsverteilungen erstellt und ordnungsgemäß definiert wurde, kann es zur Schätzung der Wahrscheinlichkeit von Ereignissen oder Ergebnissen verwendet werden.

Eine der am häufigsten verwendeten Arten von Bayes'schen Netzwerken ist ein Naive-Bayes-Modell. Ein Naive-Bayes-Modell bewältigt die Herausforderung der Wahrscheinlichkeitsberechnung für Datensätze mit vielen Parametern/Variablen, indem es alle Merkmale als unabhängig voneinander behandelt.

Beispiele für diskriminierende Modelle

Support-Vektor-Maschinen

Support-Vektor-Maschinen Arbeiten Sie, indem Sie eine Entscheidungsgrenze zwischen Datenpunkten zeichnen und so die Entscheidungsgrenze finden, die die verschiedenen Klassen im Datensatz am besten trennt. Der SVM-Algorithmus zeichnet entweder Linien oder Hyperebenen, die Punkte trennen, für zweidimensionale Räume bzw. 2D-Räume. SVM versucht, die Linie/Hyperebene zu finden, die die Klassen am besten trennt, indem es versucht, den Rand bzw. den Abstand zwischen der Linie/Hyperebene und den nächstgelegenen Punkten zu maximieren. SVM-Modelle können auch für Datensätze verwendet werden, die nicht linear trennbar sind, indem der „Kernel-Trick“ verwendet wird, um nichtlineare Entscheidungsgrenzen zu identifizieren.

Logistische Regression

Logistische Regression ist ein Algorithmus, der eine Logit-Funktion (Log-Odds) verwendet, um die Wahrscheinlichkeit zu bestimmen, dass sich eine Eingabe in einem von zwei Zuständen befindet. Eine Sigmoidfunktion wird verwendet, um die Wahrscheinlichkeit entweder in Richtung 0 oder 1, wahr oder falsch zu „quetschen“. Wahrscheinlichkeiten größer als 0.50 werden als Klasse 1 angenommen, während Wahrscheinlichkeiten von 0.49 oder niedriger als 0 angenommen werden. Aus diesem Grund wird bei binären Klassifizierungsproblemen typischerweise die logistische Regression verwendet. Die logistische Regression kann jedoch auf Probleme mit mehreren Klassen angewendet werden, indem ein Eins-gegen-alle-Ansatz verwendet wird, ein binäres Klassifizierungsmodell für jede Klasse erstellt und die Wahrscheinlichkeit bestimmt wird, dass es sich bei einem Beispiel um eine Zielklasse oder eine andere Klasse im Datensatz handelt.

Entscheidungsbaum

A Entscheidungsbaum Das Modell funktioniert, indem es einen Datensatz in immer kleinere Teile aufteilt. Sobald die Teilmengen nicht mehr weiter aufgeteilt werden können, ist das Ergebnis ein Baum mit Knoten und Blättern. Knoten in einem Entscheidungsbaum sind Orte, an denen Entscheidungen über Datenpunkte anhand verschiedener Filterkriterien getroffen werden. Die Blätter in einem Entscheidungsbaum sind die Datenpunkte, die klassifiziert wurden. Entscheidungsbaumalgorithmen können sowohl numerische als auch kategoriale Daten verarbeiten, und die Aufteilung im Baum basiert auf bestimmten Variablen/Merkmalen.

Zufällige Wälder

A Zufallswaldmodell ist im Grunde nur eine Sammlung von Entscheidungsbäumen, bei der die Vorhersagen der einzelnen Bäume gemittelt werden, um zu einer endgültigen Entscheidung zu gelangen. Der Random-Forest-Algorithmus wählt Beobachtungen und Merkmale zufällig aus und erstellt auf Grundlage dieser Auswahl die einzelnen Bäume.

In diesem Tutorial-Artikel erfahren Sie, wie Sie einen Boxplot in Matplotlib erstellen. Boxplots werden verwendet, um zusammenfassende Statistiken eines Datensatzes zu visualisieren und Attribute der Verteilung wie den Bereich und die Verteilung der Daten anzuzeigen.