Was ist Gradient Boosting?

Ein häufiger Typ von Machine-Learning-Modell, das sich in Data-Science-Wettbewerben als extrem nützlich erwiesen hat, ist ein Gradient-Boosting-Modell. Gradient Boosting ist im Wesentlichen der Prozess, schwache Lernalgorithmen in starke Lernalgorithmen umzuwandeln. Doch wie genau wird dies erreicht? Lassen Sie uns einen genaueren Blick auf Gradient-Boosting-Algorithmen werfen und besser verstehen, wie ein Gradient-Boosting-Modell schwache Lerner in starke Lerner umwandelt.

Definition von Gradient Boosting

Dieser Artikel soll Ihnen ein gutes Verständnis dafür vermitteln, was Gradient Boosting ist, ohne viele mathematische Erklärungen. Sobald Sie ein Verständnis dafür haben, wie Gradient Boosting auf hohem Niveau funktioniert, werden Sie ermutigt, tiefer in die Mathematik einzutauchen, die es ermöglicht.

Lassen Sie uns beginnen, indem wir definieren, was es bedeutet, einen Lerner zu “boosten”. Schwache Lerner werden in starke Lerner umgewandelt, indem die Eigenschaften des Lernalgorithmus angepasst werden. Welcher Lernalgorithmus wird genau boostet?

Boosting-Modelle funktionieren, indem sie ein anderes häufiges Machine-Learning-Modell, einen Entscheidungsbaum, erweitern.

Ein Entscheidungsbaum-Modell funktioniert, indem es einen Datensatz in kleinere und kleinere Teile aufteilt, und sobald die Teile nicht mehr weiter aufgeteilt werden können, ist das Ergebnis ein Baum mit Knoten und Blättern. Knoten in einem Entscheidungsbaum sind die Stellen, an denen Entscheidungen über Datenpunkte unter Verwendung verschiedener Filterkriterien getroffen werden. Die Blätter in einem Entscheidungsbaum sind die Datenpunkte, die klassifiziert wurden. Entscheidungsbaum-Algorithmen können sowohl numerische als auch kategorische Daten verarbeiten, und die Aufteilungen im Baum basieren auf bestimmten Variablen/Merkmalen.

Illustration der Art und Weise, wie Boosting-Modelle trainiert werden.
Foto: SeattleDataBuy via Wikimedia Commons, CC 4.0 (https://commons.wikimedia.org/wiki/File:Boosting.png)

Eine Art von Boosting-Algorithmus ist der AdaBoost-Algorithmus. AdaBoost-Algorithmen beginnen damit, einen Entscheidungsbaum-Modell zu trainieren und jedem Beobachtungswert ein gleiches Gewicht zuzuweisen. Nachdem der erste Baum auf Genauigkeit ausgewertet wurde, werden die Gewichte für die verschiedenen Beobachtungswerte angepasst. Beobachtungswerte, die leicht zu klassifizieren waren, haben ihre Gewichte verringert, während Beobachtungswerte, die schwierig zu klassifizieren waren, ihre Gewichte erhöht haben. Ein zweiter Baum wird unter Verwendung dieser angepassten Gewichte erstellt, mit dem Ziel, dass die Vorhersagen des zweiten Baumes genauer sind als die des ersten Baumes.

Das Modell besteht nun aus den Vorhersagen des ursprünglichen Baumes und des neuen Baumes (oder Baum 1 + Baum 2). Die Klassifizierungsgenauigkeit wird erneut auf der Grundlage des neuen Modells bewertet. Ein dritter Baum wird auf der Grundlage des berechneten Fehlers für das Modell erstellt, und die Gewichte werden erneut angepasst. Dieser Prozess wird für eine bestimmte Anzahl von Iterationen wiederholt, und das endgültige Modell ist ein Ensemble-Modell, das die gewichtete Summe der Vorhersagen aller zuvor erstellten Bäume verwendet.

Der oben beschriebene Prozess verwendet Entscheidungsbäume und die Basisprädiktoren/Modelle, doch kann ein Boosting-Ansatz mit einer Vielzahl von Modellen wie den vielen Standard-Klassifizierungs- und Regressionsmodellen durchgeführt werden. Die Schlüsselkonzepte, die verstanden werden müssen, sind, dass nachfolgende Prädiktoren aus den Fehlern der vorherigen lernen und dass die Prädiktoren sequentiell erstellt werden.

Der primäre Vorteil von Boosting-Algorithmen ist, dass sie weniger Zeit benötigen, um die aktuellen Vorhersagen im Vergleich zu anderen Machine-Learning-Modellen zu finden. Bei der Verwendung von Boosting-Algorithmen muss jedoch Vorsicht walten, da sie anfällig für Overfitting sind.

Gradient Boosting

Wir werden nun einen der häufigsten Boosting-Algorithmen betrachten. Gradient-Boosting-Modelle (GBM) sind für ihre hohe Genauigkeit bekannt und erweitern die allgemeinen Prinzipien, die in AdaBoost verwendet werden.

Der primäre Unterschied zwischen einem Gradient-Boosting-Modell und AdaBoost ist, dass GBM eine andere Methode zur Berechnung verwenden, um zu bestimmen, welche Lerner Datenpunkte falsch identifizieren. AdaBoost berechnet, wo ein Modell unterperformt, indem es Datenpunkte untersucht, die stark gewichtet sind. GBM verwenden hingegen Gradienten, um die Genauigkeit von Lernern zu bestimmen, indem sie eine Verlustfunktion auf ein Modell anwenden. Verlustfunktionen sind eine Möglichkeit, die Genauigkeit der Anpassung eines Modells an den Datensatz zu messen, indem sie einen Fehler berechnen und das Modell optimieren, um diesen Fehler zu reduzieren. GBM ermöglichen es dem Benutzer, eine bestimmte Verlustfunktion basierend auf seinem gewünschten Ziel zu optimieren.

Wenn wir die häufigste Verlustfunktion – Mittlerer Quadratfehler (MQF) – als Beispiel nehmen, wird Gradientenabstieg verwendet, um Vorhersagen basierend auf einer vordefinierten Lernrate zu aktualisieren, mit dem Ziel, die Werte zu finden, bei denen der Verlust minimal ist.

Um es klarer zu machen:

Neue Modellvorhersagen = Ausgabevariablen – alte unvollkommene Vorhersagen.

In einem statistischeren Sinne zielen GBM darauf ab, relevante Muster in den Residuen eines Modells zu finden, das Modell anzupassen, um dem Muster zu entsprechen, und die Residuen so nah wie möglich bei Null zu bringen. Wenn Sie eine Regressionsanalyse auf die Vorhersagen des Modells durchführen würden, würden die Residuen um 0 (perfekte Anpassung) verteilt sein, und GBM finden Muster innerhalb der Residuen und aktualisieren das Modell um diese Muster herum.

Mit anderen Worten werden die Vorhersagen so aktualisiert, dass die Summe aller Residuen so nah wie möglich bei 0 liegt, was bedeutet, dass die vorhergesagten Werte sehr nahe an den tatsächlichen Werten liegen werden.

Beachten Sie, dass eine Vielzahl von anderen Verlustfunktionen (wie logarithmischer Verlust) von einem GBM verwendet werden kann. MQF wurde oben aus Gründen der Einfachheit ausgewählt.

Variationen von Gradient-Boosting-Modellen

Gradient-Boosting-Modelle sind gierige Algorithmen, die anfällig für Overfitting auf einem Datensatz sind. Dies kann mit mehreren verschiedenen Methoden bewacht werden, die die Leistung eines GBM verbessern können.

GBM können mit vier verschiedenen Methoden reguliert werden: Shrinkage, Baum-Beschränkungen, Stochastic Gradient Boosting und Penalized Learning.

Shrinkage

Wie bereits erwähnt, werden in GBM Vorhersagen in einer sequenziellen Weise summiert. Bei “Shrinkage” werden die Additionen jedes Baumes zur Gesamtsumme angepasst. Gewichte werden angewendet, die die Lernrate des Algorithmus verlangsamen, was bedeutet, dass mehr Bäume zum Modell hinzugefügt werden müssen, was normalerweise die Robustheit und Leistung des Modells verbessert. Der Trade-off ist, dass das Modell länger zum Trainieren braucht.

Baum-Beschränkungen

Die Einschränkung des Baumes mit verschiedenen Anpassungen wie der Erhöhung der Tiefe des Baumes oder der Erhöhung der Anzahl von Knoten oder Blättern im Baum kann es dem Modell schwerer machen, Overfitting zu verursachen. Die Auferlegung einer Einschränkung auf die Mindestanzahl von Beobachtungen pro Aufteilung hat eine ähnliche Wirkung. Erneut ist der Trade-off, dass es dem Modell länger zum Trainieren braucht.

Zufällige Stichproben

Die individuellen Lerner können durch einen stochastischen Prozess erstellt werden, der auf zufällig ausgewählten Teilstichproben des Trainingsdatensatzes basiert. Dies hat die Wirkung, die Korrelationen zwischen Bäumen zu reduzieren, was Overfitting verhindert. Der Datensatz kann vor der Erstellung der Bäume oder vor der Berücksichtigung einer Aufteilung im Baum substichprobenartig ausgewählt werden.

Gestrafte Lernmethode

Beyond die Einschränkung des Modells durch die Begrenzung der Struktur des Baumes, ist es möglich, einen Regressionsbaum zu verwenden. Regressionsbäume haben numerische Werte, die jedem Blatt zugeordnet sind, und diese fungieren als Gewichte und können mit gemeinsamen Regularisierungsfunktionen wie L1- und L2-Regularisierung angepasst werden.