Was ist Ensemble Learning?

Eine der leistungsstärksten maschinellen Lernmethoden ist Ensemble Learning. Ensemble-Lernen ist die Verwendung mehrerer maschineller Lernmodelle, um die Zuverlässigkeit und Genauigkeit von Vorhersagen zu verbessern. Doch wie führt die Verwendung mehrerer maschineller Lernmodelle zu genaueren Vorhersagen? Welche Techniken werden verwendet, um Ensemble-Lernmodelle zu erstellen? Wir werden die Antwort auf diese Fragen erkunden, indem wir uns die Gründe für die Verwendung von Ensemble-Modellen und die primären Methoden zur Erstellung von Ensemble-Modellen ansehen.

Was ist Ensemble Learning?

Einfach ausgedrückt ist Ensemble Learning der Prozess des Trainings mehrerer maschineller Lernmodelle und der Kombination ihrer Ausgaben. Die verschiedenen Modelle werden als Grundlage verwendet, um ein optimales Vorhersagemodell zu erstellen. Die Kombination einer vielfältigen Menge von individuellen maschinellen Lernmodellen kann die Stabilität des Gesamtmodells verbessern, was zu genaueren Vorhersagen führt. Ensemble-Lernmodelle sind häufiger zuverlässiger als individuelle Modelle, und daher gewinnen sie oft die ersten Preise in vielen maschinellen Lernwettbewerben.

Es gibt verschiedene Techniken, die ein Ingenieur verwenden kann, um ein Ensemble-Lernmodell zu erstellen. Einfache Ensemble-Lernmethoden umfassen Dinge wie das Mitteln der Ausgaben verschiedener Modelle, während es auch komplexere Methoden und Algorithmen gibt, die speziell entwickelt wurden, um die Vorhersagen vieler Basis-Modelle zusammenzuführen.

Warum Ensemble-Trainingsmethoden verwenden?

Maschinelle Lernmodelle können sich voneinander unterscheiden, weil sie auf verschiedenen Stichproben der Populationsdaten basieren, verschiedene Modellierungstechniken verwendet werden oder eine andere Hypothese verwendet wird.

Stellen Sie sich vor, Sie spielen ein Trivia-Spiel mit einer großen Gruppe von Menschen. Wenn Sie alleine in einem Team sind, gibt es sicherlich einige Themen, über die Sie Kenntnisse haben, und viele Themen, über die Sie keine Kenntnisse haben. Nehmen Sie nun an, Sie spielen in einem Team mit anderen Menschen. Genau wie Sie haben sie Kenntnisse über ihre eigenen Spezialgebiete und keine Kenntnisse über andere Themen. Wenn jedoch Ihre Kenntnisse kombiniert werden, haben Sie genauere Vermutungen für mehr Felder, und die Anzahl der Themen, über die Ihr Team keine Kenntnisse hat, verringert sich. Dies ist das gleiche Prinzip, das Ensemble-Lernen zugrunde liegt, nämlich die Kombination der Vorhersagen verschiedener Teammitglieder (individueller Modelle), um die Genauigkeit zu verbessern und Fehler zu minimieren.

Statistiker haben bewiesen, dass wenn eine Menschenmenge aufgefordert wird, die richtige Antwort auf eine bestimmte Frage mit einer Reihe von möglichen Antworten zu erraten, alle ihre Antworten eine Wahrscheinlichkeitsverteilung bilden. Die Menschen, die tatsächlich die richtige Antwort kennen, wählen die richtige Antwort mit Zuversicht, während die Menschen, die die falschen Antworten wählen, ihre Vermutungen über die Reihe von möglichen falschen Antworten verteilen. Wenn wir uns das Beispiel eines Trivia-Spiels ansehen, wenn Sie und Ihre zwei Freunde die richtige Antwort A kennen, wählen alle drei A, während die drei anderen Menschen in Ihrem Team, die die Antwort nicht kennen, wahrscheinlich falsch B, C, D oder E erraten. Das Ergebnis ist, dass A drei Stimmen hat und die anderen Antworten wahrscheinlich nur eine oder zwei Stimmen haben.

Alle Modelle haben einen gewissen Fehler. Die Fehler eines Modells sind anders als die Fehler, die von einem anderen Modell produziert werden, da die Modelle selbst aus den oben genannten Gründen unterschiedlich sind. Wenn alle Fehler untersucht werden, sind sie nicht um eine bestimmte Antwort oder eine andere herum gruppiert, sondern sie sind über alle möglichen falschen Antworten verteilt und heben sich gegenseitig auf. Die richtigen Vermutungen der verschiedenen Modelle sind dagegen um die richtige, korrekte Antwort herum gruppiert. Wenn Ensemble-Trainingsmethoden verwendet werden, kann die richtige Antwort mit größerer Zuverlässigkeit gefunden werden.

Einfache Ensemble-Trainingsmethoden

Einfache Ensemble-Trainingsmethoden umfassen in der Regel nur die Anwendung von statistischen Zusammenfassungstechniken, wie der Ermittlung des Modus, des Mittelwerts oder des gewichteten Mittelwerts einer Menge von Vorhersagen.

Der Modus bezeichnet das häufigsten vorkommende Element innerhalb einer Menge von Zahlen. Um den Modus zu ermitteln, geben die individuellen Lernmodelle ihre Vorhersagen aus, und diese Vorhersagen werden als Stimmen für die endgültige Vorhersage betrachtet. Die Ermittlung des Mittelwerts der Vorhersagen erfolgt einfach durch Berechnung des arithmetischen Mittelwerts der Vorhersagen, gerundet auf die nächste ganze Zahl. Schließlich kann ein gewichteter Mittelwert berechnet werden, indem verschiedenen Modellen, die zur Erstellung von Vorhersagen verwendet werden, unterschiedliche Gewichte zugewiesen werden, wobei die Gewichte die wahrgenommene Bedeutung des Modells darstellen. Die numerische Darstellung der Klassenvorhersage wird mit einem Gewicht zwischen 0 und 1,0 multipliziert, die einzelnen gewichteten Vorhersagen werden dann zusammengefasst und das Ergebnis wird auf die nächste ganze Zahl gerundet.

Fortgeschrittene Ensemble-Trainingsmethoden

Es gibt drei primäre fortgeschrittene Ensemble-Trainingsmethoden, von denen jede für ein bestimmtes maschinelles Lernproblem entwickelt wurde. “Bagging”-Techniken werden verwendet, um die Varianz der Vorhersagen eines Modells zu verringern, wobei die Varianz sich auf die Abweichung der Ergebnisse bezieht, wenn sie auf der Grundlage der gleichen Beobachtung basieren. “Boosting”-Techniken werden verwendet, um den Bias von Modellen zu bekämpfen. Schließlich wird “Stacking” verwendet, um die Vorhersagen allgemein zu verbessern.

Ensemble-Lernmethoden können selbst allgemein in zwei verschiedene Gruppen unterteilt werden: sequenzielle Methoden und parallele Ensemble-Methoden.

Sequenzielle Ensemble-Methoden erhalten den Namen “sequenziell”, weil die Basis-Modelle sequenziell generiert werden. Im Falle von sequenziellen Methoden besteht die wesentliche Idee darin, die Abhängigkeit zwischen den Basis-Modellen auszunutzen, um genauere Vorhersagen zu erhalten. Falsch gekennzeichnete Beispiele haben ihre Gewichte angepasst, während korrekt gekennzeichnete Beispiele die gleichen Gewichte beibehalten. Jedes Mal, wenn ein neues Modell generiert wird, werden die Gewichte geändert und die Genauigkeit (hoffentlich) verbessert.

Im Gegensatz zu sequenziellen Ensemble-Modellen generieren parallele Ensemble-Methoden die Basis-Modelle parallel. Wenn paralleles Ensemble-Lernen durchgeführt wird, besteht die Idee darin, die Tatsache auszunutzen, dass die Basis-Modelle unabhängig sind, da die allgemeine Fehlerrate durch Mittelung der Vorhersagen der einzelnen Modelle reduziert werden kann.

Ensemble-Trainingsmethoden können entweder homogen oder heterogen sein. Die meisten Ensemble-Lernmethoden sind homogen, was bedeutet, dass sie einen einzigen Typ von Basis-Lernmodell/Algorithmus verwenden. Im Gegensatz dazu verwenden heterogene Ensembles verschiedene Lernalgorithmen, um die Genauigkeit so hoch wie möglich zu machen.

Beispiele für Ensemble-Lern-Algorithmen

Visualisierung von Ensemble-Boosting. Foto: Sirakorn via Wikimedia Commons, CC BY SA 4.0, (https://commons.wikimedia.org/wiki/File:Ensemble_Boosting.svg)

Beispiele für sequenzielle Ensemble-Methoden sind AdaBoost, XGBoost und Gradient Tree Boosting. Diese sind alle Boosting-Modelle. Für diese Boosting-Modelle besteht das Ziel darin, die schwachen, unterdurchschnittlichen Lerner in leistungsstärkere Lerner umzuwandeln. Modelle wie AdaBoost und XGBoost beginnen mit vielen schwachen Lernern, die nur slightly besser sind als zufälliges Raten. Wenn das Training fortgesetzt wird, werden Gewichte auf die Daten angewendet und angepasst. Beispiele, die in früheren Trainingsrunden falsch klassifiziert wurden, erhalten mehr Gewicht. Nachdem dieser Prozess für die gewünschte Anzahl von Trainingsrunden wiederholt wurde, werden die Vorhersagen durch eine gewichtete Summe (für Regressionsaufgaben) und eine gewichtete Abstimmung (für Klassifizierungsaufgaben) kombiniert.

Der Bagging-Lernprozess. Foto: SeattleDataGuy via Wikimedia Commons, CC BY SA 4.0 (https://commons.wikimedia.org/wiki/File:Bagging.png)

Ein Beispiel für ein paralleles Ensemble-Modell ist ein Random Forest-Klassifizierer, und Random Forests sind auch ein Beispiel für eine Bagging-Technik. Der Begriff “Bagging” kommt von “Bootstrap-Aggregation”. Stichproben werden aus dem gesamten Datensatz unter Verwendung einer Stichprobentechnik namens “Bootstrap-Stichprobentechnik” entnommen, die von den Basis-Modellen verwendet werden, um Vorhersagen zu treffen. Für Klassifizierungsaufgaben werden die Ausgaben der Basis-Modelle mittels Abstimmung aggregiert, während sie für Regressionsaufgaben gemittelt werden. Random Forests verwenden einzelne Entscheidungsbäume als ihre Basis-Modelle, und jeder Baum im Ensemble wird unter Verwendung einer anderen Stichprobe aus dem Datensatz erstellt. Ein zufälliger Teil der Merkmale wird auch verwendet, um den Baum zu generieren. Dies führt zu stark randomisierten einzelnen Entscheidungsbäumen, die alle kombiniert werden, um zuverlässige Vorhersagen zu liefern.

Visualisierung von Ensemble-Stacking. Foto: Supun Setunga via Wikimedia Commons, CC BY S.A 4.0 (https://commons.wikimedia.org/wiki/File:Stacking.png)

Was die Stacking-Ensemble-Techniken betrifft, werden mehrere Regressions- oder Klassifizierungsmodelle durch ein höheres, Meta-Modell kombiniert. Die untergeordneten, Basis-Modelle werden trainiert, indem sie mit dem gesamten Datensatz gefüttert werden. Die Ausgaben der Basis-Modelle werden dann als Merkmale verwendet, um das Meta-Modell zu trainieren. Stacking-Ensemble-Modelle sind häufig heterogen in der Natur.