Was ist Meta-Learning?

Was ist Meta-Learning?

Einer der am schnellsten wachsenden Forschungsbereiche im Bereich maschinelles Lernen ist der Bereich Meta-Lernen. Meta-Learning im Kontext des maschinellen Lernens ist die Verwendung von Algorithmen für maschinelles Lernen, um das Training und die Optimierung anderer Modelle für maschinelles Lernen zu unterstützen. Da Meta-Learning immer beliebter wird und immer mehr Meta-Learning-Techniken entwickelt werden, ist es von Vorteil, zu verstehen, was Meta-Learning ist, und ein Gespür für die verschiedenen Möglichkeiten zu haben, wie es angewendet werden kann. Lassen Sie uns die Ideen hinter Meta-Learning untersuchen. Arten des Meta-Lernenssowie einige Möglichkeiten, wie Meta-Learning genutzt werden kann.

Der Begriff „Meta-Learning“ wurde von Donald Maudsley geprägt, um einen Prozess zu beschreiben, durch den Menschen beginnen, das, was sie lernen, zu gestalten und „immer mehr die Kontrolle über Wahrnehmungs-, Untersuchungs-, Lern- und Wachstumsgewohnheiten zu erlangen, die sie verinnerlicht haben“. Später beschrieben Kognitionswissenschaftler und Psychologen Meta-Lernen als „Lernen, wie man lernt“.

Für die maschinelle Lernversion des Meta-Lernens wird die allgemeine Idee des „Lernens, wie man lernt“ auf KI-Systeme angewendet. Im Sinne der KI ist Meta-Learning die Fähigkeit einer künstlich intelligenten Maschine, zu lernen, wie man verschiedene komplexe Aufgaben ausführt, indem sie die Prinzipien, die sie zum Erlernen einer Aufgabe verwendet hat, auf andere Aufgaben anwendet. KI-Systeme müssen typischerweise darauf trainiert werden, eine Aufgabe durch die Bewältigung vieler kleiner Teilaufgaben zu erfüllen. Diese Schulung kann lange dauern und KI-Agenten übertragen das bei einer Aufgabe erlernte Wissen nicht einfach auf eine andere Aufgabe. Die Erstellung von Meta-Lernmodellen und -techniken kann der KI helfen, Lernmethoden zu verallgemeinern und schneller neue Fähigkeiten zu erwerben.

Arten des Meta-Lernens

Optimierer-Meta-Learning

Meta-Learning wird häufig eingesetzt, um die Leistung eines bereits vorhandenen neuronalen Netzwerks zu optimieren. Optimizer-Meta-Lernmethoden funktionieren typischerweise durch die Optimierung der Hyperparameter eines anderen neuronalen Netzwerks, um die Leistung des grundlegenden neuronalen Netzwerks zu verbessern. Das Ergebnis ist, dass das Zielnetzwerk die Aufgabe, für die es trainiert wird, besser erfüllen sollte. Ein Beispiel für einen Meta-Learning-Optimierer ist die Verwendung eines Netzwerks zur Verbesserung Gradientenabstieg Ergebnisse angezeigt

Few-Shots Meta-Learning

Bei einem Meta-Learning-Ansatz mit wenigen Schüssen wird ein tiefes neuronales Netzwerk entwickelt, das in der Lage ist, von den Trainingsdatensätzen auf unsichtbare Datensätze zu verallgemeinern. Eine Instanz der Wenig-Schuss-Klassifizierung ähnelt einer normalen Klassifizierungsaufgabe, allerdings handelt es sich bei den Datenproben um ganze Datensätze. Das Modell wird auf viele verschiedene Lernaufgaben/Datensätze trainiert und dann für Spitzenleistung bei der Vielzahl von Trainingsaufgaben und unsichtbaren Daten optimiert. Bei diesem Ansatz wird eine einzelne Trainingsstichprobe in mehrere Klassen aufgeteilt. Dies bedeutet, dass jede Trainingsprobe/jeder Trainingsdatensatz potenziell aus zwei Klassen bestehen könnte, also insgesamt 4 Schüsse. In diesem Fall könnte die gesamte Trainingsaufgabe als 4-Schuss-2-Klassen-Klassifizierungsaufgabe beschrieben werden.

Beim Few-Shot-Learning geht es darum, dass die einzelnen Trainingsbeispiele minimalistisch sind und das Netzwerk lernen kann, Objekte zu identifizieren, nachdem es nur wenige Bilder gesehen hat. Das ist vergleichbar mit der Art und Weise, wie ein Kind lernt, Objekte zu unterscheiden, nachdem es nur ein paar Bilder gesehen hat. Dieser Ansatz wurde verwendet, um Techniken wie One-Shot-generative Modelle und speichererweiterte neuronale Netze zu erstellen.

Metrisches Meta-Lernen

Metrikbasiertes Meta-Lernen ist die Nutzung neuronaler Netze, um festzustellen, ob eine Metrik effektiv verwendet wird und ob das Netzwerk oder die Netzwerke die Zielmetrik erreichen. Metrik-Meta-Lernen ähnelt dem Few-Shot-Lernen darin, dass nur wenige Beispiele verwendet werden, um das Netzwerk zu trainieren und es den metrischen Raum lernen zu lassen. In der gesamten Diversitätsdomäne wird die gleiche Metrik verwendet, und wenn die Netzwerke von der Metrik abweichen, gelten sie als ausgefallen.

Wiederkehrendes Modell-Meta-Lernen

Beim wiederkehrenden Modell-Meta-Lernen handelt es sich um die Anwendung von Meta-Lerntechniken auf wiederkehrende neuronale Netze und ähnliche Netzwerke mit langem Kurzzeitgedächtnis. Bei dieser Technik wird das RNN/LSTM-Modell trainiert, um sequentiell einen Datensatz zu lernen, und dann wird dieses trainierte Modell als Grundlage für einen anderen Lernenden verwendet. Der Meta-Lernende übernimmt den spezifischen Optimierungsalgorithmus, der zum Trainieren des ursprünglichen Modells verwendet wurde. Die geerbte Parametrisierung des Meta-Lerners ermöglicht eine schnelle Initialisierung und Konvergenz, ist aber dennoch in der Lage, für neue Szenarien zu aktualisieren.

Wie funktioniert Meta-Learning?

Die genaue Art und Weise, wie Meta-Learning durchgeführt wird, variiert je nach Modell und Art der jeweiligen Aufgabe. Im Allgemeinen handelt es sich jedoch um eine Meta-Lernaufgabe beinhaltet das Kopieren der Parameter des ersten Netzwerks in die Parameter des zweiten Netzwerks/des Optimierers.

Beim Meta-Lernen gibt es zwei Trainingsprozesse. Das Meta-Lernmodell wird typischerweise trainiert, nachdem mehrere Trainingsschritte am Basismodell durchgeführt wurden. Nach den Vorwärts-, Rückwärts- und Optimierungsschritten, die das Basismodell trainieren, wird der Vorwärtstrainingsdurchlauf für das Optimierungsmodell durchgeführt. Beispielsweise wird nach drei oder vier Trainingsschritten am Basismodell ein Metaverlust berechnet. Nachdem der Metaverlust berechnet wurde, werden die Gradienten für jeden Metaparameter berechnet. Danach werden die Metaparameter im Optimierer aktualisiert.

Eine Möglichkeit zur Berechnung des Metaverlusts besteht darin, den Vorwärtstrainingsdurchlauf des ursprünglichen Modells abzuschließen und dann die bereits berechneten Verluste zu kombinieren. Der Meta-Optimierer könnte sogar ein weiterer Meta-Lerner sein, obwohl an einem bestimmten Punkt ein diskreter Optimierer wie ADAM oder SGD verwendet werden muss.

Viele Deep-Learning-Modelle können Hunderttausende oder sogar Millionen von Parametern haben. Das Erstellen eines Meta-Lerners mit einem völlig neuen Parametersatz wäre rechenintensiv. Aus diesem Grund wird normalerweise eine Taktik namens Koordinatenfreigabe verwendet. Bei der Koordinatenfreigabe geht es darum, den Meta-Lerner/Optimierer so zu konstruieren, dass er einen einzelnen Parameter aus dem Basismodell lernt und diesen Parameter dann einfach anstelle aller anderen Parameter klont. Das Ergebnis ist, dass die Parameter, die der Optimierer besitzt, nicht von den Parametern des Modells abhängen.