Was ist Few-Shot-Lernen?

Few-Shot-Lernen bezeichnet eine Vielzahl von Algorithmen und Techniken, die verwendet werden, um ein KI-Modell mit sehr wenig Trainingsdaten zu entwickeln. Few-Shot-Lernen versucht, ein KI-Modell zu ermöglichen, neue Daten zu erkennen und zu klassifizieren, nachdem es nur wenige Trainingsbeispiele gesehen hat. Few-Shot-Training steht im Gegensatz zu traditionellen Methoden der Ausbildung von Machine-Learning-Modellen, bei denen normalerweise eine große Menge an Trainingsdaten verwendet wird. Few-Shot-Lernen wird hauptsächlich in der Computer-Vision verwendet.

Um ein besseres Verständnis für Few-Shot-Lernen zu entwickeln, werden wir das Konzept genauer untersuchen. Wir werden die Motivationen und Konzepte hinter Few-Shot-Lernen untersuchen, einige verschiedene Arten von Few-Shot-Lernen erforschen und einige Modelle, die in Few-Shot-Lernen verwendet werden, auf hohem Niveau betrachten. Schließlich werden wir einige Anwendungen für Few-Shot-Lernen untersuchen.

Was ist Few-Shot-Lernen?

„Few-Shot-Lernen“ beschreibt die Praxis, ein Machine-Learning-Modell mit minimalen Daten auszubilden. Typischerweise werden Machine-Learning-Modelle mit großen Mengen an Daten ausgebildet, je mehr desto besser. Few-Shot-Lernen ist jedoch ein wichtiges Konzept in der Maschinenlernen, aus mehreren Gründen.

Einer der Gründe für die Verwendung von Few-Shot-Lernen ist, dass es die Menge an Daten, die zum Ausbilden eines Machine-Learning-Modells benötigt werden, dramatisch reduzieren kann, was die Zeit, die zum Beschriften großer Datensätze benötigt wird, verkürzt. Ebenso reduziert Few-Shot-Lernen die Notwendigkeit, spezifische Merkmale für verschiedene Aufgaben hinzuzufügen, wenn ein gemeinsamer Datensatz verwendet wird, um verschiedene Beispiele zu erstellen. Few-Shot-Lernen kann idealerweise Modelle robuster und in der Lage machen, Objekte auf der Grundlage weniger Daten zu erkennen, was allgemeinere Modelle im Gegensatz zu den hoch spezialisierten Modellen, die die Norm sind, erstellt.

Few-Shot-Lernen wird am häufigsten im Bereich der Computer-Vision verwendet, da die Natur der Computer-Vision-Probleme entweder große Mengen an Daten oder ein flexibles Modell erfordert.

Sub-Kategorien

Der Begriff „Few-Shot“-Lernen ist tatsächlich nur eine Art des Lernens, bei der sehr wenige Trainingsbeispiele verwendet werden. Da Sie nur „einige“ Trainingsbeispiele verwenden, gibt es Subkategorien des Few-Shot-Lernens, die auch das Training mit minimalen Daten beinhalten. „One-Shot“-Lernen ist eine andere Art des Modelltrainings, bei der ein Modell gelehrt wird, ein Objekt zu erkennen, nachdem es nur ein Bild des Objekts gesehen hat. Die allgemeinen Taktiken, die bei One-Shot-Lernen und Few-Shot-Lernen verwendet werden, sind dieselben. Beachten Sie, dass der Begriff „Few-Shot“-Lernen möglicherweise als Oberbegriff verwendet wird, um jede Situation zu beschreiben, in der ein Modell mit sehr wenig Daten ausgebildet wird.

Ansätze zum Few-Shot-Lernen

Die meisten Ansätze zum Few-Shot-Lernen können in drei Kategorien eingeteilt werden: Daten-Ebene-Ansätze, Parameter-Ebene-Ansätze und metrikbasierte Ansätze.

Daten-Ebene-Ansätze

Daten-Ebene-Ansätze zum Few-Shot-Lernen sind sehr einfach konzipiert. Um ein Modell auszubilden, wenn Sie nicht genug Trainingsdaten haben, können Sie einfach mehr Trainingsdaten erhalten. Es gibt verschiedene Techniken, die ein Data-Scientist verwenden kann, um die Menge an Trainingsdaten zu erhöhen, die er hat.

Ähnliche Trainingsdaten können die exakten Ziel-Daten unterstützen, auf die Sie einen Klassifizierer trainieren. Zum Beispiel, wenn Sie einen Klassifizierer trainieren, um bestimmte Arten von Hunden zu erkennen, aber nicht viele Bilder der spezifischen Art haben, die Sie klassifizieren möchten, können Sie viele Bilder von Hunden einbeziehen, die dem Klassifizierer helfen, die allgemeinen Merkmale zu bestimmen, die einen Hund ausmachen.

Datenvergrößerung kann mehr Trainingsdaten für einen Klassifizierer erstellen. Dies beinhaltet normalerweise die Anwendung von Transformationen auf bestehende Trainingsdaten, wie z.B. das Drehen bestehender Bilder, damit der Klassifizierer die Bilder aus verschiedenen Winkeln betrachtet. GANs können auch verwendet werden, um neue Trainingsbeispiele auf der Grundlage dessen zu generieren, was sie aus den wenigen authentischen Beispielen von Trainingsdaten lernen.

Parameter-Ebene-Ansätze

Meta-Lernen

Einer der Parameter-Ebene-Ansätze zum Few-Shot-Lernen beinhaltet die Verwendung einer Technik namens „Meta-Lernen“. Meta-Lernen beinhaltet das Lehren eines Modells, wie es lernen kann, welche Merkmale in einer Maschinenlernen-Aufgabe wichtig sind. Dies kann durch die Erstellung einer Methode erreicht werden, um zu regulieren, wie der Parameterspace eines Modells erforscht wird.

Meta-Lernen verwendet zwei verschiedene Modelle: ein Lehrer-Modell und ein Schüler-Modell. Das „Lehrer“-Modell und ein „Schüler“-Modell. Das Lehrer-Modell lernt, wie es den Parameterspace einschließen kann, während das Schüler-Algorithmus lernt, wie es die tatsächlichen Elemente im Datensatz erkennen und klassifizieren kann. Um es anders auszudrücken, das Lehrer-Modell lernt, wie es ein Modell optimieren kann, während das Schüler-Modell lernt, wie es klassifizieren kann. Die Ausgaben des Lehrer-Modells werden verwendet, um das Schüler-Modell auszubilden, indem es dem Schüler-Modell zeigt, wie es den großen Parameterspace, der durch zu wenig Trainingsdaten entsteht, navigieren kann. Daher der Begriff „Meta“ im Meta-Lernen.

Eines der Hauptprobleme mit Few-Shot-Lernen-Modellen ist, dass sie leicht auf Trainingsdaten überanpassen können, da sie häufig hochdimensionale Räume haben. Die Begrenzung des Parameterspaces eines Modells löst dieses Problem, und während es durch die Anwendung von Regularisierungstechniken und die Auswahl der richtigen Verlustfunktionen erreicht werden kann, kann die Verwendung eines Lehrer-Algorithmus die Leistung eines Few-Shot-Modells dramatisch verbessern.

Ein Few-Shot-Lernen-Klassifizierer-Modell (das Schüler-Modell) wird versuchen, auf der Grundlage der kleinen Menge an Trainingsdaten, die es erhält, zu verallgemeinern, und seine Genauigkeit kann durch ein Lehrer-Modell verbessert werden, das es durch den hochdimensionalen Parameterspace leitet. Diese allgemeine Architektur wird als „gradient-basiertes“ Meta-Lernen bezeichnet.

Der vollständige Prozess des Trainings eines gradient-basierten Meta-Lerners ist wie folgt:

1. Erstellen Sie das Basismodell (Lehrer-Modell)
2. Trainieren Sie das Basismodell auf dem Support-Set
3. Lassen Sie das Basismodell Vorhersagen für das Abfrage-Set zurückgeben
4. Trainieren Sie den Meta-Lerner (Schüler) auf dem Verlust, der aus dem Klassifizierungsfehler abgeleitet wird

Variationen des Meta-Lernens

Modell-agnostisches Meta-Lernen ist eine Methode, um die grundlegende gradient-basierte Meta-Lern-Technik zu erweitern, die wir oben besprochen haben.

Wie wir oben besprochen haben, verwendet ein gradient-basiertes Meta-Lerner die vorherige Erfahrung, die ein Lehrer-Modell gewonnen hat, um sich fein zu tunen und genauere Vorhersagen für eine kleine Menge an Trainingsdaten zu liefern. Es kann jedoch passieren, dass das Modell immer noch auf die Daten überanpasst, wenn es mit zufällig initialisierten Parametern beginnt. Um dies zu vermeiden, wird ein „Modell-agnostischer“ Meta-Lerner erstellt, indem die Einflussnahme des Lehrer-Modells/Basismodells begrenzt wird. Anstatt das Schüler-Modell direkt auf den Verlust für die Vorhersagen des Lehrer-Modells zu trainieren, wird das Schüler-Modell auf den Verlust für seine eigenen Vorhersagen trainiert.

Für jeden Trainingszyklus eines modell-agnostischen Meta-Lerners:

1. Erstellen Sie eine Kopie des aktuellen Meta-Lerner-Modells.
2. Die Kopie wird mit der Hilfe des Basismodells/Lehrer-Modells trainiert.
3. Die Kopie gibt Vorhersagen für die Trainingsdaten zurück.
4. Der berechnete Verlust wird verwendet, um den Meta-Lerner zu aktualisieren.

Metric-Lernen

Metric-Lernen-Ansätze zum Entwerfen eines Few-Shot-Lernmodells befassen sich typischerweise mit der Verwendung von grundlegenden Distanzmetriken zum Vergleichen von Beispielen in einem Datensatz. Metric-Lernen-Algorithmen wie die Kosinus-Distanz werden verwendet, um Abfrage-Beispiele basierend auf ihrer Ähnlichkeit zu den Support-Beispielen zu klassifizieren. Für einen Bild-Klassifizierer würde dies bedeuten, Bilder einfach basierend auf der Ähnlichkeit von oberflächlichen Merkmalen zu klassifizieren. Nachdem ein Support-Set von Bildern ausgewählt und in einen Embeddings-Vektor umgewandelt wurde, wird das gleiche mit dem Abfrage-Set durchgeführt und dann werden die Werte für die beiden Vektoren verglichen, wobei der Klassifizierer die Klasse auswählt, die die nächsten Werte zum Vektorisierten Abfrage-Set hat.

Ein fortgeschritteneres metrik-basiertes Lösung ist das „Prototyp-Netzwerk“. Prototyp-Netzwerke gruppieren Datenpunkte zusammen, indem sie Clustering-Modelle mit der metrik-basierten Klassifizierung kombinieren, die oben beschrieben wurde. Wie bei K-Means-Clustering werden Zentroide für die Klassen im Support- und Abfrage-Set berechnet. Ein euklidischer Distanz-Metrik wird dann verwendet, um die Differenz zwischen den Abfrage-Sätzen und den Zentroiden des Support-Sets zu bestimmen, wobei der Abfrage-Satz der Klasse zugewiesen wird, die näher am Support-Set ist.

Die meisten anderen Few-Shot-Lernen-Ansätze sind nur Variationen der grundlegenden Techniken, die oben beschrieben wurden.

Anwendungen für Few-Shot-Lernen

Few-Shot-Lernen hat Anwendungen in den verschiedenen Teilbereichen der Datenwissenschaft, wie z.B. Computer-Vision, natürliche Sprachverarbeitung, Robotik, Gesundheitswesen und Signalverarbeitung.

Anwendungen für Few-Shot-Lernen im Computer-Vision-Bereich umfassen effiziente Zeichenerkennung, Bildklassifizierung, Objekterkennung, Objektverfolgung, Bewegungsvorhersage und Aktionen-Localization. Anwendungen für Few-Shot-Lernen in der natürlichen Sprachverarbeitung umfassen Übersetzung, Satzvervollständigung, Benutzer-Intent-Klassifizierung, Sentiment-Analyse und Multi-Label-Text-Klassifizierung. Few-Shot-Lernen kann im Bereich der Robotik verwendet werden, um Robotern zu helfen, Aufgaben aus nur wenigen Demonstrationen zu lernen, wodurch Roboter lernen, wie sie Aktionen ausführen, sich bewegen und die Welt um sie herum erkunden. Few-Shot-Lernen ist ein aufkommendes Gebiet der KI-Gesundheitsversorgung. Schließlich hat Few-Shot-Lernen Anwendungen für die akustische Signalverarbeitung, die den Prozess der Analyse von Audio-Daten beinhaltet, wodurch KI-Systeme Stimmen auf der Grundlage von nur wenigen Benutzermustern klonen oder Sprachumwandlung von einem Benutzer zu einem anderen können.