Data2vec: Ein Meilenstein im Selbstüberwachtem Lernen

Machine-Learning-Modelle haben traditionell stark auf gelabelte Daten für die Ausbildung gesetzt, und in der Regel ergaben sich aus der Ausbildung mit gelabelten Daten genaue Ergebnisse. Allerdings ist der Hauptnachteil der Verwendung von gelabelten Daten der hohe Aufwand für die Annotation, der mit der Größe der Trainingsdaten steigt. Hohe Aufwände für die Annotation sind ein großes Hindernis für Entwickler, insbesondere wenn sie an einem großen Projekt mit erheblichen Mengen an Trainingsdaten arbeiten.

Um das Problem der Annotation zu lösen, kamen Entwickler auf das Konzept von SSL oder Selbstüberwachtem Lernen. Selbstüberwachtes Lernen ist ein maschinelles Lernprozess, bei dem das Modell sich selbst trainiert, um einen Teil der Eingabe aus einem anderen Teil der Eingabe zu lernen. Ein Selbstüberwachtes Lernmodell zielt darauf ab, die Beziehung zwischen den Daten auszunutzen, anstatt auf die überwachten Signale von gelabelten Daten zurückzugreifen.

Neben dem Selbstüberwachtem Lernen gibt es noch einige andere Methoden und Modelle, um maschinelle Lernmodelle ohne die Verwendung von gelabelten Daten zu trainieren. Allerdings haben die meisten dieser Methoden zwei große Probleme

1. Sie sind oft spezialisiert auf eine einzelne Modalität wie ein Bild oder einen Text.
2. Sie erfordern eine große Menge an Rechenleistung.

Diese Einschränkungen sind ein großes Problem, warum das menschliche Gehirn in der Lage ist, aus einer einzelnen Art von Daten viel effektiver zu lernen als ein KI-Modell, das auf separate Modelle und Trainingsdaten angewiesen ist, um zwischen einem Bild, Text und Sprache zu unterscheiden.

Um das Problem der einzelnen Modalität zu lösen, veröffentlichte Meta AI das data2vec, das erste seiner Art, selbstüberwachtes Hochleistungs-Algorithmus, um Muster-Informationen aus drei verschiedenen Modalitäten zu lernen: Bild, Text und Sprache. Durch die Implementierung des data2vec-Algorithmus können Textverständnisse auf ein Bildsegmentierungsproblem angewendet werden oder in einer Spracherkennungsaufgabe eingesetzt werden.

In diesem Artikel werden wir das data2vec-Modell ausführlich besprechen. Wir werden die Methode, die verwandten Arbeiten, die Architektur und die Ergebnisse des Modells genauer betrachten, damit Sie ein klares Verständnis des data2vec-Algorithmus haben.

Data2vec-Einführung: Die Kernidee

Obwohl das grundlegende Konzept des Selbstüberwachten Lernens über Modalitäten hinweg angewendet wird, unterscheiden sich die tatsächlichen Ziele und Algorithmen voneinander, da sie für eine einzelne Modalität entwickelt wurden. Die Entwicklung eines Modells für eine einzelne Modalität ist der Grund, warum das gleiche selbstüberwachte Lernalgorithmus nicht effektiv über verschiedene Arten von Trainingsdaten hinweg funktionieren kann.

Um die Herausforderung, die durch Modelle und Algorithmen für eine einzelne Modalität entsteht, zu überwinden, veröffentlichte Meta AI das data2vec, einen Algorithmus, der die gleiche Lernmethodik für Computer-Vision, NLP oder Sprache verwendet.

Die Kernidee hinter dem data2vec-Algorithmus besteht darin, die maskierte Ansicht der Eingabe zu verwenden, um latente Repräsentationen der vollständigen Eingabedaten in einer Selbstdestillations-Einrichtung mit Hilfe der Standard-Transformer-Architektur vorherzusagen. Anstatt also modality-spezifische Objekte wie Bilder, Text oder Stimme, die lokal sind, vorherzusagen, sagt das data2vec-Modell latente Repräsentationen mit Informationen aus den vollständigen Trainings- oder Eingabedaten vor.

Warum benötigt die KI-Industrie den Data2Vec-Algorithmus?

Selbstüberwachte Lernmodelle bauen Repräsentationen der Trainingsdaten mithilfe von menschlich annotierten Labels auf, und das ist einer der Hauptgründe hinter dem Fortschritt der NLP oder der natürlichen Sprachverarbeitung und der Computer-Vision-Technologie. Diese selbstüberwachten Lern-Repräsentationen sind der Grund, warum Aufgaben wie Spracherkennung und maschinelles Lernen unsupervisiertes Lernen in ihren Modellen einsetzen.

Bisher konzentrieren sich diese selbstüberwachten Lernalgorithmen auf individuelle Modalitäten, was zu Lernverzerrungen und spezifischen Designs in den Modellen führt. Die individuelle Modalität der selbstüberwachten Lernalgorithmen schafft Herausforderungen in verschiedenen KI-Anwendungen, einschließlich Computer-Vision und NLP.

Zum Beispiel gibt es eine Vokabular von Sprachunits in der Sprachverarbeitung, die eine selbstüberwachte Lernaufgabe in der NLP definieren können. Ähnlich verhält es sich in der Computer-Vision, wo Entwickler entweder die Eingabe regressieren, diskrete visuelle Token lernen oder Repräsentationen lernen können, die invariant gegenüber Datenverstärkung sind. Obwohl diese Lernverzerrungen nützlich sind, ist es schwierig zu bestätigen, ob diese Verzerrungen auf andere Modalitäten verallgemeinert werden können.

Der data2vec-Algorithmus ist ein wichtiger Meilenstein in der selbstüberwachten Lernindustrie, da er darauf abzielt, mehrere Modalitäten zu verbessern, anstatt nur eine. Darüber hinaus ist der data2vec-Algorithmus nicht auf die Rekonstruktion der Eingabe oder das kontrastive Lernen angewiesen.

Der Grund, warum die Welt den data2vec benötigt, ist, dass der data2vec-Algorithmus das Potenzial hat, den Fortschritt in der KI zu beschleunigen und zur Entwicklung von KI-Modellen beizutragen, die in der Lage sind, unterschiedliche Aspekte ihrer Umgebung nahtlos zu erlernen. Wissenschaftler hoffen, dass der data2vec-Algorithmus es ihnen ermöglichen wird, anpassungsfähigere KI- und ML-Modelle zu entwickeln, die in der Lage sind, hochentwickelte Aufgaben auszuführen, die über das hinausgehen, was heutige KI-Modelle können.

Was ist der Data2Vec-Algorithmus?

Das data2vec ist ein einheitliches Framework, das darauf abzielt, selbstüberwachtes maschinelles Lernen über verschiedene Datenmodalitäten hinweg umzusetzen, einschließlich Bilder, Sprache und Text.

Der data2vec-Algorithmus zielt darauf ab, ML-Modelle zu entwickeln, die in der Lage sind, allgemeine Muster in der Umgebung viel besser zu lernen, indem sie das Lernziel über verschiedene Modalitäten hinweg einheitlich halten. Das data2vec-Modell vereinheitlicht den Lernalgorithmus, lernt aber immer noch Repräsentationen für jede Modalität individuell.

Mit der Einführung des data2vec-Algorithmus hofft Meta AI, dass es multimodales Lernen effektiv und einfacher machen wird.

Wie funktioniert der Data2Vec-Algorithmus?

Der data2vec-Algorithmus kombiniert die Erkenntnisse aus latenten Ziel-Repräsentationen mit maskierter Vorhersage, obwohl er mehrere Netzwerkschichten als Ziele verwendet, um die latenten Repräsentationen zu verallgemeinern. Das Modell trainiert speziell ein Standard-Transformer-Netzwerk, das dann entweder im Lehrer- oder Schüler-Modus verwendet wird.

Im Lehrer-Modus baut das Modell zunächst die Repräsentationen der Eingabedaten auf, die als Ziele in der Lernaufgabe dienen. Im Schüler-Modus kodiert das Modell eine maskierte Version der Eingabedaten, die dann verwendet wird, um Vorhersagen über vollständige Daten-Repräsentationen zu treffen.

Das obige Bild zeigt, wie das data2vec-Modell die gleiche Lernmethode für verschiedene Modalitäten verwendet. Im ersten Schritt produziert das Modell Repräsentationen der Eingabedaten (Lehrer-Modus). Das Modell regressiert dann diese Repräsentationen auf der Grundlage einer maskierten Version der Eingabe.

Darüber hinaus verwendet der data2vec-Algorithmus latente Repräsentationen der Eingabedaten, so dass er als eine vereinfachte Version von modality-spezifischen Designs wie der Erstellung geeigneter Ziele durch Normalisierung der Eingabe oder dem Lernen einer festen Menge von visuellen Token angesehen werden kann. Aber der entscheidende Unterschied zwischen dem data2vec und anderen Algorithmen ist, dass der data2vec-Algorithmus Selbst-Aufmerksamkeit verwendet, um seine Ziel-Repräsentation kontextualisiert und kontinuierlich zu machen. Andererseits verwenden andere selbstüberwachte Lernmodelle eine feste Menge von Zielen, die auf einem lokalen Kontext basieren.

Data2vec: Modellmethode

Das data2vec-Modell wird trainiert, indem es die Modell-Repräsentationen der Eingabedaten vorhersagt, wenn es eine partielle Ansicht der Eingabe erhält. Wie Sie im gegebenen Bild sehen können, ist das Gesicht des Hundes maskiert, ein bestimmter Abschnitt der Sprachnote ist maskiert und das Wort “mit” ist im Text maskiert.

Das Modell kodiert zunächst eine maskierte Version der Trainingsprobe (Schüler-Modus) und kodiert dann die unmaskierte Version der Eingabe, um Trainingsziele mit dem gleichen Modell zu konstruieren, aber nur, wenn es als exponentieller Durchschnitt der Modellgewichte parameterisiert ist (Lehrer-Modus). Darüber hinaus kodieren die Ziel-Repräsentationen die Informationen, die in der Trainingsprobe enthalten sind, und im Schüler-Modus wird die Lernaufgabe verwendet, um diese Repräsentationen vorherzusagen, wenn eine partielle Ansicht der Eingabe gegeben ist.

Modellarchitektur

Das data2vec-Modell verwendet eine Standard-Transformer-Architektur mit modality-spezifischer Kodierung der Eingabedaten. Für Aufgaben im Bereich der Computer-Vision verwendet das Modell die ViT-Strategie, um ein Bild als eine Folge von Patches zu kodieren, wobei jeder Patch 16×16 Pixel umfasst und als lineare Transformation dargestellt wird.

Darüber hinaus kodiert das Modell für die Spracherkennung die Daten mithilfe eines mehrschichtigen 1-D-Convolutional-Neural-Netzwerks, das die 16 kHz-Wellenformen in 50 Hz-Repräsentationen umwandelt. Um die Textdaten zu verarbeiten, verarbeitet das Modell die Daten, um Subwort-Einheiten zu extrahieren, und kodiert die Daten dann in einem Verteilungsraum mithilfe von Einbettungsvektoren.

Maskierung

Sobald das Modell die Eingabedaten als eine Folge von Token kodiert, maskiert das Modell Teile dieser Einheiten, indem es sie durch ein Einbettungstoken ersetzt, und füttert dann die Folge in das Transformer-Netzwerk. Für die Computer-Vision wendet das Modell eine blockweise Markierungsstrategie an. Latente Sprach-Repräsentationen werden verwendet, um Bereiche der Sprachdaten zu maskieren, und für sprachbezogene Aufgaben werden die Token maskiert.

Trainingsziele

Das data2vec-Modell zielt darauf ab, die Modell-Repräsentationen der unmaskierten Trainingsprobe vorherzusagen, basierend auf einer Kodierung der maskierten Probe, die ursprünglich dem Modell zugeführt wurde. Das Modell sagt nur Repräsentationen für maskierte Zeitschritte vor.

Das Modell sagt kontextualisierte Repräsentationen vor, die nicht nur den spezifischen Zeitschritt kodieren, sondern auch andere Informationen aus der Probe, da es Selbst-Aufmerksamkeit im Transformer-Netzwerk verwendet. Die kontextualisierten Repräsentationen und die Verwendung des Transformer-Netzwerks sind es, was das data2vec-Modell von bereits existierenden BERT, wav2vec, BEiT, SimMIM, MAE und MaskFeat-Modellen unterscheidet, die Ziele ohne kontextuelle Informationen vorhersagen.

Hier ist, wie das data2vec-Modell den Lehrer-Modus parameterisiert, um die Netzwerk-Repräsentationen vorherzusagen, die dann als Ziele dienen.

Lehrer-Parameterisierung

Das data2vec-Modell parameterisiert die Kodierung der unmaskierten Trainingsprobe mithilfe des EMA (Exponential Moving Average) der Modellparameter (θ), wobei die Gewichte des Modells im Ziel-Modus (△) wie folgt sind

                                           ∆ ← τ∆ + (1 − τ ) θ

Darüber hinaus plant das Modell für τ, das linear über die ersten τn Updates von τ0 auf τe (Zielwert) ansteigt, und hält den Wert dann konstant, bis die Ausbildung abgeschlossen ist. Die Verwendung der EMA-Strategie aktualisiert den Lehrer viel häufiger am Anfang, wenn die Ausbildung beginnt, wenn das Modell zufällig ist. Wenn die Ausbildung fortschreitet und gute Parameter gelernt wurden, wird der Lehrer weniger häufig aktualisiert.

Die Ergebnisse zeigen, dass das Modell effizienter und genauer ist, wenn es die Parameter des Feature-Encoders und des Positional-Encoders zwischen dem Schüler- und dem Lehrer-Modus teilt.

Ziele

Die Konstruktion der Trainingsziele hängt von der Ausgabe der oberen K-Blöcke des Lehrer-Netzwerks für Zeitschritte ab, die im Schüler-Modus maskiert sind. Die Ausgabe des Blocks l bei jedem Zeitschritt t wird als alt bezeichnet. Das Modell wendet dann eine Normalisierung auf jeden Block an, um âlt zu erhalten, bevor es die oberen K-Blöcke durchschnittlich bildet

um das Trainingsziel yt für den Zeitschritt t für ein Netzwerk mit L-Blöcken insgesamt zu erhalten.

Es erstellt Trainingsziele, die das Modell regressiert, wenn es sich im Schüler-Modus befindet. In den ersten Experimenten zeigte das data2vec-Modell eine gute Leistung bei der Vorhersage jedes Blocks separat mit einer dedizierten Projektion und war gleichzeitig viel effizienter.

Darüber hinaus ermöglicht die Normalisierung der Ziele dem data2vec-Modell, sich nicht in konstante Repräsentationen für Zeitschritte zusammenzufassen und verhindert, dass Schichten mit hoher Normalisierung die Merkmale im Ziel-Datensatz dominieren. Für die Spracherkennung verwendet das Modell eine Instanznormalisierung über die aktuelle Eingabeprobe ohne gelernte Parameter. Es liegt daran, dass die Schrittweite über die Eingabedaten klein ist, die benachbarten Repräsentationen stark korreliert sind.

Darüber hinaus fanden die Forscher heraus, dass bei der Arbeit mit Computer-Vision und NLP eine parameterlose Normalisierung den Job ausreichend erledigt. Das Problem kann auch mit Variance-Invariance-Covariance-Regularisierung gelöst werden, aber die oben genannte Strategie funktioniert ausreichend gut und erfordert keine zusätzlichen Parameter.

Ziel

Für kontextualisierte Trainingsziele yt verwendet das Modell einen Smooth L1-Verlust, um die Ziele wie folgt zu regressieren

Hier ist β in der Kontrolle des Übergangs von einem quadratischen Verlust zu einem L1-Verlust und hängt stark von der Größe der Lücke zwischen der Modellvorhersage ft(x) bei Zeitschritt t ab. Der Vorteil dieses Verlusts ist, dass er vergleichsweise weniger empfindlich auf Ausreißer ist, ohne die Einstellung von β anzupassen.

Experimentelle Einrichtung

Das data2vec-Modell wird mit zwei Modellgrößen experimentiert: data2vec Large und data2vec Base. Für numerische Stabilität werden die EMA-Aktualisierungen in fp32 durchgeführt, und die Modelle enthalten L= 12 oder L= 24 Transformer-Blöcke mit versteckten Dimensionen (H) = 768 oder H= 1024. Lassen Sie uns einen detaillierten Blick auf die experimentelle Einrichtung für verschiedene Modalitäten und Zwecke werfen.

Computer-Vision

Das data2vec-Modell kodiert Bilder mit 224×224 Pixeln als Patches von 16×16 Pixeln. Jeder dieser Patches wird linear transformiert, und eine Folge mit 196 Repräsentationen wird dem Standard-Transformer zugeführt.

Das Modell folgt BEiT, um Blöcke mit benachbarten Patches mit jedem Block, der mindestens 16 Patches mit einem zufälligen Seitenverhältnis hat, zu maskieren. Allerdings maskiert das data2vec-Modell 60% der Patches für eine bessere Genauigkeit, anstatt 40% wie ursprünglich im BEiT-Modell.

Darüber hinaus verwendet das Modell zufällige Bildgrößen, horizontale Spiegelungen und Farbverzerrungen. Schließlich verwendet das data2vec-Modell das gleiche modifizierte Bild in beiden Lehrer- und Schüler-Modi.

Die ViT-B-Modelle werden für 800 Epochen vorgebildet, und das data2vec-Modell verwendet eine Batch-Größe von 8.192 für das ViT-L-Modell und 2.048 für das ViT-B-Modell. Das data2vec-Modell verwendet auch einen Kosinus- und einen Adam-Plan mit einem einzigen Zyklus, um die Lernrate für 80 Epochen auf 0,001 für ViT-L und für 40 Epochen auf 0,001 für ViT-B aufzuwärmen.

Für beide ViT-B- und ViT-L-Modelle verwendet das data2vec-Modell β = 2, K = 6 und τ = 0,9998 als konstante Werte ohne Zeitplan. Das Modell verwendet auch eine stochastische Tiefe von 0,2.

Darüber hinaus trainiert das Modell für 1.600 Epochen, wobei die ersten 800 Epochen eine Lernrate von 0,9998 haben, und dann setzt das Modell den Lernplan zurück und setzt die Lernrate auf 0,9999 für die letzten 800 Epochen.

Für die Bildklassifizierung verwendet das Modell den Mittelwert der Ausgabe des letzten Transformer-Blocks und füttert ihn in den softmax-normalisierten Klassifizierer ein. Das Modell feinjustiert dann das ViT-L-Modell für 50 Epochen und das ViT-B-Modell für 100 Epochen mit dem Kosinus- und Adam-Plan, um die Lernrate aufzuwärmen.

Sprachverarbeitung

Für die Sprachverarbeitung verwendet das data2vec-Modell das Fairseq, ein Sequenz-Modell-Kit, das verwendet wird, um benutzerdefinierte Modelle für die Zusammenfassung, Übersetzung und Textgenerierung zu trainieren. Das Modell nimmt eine 16 kHz-Wellenform als Eingabe, die mit einem Feature-Encoder verarbeitet wird, der temporale Konvolutionen mit 512 Kanälen, Kernelbreiten (10,3,3,3,3,2,2) und Schritten (5,2,2,2,2,2,2) enthält.

Das Ergebnis ist eine Ausgabe-Frequenz des Encoders von 50 Hz, und es hat eine Schrittweite von 20 ms zwischen jedem Sample. Der Empfangsbereich umfasst 400 Eingabe-Samples oder 25 ms Audio.

Die rohe Wellenform, die dem Encoder zugeführt wird, wird auf eine Einheitsvarianz und einen Mittelwert von Null normalisiert.

Die Maskierungsstrategie, die das data2vec für das Base-Modell verwendet, ähnelt dem Baevski-Rahmen für selbstüberwachtes Lernen in der Spracherkennung. Das Modell sampelt p = 0,065 für alle Zeitschritte, um sie als Startindizes zu verwenden, und markiert dann die folgenden zehn Zeitschritte. Für eine typische Trainingssequenz ermöglicht dieser Prozess, dass fast 49% der gesamten Zeitschritte maskiert werden.

Während der Ausbildung linearly annealt das data2vec-Modell τ mit τo = 0,999, τe = 0,9999 und τn = 30.000. Das data2vec-Modell verwendet den Adam-Optimierer mit einer Spitzenlernrate von 5×10-4 für das Base-Modell. Darüber hinaus verwendet das Base-Modell einen Dreistufen-Plan, der die Lernrate linear für die ersten 3% der Updates aufwärmt, sie für die nächsten 90% beibehält und dann für die verbleibenden 7% linear abbaut.

Natürliche Sprachverarbeitung

Das data2vec-Modell verwendet die Byte-Paar-Kodierung von 50.000 Typen, um die Eingabe zu tokenisieren, und das Modell lernt dann eine Einbettung für jeden Typ. Nachdem die Daten kodiert sind, wendet das Modell die BERT-Maskierungsstrategie auf 15% der einheitlich ausgewählten Token an, wobei 80% durch gelernte Maskiertoken ersetzt werden, 10% durch zufällige Vokabular-Token und die restlichen 10% unverändert bleiben.

Während der Vorbildung verwendet das Modell τo = 0,999, τe = 0,9999 und τn = 100.000, K= 10 und β = 4. Das Modell verwendet den Adam-Optimierer mit einem Dreistufen-Lernplan, der die Lernrate linear für die ersten 5% der Updates aufwärmt, sie für die nächsten 80% beibehält und dann für die verbleibenden 15% linear abbaut, wobei die Spitzenlernrate 2×10-4 beträgt.

Darüber hinaus trainiert das Modell auf 16 GPUs mit einer Batch-Größe von 256 Sequenzen, und jede Sequenz enthält etwa 512 Token. Für die nachgelagerte Verarbeitung wird das Modell auf vier verschiedenen Lernraten vorgebildet: 1×10-4, 2×10-4, 3×10-4 und 4×10-4, und die beste Leistung wird für weitere NLP-Nachverarbeitungsaufgaben ausgewählt.

Ergebnisse

Lassen Sie uns sehen, wie das data2vec-Modell bei der Implementierung der oben beschriebenen Strategien für verschiedene Modalitäten abschneidet.

Computer-Vision

Um die Ergebnisse für die Computer-Vision zu bewerten, wird das data2vec-Modell auf den Bildern vorgebildet, die aus dem ImageNet-1K-Datensatz stammen. Das resultierende Modell wird feinjustiert, indem die gelabelten Daten des gleichen Benchmarks verwendet werden. Wie üblich wird das Modell dann in Bezug auf die Top-1-Genauigkeit auf den Validierungsdaten bewertet.

Die Ergebnisse werden dann nach einem einzelnen selbstüberwachten Modell und dem Training eines separaten visuellen Tokenizers auf zusätzlichen Daten oder anderen selbstüberwachten Lernmodellen unterschieden.

Die folgende Tabelle vergleicht die Leistung des data2vec-Modells für die Computer-Vision und andere bestehende Modelle: ViT-L und ViT-B.

Die Ergebnisse aus der obigen Tabelle können wie folgt zusammengefasst werden:

• Das data2vec-Modell übertrifft vorherige Arbeiten mit beiden ViT-L- und ViT-B-Modellen in einer Einzelmodell-Einrichtung.
• Die maskierte Vorhersage-Einrichtung, die im data2vec-Algorithmus verwendet wird, um kontextualisierte latente Repräsentationen vorherzusagen, funktioniert besser als Methoden, die lokale Ziele vorhersagen, wie z. B. die Konstruktion von Bildmerkmalen, die Eingabe-Pixel oder visuelle Token.
• Das data2vec-Modell übertrifft auch Selbst-Destillations-Methoden, die den letzten Layer des Schüler-Netzwerks regressieren, während zwei verschiedene augmentierte Versionen eines Bildes als Eingaben verwendet werden.

Audio- und Sprachverarbeitung

Für die Sprach- und Audioverarbeitung wird das data2vec-Modell auf etwa 960 Stunden Audio-Daten aus dem Librispeech(LS-960)-Datensatz trainiert. Der Datensatz enthält saubere Sprach-Audio von Hörbüchern in Englisch und wird als Standard-Benchmark in der Sprach- und Audioverarbeitungsindustrie behandelt.

Um die Leistung des Modells in verschiedenen Ressourceneinstellungen zu analysieren, haben Forscher das data2vec-Modell feinjustiert, um unterschiedliche Mengen an gelabelten Daten (von einigen Minuten bis zu mehreren Stunden) für die automatische Spracherkennung zu verwenden. Um die Leistung des Modells zu analysieren, wird das data2vec mit HuBERT und wav2vec 2.0 verglichen, zwei der beliebtesten Algorithmen für die Sprach- und Audio-Repräsentationslernen, die auf diskreten Sprach-Einheiten angewiesen sind.

Die obige Tabelle vergleicht die Leistung des data2vec-Modells in Bezug auf die Wortrate für die Spracherkennung mit anderen bestehenden Modellen. LM stellt die Sprachmodellierung für die Dekodierung dar. Die Ergebnisse können wie folgt zusammengefasst werden:

• Das data2vec-Modell zeigt Verbesserungen für die meisten gelabelten Daten-Einrichtungen mit dem größten Gewinn von 10 Minuten gelabelten Daten für die Base-Modelle.
• Wenn es um große Modelle geht, funktioniert das Modell erheblich besser auf kleinen gelabelten Datensätzen, und die Leistung ist auf ressourcenreichen Datensätzen mit über 100 und 960 Stunden gelabelten Daten vergleichbar. Es liegt daran, dass die Leistung im Allgemeinen auf ressourcenreichen gelabelten Datensätzen für die meisten Modelle gesättigt ist.
• Nach der Analyse der Leistung kann gefolgert werden, dass es nicht unbedingt notwendig ist, diskrete Einheiten zu lernen, wenn das Modell reiche kontextualisierte Ziele verwendet.
• Das Lernen kontextualisierter Ziele während der Ausbildung hilft erheblich bei der Verbesserung der Gesamtleistung.

Darüber hinaus wird das data2vec-Modell auch auf dem AudioSet-Benchmark trainiert. Obwohl die Vorbildungseinrichtung für AudioSet der von Librispeech ähnelt, wird das Modell für K= 12 und für über 200.000 Updates trainiert, wobei die Größe jedes Batches 94,5 Minuten beträgt.

Das Modell wendet dann den DeepNorm-Rahmen und die Schichtnormalisierung auf die Ziele an, um die Ausbildung zu stabilisieren. Darüber hinaus wird das Modell auch feinjustiert auf ausgewogene Untermengen mit einer Batch-Größe von 21,3 Minuten über 13.000 Updates. Das Modell verwendet auch Lineare Softmax-Pooling und Mixup mit einer Wahrscheinlichkeit von 0,7. Das Modell fügt dann eine einzelne lineare Projektion in 527 eindeutige Klassen von Audio und setzt die Projektionslernrate auf 2e-4.

Darüber hinaus haben die vorgebildeten Parameter eine Lernrate von 3e-5, und das Modell verwendet Maskierungs-Techniken für die Feinjustierung des Datensatzes. Die folgende Tabelle fasst die Ergebnisse zusammen, und es kann gesehen werden, dass das data2vec-Modell in der Lage ist, eine vergleichbare Einrichtung mit der gleichen Feinjustierung und Vorbildung zu überbieten.

Natürliche Sprachverarbeitung

Um die Leistung des data2vec-Modells auf Text zu analysieren, folgt das Modell der gleichen Trainings-Einrichtung wie BERT und wird auf dem Englischen Wikipedia-Datensatz mit über 1 Mio. Updates und einer Batch-Größe von 256 Sequenzen vorgebildet. Das Modell wird auf dem GLUE oder Allgemeinen Sprachverständnis-Benchmark bewertet, der natürliche Sprach-Interferenz-Aufgaben (MNLI oder Multi-Genre-Natürliche-Sprach-Interferenz), Satz-Ähnlichkeit (QQP oder Quora-Fragen-Paare-Benchmark, MRPC oder Microsoft-Forschungs-Paragraphen-Korpus und STS-B oder Semantische-Text-Ähnlichkeits-Benchmark), Sentiment-Analyse (SST-2 oder Stanford-Sentiment-Baum) und Grammatik (CoLA) umfasst.

Darüber hinaus wird das Modell feinjustiert, indem die gelabelten Daten jeder Aufgabe bereitgestellt werden, und der durchschnittliche Genauigkeitswert wird auf den Entwicklungs-Sets mit 5 Feinjustierungs-Läufen gemeldet. Die folgende Tabelle fasst die Leistung des data2vec-Modells für die NLP-Aufgaben zusammen und vergleicht sie mit anderen Modellen.

• Die obige Tabelle zeigt, dass das data2vec-Modell das Baseline-RoBERTa-Modell übertrifft, da die Strategie im data2vec-Modell keine zufälligen Ziele verwendet.
• Das data2vec-Modell ist das erste erfolgreiche vorgebildete NLP-Modell, das keine diskreten Einheiten wie Zeichen, Wörter oder Subwörter als Trainingsziele verwendet. Stattdessen sagt das data2vec-Modell kontextualisierte latente Repräsentationen über die gesamte unmaskierte Text-Sequenz vor.
• Es hilft bei der Erstellung einer Lernaufgabe, bei der das Modell Ziele mit bestimmten Eigenschaften aus der aktuellen Sequenz vorhersagen muss, anstatt Repräsentationen vorherzusagen, die für jede Text-Einheit mit besonderer Diskretion allgemein sind.
• Darüber hinaus ist das Trainingsziel-Set nicht fest und das Modell ist frei, neue Ziele zu definieren, und es ist offen für Vokabular-Einstellungen.

Data2vec: Ablations-Studie

Eine Ablation ist ein Begriff, der verwendet wird, um die Entfernung eines Komponenten in den KI- und ML-Systemen zu beschreiben. Eine Ablations-Studie wird verwendet, um die Leistung eines KI- oder ML-Modells zu untersuchen, indem bestimmte Schlüsselkomponenten aus dem Modell entfernt werden, was es Forschern ermöglicht, den Beitrag dieser Komponente zum Gesamtsystem zu verstehen.

Schicht-gemittelte Ziele

Ein wesentlicher Unterschied zwischen data2vec und anderen selbstüberwachten Lernmodellen ist, dass das data2vec-Modell Ziele verwendet, die auf dem Mittelwert mehrerer Schichten aus dem Lehrer-Netzwerk basieren. Die Idee kommt aus der Tatsache, dass die oberen Schichten des wav2vec 2.0-Modells nicht so gut für nachgelagerte Aufgaben funktionieren, wenn sie mit den mittleren Schichten des Modells verglichen werden.

In dem folgenden Experiment wird die Leistung aller drei Modalitäten gemessen, indem der Mittelwert von K= 1, 2, …, 12 Schichten berechnet wird, wobei K= 1 nur die oberste Schicht vorhersagt. Allerdings wird das data2vec-Modell mit 12 Schichten insgesamt trainiert, um eine schnellere Umsetzung zu ermöglichen. Für die Spracherkennung wird das Modell auf über 200.000 Updates auf Librispeech vorgebildet und dann feinjustiert auf einer 10-Stunden-gelabelten Aufteilung von Libri-light. Für die NLP wird der durchschnittliche GLUE-Score auf dem Validierungs-Set gemeldet, und das Modell wird für 300 Epochen für die Computer-Vision vorgebildet und dann die Top-1-Genauigkeit auf dem ImageNet-Datensatz gemeldet.

Die obige Abbildung zeigt, dass Ziele, die auf mehreren Schichten basieren, im Allgemeinen besser sind als die Verwendung nur der obersten Schicht K=1 für alle Modalitäten. Die Verwendung von Merkmalen aus mehreren Schichten hilft bei der Verbesserung der Genauigkeit und bereichert den selbstüberwachten Lernprozess. Die Verwendung von Merkmalen aus mehreren Schichten hilft bei der Verbesserung der Genauigkeit und bereichert den selbstüberwachten Lernprozess.

Die Verwendung von Merkmalen aus mehreren Schichten hilft bei der Verbesserung der Genauigkeit und bereichert den selbstüberwachten Lernprozess.

Ziel-Merkmal-Typ

Die Transformer-Blöcke im data2vec-Modell haben mehrere Schichten, die alle als Ziele dienen können. Um zu analysieren, wie unterschiedliche Schichten die Leistung beeinflussen, wird das Modell auf Librispeechs Sprachmodellen vorgebildet, die unterschiedliche Schichten als Ziel-Merkmale verwenden.

Die folgende Abbildung zeigt deutlich, dass die Ausgabe des Feed-Forward-Netzwerks oder des FFN ideal funktioniert, während die Ausgabe der Selbst-Aufmerksamkeits-Blöcke nicht zu einem verwendbaren Modell führt.

Ziel-Kontextualisierung

Lehrer-Repräsentationen im data2vec-Modell verwenden Selbst-Aufmerksamkeit über die gesamte Eingabe, um kontextualisierte Ziele zu erstellen. Es ist das, was das data2vec von anderen selbstüberwachten Lernmodellen unterscheidet, die eine Lernaufgabe konstruieren, indem sie lokale Teile der Eingabe rekonstruieren oder vorhersagen. Es wirft die Frage auf: benötigt das data2vec-Modell kontextualisierte Ziele, um gut zu funktionieren?

Um diese Frage zu beantworten, konstruieren die Forscher Ziel-Repräsentationen, die keinen Zugriff auf die gesamte Eingabe-Datensatz haben, sondern nur auf einen Teil davon, der vorher bestimmt ist. Das Modell beschränkt dann die Selbst-Aufmerksamkeits-Mechanismus des Lehrers, um nur einen Teil der umgebenden Eingabe zuzulassen. Nachdem das Modell trainiert wurde, wird es feinjustiert, um den vollen Kontext zu zugreifen.

Die folgende Abbildung zeigt, dass größere Kontext-Größen oft zu einer besseren Leistung führen, und wenn die gesamte Eingabe sichtbar ist, ergibt sich die beste Genauigkeit. Es beweist weiter, dass reichere Ziel-Repräsentationen zu einer besseren Leistung führen können.

Modality-spezifische Merkmalsextraktoren und Maskierung

Das Hauptziel des data2vec ist es, einen einfachen Lernmechanismus zu entwerfen, der mit verschiedenen Modalitäten funktionieren kann. Es liegt daran, dass die aktuellen Modelle und Rahmenwerke ein einheitliches Lernregime haben, aber immer noch modality-spezifische Maskierung und Merkmalsextraktoren verwenden.

Es ist sinnvoll, dass Rahmenwerke in der Regel mit einer einzelnen Modalität funktionieren, da die Natur der Eingabedaten von einer zur anderen stark variiert. Zum Beispiel verwenden Spracherkennungs-Modelle eine hohe Auflösung der Eingabe (wie 10 kHz-Wellenform), die normalerweise Tausende von Samples hat. Die Wellenform wird dann von dem Rahmenwerk mithilfe eines mehrschichtigen Convolutional-Neural-Netzwerks verarbeitet, um 50 Hz-Merkmal-Sequenzen zu erhalten.

Strukturierte und kontextualisierte Ziele

Der Hauptunterschied zwischen dem data2vec und anderen maskierten Vorhersage-Modellen ist, dass das data2vec-Modell kontextualisierte Ziele verwendet. Diese Ziele werden mithilfe der Selbst-Aufmerksamkeit der gesamten maskierten Eingabe im Lehrer-Modus erstellt.

Einige andere Rahmenwerke wie BYOL (Bootstrap Your Own Latent) oder DINO verwenden auch latente Repräsentationen wie das data2vec, aber ihre Hauptaufgabe ist es, transformation-invariante Repräsentationen zu lernen.

Endgültige Gedanken

Aktuelle Arbeiten in der KI- und ML-Industrie haben gezeigt, dass einheitliche Modell-Architekturen ein effektiver Ansatz sein können, um mehrere Modalitäten zu bewältigen. Das data2vec-Modell verwendet einen selbstüberwachten Lernansatz für die Arbeit mit drei Modalitäten: Sprache, Bilder und Text.

Die Kernidee hinter dem data2vec-Modell ist es, eine partielle Ansicht der Eingabe zu verwenden, um kontextualisierte Informationen oder Eingabedaten zu regressieren. Der Ansatz, der im data2vec-Rahmenwerk verwendet wird, ist effektiv, da das Modell besser als vorherige selbstüberwachte Lernmodelle auf dem ImageNet-1K-Datensatz für beide ViT-B- und ViT-L-Einzelmodelle abschneidet.

Data2vec ist wirklich ein Meilenstein in der selbstüberwachten Lernindustrie, da es zeigt, dass eine einzelne Lernmethode für das Lernen mehrerer Modalitäten tatsächlich dazu beitragen kann, es Modellen zu ermöglichen, über Modalitäten hinweg zu lernen.