SEER: Ein Durchbruch in selbstüberwachten Computer-Vision-Modellen?

In den letzten zehn Jahren haben künstliche Intelligenz (KI) und Machine Learning (ML) enorme Fortschritte gemacht. Heute sind sie genauer, effizienter und leistungsfähiger als je zuvor. Moderne KI- und ML-Modelle können Objekte in Bildern oder Videodateien nahtlos und genau erkennen. Darüber hinaus können sie Texte und Sprache erzeugen, die der menschlichen Intelligenz entsprechen.

KI- und ML-Modelle von heute sind stark von der Ausbildung auf beschrifteten Datensätzen abhängig, die ihnen beibringen, wie sie einen Textblock interpretieren, Objekte in einem Bild oder Video identifizieren und andere Aufgaben ausführen können.

Trotz ihrer Fähigkeiten sind KI- und ML-Modelle nicht perfekt, und Wissenschaftler arbeiten daran, Modelle zu entwickeln, die in der Lage sind, aus den Informationen zu lernen, die sie erhalten, und nicht unbedingt auf beschriftete oder annotierte Daten angewiesen sind. Dieser Ansatz wird als selbstüberwachtes Lernen bezeichnet und ist eine der effizientesten Methoden, um ML- und KI-Modelle zu entwickeln, die den “gesunden Menschenverstand” oder Hintergrundwissen besitzen, um Probleme zu lösen, die über die Fähigkeiten der heutigen KI-Modelle hinausgehen.

Selbstüberwachtes Lernen hat bereits seine Ergebnisse in der Verarbeitung natürlicher Sprache gezeigt, da es Entwicklern ermöglicht hat, große Modelle auszubilden, die mit einer enormen Menge an Daten arbeiten können, und zu zahlreichen Durchbrüchen in den Bereichen naturliche Sprachinferenz, maschinelle Übersetzung und Fragebeantwortung geführt hat.

Das SEER-Modell von Facebook (META ) AI zielt darauf ab, die Fähigkeiten des selbstüberwachten Lernens im Bereich der Computer-Vision zu maximieren. SEER oder SElf-supERvised ist ein selbstüberwachtes Computer-Vision-Lernmodell, das über eine Milliarde Parameter verfügt und in der Lage ist, Muster oder Informationen aus einer zufälligen Gruppe von Bildern im Internet zu finden, ohne ordnungsgemäße Annotationen oder Beschriftungen.

Die Notwendigkeit des selbstüberwachten Lernens in der Computer-Vision

Die Datenannotation oder Datenbeschriftung ist eine Vorverarbeitungsphase bei der Entwicklung von Machine-Learning- und KI-Modellen. Der Datenannotation-Prozess identifiziert rohe Daten wie Bilder oder Video-Frames und fügt dann Beschriftungen hinzu, um den Kontext der Daten für das Modell zu spezifizieren. Diese Beschriftungen ermöglichen es dem Modell, genaue Vorhersagen über die Daten zu treffen.

Eine der größten Hürden und Herausforderungen, mit denen Entwickler bei der Arbeit an Computer-Vision-Modellen konfrontiert sind, ist die Suche nach hochwertigen annotierten Daten. Computer-Vision-Modelle von heute sind auf diese beschrifteten Datensätze angewiesen, um die Muster zu lernen, die es ihnen ermöglichen, Objekte in einem Bild zu erkennen.

Die Datenannotation und ihre Verwendung in Computer-Vision-Modellen bergen die folgenden Herausforderungen:

Verwaltung der konsistenten Datensatzqualität

Die größte Hürde für Entwickler ist es, kontinuierlich Zugang zu hochwertigen Datensätzen zu haben, da hochwertige Datensätze mit ordnungsgemäßen Beschriftungen und klaren Bildern zu besseren Lernergebnissen und genauereren Modellen führen. Allerdings ist es schwierig, kontinuierlich Zugang zu hochwertigen Datensätzen zu haben.

Personalmanagement

Die Datenbeschriftung ist oft mit Personalmanagementproblemen verbunden, da eine große Anzahl von Arbeitern erforderlich ist, um große Mengen an unstrukturierten und unbeschrifteten Daten zu verarbeiten und zu beschriften, während gleichzeitig die Qualität sichergestellt wird. Es ist daher für Entwickler von entscheidender Bedeutung, ein Gleichgewicht zwischen Qualität und Quantität bei der Datenbeschriftung zu finden.

Finanzielle Einschränkungen

Die größte Hürde ist die finanzielle Einschränkung, die mit der Datenbeschriftung verbunden ist, und die Kosten für die Datenbeschriftung sind oft ein erheblicher Anteil der Gesamtkosten des Projekts.

Wie Sie sehen, ist die Datenannotation ein erhebliches Hindernis bei der Entwicklung fortschrittlicher Computer-Vision-Modelle, insbesondere wenn es um die Entwicklung komplexer Modelle geht, die mit großen Mengen an Trainingsdaten umgehen. Es ist der Grund, warum die Computer-Vision-Industrie selbstüberwachtes Lernen benötigt, um komplexe und fortschrittliche Computer-Vision-Modelle zu entwickeln, die in der Lage sind, Aufgaben zu bewältigen, die über die Fähigkeiten der aktuellen Modelle hinausgehen.

Mit dem SEER-Modell von Facebook AI wird versucht, die Fähigkeiten des selbstüberwachten Lernens im Bereich der Computer-Vision zu maximieren. SEER oder SElf-supERvised ist ein selbstüberwachtes Computer-Vision-Lernmodell, das über eine Milliarde Parameter verfügt und in der Lage ist, Muster oder Informationen aus einer zufälligen Gruppe von Bildern im Internet zu finden, ohne ordnungsgemäße Annotationen oder Beschriftungen.

SEER oder SElf-supERvised-Modell: Eine Einführung

Aktuelle Trends in der KI- und ML-Industrie deuten darauf hin, dass Vorgehensweisen wie semiüberwachtes, schwach überwachtes und selbstüberwachtes Lernen die Leistung für die meisten tiefen Lernmodelle für nachgelagerte Aufgaben erheblich verbessern können.

Es gibt zwei Schlüsselfaktoren, die maßgeblich zur Leistungssteigerung dieser tiefen Lernmodelle beigetragen haben.

Vorverarbeitung auf großen Datensätzen

Die Vorverarbeitung auf großen Datensätzen führt in der Regel zu besserer Genauigkeit und Leistung, da sie dem Modell einen breiten Überblick über die Daten ermöglicht. Große Datensätze ermöglichen es dem Modell, die Muster in den Daten besser zu verstehen, was letztendlich zu besseren Ergebnissen in realen Szenarien führt.

Einige der besten Modelle wie das GPT-3-Modell und das Wav2vec 2.0-Modell werden auf großen Datensätzen trainiert. Das GPT-3-Sprachmodell verwendet eine Vorverarbeitungsdatenmenge mit über 300 Milliarden Wörtern, während das Wav2vec 2.0-Modell für die Spracherkennung eine Datenmenge mit über 53.000 Stunden Audio-Daten verwendet.

Modelle mit großer Kapazität

Modelle mit einer größeren Anzahl von Parametern liefern oft genaue Ergebnisse, da eine größere Anzahl von Parametern es dem Modell ermöglicht, sich auf die für die Daten notwendigen Objekte zu konzentrieren, anstatt auf Störungen oder Rauschen in den Daten.

Entwickler haben in der Vergangenheit versucht, selbstüberwachte Lernmodelle auf nicht beschrifteten oder unkuratierten Datensätzen mit kleineren Datensätzen auszubilden, die nur wenige Millionen Bilder enthielten. Aber können selbstüberwachte Lernmodelle bei der Ausbildung auf großen Mengen an unbeschrifteten und unkuratierten Daten hohe Genauigkeiten erzielen? Genau diese Frage versucht das SEER-Modell zu beantworten.

Das SEER-Modell ist ein tiefes Lernframework, das darauf abzielt, Bilder im Internet unabhängig von kuratierten oder beschrifteten Datensätzen zu registrieren. Das SEER-Framework ermöglicht es Entwicklern, große und komplexe ML-Modelle auf zufälligen Daten ohne Aufsicht auszubilden, d. h. das Modell analysiert die Daten und lernt Muster oder Informationen auf eigene Faust, ohne dass manuelle Eingaben erforderlich sind.

Das ultimative Ziel des SEER-Modells ist es, Strategien für den Vorverarbeitungsprozess zu entwickeln, die unkuratierte Daten verwenden, um Spitzenleistungen bei der Transfer-Lernung zu erzielen. Darüber hinaus zielt das SEER-Modell darauf ab, Systeme zu erstellen, die in der Lage sind, kontinuierlich aus einem nie endenden Datenstrom auf selbstüberwachte Weise zu lernen.

Das SEER-Framework trainiert Modelle mit großer Kapazität auf Milliarden zufälliger und unbeschränkter Bilder, die aus dem Internet extrahiert werden. Die auf diesen Bildern trainierten Modelle verlassen sich nicht auf die Bildmetadaten oder -beschriftungen, um das Modell zu trainieren oder die Daten zu filtern. In jüngster Zeit hat selbstüberwachtes Lernen ein großes Potenzial gezeigt, da die Ausbildung auf unkuratierten Daten bessere Ergebnisse erzielt hat als vorverarbeitete Modelle für nachgelagerte Aufgaben.

SEER-Framework und RegNet: Was ist der Zusammenhang?

Um das SEER-Modell zu analysieren, konzentriert es sich auf die RegNet-Architektur mit über 700 Millionen Parametern, die mit dem Ziel des SEER-Modells von selbstüberwachtem Lernen auf unkuratierten Daten übereinstimmen, aus zwei Hauptgründen:

1. Sie bieten ein perfektes Gleichgewicht zwischen Leistung und Effizienz.
2. Sie sind sehr flexibel und können für eine Vielzahl von Parametern skaliert werden.

SEER-Framework: Vorherige Arbeiten aus verschiedenen Bereichen

Das SEER-Framework zielt darauf ab, die Grenzen des Trainings großer Modellarchitekturen in unkuratierten oder unbeschrifteten Datensätzen unter Verwendung von selbstüberwachtem Lernen zu erkunden und sucht Inspiration in vorherigen Arbeiten auf diesem Gebiet.

Unüberwachte Vorverarbeitung von visuellen Merkmalen

Selbstüberwachtes Lernen wurde bereits in der Computer-Vision umgesetzt, wobei Methoden wie Autoencoder, Instanz-Diskriminierung oder Clustering verwendet werden. In jüngster Zeit haben Methoden, die kontrastives Lernen verwenden, gezeigt, dass die Vorverarbeitung von Modellen unter Verwendung von unüberwachtem Lernen für nachgelagerte Aufgaben besser sein kann als ein überwachter Lernansatz.

Der wichtigste Aspekt des unüberwachten Lernens von visuellen Merkmalen ist, dass solange Sie auf gefilterten Daten trainieren, sind beschriftete Labels nicht erforderlich. Das SEER-Modell zielt darauf ab, zu erkunden, ob das Modell genaue Darstellungen lernen kann, wenn große Modellarchitekturen auf großen Mengen an unkuratierten, unbeschrifteten und zufälligen Bildern trainiert werden.

Lernen von visuellen Merkmalen im großen Maßstab

Vorherige Modelle haben von der Vorverarbeitung auf großen beschrifteten Datensätzen mit schwach überwachtem Lernen, überwachtem Lernen und semiüberwachtem Lernen auf Millionen von gefilterten Bildern profitiert. Darüber hinaus hat die Modellanalyse auch gezeigt, dass die Vorverarbeitung auf Milliarden von Bildern oft zu besserer Genauigkeit führt als das Training von Grund auf.

Darüber hinaus basiert das Training im großen Maßstab in der Regel auf Datenfilter-Schritten, um die Bilder an die Zielkonzepte anzupassen. Diese Filter-Schritte verwenden entweder Vorhersagen von einem vorverarbeiteten Klassifizierer oder Hashtags, die oft sysnets der ImageNet-Klassen sind. Das SEER-Modell arbeitet anders, da es darauf abzielt, Merkmale in jedem zufälligen Bild zu lernen, und daher ist das Trainingsdaten für das SEER-Modell nicht kuratiert, um einem vordefinierten Satz von Merkmalen oder Konzepten zu entsprechen.

Skalierung von Architekturen für die Bilderkennung

Modelle profitieren in der Regel von der Ausbildung großer Architekturen auf besserer Qualität resultierenden visuellen Merkmalen. Es ist wichtig, große Architekturen zu trainieren, wenn die Vorverarbeitung auf großen Datensätzen wichtig ist, da ein Modell mit begrenzter Kapazität oft unterfitting erleiden kann. Es ist noch wichtiger, wenn die Vorverarbeitung mit kontrastivem Lernen durchgeführt wird, da das Modell in solchen Fällen lernen muss, zwischen Datensatzinstanzen zu diskriminieren, um bessere visuelle Darstellungen zu lernen.

Das SEER-Modell zeigt die Vorteile der Verwendung der RegNets-Familie von Modellen für die Implementierung von selbstüberwachtem Lernen im großen Maßstab.

SEER: Methoden und Komponenten

Das SEER-Framework verwendet eine Vielzahl von Methoden und Komponenten, um das Modell vorzutrainieren und visuelle Darstellungen zu lernen. Einige der wichtigsten Methoden und Komponenten, die vom SEER-Framework verwendet werden, sind: RegNet und SwAV. Lassen Sie uns diese Methoden und Komponenten, die im SEER-Framework verwendet werden, kurz besprechen.

Selbstüberwachtes Vorverfahren mit SwAV

Das SEER-Framework wird mit SwAV vorverarbeitet, einem Online-Selbstüberwachungsansatz. SwAV ist ein Online-Clustering-Verfahren, das zum Training von ConvNets-Frameworks ohne Annotationen verwendet wird. Das SwAV-Framework funktioniert, indem es eine Einbettung trainiert, die konsistente Cluster-Zuweisungen zwischen verschiedenen Ansichten desselben Bildes erzeugt. Das System lernt dann semantische Darstellungen, indem es Cluster abbaut, die invariant gegenüber Datenveränderungen sind.

In der Praxis vergleicht das SwAV-Framework die Merkmale der verschiedenen Ansichten eines Bildes, indem es ihre unabhängigen Cluster-Zuweisungen verwendet. Wenn diese Zuweisungen dieselben oder ähnlichen Merkmale erfassen, kann die Zuweisung eines Bildes durch die Verwendung der Merkmale einer anderen Ansicht vorhergesagt werden.

Das SEER-Modell betrachtet eine Menge von K-Clustern, und jedes dieser Cluster ist mit einem lernbaren d-dimensionalen Vektor vk verbunden. Für eine Charge von B-Bildern wird jedes Bild i in zwei verschiedene Ansichten transformiert: xi1 und xi2. Die Ansichten werden dann mit Hilfe eines ConvNets merkmalsausgestattet, und es resultieren zwei Satz von Merkmalen: (f11, …, fB2) und (f12, … , fB2). Jeder Merkmalsatz wird dann unabhängig einem Cluster-Prototypen mit Hilfe eines Optimal Transport-Lösers zugewiesen.

Der Optimal Transport-Löser stellt sicher, dass die Merkmale gleichmäßig über die Cluster verteilt sind, und es hilft, triviale Lösungen zu vermeiden, bei denen alle Darstellungen einem einzigen Prototypen zugeordnet werden. Die resultierende Zuweisung wird dann zwischen zwei Sätzen ausgetauscht: die Cluster-Zuweisung yi1 der Ansicht xi1 muss durch die Merkmalsdarstellung fi2 der Ansicht xi2 vorhergesagt werden, und umgekehrt.

Die Prototyp-Gewichte und das ConvNet werden dann trainiert, um den Verlust für alle Beispiele zu minimieren. Der Cluster-Vorhersage-Verlust l ist im Wesentlichen die Kreuzentropie zwischen einer Softmax des Skalarprodukts von f und der Cluster-Zuweisung.

RegNetY: Skalierbare Modellfamilie

Die Skalierung der Modellkapazität und der Daten erfordert Architekturen, die nicht nur in Bezug auf Speicher, sondern auch in Bezug auf Laufzeit und RegNets-Frameworks, die speziell für diesen Zweck entwickelt wurden.

Die RegNet-Familie von Architekturen ist durch einen Designraum von ConvNets mit 4 Stufen definiert, wobei jede Stufe eine Reihe identischer Blöcke enthält, während die Struktur ihrer Blöcke im Wesentlichen festgelegt ist, insbesondere der residuale Engpass-Block.

Das SEER-Framework konzentriert sich auf die RegNetY-Architektur und fügt eine Squeeze-and-Excitation zum Standard-RegNets-Framework hinzu, um dessen Leistung zu verbessern. Darüber hinaus hat das RegNetY-Modell 5 Parameter, die bei der Suche nach guten Instanzen mit einer festen Anzahl von FLOPs helfen, die vernünftige Ressourcen verbrauchen. Das SEER-Modell zielt darauf ab, seine Ergebnisse durch die Implementierung der RegNetY-Architektur direkt auf seine selbstüberwachte Vorverarbeitungsaufgabe zu verbessern.

Die RegNetY 256GF-Architektur: Das SEER-Modell konzentriert sich hauptsächlich auf die RegNetY 256GF-Architektur in der RegNetY-Familie, und seine Parameter verwenden die Skalierungsregel der RegNets-Architektur. Die Parameter sind wie folgt beschrieben.

Die RegNetY 256GF-Architektur hat 4 Stufen mit Stufenbreiten (528, 1056, 2904, 7392) und Stufentiefen (2,7,17,1), die über 696 Millionen Parameter hinausgehen. Beim Training auf 512 V100 32GB NVIDIA -GPUs dauert jede Iteration etwa 6125 ms für eine Charge von 8.704 Bildern. Das Training des Modells auf einem Datensatz mit über einer Milliarde Bildern, mit einer Charge von 8.704 Bildern auf über 512 GPUs, erfordert 114.890 Iterationen, und das Training dauert etwa 8 Tage.

Optimierung und Training im großen Maßstab

Das SEER-Modell schlägt mehrere Anpassungen vor, um selbstüberwachte Methoden zu trainieren und diese Methoden auf einen großen Maßstab anzuwenden. Diese Methoden sind:

1. Lernrate-Plan.
2. Reduzierung des Speicherbedarfs pro GPU.
3. Optimierung der Trainingsgeschwindigkeit.
4. Vorverarbeitung von Daten im großen Maßstab.

Lassen Sie uns diese kurz besprechen.

Lernrate-Plan

Das SEER-Modell erforscht die Möglichkeit, zwei Lernrate-Pläne zu verwenden: den Cosinus-Wellen-Lernrate-Plan und den festen Lernrate-Plan.

Der Cosinus-Wellen-Lernrate-Plan wird verwendet, um verschiedene Modelle fair zu vergleichen, da er sich an die Anzahl der Updates anpasst. Allerdings passt sich der Cosinus-Wellen-Lernrate-Plan nicht für ein großes Training an, da er die Bilder auf der Grundlage dessen, wann sie während des Trainings gesehen werden, unterschiedlich gewichtet und auch vollständige Updates für die Planung verwendet.

Der feste Lernrate-Plan hält die Lernrate fest, bis der Verlust nicht mehr abnimmt, und dann wird die Lernrate durch 2 geteilt. Die Analyse zeigt, dass der feste Lernrate-Plan besser funktioniert, da er Raum für Flexibilität beim Training bietet. Allerdings verwendet das Modell aufgrund der Tatsache, dass es nur auf 1 Milliarde Bilder trainiert, den Cosinus-Wellen-Lernrate-Plan für das Training seines größten Modells, dem RegNet 256GF.

Reduzierung des Speicherbedarfs pro GPU

Das Modell zielt auch darauf ab, den Speicherbedarf pro GPU während des Trainings zu reduzieren, indem es gemischte Präzision und Gradient-Checkpointing verwendet. Das Modell verwendet die NVIDIA Apex Library’s O1-Optimierungsstufe, um Operationen wie Konvolutionen und GEMMs in 16-Bit-Gleitkomma-Präzision durchzuführen. Das Modell verwendet auch PyTorch’s Gradient-Checkpointing-Implementierung, die Rechenleistung gegen Speicher austauscht.

Darüber hinaus verwirft das Modell alle Zwischenaktivierungen, die während des Vorwärtslaufs erstellt werden, und rekomputiert diese während des Rückwärtslaufs.

Optimierung der Trainingsgeschwindigkeit

Die Verwendung von gemischter Präzision zur Optimierung des Speicherbedarfs hat zusätzliche Vorteile, da Beschleuniger die reduzierte Größe von FP16 ausnutzen können, indem sie die Durchsatzrate im Vergleich zu FP32 erhöhen. Es hilft, die Trainingszeit zu beschleunigen, indem es den Speicher-Bandbreiten-Engpass verbessert.

Das SEER-Modell synchronisiert auch die BatchNorm-Schicht über GPUs, um Prozessgruppen zu erstellen, anstatt globale Synchronisation zu verwenden, die normalerweise mehr Zeit in Anspruch nimmt. Schließlich verwendet der Datenlader, der im SEER-Modell verwendet wird, mehr Trainingschargen, was zu einem höheren Daten-Durchsatz führt als PyTorch’s Datenlader.

Vorverarbeitung von Daten im großen Maßstab

Das SEER-Modell verwendet über eine Milliarde Bilder während der Vorverarbeitung und verwendet einen Datenlader, der zufällige Bilder direkt aus dem Internet und Instagram sampelt. Da das SEER-Modell diese Bilder im Internet und online trainiert, wendet es keine Vorverarbeitung auf diese Bilder an und kuratiert sie nicht mithilfe von Prozessen wie Entduplizierung oder Hashtag-Filterung.

Es ist erwähnenswert, dass der Datensatz nicht statisch ist und die Bilder im Datensatz alle drei Monate aktualisiert werden. Allerdings hat die Aktualisierung des Datensatzes keine Auswirkungen auf die Leistung des Modells.

SEER-Modell-Implementierung

Das SEER-Modell trainiert ein RegNetY 256GF mit SwAV, wobei sechs Crops pro Bild verwendet werden, wobei jedes Bild eine Auflösung von 2×224 + 4×96 hat. Während der Vorverarbeitungsphase verwendet das Modell ein 3-Schichten-MLP oder ein Multi-Layer-Perceptron mit Projektionsköpfen von Dimensionen 10444×8192, 8192×8192 und 8192×256.

Anstelle der Verwendung von BatchNorm-Schichten in der Kopfschicht verwendet das SEER-Modell 16.000 Prototypen mit einer Temperatur t von 0,1. Der Sinkhorn-Regularisierungsparameter ist auf 0,05 gesetzt, und es werden 10 Iterationen des Algorithmus durchgeführt. Das Modell synchronisiert die BatchNorm-Statistiken über die GPU und erstellt mehrere Prozessgruppen mit der Größe 64 für die Synchronisation.

Darüber hinaus verwendet das Modell einen LARS- oder Layer-weise adaptiven Lernrate-Scaler, einen Gewichtsverfall von 10-5, Aktivierungs-Checkpointing und O1-Mixed-Precision-Optimierung. Das Modell wird dann mit stochastischem Gradientenabstieg trainiert, wobei eine Charge von 8.192 zufälligen Bildern auf 512 NVIDIA-GPUs verwendet wird, was 16 Bilder pro GPU ergibt.

Die Lernrate wird linear von 0,15 auf 9,6 für die ersten 8.000 Trainingsupdates erhöht. Nach dem Warm-up folgt das Modell einem Cosinus-Lernrate-Plan, der auf einen Endwert von 0,0096 abfällt. Insgesamt trainiert das SEER-Modell über eine Milliarde Bilder über 122.000 Iterationen.

SEER-Framework: Ergebnisse

Die Qualität der durch die selbstüberwachte Vorverarbeitung erzeugten Merkmale wird auf einer Vielzahl von Benchmarks und nachgelagerten Aufgaben untersucht und analysiert. Das Modell berücksichtigt auch eine Low-Shot-Einstellung, die einen begrenzten Zugriff auf die Bilder und ihre Beschriftungen für nachgelagerte Aufgaben ermöglicht.

Fine-Tuning von großen vorverarbeiteten Modellen

Es misst die Qualität von Modellen, die auf zufälligen Daten vorverarbeitet wurden, indem sie auf den ImageNet-Benchmark für Objekterkennung übertragen werden. Die Ergebnisse des Fine-Tunings von großen vorverarbeiteten Modellen werden anhand der folgenden Parameter bestimmt.

Experimentelle Einstellungen

Das Modell trainiert 6 RegNet-Architekturen mit unterschiedlichen Kapazitäten, nämlich RegNetY-{8,16,32,64,128,256}GF, auf über einer Milliarde zufälliger und öffentlicher Instagram-Bilder mit SwAV. Die Modelle werden dann für die Bilderkennung auf ImageNet feinjustiert, das über 1,28 Millionen standardmäßige Trainingsbilder mit ordnungsgemäßen Beschriftungen und ein standardmäßiges Validierungsset mit über 50.000 Bildern für die Bewertung verwendet.

Das Modell wendet dann dieselben Datenverarbeitungstechniken wie in SwAV an und feinjustiert für 35 Epochen mit dem SGD-Optimizer oder dem stochastischen Gradientenabstieg mit einer Charge von 256 und einer Lernrate von 0,0125, die nach 30 Epochen um den Faktor 10 reduziert wird, mit einem Momentum von 0,9 und einem Gewichtsverfall von 10-4. Das Modell berichtet die Top-1-Genauigkeit auf dem Validierungsdatensatz unter Verwendung des Center-Crop von 224×224.

Vergleich mit anderen selbstüberwachten Vorverarbeitungsansätzen

Im folgenden Diagramm wird das größte vorverarbeitete Modell in RegNetY-256GF mit bestehenden vorverarbeiteten Modellen verglichen, die den selbstüberwachten Lernansatz verwenden.

Wie Sie sehen, gibt das SEER-Modell eine Top-1-Genauigkeit von 84,2 % auf ImageNet aus und übertrifft SimCLRv2, das beste bestehende vorverarbeitete Modell, um 1 %.

Darüber hinaus vergleicht das folgende Diagramm das SEER-Framework mit Modellen unterschiedlicher Kapazitäten. Wie Sie sehen, liefert die Kombination des RegNet-Frameworks mit SwAV unabhängig von der Modellkapazität genaue Ergebnisse während der Vorverarbeitung.

Das SEER-Modell wird auf unkuratierten und zufälligen Bildern vorverarbeitet und hat die RegNet-Architektur mit der SwAV-selbstüberwachten Lernmethode. Das SEER-Modell wird mit SimCLRv2 und den ViT-Modellen mit unterschiedlichen Netzwerkarchitekturen verglichen. Schließlich wird das Modell auf dem ImageNet-Datensatz feinjustiert und die Top-1-Genauigkeit wird berichtet.

Auswirkung der Modellkapazität

Die Modellkapazität hat einen erheblichen Einfluss auf die Modellleistung bei der Vorverarbeitung, und das folgende Diagramm vergleicht sie mit der Auswirkung beim Training von Grund auf.

Es kann klar gesehen werden, dass die Top-1-Genauigkeit der vorverarbeiteten Modelle höher ist als die Modelle, die von Grund auf trainiert werden, und der Unterschied wird immer größer, wenn die Anzahl der Parameter zunimmt. Es ist auch offensichtlich, dass die Modellkapazität sowohl die vorverarbeiteten als auch die von Grund auf trainierten Modelle positiv beeinflusst, aber der Einfluss ist bei vorverarbeiteten Modellen bei einer großen Anzahl von Parametern größer.

Ein möglicher Grund, warum das Training eines Modells von Grund auf auf dem ImageNet-Datensatz zu Überanpassung führen kann, liegt in der geringen Größe des Datensatzes.

Low-Shot-Lernen

Low-Shot-Lernen bezieht sich auf die Bewertung der Leistung des SEER-Modells in einer Low-Shot-Einstellung, d. h. unter Verwendung nur eines Bruchteils der gesamten Daten bei der Durchführung von nachgelagerten Aufgaben.

Experimentelle Einstellungen

Das SEER-Framework verwendet zwei Datensätze für Low-Shot-Lernen, nämlich Places205 und ImageNet. Darüber hinaus geht das Modell davon aus, dass es einen begrenzten Zugriff auf den Datensatz während der Übertragung hat, sowohl in Bezug auf Bilder als auch auf ihre Beschriftungen. Diese begrenzte Zugriffseinstellung unterscheidet sich von den Standard-Einstellungen, die für selbstüberwachtes Lernen verwendet werden, bei denen das Modell Zugriff auf den gesamten Datensatz hat und nur der Zugriff auf die Bildbeschriftungen begrenzt ist.

• Ergebnisse auf dem Places205-Datensatz

Das folgende Diagramm zeigt die Auswirkung der Vorverarbeitung des Modells auf verschiedenen Teilen des Places205-Datensatzes.

Der Ansatz wird mit der Vorverarbeitung des Modells auf dem ImageNet-Datensatz unter Aufsicht mit der gleichen RegNetY-128-GF-Architektur verglichen. Die Ergebnisse des Vergleichs sind überraschend, da eine stabile Gewinn von etwa 2,5 % in der Top-1-Genauigkeit unabhängig vom Anteil der Trainingsdaten, die für das Feinjustieren auf dem Places205-Datensatz verfügbar sind, zu beobachten ist.

Der Unterschied zwischen der überwachten und der selbstüberwachten Vorverarbeitung kann angesichts der Unterschiede in der Natur der Trainingsdaten erklärt werden, da die vom Modell aus zufälligen Bildern im Internet gelernten Merkmale möglicherweise besser geeignet sind, um die Szene zu klassifizieren. Darüber hinaus kann eine nicht einheitliche Verteilung der zugrunde liegenden Konzepte ein Vorteil für die Vorverarbeitung auf einem unbalancierten Datensatz wie Places205 sein.

Ergebnisse auf ImageNet

Das obige Diagramm vergleicht den Ansatz des SEER-Modells mit selbstüberwachten Vorverarbeitungsansätzen und semiüberwachten Ansätzen auf Low-Shot-Lernen. Es ist erwähnenswert, dass alle diese Methoden den gesamten ImageNet-Datensatz mit über 1,2 Millionen Bildern für die Vorverarbeitung verwenden und nur den Zugriff auf die Beschriftungen einschränken. Andererseits ermöglicht der Ansatz, der im SEER-Modell verwendet wird, es, nur 1 bis 10 % des ImageNet-Datensatzes zu sehen.

Wie Sie sehen, profitieren diese Ansätze erheblich davon, dass die Netzwerke mehr Bilder aus der gleichen Verteilung während der Vorverarbeitung gesehen haben. Aber was beeindruckend ist, ist, dass das SEER-Modell, obwohl es nur 1 bis 10 % des ImageNet-Datensatzes sieht, immer noch in der Lage ist, eine Top-1-Genauigkeit von etwa 80 % zu erzielen, die nur knapp unter der Genauigkeit der in der Tabelle oben diskutierten Ansätze liegt.

Auswirkung der Modellkapazität

Das folgende Diagramm diskutiert die Auswirkung der Modellkapazität auf Low-Shot-Lernen: bei 1 %, 10 % und 100 % des ImageNet-Datensatzes.

Es kann beobachtet werden, dass die Erhöhung der Modellkapazität die Genauigkeit des Modells verbessern kann, wenn sowohl der Zugriff auf die Bilder als auch auf die Beschriftungen im Datensatz eingeschränkt sind.

Übertragung auf andere Benchmarks

Um das SEER-Modell weiter zu bewerten und seine Leistung zu analysieren, werden die vorverarbeiteten Merkmale auf andere nachgelagerte Aufgaben übertragen.

Lineare Bewertung der Bilderkennung

Das obige Diagramm vergleicht die Merkmale aus SEER’s vorverarbeitetem RegNetY-256GF und RegNetY128-GF, das auf dem ImageNet-Datensatz mit der gleichen Architektur mit und ohne Aufsicht vorverarbeitet wurde. Um die Qualität der Merkmale zu bewerten, friert das Modell die Gewichte ein und verwendet einen linearen Klassifizierer auf den Merkmalen unter Verwendung des Trainingsdatensatzes für die nachgelagerten Aufgaben. Die folgenden Benchmarks werden für den Prozess berücksichtigt: Open-Images (OpIm), iNaturalist (iNat), Places205 (Places) und Pascal VOC (VOC).

Erkennung und Segmentierung

Das folgende Diagramm vergleicht die vorverarbeiteten Merkmale auf Erkennung und Segmentierung und bewertet sie.

Das SEER-Framework trainiert ein Mask-RCNN-Modell auf dem COCO-Benchmark mit vorverarbeiteten RegNetY-64GF- und RegNetY-128GF-Modellen als Bausteine. Für beide Architekturen sowie nachgelagerte Aufgaben übertrifft der selbstüberwachte Vorverarbeitungsansatz des SEER-Modells die überwachte Ausbildung um 1,5 bis 2 AP-Punkte.

Vergleich mit schwach überwachter Vorverarbeitung

Die meisten Bilder, die im Internet verfügbar sind, haben normalerweise eine Meta-Beschreibung oder einen Alt-Text, Beschreibungen oder Geolokationen, die während der Vorverarbeitung genutzt werden können. Vorherige Arbeiten haben gezeigt, dass die Vorhersage einer kuratierten oder beschrifteten Menge von Hashtags die Qualität der vorhergesagten visuellen Merkmale verbessern kann. Allerdings erfordert dieser Ansatz die Filterung von Bildern und funktioniert am besten, wenn eine textuelle Metadaten vorhanden ist.

Das folgende Diagramm vergleicht die Vorverarbeitung einer ResNetXt101-32dx8d-Architektur, die auf zufälligen Bildern trainiert wird, mit der gleichen Architektur, die auf beschrifteten Bildern mit Hashtags und Metadaten trainiert wird, und berichtet die Top-1-Genauigkeit für beide.

Es kann gesehen werden, dass das SEER-Framework, obwohl es keine Metadaten während der Vorverarbeitung verwendet, eine Genauigkeit aufweist, die mit den Modellen vergleichbar ist, die Metadaten für die Vorverarbeitung verwenden.

Ablationsstudien

Eine Ablationsstudie wird durchgeführt, um die Auswirkung einer bestimmten Komponente auf die Gesamtleistung des Modells zu analysieren. Eine Ablationsstudie wird durchgeführt, indem die Komponente aus dem Modell entfernt wird und man versteht, wie das Modell funktioniert. Es gibt den Entwicklern eine kurze Übersicht über die Auswirkung dieser bestimmten Komponente auf die Leistung des Modells.

Auswirkung der Modellarchitektur

Die Modellarchitektur hat einen erheblichen Einfluss auf die Leistung des Modells, insbesondere wenn das Modell skaliert oder die Spezifikationen der Vorverarbeitungsdaten geändert werden.

Das folgende Diagramm diskutiert die Auswirkung, wie die Änderung der Architektur die Qualität der vorverarbeiteten Merkmale beeinflusst, indem die ImageNet-Datensatz linear bewertet wird. Die vorverarbeiteten Merkmale können in diesem Fall direkt abgefragt werden, da die Bewertung nicht den Modellen begünstigt, die auf dem ImageNet-Datensatz von Grund auf trainiert werden.

Es kann beobachtet werden, dass für die ResNeXts- und die ResNet-Architektur die Merkmale, die aus der Penultima-Schicht erhalten werden, besser mit den aktuellen Einstellungen funktionieren. Andererseits übertrifft die RegNet-Architektur die anderen Architekturen.

Insgesamt kann man schlussfolgern, dass die Erhöhung der Modellkapazität einen positiven Einfluss auf die Qualität der Merkmale hat und es einen logarithmischen Gewinn in der Modellleistung gibt.

Skalierung der Vorverarbeitungsdaten

Es gibt zwei Hauptgründe, warum das Training eines Modells auf einem größeren Datensatz die Gesamtleistung des visuellen Merkmals, das das Modell lernt, verbessern kann: mehr einzigartige Bilder und mehr Parameter. Lassen Sie uns einen kurzen Blick darauf werfen, wie diese Gründe die Modellleistung beeinflussen.

Erhöhung der Anzahl einzigartiger Bilder

Das obige Diagramm vergleicht zwei verschiedene Architekturen, die RegNet8 und die RegNet16, die die gleiche Anzahl von Parametern haben, aber auf unterschiedliche Anzahl einzigartiger Bilder trainiert werden. Das SEER-Framework trainiert die Modelle für Updates, die 1 Epoch für eine Milliarde Bilder oder 32 Epochen für 32 einzigartige Bilder entsprechen, und mit einer einzigen halben Cosinus-Lernrate.

Es kann beobachtet werden, dass für ein Modell, das gut funktioniert, die Anzahl der einzigartigen Bilder, die dem Modell zugeführt werden, idealerweise höher sein sollte. In diesem Fall funktioniert das Modell gut, wenn es mehr einzigartige Bilder erhält als die Bilder, die im ImageNet-Datensatz vorhanden sind.

Mehr Parameter

Das folgende Diagramm zeigt die Leistung des Modells, wenn es auf einer Milliarde Bilder mit der RegNet-128GF-Architektur trainiert wird. Es kann beobachtet werden, dass die Leistung des Modells stetig verbessert wird, wenn die Anzahl der Parameter erhöht wird.

Selbstüberwachtes Computer-Vision in der realen Welt

Bisher haben wir besprochen, wie selbstüberwachtes Lernen und das SEER-Modell für Computer-Vision in der Theorie funktionieren. Jetzt lassen Sie uns einen Blick darauf werfen, wie selbstüberwachtes Computer-Vision in realen Szenarien funktioniert und warum SEER die Zukunft des selbstüberwachten Computer-Vision ist.

Das SEER-Modell konkurriert mit der Arbeit, die in der Naturlichen-Sprachverarbeitungs-Industrie geleistet wird, wo hochentwickelte Modelle von Weltklasse trillions von Datensätzen und Parametern verwenden, kombiniert mit trillions von Wörtern von Text während der Vorverarbeitung des Modells. Die Leistung auf nachgelagerten Aufgaben erhöht sich normalerweise mit einer Erhöhung der Anzahl der Eingabedaten für das Training des Modells, und das gleiche gilt für Computer-Vision-Aufgaben.

Aber die Verwendung von Selbstüberwachungstechniken für die Naturliche-Sprachverarbeitung ist anders als die Verwendung von Selbstüberwachung für Computer-Vision. Es liegt daran, dass bei der Arbeit mit Texten semantische Konzepte normalerweise in diskrete Wörter aufgeteilt werden, aber bei der Arbeit mit Bildern muss das Modell entscheiden, welcher Pixel zu welchem Konzept gehört.

Darüber hinaus haben verschiedene Bilder unterschiedliche Ansichten, und obwohl mehrere Bilder das gleiche Objekt haben können, kann das Konzept erheblich variieren. Zum Beispiel kann ein Datensatz mit Bildern von einer Katze betrachtet werden. Obwohl das primäre Objekt, die Katze, in allen Bildern gemeinsam ist, kann das Konzept erheblich variieren, da die Katze in einem Bild still stehen kann, während sie in dem nächsten mit einem Ball spielt und so weiter. Da die Bilder oft unterschiedliche Konzepte haben, ist es wichtig, dass das Modell eine große Menge an Bildern betrachtet, um die Unterschiede um das gleiche Konzept zu verstehen.

Die erfolgreiche Skalierung eines Modells, damit es effizient mit hochdimensionalen und komplexen Bilddaten arbeiten kann, erfordert zwei Komponenten:

1. Ein ConvNet oder eine CNN, die groß genug ist, um visuelle Konzepte aus einem sehr großen Bilddatensatz zu lernen und zu erfassen.
2. Ein Algorithmus, der in der Lage ist, Muster aus einer großen Menge an Bildern ohne Beschriftungen oder Metadaten zu lernen.

Das SEER-Modell zielt darauf ab, diese Komponenten auf den Bereich der Computer-Vision anzuwenden. Das SEER-Modell zielt darauf ab, die Fortschritte, die durch SwAV, ein selbstüberwachtes Lernframework, erzielt wurden, auszunutzen, das Online-Clustering verwendet, um Bilder mit parallelen visuellen Konzepten zu gruppieren oder zu paaren, und diese Ähnlichkeiten zu nutzen, um Muster besser zu erkennen.

Mit der SwAV-Architektur kann das SEER-Modell die Verwendung von selbstüberwachtem Lernen in der Computer-Vision viel effektiver machen und die Trainingszeit um bis zu 6 Mal reduzieren.

Darüber hinaus erfordert das Training von Modellen im großen Maßstab, in diesem Maßstab, über 1 Milliarde Bilder, eine Modellarchitektur, die nicht nur in Bezug auf Speicher, sondern auch in Bezug auf Laufzeit und RegNets-Modelle, die speziell für diesen Zweck entwickelt wurden, effizient ist.

Schlussfolgerung: Eine selbstüberwachte Zukunft

Selbstüberwachtes Lernen ist ein wichtiger Gesprächspunkt in der KI- und ML-Industrie, da es KI-Modellen ermöglicht, Informationen direkt aus einer großen Menge an Daten zu lernen, die zufällig im Internet verfügbar sind, anstatt sich auf sorgfältig kuratierte und beschriftete Datensätze zu verlassen, die speziell für die Ausbildung von KI-Modellen entwickelt wurden.

Selbstüberwachtes Lernen ist ein entscheidender Aspekt für die Zukunft von KI und ML, da es das Potenzial hat, es Entwicklern zu ermöglichen, KI-Modelle zu erstellen, die sich gut an reale Szenarien anpassen und mehrere Anwendungsfälle haben, anstatt einen spezifischen Zweck zu haben, und SEER ist ein Meilenstein in der Implementierung von selbstüberwachtem Lernen in der Computer-Vision-Industrie.

Das SEER-Modell unternimmt den ersten Schritt in der Transformation der Computer-Vision-Industrie und reduziert unsere Abhängigkeit von beschrifteten Datensätzen. Das SEER-Modell zielt darauf ab, die Notwendigkeit von Datensatz-Beschriftung zu eliminieren, was es Entwicklern ermöglichen wird, mit einer vielfältigen und großen Menge an Daten zu arbeiten. Die Implementierung von SEER ist insbesondere für Entwickler nützlich, die an Modellen arbeiten, die mit Bereichen zu tun haben, die begrenzte Bilder oder Metadaten haben, wie die medizinische Industrie.

Darüber hinaus ermöglicht die Eliminierung von manuellen Beschriftungen es Entwicklern, das Modell schneller zu entwickeln und zu bereitstellen, was es ihnen ermöglichen wird, auf schnell verändernde Situationen schneller und genauer zu reagieren.