Trainingscomputer-Vision-Modelle mit zufälligem Rauschen anstelle von echten Bildern

Forscher des MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) haben experimentiert, zufällige Rauschbilder in Computer-Vision-Datensätzen zu verwenden, um Computer-Vision-Modelle zu trainieren, und festgestellt, dass diese Methode überraschend effektiv ist:

Generative Modelle aus dem Experiment, sortiert nach Leistung. Quelle: https://openreview.net/pdf?id=RQUl8gZnN7O

Das Einsetzen von scheinbarem “visuellem Müll” in beliebte Computer-Vision-Architekturen sollte nicht zu dieser Art von Leistung führen. Auf der weit rechten Seite des Bildes oben stellen die schwarzen Säulen die Genauigkeitswerte (für Imagenet-100) für vier “reale” Datensätze dar. Während die “zufälligen Rausch”-Datensätze davor (in verschiedenen Farben, siehe Index oben links) diese nicht erreichen können, liegen sie fast alle innerhalb respektabler oberer und unterer Grenzen (rote gestrichelte Linien) für die Genauigkeit.

In diesem Sinne bedeutet “Genauigkeit” nicht, dass ein Ergebnis unbedingt wie ein Gesicht, eine Kirche, eine Pizza oder ein anderes bestimmtes Gebiet aussieht, für das Sie möglicherweise an der Erstellung eines Bildsynthesesystems interessiert sind, wie z.B. ein Generatives Adversarial Network oder ein Encoder/Decoder-Framework.

Vielmehr bedeutet es, dass die CSAIL-Modelle allgemein anwendbare zentrale “Wahrheiten” aus Bilddaten abgeleitet haben, die so unstrukturiert sind, dass sie diese nicht liefern sollten.

Vielfalt vs. Naturalismus

Diese Ergebnisse können auch nicht auf Overfitting zurückgeführt werden: Eine lebhafte Diskussion zwischen den Autoren und den Reviewern bei Open Review zeigt, dass das Mischen verschiedener Inhalte aus visuell vielfältigen Datensätzen (wie “tote Blätter”, “Fraktale” und “prozedurales Rauschen” – siehe Bild unten) in einen Trainingsdatensatz tatsächlich die Genauigkeit in diesen Experimenten verbessert.

Dies legt nahe (und es ist ein etwas revolutionärer Gedanke), eine neue Art von “Underfitting”, bei der “Vielfalt” “Naturalismus” übertrumpft.

Die Projektseite für die Initiative ermöglicht es, die verschiedenen Arten von zufälligen Bilddatensätzen, die im Experiment verwendet wurden, interaktiv anzuzeigen. Quelle: https://mbaradad.github.io/learning_with_noise/

Die Ergebnisse, die die Forscher erzielt haben, stellen die grundlegende Beziehung zwischen bildbasierten neuronalen Netzen und den “realen” Bildern, die ihnen in alarmierend größeren Mengen jedes Jahr präsentiert werden, in Frage und lassen darauf schließen, dass die Notwendigkeit, hyperskalige Bilddatensätze zu beschaffen, zu kuratieren und anderweitig zu handhaben, möglicherweise eventually redundant wird. Die Autoren erklären:

‘Aktuelle Visionssysteme werden auf großen Datensätzen trainiert, und diese Datensätze haben Kosten: Die Kuratierung ist teuer, sie erben menschliche Vorurteile, und es gibt Bedenken hinsichtlich Datenschutz und Nutzungsrechten. Um diese Kosten zu kompensieren, ist das Interesse an der Verwendung von billigeren Datenquellen wie unbeschrifteten Bildern gestiegen.

‘In diesem Paper gehen wir einen Schritt weiter und fragen, ob wir auf reale Bilddatensätze ganz verzichten können, indem wir aus prozeduralen Rauschprozessen lernen.’

Die Forscher schlagen vor, dass die aktuellen maschinellen Lernalgorithmen möglicherweise etwas viel Fundamentaleres (oder zumindest Unerwarteteres) aus Bildern ableiten als bisher angenommen und dass “Unsinn”-Bilder möglicherweise eine große Menge dieser Kenntnisse viel billiger vermitteln können, sogar mit der möglichen Verwendung von ad-hoc-synthetischen Daten über Datengenerierungsarchitekturen, die zufällige Bilder während des Trainings erzeugen:

‘Wir identifizieren zwei Schlüsseleigenschaften, die für gute synthetische Daten zum Trainieren von Visionssystemen erforderlich sind: 1) Naturalismus, 2) Vielfalt. Interessanterweise ist die naturalistischste Daten nicht immer die beste, da Naturalismus auf Kosten von Vielfalt gehen kann.

‘Die Tatsache, dass naturalistische Daten helfen, ist nicht überraschend, und sie legt nahe, dass tatsächlich große reale Daten von Wert sind. Allerdings finden wir, dass es nicht entscheidend ist, dass die Daten real sind, sondern dass sie naturalistisch sind, d.h. sie müssen bestimmte strukturelle Eigenschaften von realen Daten aufweisen.

‘Viele dieser Eigenschaften können in einfachen Rauschmodellen erfasst werden.’

Feature-Visualisierungen, die aus einem AlexNet-abgeleiteten Encoder auf einigen der verschiedenen ‘zufälligen Bild’-Datensätze resultieren, die die Autoren verwendet haben, die die 3. und 5. (endgültige) Konvolutionslayer abdecken. Die hier verwendete Methodik folgt der von Google AI-Forschung aus dem Jahr 2017.

Das Paper, das auf der 35. Konferenz über Neuronale Informationsverarbeitung (NeurIPS 2021) in Sydney präsentiert wurde, trägt den Titel Learning to See by Looking at Noise und stammt von sechs Forschern bei CSAIL, die alle gleichwertig beigetragen haben.

Die Arbeit wurde empfohlen, um auf der NeurIPS 2021 ausgewählt zu werden, wobei Peer-Kommentatoren das Paper als ‘wissenschaftlichen Durchbruch’ bezeichneten, der ein ‘großes Studiengebiet’ eröffnet, auch wenn es so viele Fragen aufwirft, wie es beantwortet.

Die Autoren schließen das Paper mit folgendem Wort:

‘Wir haben gezeigt, dass, wenn sie mit Ergebnissen aus früherer Forschung zu natürlichen Bildstatistiken entworfen werden, diese Datensätze erfolgreich visuelle Repräsentationen trainieren können. Wir hoffen, dass dieses Paper die Erforschung neuer generativer Modelle anregt, die strukturiertes Rauschen erzeugen und bei der Verwendung in einer Vielzahl von visuellen Aufgaben eine noch höhere Leistung erzielen.

‘Wäre es möglich, die Leistung zu erreichen, die mit ImageNet-Prätraining erzielt wurde? Vielleicht ist im Fehlen eines großen Trainingsdatensatzes, der für eine bestimmte Aufgabe spezifisch ist, das beste Prätraining nicht das Verwenden eines Standard-Real-Datensatzes wie ImageNet.’