Bessere Machine-Learning-Leistung durch CNN-basiertes Bildverkleinern

Google Research hat eine neue Methode vorgeschlagen, um die Effizienz und Genauigkeit von Bild-basierten Computer-Vision-Trainingsworkflows zu verbessern, indem die Art und Weise verbessert wird, wie die Bilder in einem Datensatz während der Vorverarbeitungsphase verkleinert werden.

In dem Paper Learning to Resize Images for Computer Vision Tasks verwenden die Forscher Hossein Talebi und Peyman Milanfar ein CNN, um eine neue hybride Bildverkleinerungsarchitektur zu erstellen, die eine bemerkenswerte Verbesserung der Erkennungsergebnisse über vier beliebte Computer-Vision-Datensätze erzielt.

Das vorgeschlagene gemeinsame Framework für Erkennung und Verkleinerung. Quelle: https://arxiv.org/pdf/2103.09950.pdf

Das Paper bemerkt, dass die Verkleinerungs-/Vergrößerungsmethoden, die derzeit in automatisierten Machine-Learning-Pipelines verwendet werden, Jahrzehnte alt sind und häufig nur grundlegende bilineare, bikubische und nächste-Nachbar-Verkleinerung – Methoden, die alle Pixel ununterschieden behandeln.

Im Gegensatz dazu ergänzt die vorgeschlagene Methode die Bildaten durch ein CNN und integriert diese Eingabe in die verkleinerten Bilder, die letztendlich durch die Architektur des Modells verlaufen.

Bildbeschränkungen im AI-Training

Um ein Modell zu trainieren, das mit Bildern arbeitet, enthält ein Machine-Learning-Framework eine Vorverarbeitungsstufe, in der eine Vielzahl von Bildern unterschiedlicher Größen, Farbräume und Auflösungen (die zum Trainingsdatensatz beitragen) systematisch beschnitten und in konsistente Dimensionen und ein stabiles, einheitliches Format verkleinert werden.

Im Allgemeinen beinhaltet dies einen Kompromiss basierend auf dem PNG-Format, bei dem ein Kompromiss zwischen Verarbeitungszeit/Ressourcen, Dateigröße und Bildqualität hergestellt wird.

In den meisten Fällen sind die endgültigen Dimensionen des verarbeiteten Bildes sehr klein. Unten sehen wir ein Beispiel für die 80×80-Auflösung, bei der einige der frühesten Deepfake-Datensätze erzeugt wurden:

Da Gesichter (und andere mögliche Themen) selten in das erforderliche quadratische Verhältnis passen, müssen möglicherweise schwarze Balken hinzugefügt werden (oder verschwendeter Platz zugelassen), um die Bilder zu homogenisieren, was die tatsächlich verwendeten Bildaten weiter verringert:

Hier wurde das Gesicht aus einem größeren Bildbereich extrahiert, bis es so wirtschaftlich wie möglich beschnitten wurde, um den gesamten Gesichtsbereich zu umfassen. Allerdings wird, wie rechts zu sehen ist, ein großer Teil des verbleibenden Bereichs nicht während des Trainings verwendet, was die Bedeutung der Bildqualität der verkleinerten Daten unterstreicht.

Da die GPU-Fähigkeiten in den letzten Jahren verbessert wurden, mit der neuen Generation von NVIDIA-Karten, die mit erhöhten Mengen an Video-RAM (VRAM) ausgestattet sind, beginnen die durchschnittlichen Bildgrößen, die zu den Datensätzen beitragen, zu steigen, obwohl 224×224 Pixel immer noch ziemlich standardmäßig sind (zum Beispiel ist es die Größe des ResNet-50-Datensatzes).

Ein unverkleinertes 224×244-Pixel-Bild.

Passen von Batches in VRAM

Der Grund, warum die Bilder alle die gleiche Größe haben müssen, liegt darin, dass Gradientenabstieg, die Methode, mit der das Modell über die Zeit verbessert wird, einheitliche Trainingsdaten erfordert.

Der Grund, warum die Bilder so klein sein müssen, liegt darin, dass sie während des Trainings in kleinen Batches, normalerweise zwischen 6-24 Bildern pro Batch, geladen (vollständig entkomprimiert) werden müssen. Zu wenige Bilder pro Batch, und es gibt nicht genug Gruppenmaterial, um gut zu generalisieren, außerdem verlängert sich die Trainingszeit; zu viele, und das Modell kann möglicherweise nicht die notwendigen Merkmale und Details erhalten (siehe unten).

Dieser “Live-Loading”-Abschnitt der Trainingsarchitektur wird als Latenter Raum bezeichnet. Dies ist der Ort, an dem Merkmale wiederholt aus den gleichen Daten (d. h. den gleichen Bildern) extrahiert werden, bis das Modell zu einem Zustand konvergiert, in dem es alle verallgemeinerten Kenntnisse benötigt, um Transformationen auf späteren, unbekannten Daten desselben Typs durchzuführen.

Dieser Prozess dauert normalerweise Tage, kann aber auch einen Monat oder mehr konstanter und unermüdlicher Hochvolumen-24/7-Kognition erfordern, um nützliche Verallgemeinerung zu erzielen. Erhöhungen der VRAM-Größe sind nur bis zu einem bestimmten Punkt hilfreich, da sogar geringe Erhöhungen der Bildauflösung einen um ein Vielfaches größeren Effekt auf die Verarbeitungskapazität haben können und damit verbundene Auswirkungen auf die Genauigkeit, die nicht immer günstig sind.

Die Verwendung einer größeren VRAM-Kapazität, um höhere Batch-Größen zu ermöglichen, ist auch ein gemischter Segen, da die durch diese erzielten höheren Trainingsgeschwindigkeiten wahrscheinlich durch weniger präzise Ergebnisse ausgeglichen werden.

Daher ist alles, was eine Verbesserung innerhalb der bestehenden Einschränkungen der Pipeline bewirken kann, eine bemerkenswerte Leistung.

Wie überlegene Verkleinerung hilft

Die endgültige Qualität eines Bildes, das in einen Trainingsdatensatz aufgenommen wird, hat sich als Verbesserung des Trainingsausgangs erwiesen, insbesondere bei Objekterkennungsaufgaben. Im Jahr 2018 argumentierten Forscher des Max-Planck-Instituts für Intelligente Systeme dass die Wahl der Resampling-Methode die Trainingsleistung und -ergebnisse deutlich beeinflusst.

Zusätzlich hat vorherige Arbeit von Google (mitautors der neuen Arbeit) festgestellt, dass die Klassifizierungsgenauigkeit durch Kontrolle über Komprimierungsartefakte in Datensatzbildern verbessert werden kann.

Die CNN-Architektur für den von Google Research vorgeschlagenen Downsampling-Algorithmus.

Das CNN-Modell, das in den neuen Resampler integriert ist, kombiniert bilineare Verkleinerung mit einer “Skip-Connection”-Funktion, die Ausgaben aus dem trainierten Netzwerk in das verkleinerte Bild einbeziehen kann.

Im Gegensatz zu einer typischen Encoder/Decoder-Architektur kann die neue Vorschlag nicht nur als Feed-Forward-Flaschenhals, sondern auch als inverser Flaschenhals für die Vergrößerung auf jede Zielgröße und/oder -verhältnis dienen. Darüber hinaus kann die “Standard”-Resampling-Methode durch jede andere geeignete traditionelle Methode ersetzt werden, wie z. B. Lanczos.

Hohe Frequenzdetails

Die neue Methode erzeugt Bilder, die scheinbar wichtige Merkmale (die letztendlich vom Trainingsprozess erkannt werden) direkt in das Quellbild “backen”. Ästhetisch gesehen sind die Ergebnisse unkonventionell:

Die neue Methode wurde auf vier Netzwerke angewendet – Inception V2; DenseNet-121; ResNet-50; und MobileNet-V2. Die Ergebnisse der Google-Research-Bildverkleinerungs-/Vergrößerungsmethode erzeugen Bilder mit offensichtlicher Pixelaggregation, die die wichtigsten Merkmale vorhersagt, die während des Trainingsprozesses erkannt werden.

Die Forscher bemerken, dass diese anfänglichen Experimente ausschließlich für Bilderkennungsaufgaben optimiert sind und dass ihre CNN-gesteuerte “gelernte Verkleinerung” in Tests in der Lage war, verbesserte Fehlerraten in solchen Aufgaben zu erzielen. Die Forscher planen, die Methode in Zukunft auf andere Arten von bildbasierten Computer-Vision-Anwendungen anzuwenden.