Disney Research bietet verbesserte AI-basierte Bildkomprimierung – aber es kann Details halluzinieren

Die Forschungsabteilung von Disney bietet eine neue Methode zur Bildkomprimierung, die das Open-Source-Modell Stable Diffusion V1.2 nutzt, um realistischere Bilder bei niedrigeren Bitraten als konkurrierende Methoden zu produzieren.

Die Disney-Komprimierungsmethode im Vergleich zu früheren Ansätzen. Die Autoren behaupten, eine verbesserte Wiederherstellung von Details zu bieten, während sie ein Modell anbieten, das keine hundreds of thousands of dollars für die Ausbildung benötigt und das schneller als die nächste konkurrierende Methode arbeitet. Quelle: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Der neue Ansatz (definiert als “Codec”, trotz seiner erhöhten Komplexität im Vergleich zu traditionellen Codecs wie JPEG und AV1) kann über jedes Latent-Diffusions-Modell (LDM) arbeiten. In quantitativen Tests übertrifft es frühere Methoden in Bezug auf Genauigkeit und Detail und benötigt wesentlich weniger Ausbildung und Rechenkosten.

Der Schlüsselgedanke des neuen Werks ist, dass Quantisierungsfehler (ein zentraler Prozess in allen Bildkomprimierungen) ähnlich wie Rauschen (ein zentraler Prozess in Diffusionsmodellen) ist.

Daher kann ein “traditionell” quantisiertes Bild als eine verrauschte Version des Originalbildes behandelt werden und in einem LDM-Entrauschungsprozess anstelle von zufälligem Rauschen verwendet werden, um das Bild bei einem Ziel-Bitrate zu rekonstruieren.

Weitere Vergleiche der neuen Disney-Methode (grün hervorgehoben), im Vergleich zu konkurrierenden Ansätzen.

Die Autoren behaupten:

‘[Wir] formulieren die Entfernung von Quantisierungsfehlern als Ent-rauschungsaufgabe, indem wir Diffusion verwenden, um verlorenes Informationsmaterial im übertragenen Bild-Latent wiederherzustellen. Unser Ansatz ermöglicht es uns, weniger als 10% des vollständigen Diffusions-Generierungsprozesses durchzuführen und benötigt keine architektonischen Änderungen am Diffusionsmodell, was die Verwendung von Grundmodellen als starkes Prioritätsmodell ohne zusätzliche Feinabstimmung des Rückgrats ermöglicht.

‘Unser vorgeschlagener Codec übertrifft frühere Methoden in quantitativen Realismus-Metriken, und wir überprüfen, dass unsere Rekonstruktionen qualitativ von Endbenutzern bevorzugt werden, sogar wenn andere Methoden doppelt so viele Bitraten verwenden.’

Jedoch kann die Ausgabe, ähnlich wie bei anderen Projekten, die die Komprimierungsfähigkeiten von Diffusionsmodellen ausnutzen, halluzinieren Details. Im Gegensatz dazu produzieren verlustbehaftete Methoden wie JPEG deutlich verzerrte oder überglättete Bereiche von Details, die von einem ungeübten Betrachter als Komprimierungseinschränkungen erkannt werden können.

Stattdessen kann der Disney-Codec Details aus dem Kontext ändern, die nicht im Quellbild vorhanden waren, aufgrund der groben Natur des Variational-Autoencoders (VAE), der in typischen Modellen verwendet wird, die auf hyperskaligen Daten trainiert werden.

‘Ähnlich wie bei anderen generativen Ansätzen kann unsere Methode bestimmte Bildmerkmale verwerfen, während sie ähnliche Informationen auf der Empfängerseite synthetisiert. In bestimmten Fällen kann dies jedoch zu ungenauer Rekonstruktion führen, wie z.B. das Biegen von geraden Linien oder das Verzerren der Grenze von kleinen Objekten.

‘Diese sind bekannte Probleme des Grundmodells, auf dem wir aufbauen, die auf die relativ niedrige Feature-Dimension des VAE zurückzuführen sind.’

Während dies einige Auswirkungen auf künstlerische Darstellungen und die Wahrheitsgetreue von Casual-Fotografien haben kann, könnte es in Fällen, in denen kleine Details wesentliche Informationen darstellen, wie z.B. Beweise für Gerichtsverfahren, Daten für Gesichtserkennung, Scans für optische Zeichenerkennung und eine Vielzahl von anderen möglichen Anwendungsfällen, eine kritischere Auswirkung haben, wenn die Popularisierung eines Codecs mit dieser Fähigkeit eintritt.

Bei diesem nascenten Stadium des Fortschritts der AI-verbesserten Bildkomprimierung sind all diese möglichen Szenarien noch in der Ferne. Allerdings ist die Bildspeicherung eine globale Herausforderung von hyperskaligen Ausmaßen, die Fragen rund um Datenspeicherung, Streaming und Stromverbrauch sowie andere Bedenken berührt. Daher könnte die AI-basierte Komprimierung ein verlockendes Trade-off zwischen Genauigkeit und Logistik bieten. Die Geschichte zeigt, dass die besten Codecs nicht immer die breiteste Benutzerbasis gewinnen, wenn Fragen wie Lizenzierung und Markteroberung durch proprietäre Formate Faktoren in der Akzeptanz sind.

Disney hat seit Langem mit maschinellem Lernen als Komprimierungsmethode experimentiert. Im Jahr 2020 war einer der Forscher des neuen Papiers an einem VAE-basierten Projekt für verbesserte Video-Komprimierung beteiligt.

Das neue Disney-Papier wurde Anfang Oktober aktualisiert. Heute veröffentlichte das Unternehmen ein begleitendes YouTube-Video. Das Projekt trägt den Titel Lossy Image Compression with Foundation Diffusion Models und stammt von vier Forschern der ETH Zürich (affiliert mit Disney’s AI-basierten Projekten) und Disney Research. Die Forscher bieten auch ein ergänzendes Papier an.

Methode

Die neue Methode verwendet ein VAE, um ein Bild in seine komprimierte Latent-Darstellung zu kodieren. Zu diesem Zeitpunkt besteht das Eingabebild aus abgeleiteten Funktionen – niedrige Vektor-basierte Darstellungen. Die Latent-Einbettung wird dann quantisiert und in einen Bitstrom zurückgewandelt und in Pixel-Raum.

Dieses quantisierte Bild wird dann als Vorlage für das Rauschen verwendet, das normalerweise ein Diffusions-basiertes Bild initialisiert, mit einer variablen Anzahl von Ent-Rauschungsschritten (wobei es oft ein Trade-off zwischen erhöhten Ent-Rauschungsschritten und größerer Genauigkeit vs. geringerer Latenz und höherer Effizienz gibt).

Schema für die neue Disney-Komprimierungsmethode.

Sowohl die Quantisierungsparameter als auch die Gesamtzahl der Ent-Rauschungsschritte können unter dem neuen System kontrolliert werden, durch die Ausbildung eines neuronalen Netzes, das die relevanten Variablen in Bezug auf diese Aspekte der Kodierung vorhersagt. Dieser Prozess wird als adaptive Quantisierung bezeichnet, und das Disney-System verwendet das Entroformer-Framework als Entropie-Modell, das den Prozess antreibt.

Die Autoren stellen fest:

‘Intuitiv lernt unsere Methode, Informationen zu verwerfen (durch die Quantisierungs-Transformation), die während des Diffusionsprozesses synthetisiert werden können. Da Fehler, die während der Quantisierung eingeführt werden, ähnlich wie das Hinzufügen von [Rauschen] sind und Diffusionsmodelle funktionell Ent-Rauschungs-Modelle sind, können sie verwendet werden, um das Quantisierungs-Rauschen zu entfernen, das während der Kodierung eingeführt wird.’

Stable Diffusion V2.1 ist das Diffusions-Backbone für das System, gewählt, weil der gesamte Code und die Basis-Gewichte öffentlich verfügbar sind. Allerdings betonen die Autoren, dass ihr Schema auf eine Vielzahl von Modellen anwendbar ist.

Wesentlich für die Ökonomie des Prozesses ist Timestep-Vorhersage, die die optimale Anzahl von Ent-Rauschungsschritten bewertet – ein Balanceakt zwischen Effizienz und Leistung.

Timestep-Vorhersagen, mit der optimalen Anzahl von Ent-Rauschungsschritten, die durch einen roten Rand angezeigt werden. Bitte beachten Sie die Quell-PDF für die genaue Auflösung.

Die Menge an Rauschen in der Latent-Einbettung muss berücksichtigt werden, wenn eine Vorhersage für die beste Anzahl von Ent-Rauschungsschritten gemacht wird.

Daten und Tests

Das Modell wurde auf dem Vimeo-90k-Datensatz trainiert. Die Bilder wurden zufällig auf 256x256px für jede Epoch (d.h. jede vollständige Aufnahme des verfeinerten Datensatzes durch die Modell-Architektur) beschnitten.

Das Modell wurde für 300.000 Schritte bei einer Lernrate von 1e-4 optimiert. Dies ist der häufigste Wert bei Computer-Vision-Projekten und auch der niedrigste und feinste allgemein praktikable Wert, als Kompromiss zwischen breiter Generalisierung der Konzepte und Merkmale des Datensatzes und einer Fähigkeit zur Reproduktion von feinen Details.

Die Autoren kommentieren einige der logistischen Überlegungen für ein wirtschaftliches, aber effektives System*:

‘Während der Ausbildung ist es prohibitiv teuer, den Gradienten durch mehrere Durchläufe des Diffusionsmodells zurückzuführen, da es während der DDIM-Stichprobe läuft. Daher führen wir nur eine DDIM-Stichprobe durch und verwenden diese direkt als vollständig ent-Rauschtes [Daten].’

Die Datensätze, die für die Tests des Systems verwendet wurden, waren Kodak; CLIC2022; und COCO 30k. Der Datensatz wurde gemäß der in der 2023er Google-Veröffentlichung Multi-Realism Image Compression with a Conditional Generator vorgegebenen Methodik vorverarbeitet.

Die verwendeten Metriken waren Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); Multiscale Structural Similarity Index (MS-SSIM); und Fréchet Inception Distance (FID).

Die getesteten konkurrierenden Frameworks wurden zwischen älteren Systemen, die Generative Adversarial Networks (GANs) verwendeten, und neueren Angeboten, die auf Diffusionsmodellen basierten, aufgeteilt. Die getesteten GAN-Systeme waren High-Fidelity Generative Image Compression (HiFiC); und ILLM (das einige Verbesserungen gegenüber HiFiC bietet).

Die Diffusions-basierten Systeme waren Lossy Image Compression with Conditional Diffusion Models (CDC) und High-Fidelity Image Compression with Score-based Generative Models (HFD).

Quantitative Ergebnisse gegenüber früheren Frameworks auf verschiedenen Datensätzen.

Für die quantitativen Ergebnisse (visualisiert oben) stellen die Forscher fest:

‘Unsere Methode setzt einen neuen Stand der Technik in der Realismus von rekonstruierten Bildern, indem sie alle Baselines in FID-Bitrate-Kurven übertrifft. In einigen Verzerrungsmetriken (nämlich LPIPS und MS-SSIM) übertrifft unsere Methode alle Diffusions-basierten Codecs, während sie mit den höchstleistungsfähigen generativen Codecs wettbewerbsfähig bleibt.

‘Wie erwartet, leidet unsere Methode und andere generative Methoden, wenn sie in PSNR gemessen werden, da wir perceptuell ansprechende Rekonstruktionen bevorzugen, anstatt eine exakte Reproduktion von Details.’

Für die Benutzerstudie wurde eine zweialternative-erzwungene- Wahl-Methode (2AFC) in einem Turnier-Kontext verwendet, in dem die bevorzugten Bilder in spätere Runden gelangen würden. Die Studie verwendete das Elo-Bewertungssystem, das ursprünglich für Schachturniere entwickelt wurde.

Daher sahen die Teilnehmer und wählten das beste von zwei präsentierten 512x512px-Bildern über die verschiedenen generativen Methoden. Ein zusätzliches Experiment wurde durchgeführt, bei dem alle Bildvergleiche von demselben Benutzer über eine Monte-Carlo-Simulation über 10.000 Iterationen ausgewertet wurden, wobei der Median-Wert in den Ergebnissen präsentiert wurde.

Geschätzte Elo-Ratings für die Benutzerstudie, mit Elo-Turnieren für jeden Vergleich (links) und auch für jeden Teilnehmer, mit höheren Werten besser.

Hier kommentieren die Autoren:

‘Wie in den Elo-Ratings zu sehen ist, übertrifft unsere Methode alle anderen signifikant, sogar im Vergleich zu CDC, das im Durchschnitt doppelt so viele Bits wie unsere Methode verwendet. Dies bleibt wahr, unabhängig von der Elo-Turnier-Strategie, die verwendet wird.’

In dem ursprünglichen Papier sowie in der ergänzenden PDF bieten die Autoren weitere visuelle Vergleiche an, von denen einer zuvor in diesem Artikel gezeigt wurde. Allerdings wegen der Feinheit der Unterschiede zwischen den Proben, verweisen wir den Leser auf die Quell-PDF, damit diese Ergebnisse fair beurteilt werden können.

Das Papier schließt mit der Feststellung, dass die vorgeschlagene Methode doppelt so schnell wie die konkurrierende CDC (3,49 vs. 6,87 Sekunden) arbeitet. Es wird auch festgestellt, dass ILLM ein Bild in 0,27 Sekunden verarbeiten kann, aber dass dieses System eine aufwändige Ausbildung erfordert.

Schlussfolgerung

Die ETH/Disney-Forscher sind klar, am Ende des Papiers, über das Potenzial ihres Systems, falsche Details zu erzeugen. Allerdings gehen die in dem Material angebotenen Beispiele nicht auf dieses Problem ein.

Im Großen und Ganzen ist dieses Problem nicht auf den neuen Disney-Ansatz beschränkt, sondern eine unvermeidliche Nebenwirkung der Verwendung von Diffusionsmodellen – einer kreativen und interpretativen Architektur – zur Bildkomprimierung.

Interessanterweise haben vor fünf Tagen zwei andere Forscher der ETH Zürich ein Papier mit dem Titel Conditional Hallucinations for Image Compression veröffentlicht, das die Möglichkeit eines “optimalen Levels von Halluzinationen” in AI-basierten Komprimierungssystemen untersucht.

Die Autoren machen dort den Fall für die Wünschbarkeit von Halluzinationen, wo das Gebiet generisch (und arguable “harmlos”) genug ist:

‘Für texture-ähnliche Inhalte, wie Gras, Sommersprossen und Steinwände, ist es wichtiger, Pixel zu generieren, die realistisch mit einer gegebenen Textur übereinstimmen, als präzise Pixelwerte zu rekonstruieren; das Generieren von beliebigen Proben aus der Verteilung einer Textur ist im Allgemeinen ausreichend.’

Somit macht dieses zweite Papier den Fall für eine Komprimierung, die optimal “kreativ” und repräsentativ ist, anstatt so genau wie möglich die Kernmerkmale und Linien des ursprünglichen, unkomprimierten Bildes zu rekonstruieren.

Man fragt sich, was die fotografische und kreative Gemeinschaft von dieser ziemlich radikalen Neubestimmung von “Komprimierung” halten würde.

*Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlicht am Mittwoch, den 30. Oktober 2024