Disney Research Biedt Verbeterde AI-Gebaseerde Afbeeldingscompressie – Maar Het Kan Details Hallucineren

De onderzoeksafdeling van Disney biedt een nieuwe methode voor het comprimeren van afbeeldingen, waarbij het open source Stable Diffusion V1.2-model wordt gebruikt om realistischere afbeeldingen te produceren bij lagere bitrates dan concurrerende methoden.

De compressiemethode van Disney in vergelijking met eerdere benaderingen. De auteurs claimen een verbeterde herstel van details, terwijl ze een model bieden dat geen honderdduizenden dollars aan training vereist en sneller werkt dan de meest vergelijkbare concurrerende methode. Bron: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

De nieuwe benadering (gedefinieerd als een ‘codec’ ondanks de toegenomen complexiteit in vergelijking met traditionele codecs zoals JPEG en AV1) kan werken over elk Latent Diffusion Model (LDM). In kwantitatieve tests overtreft het voorgaande methoden in termen van nauwkeurigheid en detail, en vereist aanzienlijk minder training en rekenkosten.

Het sleutelinzicht van het nieuwe werk is dat quantization error (een centraal proces in alle afbeeldingscompressie) lijkt op noise (een centraal proces in diffusiemodellen).

Daarom kan een ‘traditioneel’ gequantificeerde afbeelding worden behandeld als een lawaaierige versie van de oorspronkelijke afbeelding, en gebruikt worden in het denoising-proces van een LDM in plaats van willekeurig lawaai, om de afbeelding te reconstrueren op een doelbitrate.

Verdere vergelijkingen van de nieuwe methode van Disney (gemarkeerd in groen), in contrast met concurrerende benaderingen.

De auteurs beweren:

‘[We] formuleren de verwijdering van quantization error als een denoising-taak, met diffusie om verloren informatie in de overgedragen afbeelding latent te herstellen. Onze benadering stelt ons in staat om minder dan 10% van het volledige diffusie-generatieproces uit te voeren en vereist geen architecturale veranderingen in het diffusiemodel, waardoor het gebruik van foundation-modellen als een sterk prior mogelijk is zonder aanvullende fine-tuning van de backbone.

‘Onze voorgestelde codec overtreft voorgaande methoden in kwantitatieve realisme-metrieken, en we verifiëren dat onze reconstructies kwalitatief door eindgebruikers worden geprefereerd, zelfs wanneer andere methoden tweemaal de bitrate gebruiken.’

Echter, in overeenstemming met andere projecten die proberen de compressiemogelijkheden van diffusiemodellen te benutten, kan de uitvoer hallucineren details. In contrast, verliesmethoden zoals JPEG produceren duidelijk vertekende of over-gegladde gebieden van detail, die door de gebruiker kunnen worden herkend als compressiebeperkingen.

In plaats daarvan kan de codec van Disney details veranderen vanuit context die niet in de bronafbeelding aanwezig was, vanwege de grove aard van de Variational Autoencoder (VAE) die in typische modellen wordt getraind op hyperschaaldata.

‘Soortgelijk aan andere generatieve benaderingen, kan onze methode bepaalde afbeeldingskenmerken verwerpen terwijl ze soortgelijke informatie syntheseren aan de ontvangerzijde. In specifieke gevallen kan dit echter leiden tot onnauwkeurige reconstructie, zoals het buigen van rechte lijnen of het vervormen van de grens van kleine objecten.

‘Deze zijn bekende problemen van het foundation-model waarop we bouwen, die kunnen worden toegeschreven aan de relatief lage kenmerkdimensie van zijn VAE.’

Terwijl dit enkele implicaties heeft voor artistieke weergaven en de geloofwaardigheid van informele foto’s, kan het een grotere impact hebben in gevallen waarin kleine details essentiële informatie vormen, zoals bewijs voor rechtszaken, gegevens voor gezichtsherkenning, scannen voor Optical Character Recognition (OCR) en een breed scala aan andere mogelijke toepassingen, in het geval van de popularisatie van een codec met deze mogelijkheid.

Op dit vroege stadium van de vooruitgang van AI-gebaseerde afbeeldingscompressie, zijn al deze mogelijke scenario’s ver in de toekomst. Echter, afbeeldingsopslag is een hyperschaalglobal uitdaging, die raakt aan kwesties rond gegevensopslag, streaming en elektriciteitsverbruik, naast andere zorgen. Daarom kan AI-gebaseerde compressie een verleidelijke compromis tussen nauwkeurigheid en logistiek bieden. De geschiedenis toont aan dat de beste codecs niet altijd de breedste gebruikersbasis winnen, wanneer kwesties zoals licentie en marktverovering door propriëtaire formaten factoren zijn in de adoptie.

Disney heeft al lang geëxperimenteerd met machine learning als compressiemethode. In 2020 was een van de onderzoekers van het nieuwe artikel betrokken bij een VAE-gebaseerd project voor verbeterde videocompressie.

Het nieuwe artikel van Disney is bijgewerkt in begin oktober. Vandaag heeft het bedrijf een bijbehorende YouTube-video uitgebracht. Het project heet Lossy Image Compression with Foundation Diffusion Models en komt van vier onderzoekers aan de ETH Zürich (geaffilieerd met AI-gebaseerde projecten van Disney) en Disney Research. De onderzoekers bieden ook een supplementair artikel.

Methode

De nieuwe methode gebruikt een VAE om een afbeelding te coderen in zijn gecomprimeerde latent representatie. Op dit stadium bestaat de invoerbeeld uit afgeleide kenmerken – lage-niveau vector-gebaseerde weergaven. De latent embedding wordt vervolgens gequantificeerd terug in een bitstream en terug in pixel-ruimte.

Deze gequantificeerde afbeelding wordt vervolgens gebruikt als een sjabloon voor het lawaai dat normaal gesproken een diffusie-gebaseerde afbeelding initialiseert, met een variabel aantal denoising-stappen (waarbij er vaak een compromis is tussen meer denoising-stappen en grotere nauwkeurigheid, versus lagere latentie en hogere efficiëntie).

Schema voor de nieuwe compressiemethode van Disney.

Beide de quantificatieparameters en het totale aantal denoising-stappen kunnen worden gecontroleerd onder het nieuwe systeem, door de training van een neurale netwerk dat de relevante variabelen voorspelt die gerelateerd zijn aan deze aspecten van codering. Dit proces wordt adaptieve quantificatie genoemd, en het systeem van Disney gebruikt het Entroformer-framework als het entropiemodel dat de procedure aandrijft.

De auteurs verklaren:

‘Intuïtief gezien, onze methode leert informatie te verwijderen (door de quantificatie-transformatie) die tijdens het diffusieproces kan worden gesynthetiseerd. Omdat fouten die tijdens quantificatie worden geïntroduceerd lijken op het toevoegen van [lawaai] en diffusiemodellen functioneel denoising-modellen zijn, kunnen ze worden gebruikt om de quantificatie-ruis die tijdens coding wordt geïntroduceerd te verwijderen.’

Stable Diffusion V2.1 is de diffusie-ruggegraat voor het systeem, gekozen omdat de hele code en de basis gewichten openbaar beschikbaar zijn. Echter, de auteurs benadrukken dat hun schema toepasbaar is op een bredere reeks modellen.

Centraal in de economie van het proces is timestep predictie, die de optimale hoeveelheid denoising-stappen evalueert – een evenwichtsoefening tussen efficiëntie en prestatie.

Timestep-voorspellingen, met de optimale hoeveelheid denoising-stappen aangegeven met een rode rand. Zie de bron-PDF voor een nauwkeurige resolutie.

De hoeveelheid lawaai in de latent embedding moet worden overwogen bij het maken van een voorspelling voor het beste aantal denoising-stappen.

Gegevens en Tests

Het model is getraind op de Vimeo-90k-dataset. De afbeeldingen werden willekeurig ingekort tot 256x256px voor elke epoch (d.w.z. elke complete ingesting van de geraffineerde dataset door de modeltraining-architectuur).

Het model is geoptimaliseerd voor 300.000 stappen bij een leer tempo van 1e-4. Dit is het meest voorkomende bij computer vision-projecten, en ook het laagste en meest fijne algemeen praktische waarde, als een compromis tussen brede generalisatie van de dataset’s concepten en kenmerken, en een capaciteit voor de reproduktie van fijne details.

De auteurs merken enkele logistieke overwegingen op voor een economisch maar effectief systeem*:

‘Tijdens de training is het prohibitief duur om de gradient door meerdere passes van het diffusiemodel terug te voeren, zoals het geval is bij DDIM-sampling. Daarom voeren we slechts één DDIM-sampling-iteratie uit en gebruiken we deze rechtstreeks als de volledig gedenoiseerde [gegevens].’

De datasets die voor het testen van het systeem werden gebruikt, waren Kodak; CLIC2022; en COCO 30k. De dataset werd voorbewerkt volgens de methodologie die is uiteengezet in het 2023 Google aanbod Multi-Realism Image Compression with a Conditional Generator.

De gebruikte metrics waren Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); Multiscale Structural Similarity Index (MS-SSIM); en Fréchet Inception Distance (FID).

De concurrerende voorgaande kaders die werden getest, werden verdeeld tussen oudere systemen die Generatieve Adversarial Networks (GANs) gebruikten, en recentere aanbiedingen gebaseerd op diffusiemodellen. De GAN-systemen die werden getest, waren High-Fidelity Generative Image Compression (HiFiC); en ILLM (die enkele verbeteringen biedt ten opzichte van HiFiC).

De diffusie-gebaseerde systemen waren Lossy Image Compression with Conditional Diffusion Models (CDC) en High-Fidelity Image Compression with Score-based Generative Models (HFD).

Kwantitatieve resultaten tegen voorgaande kaders over verschillende datasets.

Voor de kwantitatieve resultaten (weergegeven hierboven) merken de onderzoekers op:

‘Onze methode stelt een nieuw staat-van-de-kunst vast in realisme van gereconstrueerde afbeeldingen, en overtreft alle baselines in FID-bitrate-curves. In sommige distortie-metrieken (namelijk LPIPS en MS-SSIM) overtreffen we alle diffusie-gebaseerde codecs, terwijl we concurrerend blijven met de hoogst presterende generatieve codecs.

‘Zoals verwacht, lijden onze methode en andere generatieve methoden onder PSNR, aangezien we perceptueel aangename reconstructies bevoreren boven exacte replicatie van details.’

Voor de gebruikersstudie werd een two-alternative-forced-choice (2AFC)-methode gebruikt, in een toernooi-context waarin de favoriete afbeeldingen zouden doorgaan naar latere ronden. De studie gebruikte het Elo-ratingsysteem dat oorspronkelijk was ontwikkeld voor schaaktoernooien.

Daarom zouden deelnemers twee 512x512px-afbeeldingen bekijken en selecteren, over de verschillende generatieve methoden. Een aanvullend experiment werd uitgevoerd waarin alle afbeeldingsvergelijkingen van dezelfde gebruiker werden geëvalueerd, via een Monte Carlo-simulatie over 10.000 iteraties, met de mediaan-score weergegeven in de resultaten.

Geschatte Elo-ratings voor de gebruikersstudie, met Elo-toernooien voor elke vergelijking (links) en ook voor elke deelnemer, met hogere waarden beter.

Hier merken de auteurs op:

‘Zoals te zien is in de Elo-scores, overtreft onze methode alle andere aanzienlijk, zelfs in vergelijking met CDC, die gemiddeld tweemaal de bits van onze methode gebruikt. Dit blijft waar, ongeacht de Elo-toernooi-strategie die wordt gebruikt.’

In het oorspronkelijke artikel, evenals in de supplementaire PDF, bieden de auteurs verdere visuele vergelijkingen, waarvan er een eerder in dit artikel wordt getoond. Echter, vanwege de fijne verschillen tussen de monsters, verwijzen we de lezer naar de bron-PDF, zodat deze resultaten eerlijk kunnen worden beoordeeld.

Het artikel concludeert door op te merken dat de voorgestelde methode tweemaal zo snel werkt als de concurrerende CDC (3,49 vs 6,87 seconden, respectievelijk). Het merkt ook op dat ILLM een afbeelding kan verwerken binnen 0,27 seconden, maar dat dit systeem een belastende training vereist.

Conclusie

De ETH/Disney-onderzoekers zijn duidelijk over het potentieel van hun systeem om valse details te genereren. Echter, geen van de monsters die in het materiaal worden aangeboden, gaan in op dit probleem.

In alle eerlijkheid is dit probleem niet beperkt tot de nieuwe benadering van Disney, maar is het een onvermijdelijk neveneffect van het gebruik van diffusiemodellen – een inventieve en interpretatieve architectuur – om beeldmateriaal te comprimeren.

Interessant genoeg publiceerden twee andere onderzoekers van ETH Zurich vijf dagen geleden een artikel getiteld Conditional Hallucinations for Image Compression, dat de mogelijkheid van een ‘optimale niveau van hallucinaties’ in AI-gebaseerde compressiesystemen onderzoekt.

De auteurs daar maken een geval voor de wenselijkheid van hallucinaties waar het domein generiek (en, argumentatief, ‘onschadelijk’) genoeg is:

‘Voor texture-achtige inhoud, zoals gras, sproeten en stenen muren, is het genereren van pixels die realistisch overeenkomen met een gegeven textuur belangrijker dan het reconstrueren van precieze pixelwaarden; het genereren van een monster uit de verdeling van een textuur is over het algemeen voldoende.’

Daarom maakt dit tweede artikel een geval voor compressie die optimaal ‘creatief’ en representatief moet zijn, in plaats van zo nauwkeurig mogelijk de kernkenmerken en trekken van de oorspronkelijke niet-gecomprimeerde afbeelding te reconstrueren.

Men vraagt zich af wat de fotografische en creatieve gemeenschap zou denken over deze vrij radicale herdefinitie van ‘compressie’.

*Mijn conversie van de inline citaten van de auteurs naar hyperlinks.

Eerst gepubliceerd op woensdag 30 oktober 2024