Disneys forskning erbjuder förbättrad AI-baserad bildkomprimering – men den kan hallucinera detaljer

Disneys forskningsavdelning erbjuder en ny metod för att komprimera bilder, med hjälp av den öppna källkoden Stable Diffusion V1.2-modellen för att producera mer realistiska bilder vid lägre bitrater än konkurrerande metoder.

Disneys komprimeringsmetod jämfört med tidigare tillvägagångssätt. Författarna hävdar förbättrad återhämtning av detaljer, samtidigt som de erbjuder en modell som inte kräver hundratusentals dollar i utbildning och som fungerar snabbare än den närmaste motsvarande konkurrerande metoden. Källa: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Den nya metoden (definierad som en “codec” trots dess ökade komplexitet i jämförelse med traditionella codec som JPEG och AV1) kan fungera över vilken som helst Latent Diffusion Model (LDM). I kvantitativa tester överträffar den tidigare metoder i termer av noggrannhet och detaljer, och kräver betydligt mindre utbildning och beräkningskostnad.

Den viktigaste insikten i det nya arbetet är att kvantisering fel (en central process i all bildkomprimering) är liknande brus (en central process i diffusionsmodeller).

Därför kan en “traditionellt” kvantiserad bild behandlas som en bullrig version av den ursprungliga bilden, och användas i en LDM:s brusreduceringsprocess istället för slumpmässigt brus, för att rekonstruera bilden vid en målbithastighet.

Ytterligare jämförelser av den nya Disneymetoden (markerad i grönt), i kontrast till rivaliserande tillvägagångssätt.

Författarna hävdar:

‘[Vi] formulerar borttagandet av kvantisering fel som en brusreduceringsuppgift, med hjälp av diffusionsmodeller för att återhämta förlorad information i den överförda bildens latenta representation. Vår metod tillåter oss att utföra mindre än 10% av den fullständiga diffusionsgenereringsprocessen och kräver inga arkitektoniska förändringar i diffusionsmodellen, vilket möjliggör användning av grundmodeller som en stark prior utan ytterligare finjustering av baksidan.

‘Vår föreslagna codec överträffar tidigare metoder i kvantitativa realistiska mått, och vi verifierar att våra rekonstruktioner föredras kvalitativt av slutanvändare, även när andra metoder använder dubbelt så många bitar.’

Men, i likhet med andra projekt som försöker utnyttja komprimeringsförmågan hos diffusionsmodeller, kan utdata hallucinera detaljer. Till skillnad från förlorade metoder som JPEG kommer att producera tydligt förvrängda eller över-smoothade områden av detaljer, som kan erkännas som komprimeringsbegränsningar av den vanliga tittaren.

Istället kan Disneys codec ändra detaljer från sammanhang som inte fanns i den ursprungliga bilden, på grund av den grova naturen hos Variational Autoencoder (VAE) som används i typiska modeller som tränats på hyperskaledata.

‘Liknande andra generativa tillvägagångssätt, kan vår metod kasta bort vissa bildfunktioner medan den syntetiserar liknande information på mottagarsidan. I specifika fall kan detta dock resultera i felaktig rekonstruktion, såsom böjning av raka linjer eller förvrängning av gränser för små föremål.

‘Dessa är välkända problem med grundmodellen vi bygger på, som kan tillskrivas den relativt låga funktionella dimensionen hos dess VAE.’

Medan detta har vissa implikationer för konstnärliga framställningar och verkligheten i vardagliga foton, kan det ha en mer kritisk inverkan i fall där små detaljer utgör väsentlig information, såsom bevis för rättegångar, data för ansiktsigenkänning, skannrar för optisk teckenigenkänning (OCR) och en mängd andra möjliga användningsfall, i händelse av att en codec med denna förmåga populariseras.

Vid denna tidiga fas av utvecklingen av AI-förbättrad bildkomprimering, är alla dessa möjliga scenarier långt i framtiden. Men bildlagring är en hyperskaleglobal utmaning, som berör frågor kring datalagring, strömning och elförbrukning, förutom andra problem. Därför kan AI-baserad komprimering erbjuda en frestande avvägning mellan noggrannhet och logistik. Historien visar att de bästa codec inte alltid vinner den bredaste användarbasen, när frågor som licensiering och marknadsandelar av proprietära format är faktorer i antagandet.

Disney har experimenterat med maskinlärning som en komprimeringsmetod under lång tid. 2020 var en av forskarna i den nya artikeln involverad i ett VAE-baserat projekt för förbättrad videokomprimering.

Den nya Disneypublikationen uppdaterades i början av oktober. Idag släppte företaget en tillhörande YouTube-video. Projektet heter Förlorad bildkomprimering med grundläggande diffusionsmodeller och kommer från fyra forskare vid ETH Zürich (affiliat med Disneys AI-baserade projekt) och Disney Research. Forskarna erbjuder också en supplemmentär artikel.

Metod

Den nya metoden använder en VAE för att koda en bild till dess komprimerade latenta representation. Vid denna punkt består indata-bilden av härledda funktioner – lågnivå, vektorbaserade representationer. Den latenta inbäddningen kvantiseras sedan tillbaka till en bitström och tillbaka till pixlrum.

Denna kvantiserade bild används sedan som en mall för bruset som vanligtvis initierar en diffusionsbaserad bild, med ett varierande antal brusreduceringssteg (där det ofta finns en avvägning mellan ökade brusreduceringssteg och ökad noggrannhet, vs. lägre latens och högre effektivitet).

Schema för den nya Disneymetoden.

Både kvantisationsparametrarna och det totala antalet brusreduceringssteg kan kontrolleras under det nya systemet, genom utbildning av ett neuronnät som förutsäger de relevanta variablerna relaterade till dessa aspekter av kodning. Denna process kallas adaptiv kvantisering, och Disneys system använder Entroformer-ramverket som entropimodellen som driver proceduren.

Författarna hävdar:

‘Intuitivt lär sig vår metod att kasta bort information (genom kvantiseringstransformationen) som kan syntetiseras under diffusionsprocessen. Eftersom fel som introduceras under kvantisering är liknande att lägga till [brus] och diffusionsmodeller är funktionellt brusreducerande modeller, kan de användas för att ta bort kvantiseringsbruset som introduceras under kodning.’

Stable Diffusion V2.1 är diffusionsryggraden för systemet, valt eftersom hela koden och de grundläggande vikterna är offentligt tillgängliga. Men författarna betonar att deras schema är tillämpligt på ett större antal modeller.

Det är avgörande för processens ekonomi att tidsstegsförutsägelse utvärderar det optimala antalet brusreduceringssteg – en balansgång mellan effektivitet och prestanda.

Tidsstegsförutsägelser, med det optimala antalet brusreduceringssteg indikerat med röd ram. Vänligen se käll-PDF för exakt upplösning.

Mängden brus i den latenta inbäddningen måste beaktas när en förutsägelse görs för det bästa antalet brusreduceringssteg.

Data och tester

Modellen tränades på Vimeo-90k-datasetet. Bilderna slumpmässigt beskars till 256x256px för varje epoch (d.v.s. varje fullständig inmatning av det raffinerade datasetet av modellträningsarkitekturen).

Modellen optimerades för 300 000 steg med en inlärningshastighet på 1e-4. Detta är det vanligaste bland datorseende-projekt och också det lägsta och mest finmaskiga värdet som vanligtvis är praktiskt, som en kompromiss mellan bred generalisering av datasetets koncept och egenskaper och en förmåga att reproducera fina detaljer.

Författarna kommenterar några av de logistiska övervägandena för ett ekonomiskt men effektivt system*:

‘Under utbildning är det förbjudande dyrt att backpropagera gradienten genom flera pass av diffusionsmodellen som den körs under DDIM-sampling. Därför utför vi endast en DDIM-samplingiteration och använder direkt [detta] som den fullständigt brusreducerade [datan].’

Dataset som användes för att testa systemet var Kodak; CLIC2022; och COCO 30k. Datasetet förbehandlades enligt metodiken som beskrivs i 2023 års Google erbjudande Multi-Realism Image Compression with a Conditional Generator.

Mätvärden som användes var Peak Signal-to-Noise Ratio (PSNR); Lärd Perceptuell Likhet (LPIPS); Multiskalig Strukturell Likhet (MS-SSIM); och Fréchet Inception Distance (FID).

Rivaliserande tidigare ramverk som testades delades mellan äldre system som använde Generativa Adversarial Networks (GAN) och nyare erbjudanden baserade runt diffusionsmodeller. GAN-systemen som testades var High-Fidelity Generative Image Compression (HiFiC); och ILLM (som erbjuder vissa förbättringar av HiFiC).

Diffusionsbaserade systemen var Förlorad bildkomprimering med villkorliga diffusionsmodeller (CDC) och High-Fidelity Image Compression with Score-based Generative Models (HFD).

Kvantitativa resultat mot tidigare ramverk över olika dataset.

För de kvantitativa resultaten (visualiserade ovan) hävdar forskarna:

‘Vår metod sätter en ny standard för realismen i rekonstruerade bilder, och överträffar alla baslinjer i FID-bithastighetskurvor. I vissa distorsionsmått (såsom LPIPS och MS-SSIM) överträffar vi alla diffusionsbaserade codec medan vi förblir konkurrenskraftiga med de bästa generativa codec.

‘Som förväntat lider vår metod och andra generativa metoder när de mäts i PSNR eftersom vi föredrar perceptuellt tilltalande rekonstruktioner istället för exakt replikering av detaljer.’

För användarstudien användes en två-alternativ-tvångsvälj-metod, i en turneringskontext där de föredragna bilderna skulle gå vidare till senare omgångar. Studien använde Elo-betygssystemet som ursprungligen utvecklats för schackturneringar.

Därför såg deltagarna och valde den bästa av två presenterade 512x512px-bilder över olika generativa metoder. En ytterligare experiment genomfördes där alla bildjämförelser från samma användare utvärderades via en Monte Carlo-simulation över 10 000 iterationer, med medianpoängen presenterad i resultaten.

Uppskattade Elo-betyg för användarstudien, med Elo-turneringar för varje jämförelse (vänster) och också för varje deltagare, med högre värden bättre.

Här kommenterar författarna:

‘Som kan ses i Elo-poängen, överträffar vår metod alla andra, även jämfört med CDC, som använder i genomsnitt dubbelt så många bitar som vår metod. Detta förblir sant oavsett Elo-turneringsstrategi som används.’

I den ursprungliga artikeln, samt i supplemmentär-PDF:en, tillhandahåller författarna ytterligare visuella jämförelser, en av vilka visas tidigare i den här artikeln. Men på grund av skillnadernas granularitet mellan proverna, hänvisar vi läsaren till käll-PDF, så att resultaten kan bedömas rättvist.

Artikeln avslutas med att notera att den föreslagna metoden fungerar dubbelt så snabbt som den rivaliserande CDC (3,49 vs 6,87 sekunder). Den observerar också att ILLM kan bearbeta en bild inom 0,27 sekunder, men att detta system kräver betungande utbildning.

Slutsats

ETH/Disney-forskarna är tydliga, i artikeln, om potentialen för deras system att generera falska detaljer. Men ingen av proverna som erbjuds i materialet fokuserar på detta problem.

I all rättvisa är detta problem inte begränsat till den nya Disneymetoden, utan är en oundviklig biprodukt av att använda diffusionsmodeller – en uppfinningsrik och tolkande arkitektur – för att komprimera bilder.

Intressant nog, för bara fem dagar sedan, producerade två andra forskare från ETH Zürich en artikel med titeln Villkorliga hallucinationer för bildkomprimering, som undersöker möjligheten till en “optimal nivå av hallucination” i AI-baserade kompressionssystem.

Författarna hävdar där:

‘För texture-liknande innehåll, såsom gräs, fräknar och stenmurar, är det viktigare att generera pixlar som realistiskt matchar en given texture, än att rekonstruera exakta pixelvärden; att generera vilket prov som helst från texturens distribution är vanligtvis tillräckligt.’

Således gör den andra artikeln ett fall för att komprimering bör vara optimalt “kreativ” och representativ, snarare än att återskapa så exakt som möjligt de ursprungliga, oförkomprimerade bildens kärnegenskaper och linjament.

Man undrar vad den fotografiska och kreativa gemenskapen skulle göra med denna ganska radikala omdefinition av “komprimering”.

*Min omvandling av författarnas inline-citationer till hyperlänkar.

Publicerad onsdag, 30 oktober 2024