Disney Research Tilbyder Forbedret Billedekompression Baseret på AI – Men Den Kan Hallucinere Detaljer

Disney’s forskningsafdeling tilbyder en ny metode til kompression af billeder, der udnytter den åbne kildekode Stable Diffusion V1.2-model til at producere mere realistiske billeder ved lavere bitrate end konkurrerende metoder.

Disney kompressionsmetoden sammenlignet med tidligere tilgange. Forfatterne hævder, at der er forbedret genskabelse af detaljer, samtidig med at modellen ikke kræver hundredtusinder af dollars til træning og fungerer hurtigere end den nærmeste konkurrerende metode. Kilde: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Den nye metode (defineret som en ‘codec’ trods dens øgede kompleksitet i forhold til traditionelle codecs som JPEG og AV1) kan fungere over enhver Latent Diffusion Model (LDM). I kvantitative tests overgår den tidligere metoder i nøjagtighed og detaljer og kræver betydeligt mindre træning og beregningskraft.

Hovedindsigten i den nye forskning er, at kvantiseringsfejl (en central proces i alle billedkompressionsmetoder) ligner støj (en central proces i diffusionsmodeller).

Derfor kan et “traditionelt” kvantiseret billede behandles som en støjende version af det originale billede og bruges i en LDM’s støjdæmpningsproces i stedet for tilfældig støj, for at genskabe billedet ved en målbirate.

Yderligere sammenligninger af den nye Disney-metode (markeret med grøn), i modsætning til rivaliserende metoder.

Forfatterne hævder:

‘[Vi] formulerer fjernelsen af kvantiseringsfejl som en støjdæmpningsopgave, ved hjælp af diffusion til at genskabe tabt information i det overførte billede latent. Vores metode giver os mulighed for at udføre mindre end 10% af den fulde diffusionsgenerative proces og kræver ingen arkitektoniske ændringer i diffusionsmodellen, hvilket muliggør brugen af grundmodeller som en stærk prior uden yderligere finjustering af backbone.’

‘Vores foreslåede codec overgår tidligere metoder i kvantitative realisme-mål, og vi verificerer, at vores rekonstruktioner er kvalitativt foretrukket af slutbrugere, selv når andre metoder bruger dobbelt så mange bits.’

Men, i fællesskab med andre projekter, der søger at udnytte kompressionsmulighederne i diffusionsmodeller, kan outputtet hallucinere detaljer. Til gengæld vil tabte metoder som JPEG producere tydeligt forvrængede eller overglattede områder af detaljer, som kan kendes som kompressionsbegrænsninger af den almindelige bruger.

I stedet kan Disney’s codec ændre detaljer fra kontekst, der ikke var der i kildebilledet, på grund af den grove natur af Variational Autoencoder (VAE) brugt i typiske modeller trænet på hyperskala-data.

‘Lignende med andre generative tilgange, kan vores metode forkaste visse billedfunktioner, mens den synthesiserer lignende information på modtagerens side. I bestemte tilfælde kan dette dog resultere i ukorrekt rekonstruktion, såsom bøjning af rette linjer eller forvrængning af små objekters grænse.’

‘Disse er velkendte problemer med grundmodellen, vi bygger på, som kan tilskrives den relativt lave funktionelle dimension af dets VAE.’

Selvom dette har visse implikationer for kunstneriske fremstillinger og sandheden i almindelige fotografier, kan det have en mere kritisk indvirkning i tilfælde, hvor små detaljer udgør væsentlig information, såsom bevis i retssager, data til ansigtsgenkendelse, scanninger til optisk tegnkendelse (OCR) og en lang række andre mulige anvendelser, i tilfælde af, at en codec med denne funktion bliver populær.

I dette spæde stadium af udviklingen af AI-forbedret billedkompression er alle disse mulige scenarier langt ude i fremtiden. Dog er billedlagring en hyperskala global udfordring, der berører spørgsmål om datalagring, streaming og elforbrug, samt andre bekymringer. Derfor kan AI-baseret kompression tilbyde en fristende kompromis mellem nøjagtighed og logistik. Historien viser, at de bedste codecs ikke altid vinder den bredeste brugerbase, når spørgsmål som licensering og markedsovertagelse af proprietære formater er faktorer i antagelse.

Disney har eksperimenteret med maskinel læring som en kompressionsmetode i lang tid. I 2020 var en af forskerne på den nye artikel involveret i et VAE-baseret projekt til forbedret videokompression.

Den nye Disney-artikel blev opdateret i begyndelsen af oktober. I dag udgav virksomheden en tilhørende YouTube-video. Projektet har titlen Lossy Image Compression with Foundation Diffusion Models og kommer fra fire forskere ved ETH Zürich (tilknyttet Disney’s AI-baserede projekter) og Disney Research. Forskerne tilbyder også en supplerende artikel.

Metode

Den nye metode bruger en VAE til at kodificere et billede til dets komprimerede latent repræsentation. På dette stadium består inputbilledet af afledte funktioner – lavniveaudata-baserede repræsentationer. Den latente indlejring kvantiseres derefter tilbage til en bitstrøm og tilbage til pixel-rum.

Dette kvantiserede billede bruges derefter som en skabelon for støjen, der normalt sætter en diffusionsbaseret billede i gang, med et varierende antal støjdæmpningstrin (hvor der ofte er en balance mellem øgede støjdæmpningstrin og større nøjagtighed vs. lavere latency og højere effektivitet).

Schema for den nye Disney-kompressionsmetode.

Both kvantiseringsparametrene og det totale antal støjdæmpningstrin kan kontrolleres under det nye system, gennem træningen af et neuralt netværk, der forudsiger de relevante variabler i forhold til disse aspekter af kodningen. Denne proces kaldes adaptiv kvantiserings, og Disney-systemet bruger Entroformer-rammen som den entropimodel, der driver proceduren.

Forfatterne skriver:

‘Intuitivt lærer vores metode at forkaste information (gennem kvantiserings-transformationen), der kan synthesiseres under diffusionsprocessen. Fordi fejl, der introduceres under kvantiseringsfejl, ligner tilføjelse af [støj] og diffusionsmodeller er funktionelt støjdæmpningsmodeller, kan de bruges til at fjerne kvantiseringsstøjen, der introduceres under kodning.’

Stable Diffusion V2.1 er diffusionsrygningen for systemet, valgt fordi hele koden og grundvægtene er offentligt tilgængelige. Dog understreger forfatterne, at deres schema er anvendeligt på en bredere række modeller.

Pivotal for økonomien i processen er tidsstegsforudsigelse, som vurderer det optimale antal støjdæmpningstrin – en balance mellem effektivitet og ydelse.

Tidsstegsforudsigelser med det optimale antal støjdæmpningstrin angivet med rød ramme. Se venligst kilde-PDF for præcis opløsning.

Mængden af støj i den latente indlejring skal tages i betragtning, når man foretager en forudsigelse for det bedste antal støjdæmpningstrin.

Data og Tests

Modellen blev trænet på Vimeo-90k-datasettet. Billederne blev tilfældigt beskåret til 256x256px for hver epoch (dvs. hver komplet indtagelse af det raffinerede dataset af modellens træningsarkitektur).

Modellen blev optimeret for 300.000 trin ved en læringsrate på 1e-4. Dette er det mest almindelige blandt computer vision-projekter og også den laveste og mest finmålte generelt praktiserbare værdi, som en kompromis mellem bred generalisering af datasettets koncepter og træk og en kapacitet til reproduktion af fin detalje.

Forfatterne kommenterer på nogle af de logistiske overvejelser for et økonomisk, men effektivt system*:

‘Under træning er det forbudt dyrt at backpropagere gradienten gennem multiple gennemløb af diffusionsmodellen, som den kører under DDIM-sampling. Derfor udfører vi kun ét DDIM-sampling-iteration og bruger det direkte som det fuldt støjdæmpede [data].’

Datasæt brugt til test af systemet var Kodak; CLIC2022; og COCO 30k. Datasættet blev forbehandlet i overensstemmelse med metodologien i 2023 Google tilbud Multi-Realism Image Compression with a Conditional Generator.

Målinger brugt var Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); Multiscale Structural Similarity Index (MS-SSIM); og Fréchet Inception Distance (FID).

Rivaliserende tidligere rammer testet var inddelt mellem ældre systemer, der brugte Generative Adversarial Networks (GANs), og mere nylige tilbud baseret på diffusionsmodeller. GAN-systemerne testet var High-Fidelity Generative Image Compression (HiFiC); og ILLM (som tilbyder nogle forbedringer over HiFiC).

Diffusionsbaserede systemer var Lossy Image Compression with Conditional Diffusion Models (CDC) og High-Fidelity Image Compression with Score-based Generative Models (HFD).

Kvantitative resultater mod tidligere rammer over forskellige datasæt.

For de kvantitative resultater (visualiseret ovenfor) skriver forskerne:

‘Vores metode sætter en ny standard for realisme i genskabte billeder, overgår alle baseline i FID-bitrate-kurver. I nogle forvrængningsmål (navnlig LPIPS og MS-SSIM) overgår vi alle diffusionsbaserede codecs, mens vi forbliver konkurrencedygtige med de højeste-performende generative codecs.

‘Som forventet lider vores metode og andre generative metoder under, når de måles i PSNR, da vi favoriserer perceptuelt tilfredsstillende rekonstruktioner i stedet for eksakt detaljereproduktion.’

For brugerstudiet blev en to-alternativ-forced-choice (2AFC)-metode brugt, i en turneringskontekst, hvor de favoriserede billeder ville gå videre til senere runder. Studiet brugte Elo-ratingsystemet, der oprindeligt blev udviklet til skakturneringer.

Derfor ville deltagerne se og vælge det bedste af to præsenterede 512x512px-billeder over de forskellige generative metoder. En yderligere eksperiment blev gennemført, hvor alle billedesammenligninger fra samme bruger blev vurderet via en Monte Carlo-simulation over 10.000 iterationer, med median-scoren præsenteret i resultaterne.

Estimerede Elo-ratings for brugerstudiet, med Elo-turneringer for hver sammenligning (venstre) og også for hver deltager, med højere værdier bedre.

Her kommenterer forfatterne:

‘Som kan ses i Elo-scorene, overgår vores metode betydeligt alle andre, selv sammenlignet med CDC, som bruger i gennemsnit dobbelt så mange bits som vores metode. Dette forbliver sandt, uanset Elo-turneringsstrategi brugt.’

I den oprindelige artikel, såvel som i supplerende PDF, tilbyder forfatterne yderligere visuelle sammenligninger, hvoraf en er vist tidligere i denne artikel. Dog, på grund af den fineførhed i forskellen mellem eksemplerne, henviser vi læseren til kilde-PDF, så disse resultater kan vurderes retfærdigt.

Artiklen slutter med at bemærke, at den foreslåede metode fungerer dobbelt så hurtigt som den rivaliserende CDC (3,49 vs 6,87 sekunder). Den observerer også, at ILLM kan behandle et billede på 0,27 sekunder, men at dette system kræver betydelige træningsressourcer.

Konklusion

ETH/Disney-forskerne er klare om, i artiklens konklusion, omkring muligheden for, at deres system kan generere falske detaljer. Dog dvæler ingen af de eksempler, der er tilbudt i materialet, på dette problem.

I al fairness, dette problem er ikke begrænset til den nye Disney-tilgang, men er en uundgåelig bifirkning af at bruge diffusionsmodeller – en opfindsom og fortolkende arkitektur – til at komprimere billeder.

Interessant nok, for blot fem dage siden, producerede to andre forskere fra ETH Zurich en artikel med titlen Conditional Hallucinations for Image Compression, som undersøger muligheden for en ‘optimal niveau af hallucination’ i AI-baserede kompressionsystemer.

Forfatterne her gør et tilfælde for, at hallucinationer er ønskelige, hvor domænet er generisk (og, kan man sige, ‘harmless’) nok:

‘For texture-lignende indhold, såsom græs, pigmenter og stenmure, er det vigtigere at generere pixel, der realistisk matcher en given tekstur, end at genskabe præcise pixelværdier; generering af enhver prøve fra teksturdistributionen er generelt tilstrækkeligt.’

Derfor gør denne anden artikel et tilfælde for, at kompression bør være ‘kreativ’ og repræsentativ, i stedet for at genskabe så nøjagtigt som muligt de centrale træk og linjer i det originale, ukomprimerede billede.

Man undrer sig over, hvad den fotografiske og kreative fællesskab ville mene om denne ret radikale omdefinering af ‘kompression’.

*Min konvertering af forfatternes inline-citationer til hyperlinks.

Først udgivet onsdag, 30. oktober 2024