Cercetarea Disney oferă o compresie de imagini bazată pe IA, însă poate halucina detalii

Brațul de cercetare al Disney oferă o nouă metodă de comprimare a imaginilor, folosind modelul open source Stable Diffusion V1.2 pentru a produce imagini mai realiste la rate de biți mai mici decât metodele concurente.

Metoda de comprimare Disney comparată cu abordările anterioare. Autorii afirmă că au îmbunătățit recuperarea detaliilor, oferind un model care nu necesită sute de mii de dolari pentru antrenare și care funcționează mai rapid decât metoda concurentă cea mai apropiată. Sursă: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Noua abordare (definită ca un “codec” în ciuda complexității sale crescute în comparație cu codec-urile tradiționale, cum ar fi JPEG și AV1) poate funcționa peste orice Model de difuzie latentă (LDM). În testele cantitative, depășește metodele anterioare în ceea ce privește acuratețea și detaliile și necesită semnificativ mai puțină antrenare și cost de calcul.

Principala idee a noii lucrări este că erorile de cuantificare (un proces central în toate compresiile de imagini) sunt similare cu zgomotul (un proces central în modelele de difuzie).

Prin urmare, o imagine “tradițional” cuantificată poate fi tratată ca o versiune zgomotoasă a imaginii originale și utilizată în procesul de denoising al unui LDM, în loc de zgomot aleator, pentru a reconstrui imaginea la o rată de biți țintă.

Comparații suplimentare ale noii metode Disney (evidențiată în verde), în contrast cu abordările rivale.

Autorii susțin:

‘[Noi] formulăm eliminarea erorilor de cuantificare ca o sarcină de denoising, folosind difuzia pentru a recupera informațiile pierdute în imaginea latentă transmisă. Abordarea noastră ne permite să efectuăm mai puțin de 10% din procesul de difuzie generativ și nu necesită modificări arhitecturale ale modelului de difuzie, permițând utilizarea modelelor de bază ca un puternic prior fără antrenare suplimentară a spatei.’

‘Codec-ul nostru propus depășește metodele anterioare în ceea ce privește metricile cantitative de realism și verificăm că reconstrucțiile noastre sunt preferate calitativ de utilizatori, chiar și atunci când alte metode utilizează de două ori rata de biți.’

Cu toate acestea, similar cu alte proiecte care încearcă să exploateze capacitățile de comprimare ale modelelor de difuzie, ieșirea poate halucina detalii. În schimb, metodele cu pierderi, cum ar fi JPEG, vor produce zone clare distorsionate sau netede de detalii, care pot fi recunoscute ca limitări de comprimare de către spectatorul obișnuit.

În schimb, codec-ul Disney poate altera detalii din context care nu erau prezente în imaginea sursă, datorită naturii grosiere a Autoencoder-ului variabil (VAE) utilizat în modelele tipice antrenate pe date hyperscale.

‘Similar cu alte abordări generative, metoda noastră poate renunța la anumite caracteristici ale imaginii, în timp ce sintetizează informații similare la receptor. În cazuri specifice, totuși, acest lucru poate rezulta în reconstrucții inexacte, cum ar fi îndoirea liniilor drepte sau deformarea marginilor obiectelor mici. ‘

‘Acestea sunt probleme bine cunoscute ale modelului de bază pe care ne construim, care pot fi atribuite dimensiunii relativ scăzute a VAE-ului său.’

Deși acest lucru are unele implicații pentru reprezentările artistice și veridicitatea fotografiilor obișnuite, ar putea avea un impact mai critic în cazurile în care detaliile mici constituie informații esențiale, cum ar fi probe pentru cauze judiciare, date pentru recunoașterea facială, scanări pentru recunoașterea optică a caracterelor (OCR) și o varietate largă de alte posibile cazuri de utilizare, în eventualitatea popularizării unui codec cu această capacitate.

La acest stadiu incipient al progresului comprimării de imagini bazate pe IA, toate aceste scenarii posibile sunt departe în viitor. Cu toate acestea, stocarea imaginilor este o provocare globală la scară largă, care atinge problemele legate de stocarea datelor, streaming și consumul de electricitate, printre alte preocupări. Prin urmare, comprimarea bazată pe IA ar putea oferi un compromis tentant între acuratețe și logistică. Istoria arată că cele mai bune codec-uri nu întotdeauna câștigă cea mai largă bază de utilizatori, atunci când problemele legate de licențiere și capturarea pieței de către formatele proprietare sunt factori în adoptare.

Disney a experimentat cu învățarea automată ca metodă de comprimare a imaginilor de mult timp. În 2020, unul dintre cercetătorii de pe noul articol a fost implicat într-un proiect bazat pe VAE pentru comprimarea video îmbunătățită.

Noul articol Disney a fost actualizat la începutul lunii octombrie. Astăzi, compania a lansat un video pe YouTube. Proiectul se numește Comprimarea imaginilor cu pierderi cu modele de difuzie de bază și provine de la patru cercetători de la ETH Zürich (afiliați cu proiectele bazate pe IA ale Disney) și Disney Research. Cercetătorii oferă, de asemenea, un articol suplimentar.

Metodă

Noua metodă utilizează un VAE pentru a codifica o imagine în reprezentarea sa latentă comprimată. La acest stadiu, imaginea de intrare este alcătuită din caracteristici derivate – reprezentări vectoriale de nivel scăzut. Încastrarea latentă este apoi cuantificată înapoi într-un flux de biți și înapoi în spațiul pixelilor.

Această imagine cuantificată este apoi utilizată ca șablon pentru zgomotul care de obicei inițializează o imagine bazată pe difuzie, cu un număr variabil de pași de denoising (în care există adesea un compromis între pașii de denoising crescuți și acuratețea mai mare, versus latența mai mică și eficiența mai mare).

Schema pentru noua metodă de comprimare Disney.

Atât parametrii de cuantificare, cât și numărul total de pași de denoising pot fi controlate în noul sistem, prin antrenarea unei rețele neuronale care prezice variabilele relevante legate de aceste aspecte ale codării. Acest proces se numește cuantificare adaptivă, iar sistemul Disney utilizează framework-ul Entroformer ca model de entropie care alimentează procedura.

Autorii afirmă:

‘Intuitiv, metoda noastră învață să renunțe la informații (prin transformarea de cuantificare) care pot fi sintetizate în timpul procesului de difuzie. Deoarece erorile introduse în timpul cuantificării sunt similare cu adăugarea de zgomot și modelele de difuzie sunt funcțional modele de denoising, acestea pot fi utilizate pentru a înlătura zgomotul de cuantificare introdus în timpul codării.’

Stable Diffusion V2.1 este spatele de difuzie pentru sistem, ales deoarece întregul cod și greutățile de bază sunt disponibile public. Cu toate acestea, autorii subliniază că schema lor este aplicabilă unui număr mai mare de modele.

Esentială pentru economia procesului este predicția timpului de pași, care evaluează numărul optim de pași de denoising – un act de echilibru între eficiență și performanță.

Predicții de pași de denoising, cu numărul optim de pași de denoising indicat cu o margine roșie. Vă rugăm să consultați PDF-ul sursă pentru o rezoluție exactă.

Cantitatea de zgomot din încastrarea latentă trebuie luată în considerare la efectuarea unei predicții pentru numărul optim de pași de denoising.

Date și teste

Modelul a fost antrenat pe setul de date Vimeo-90k. Imaginile au fost decupate aleatoriu la 256x256px pentru fiecare epocă (adică, fiecare ingestie completă a setului de date rafinat de arhitectura de antrenare a modelului).

Modelul a fost optimizat pentru 300.000 de pași la o rată de învățare de 1e-4. Acesta este cel mai comun în proiectele de vedere a calculatorului și, de asemenea, cel mai mic și mai fin valor practic, ca un compromis între generalizarea largă a conceptelor și caracteristicilor setului de date și capacitatea de a reproduce detalii fine.

Autorii comentează despre unele dintre considerațiile logistice pentru un sistem economic, dar eficient:

‘În timpul antrenării, este prohibitiv de scump să se propage gradientul prin multiple treceri ale modelului de difuzie, cum se întâmplă în timpul eșantionării DDIM. Prin urmare, efectuăm doar o iterație de eșantionare DDIM și o utilizăm direct ca date complet denoisate.’

Seturile de date utilizate pentru testarea sistemului au fost Kodak; CLIC2022; și COCO 30k. Setul de date a fost prelucrat conform metodologiei descrise în oferta Google din 2023 Multi-Realism Image Compression with a Conditional Generator.

Metricele utilizate au fost Raportul maxim de semnal la zgomot (PSNR); Metrii de asemănare perceptuală învățați (LPIPS); Indexul de asemănare structurală multiscale (MS-SSIM); și Distanța de începtare Fréchet (FID).

Framework-urile rivale anterioare testate au fost împărțite între sistemele mai vechi care utilizau Rețele Adversative Generative (GAN) și ofertele mai recente bazate pe modele de difuzie. Sistemele GAN testate au fost Comprimarea de imagini generative de înaltă fidelitate (HiFiC); și ILLM (care oferă unele îmbunătățiri față de HiFiC).

Sistemele bazate pe difuzie au fost Comprimarea de imagini cu pierderi cu modele de difuzie condiționale (CDC) și Comprimarea de imagini de înaltă fidelitate cu modele generative bazate pe scor (HFD).

Rezultate cantitative împotriva framework-urilor anterioare pe diverse seturi de date.

Pentru rezultatele cantitative (vizualizate mai sus), cercetătorii afirmă:

‘Metoda noastră stabilește un nou standard de referință în ceea ce privește realismul imaginilor reconstruite, depășind toate bazele de referință în curbele FID-bitrate. În unele metrii de distorsionare (și anume, LPIPS și MS-SSIM), ne depășim toate codec-urile bazate pe difuzie, rămânând competitive cu codec-urile generative de înaltă performanță.

‘Așa cum era de așteptat, metoda noastră și alte metode generative suferă atunci când sunt măsurate în PSNR, deoarece favorizăm reconstrucții plăcute din punct de vedere perceptual, în loc de replicarea exactă a detaliilor.’

Pentru studiul utilizatorului, a fost utilizată o metodă de alegere forțată cu două alternative (2AFC), într-un context de turneu în care imaginile preferate ar fi continuat în runde ulterioare. Studiul a utilizat sistemul de rating Elo dezvoltat inițial pentru turnee de șah.

Prin urmare, participanții au vizualizat și au selectat cea mai bună dintre două imagini prezentate de 512x512px pe diverse metode generative. Un experiment suplimentar a fost efectuat în care toate comparațiile de imagini de la același utilizator au fost evaluate prin simulare Monte Carlo pe 10.000 de iterații, cu scorul median prezentat în rezultate.

Evaluări estimate Elo pentru studiul utilizatorului, cu turnee Elo pentru fiecare comparație (stânga) și, de asemenea, pentru fiecare participant, cu valori mai mari fiind mai bune.

Aici autorii comentează:

‘Așa cum se poate vedea în scorurile Elo, metoda noastră depășește semnificativ toate celelalte, chiar și în comparație cu CDC, care utilizează în medie de două ori mai multe biți decât metoda noastră. Acest lucru rămâne valabil indiferent de strategia turneului Elo utilizată.’

În articolul original, precum și în PDF-ul suplimentar, autorii oferă comparații vizuale suplimentare, una dintre care este prezentată mai devreme în acest articol. Cu toate acestea, datorită granulației diferenței dintre mostre, ne referim cititorul la PDF-ul sursă, astfel încât aceste rezultate să poată fi judecate corect.

Articolul concluzionează prin a observa că metoda propusă funcționează de două ori mai rapid decât rivalul CDC (3,49 versus 6,87 secunde, respectiv). De asemenea, observă că ILLM poate procesa o imagine în 0,27 secunde, dar că acest sistem necesită un antrenament împovărător.

Concluzie

Cercetătorii de la ETH/Disney sunt clari, la concluzia articolului, cu privire la potențialul sistemului de a genera detalii false. Cu toate acestea, nici unul dintre exemplele prezentate în materialul de sus nu se concentrează pe această problemă.

În orice caz, această problemă nu este limitată la noua abordare Disney, ci este un efect colateral inevitabil al utilizării modelelor de difuzie – o arhitectură inventivă și interpretativă – pentru a comprima imagini.

Interesant, doar cu cinci zile în urmă, doi alți cercetători de la ETH Zurich au produs un articol intitulat Halucinații condiționale pentru comprimarea de imagini, care examinează posibilitatea unui “nivel optim de halucinație” în sistemele de comprimare bazate pe IA.

Autorii de acolo susțin că există un caz pentru halucinații atunci când domeniul este suficient de generic (și, în mod evident, “inofensiv”) pentru a justifica astfel de creativitate:

‘Pentru conținutul textură, cum ar fi iarbă, pistrui și pereți de piatră, generarea de pixeli care să se potrivească realist cu o anumită textură este mai importantă decât reconstruirea valorilor exacte ale pixelilor; generarea oricărui exemplu din distribuția unei texturi este, în general, suficientă.’

Prin urmare, acest al doilea articol face un caz pentru comprimarea care să fie optim “creativă” și reprezentativă, mai degrabă decât a reproduce cât mai exact posibil trăsăturile și caracteristicile imaginii originale necomprimate.

Te întrebi ce ar face comunitatea fotografică și creativă din această redefinire destul de radicală a “comprimării”.

*Conversia mea a citărilor inline ale autorilor în legături.

Publicat pentru prima dată miercuri, 30 octombrie 2024