La ricerca di Disney offre una migliore compressione di immagini basata su intelligenza artificiale – ma potrebbe anche creare dettagli immaginari

Il braccio di ricerca di Disney offre un nuovo metodo di compressione delle immagini, sfruttando il modello open source Stable Diffusion V1.2 per produrre immagini più realistiche a bitrate inferiori rispetto ai metodi concorrenti.

Il metodo di compressione di Disney confrontato con gli approcci precedenti. Gli autori affermano di aver migliorato il recupero dei dettagli, offrendo un modello che non richiede centinaia di migliaia di dollari di formazione e che funziona più velocemente del metodo concorrente più vicino. Fonte: https://studios.disneyresearch.com/app/uploads/2024/09/Lossy-Image-Compression-with-Foundation-Diffusion-Models-Paper.pdf

Il nuovo approccio (definito come un ‘codec’ nonostante la sua maggiore complessità rispetto ai codec tradizionali come JPEG e AV1) può operare su qualsiasi Latent Diffusion Model (LDM). Nei test quantitativi, supera i metodi precedenti in termini di accuratezza e dettagli, e richiede una formazione e un costo di calcolo significativamente inferiori.

L’intuizione chiave del nuovo lavoro è che l’errore di quantizzazione (un processo centrale in tutta la compressione delle immagini) è simile al rumore (un processo centrale nei modelli di diffusione).

Pertanto, un’immagine quantizzata “tradizionalmente” può essere trattata come una versione rumorosa dell’immagine originale e utilizzata nel processo di denoising di un LDM al posto del rumore casuale, al fine di ricostruire l’immagine a un bitrate di destinazione.

Ulteriori confronti del nuovo metodo di Disney (evidenziato in verde), in contrasto con gli approcci rivali.

Gli autori sostengono:

‘[Noi] formuliamo la rimozione dell’errore di quantizzazione come un compito di denoising, utilizzando la diffusione per recuperare le informazioni perse nell’immagine latente trasmessa. Il nostro approccio ci consente di eseguire meno del 10% del processo generativo di diffusione completo e non richiede modifiche architettoniche al modello di diffusione, consentendo l’utilizzo di modelli di base come prior forte senza ulteriore formazione del backbone.

‘Il nostro codec proposto supera i metodi precedenti nelle metriche di realismo quantitative, e verifichiamo che le nostre ricostruzioni siano qualitativamente preferite dagli utenti finali, anche quando altri metodi utilizzano il doppio del bitrate.’

Tuttavia, in comune con altri progetti che cercano di sfruttare le capacità di compressione dei modelli di diffusione, l’output può immaginare dettagli. Al contrario, i metodi lossy come JPEG produrranno aree di dettaglio chiaramente distorte o lisce, che possono essere riconosciute come limitazioni della compressione da parte dell’utente casuale.

Invece, il codec di Disney può alterare i dettagli dal contesto che non erano presenti nell’immagine originale, a causa della natura grossolana del Variational Autoencoder (VAE) utilizzato nei modelli tipici addestrati su dati iperscalari.

‘Simile ad altri approcci generativi, il nostro metodo può scartare alcune caratteristiche dell’immagine mentre sintetizza informazioni simili sul lato del ricevitore. In casi specifici, tuttavia, ciò potrebbe risultare in una ricostruzione inaccurata, come la piegatura di linee rette o la deformazione del bordo di piccoli oggetti.

‘Questi sono problemi noti del modello di base su cui costruiamo, che possono essere attribuiti alla dimensione delle caratteristiche relativamente bassa del suo VAE.’

Mentre ciò ha alcune implicazioni per le rappresentazioni artistiche e la verosimiglianza delle fotografie casuali, potrebbe avere un impatto più critico nei casi in cui i piccoli dettagli costituiscono informazioni essenziali, come ad esempio le prove per i processi giudiziari, i dati per il riconoscimento facciale, le scansioni per il riconoscimento ottico dei caratteri (OCR) e una vasta gamma di altri possibili casi d’uso, nel caso in cui si diffonda un codec con questa capacità.

In questo stadio nascente del progresso della compressione di immagini basata su intelligenza artificiale, tutti questi scenari possibili sono lontani nel futuro. Tuttavia, l’archiviazione delle immagini è una sfida globale iperscalare, che tocca questioni relative all’archiviazione dei dati, allo streaming e al consumo di elettricità, oltre ad altre preoccupazioni. Pertanto, la compressione basata su intelligenza artificiale potrebbe offrire un compromesso allettante tra accuratezza e logistica. La storia mostra che i migliori codec non sempre vincono la base utente più ampia, quando questioni come la licenza e la cattura del mercato da parte di formati proprietari sono fattori di adozione.

Disney ha sperimentato l’apprendimento automatico come metodo di compressione per molto tempo. Nel 2020, uno dei ricercatori del nuovo articolo era coinvolto in un progetto basato su VAE per la compressione video migliorata.

Il nuovo articolo di Disney è stato aggiornato all’inizio di ottobre. Oggi la società ha rilasciato un video su YouTube di accompagnamento. Il progetto è intitolato Lossy Image Compression with Foundation Diffusion Models, e proviene da quattro ricercatori dell’ETH Zürich (affiliati ai progetti di intelligenza artificiale di Disney) e Disney Research. I ricercatori offrono anche un articolo supplementare.

Metodo

Il nuovo metodo utilizza un VAE per codificare un’immagine nella sua rappresentazione latente compressa. A questo stadio, l’immagine di input consiste di caratteristiche derivate – rappresentazioni vettoriali a basso livello. L’incapsulamento latente viene quindi quantizzato nuovamente in un flusso di bit e nuovamente nello spazio dei pixel.

Questa immagine quantizzata viene quindi utilizzata come modello per il rumore che di solito innesca un’immagine di diffusione, con un numero variabile di passaggi di denoising (in cui spesso c’è un compromesso tra passaggi di denoising aumentati e maggiore accuratezza, rispetto a una latenza inferiore e una maggiore efficienza).

Schema per il nuovo metodo di compressione di Disney.

Entrambi i parametri di quantizzazione e il numero totale di passaggi di denoising possono essere controllati nel nuovo sistema, attraverso la formazione di una rete neurale che prevede le variabili rilevanti relative a questi aspetti della codifica. Questo processo è chiamato quantizzazione adattiva, e il sistema di Disney utilizza il framework Entroformer come modello di entropia che alimenta la procedura.

Gli autori affermano:

‘Intuitivamente, il nostro metodo apprende a scartare le informazioni (attraverso la trasformazione di quantizzazione) che possono essere sintetizzate durante il processo di diffusione. Poiché gli errori introdotti durante la quantizzazione sono simili all’aggiunta di [rumore] e i modelli di diffusione sono funzionalmente modelli di denoising, possono essere utilizzati per rimuovere il rumore di quantizzazione introdotto durante la codifica.’

Stable Diffusion V2.1 è il modello di diffusione di base per il sistema, scelto perché l’intero codice e i pesi di base sono disponibili pubblicamente. Tuttavia, gli autori sottolineano che il loro schema è applicabile a un numero più ampio di modelli.

Pivotal per l’economia del processo è la previsione dei passaggi temporali, che valuta il numero ottimale di passaggi di denoising – un equilibrio tra efficienza e prestazioni.

Previsioni dei passaggi temporali, con il numero ottimale di passaggi di denoising indicato con un bordo rosso. Si prega di fare riferimento al PDF di origine per la risoluzione esatta.

La quantità di rumore nell’incapsulamento latente deve essere considerata quando si effettua una previsione per il numero ottimale di passaggi di denoising.

Dati e test

Il modello è stato addestrato sul set di dati Vimeo-90k. Le immagini sono state ritagliate casualmente a 256x256px per ogni epoch (cioè ogni ingestione completa del set di dati raffinato dall’architettura di addestramento del modello).

Il modello è stato ottimizzato per 300.000 passaggi a un tasso di apprendimento di 1e-4. Questo è il più comune tra i progetti di visione computerizzata e anche il più basso e fine-granulare generalmente praticabile, come compromesso tra una generalizzazione ampia dei concetti e delle caratteristiche del set di dati e una capacità di riproduzione di dettagli fini.

Gli autori commentano alcune delle considerazioni logistiche per un sistema economico ma efficace*:

‘Durante l’addestramento, è proibitivamente costoso eseguire il backpropagation del gradiente attraverso più passaggi del modello di diffusione come si esegue durante il campionamento DDIM. Pertanto, eseguiamo solo un’iterazione di campionamento DDIM e utilizziamo direttamente [questo] come dati completamente denoised.’

I set di dati utilizzati per testare il sistema sono stati Kodak; CLIC2022; e COCO 30k. Il set di dati è stato pre-elaborato secondo la metodologia delineata nell’offerta Google del 2023 Multi-Realism Image Compression with a Conditional Generator.

Le metriche utilizzate sono state Peak Signal-to-Noise Ratio (PSNR); Learned Perceptual Similarity Metrics (LPIPS); Multiscale Structural Similarity Index (MS-SSIM); e Fréchet Inception Distance (FID).

I framework rivali testati sono stati divisi tra sistemi più vecchi che utilizzavano reti generative avversarie (GAN) e offerte più recenti basate su modelli di diffusione. I sistemi GAN testati sono stati High-Fidelity Generative Image Compression (HiFiC); e ILLM (che offre alcuni miglioramenti rispetto a HiFiC).

I sistemi basati sulla diffusione sono stati Lossy Image Compression with Conditional Diffusion Models (CDC) e High-Fidelity Image Compression with Score-based Generative Models (HFD).

Risultati quantitativi contro i framework precedenti su vari set di dati.

Per i risultati quantitativi (visualizzati sopra), i ricercatori affermano:

‘Il nostro metodo stabilisce un nuovo stato dell’arte nella realismo delle immagini ricostruite, superando tutti i punti di riferimento nella curva FID-bitrate. In alcune metriche di distorsione (in particolare LPIPS e MS-SSIM), superiamo tutti i codec basati sulla diffusione mentre rimaniamo competitivi con i codec generativi di alta qualità.

‘Come previsto, il nostro metodo e altri metodi generativi soffrono quando misurati in PSNR poiché favoriamo ricostruzioni piacevoli percepiti invece della replica esatta dei dettagli.’

Per lo studio degli utenti, è stato utilizzato un metodo a due alternative forzate (2AFC), in un contesto di torneo in cui le immagini preferite sarebbero proseguite nei round successivi. Lo studio ha utilizzato il sistema di valutazione Elo originariamente sviluppato per i tornei di scacchi.

Pertanto, i partecipanti hanno visualizzato e selezionato la migliore delle due immagini presentate 512x512px tra i vari metodi generativi. È stato condotto un esperimento aggiuntivo in cui tutte le comparazioni di immagini dallo stesso utente sono state valutate, tramite una simulazione di Monte Carlo su 10.000 iterazioni, con il punteggio mediano presentato nei risultati.

Stime dei rating Elo per lo studio degli utenti, con tornei Elo per ogni confronto (a sinistra) e anche per ogni partecipante, con valori più alti migliori.

Qui gli autori commentano:

‘Come si può vedere nei punteggi Elo, il nostro metodo supera significativamente tutti gli altri, anche rispetto a CDC, che utilizza in media il doppio dei bit del nostro metodo. Ciò rimane vero indipendentemente dalla strategia del torneo Elo utilizzata.’

Nell’articolo originale, così come nel PDF supplementare, gli autori forniscono ulteriori confronti visivi, uno dei quali è mostrato all’inizio di questo articolo. Tuttavia, a causa della granularità della differenza tra i campioni, si rimanda il lettore al PDF di origine, in modo che questi risultati possano essere giudicati equamente.

L’articolo conclude notando che il metodo proposto opera due volte più velocemente del rivale CDC (3,49 contro 6,87 secondi, rispettivamente). Osserva anche che ILLM può elaborare un’immagine in 0,27 secondi, ma che questo sistema richiede un addestramento oneroso.

Conclusione

I ricercatori dell’ETH/Disney sono chiari, alla conclusione dell’articolo, sul potenziale del loro sistema per generare dettagli falsi. Tuttavia, nessuno dei campioni offerti nel materiale si sofferma su questo problema.

In tutta onestà, questo problema non è limitato al nuovo approccio di Disney, ma è un effetto collaterale inevitabile dell’utilizzo di modelli di diffusione – un’architettura inventiva e interpretativa – per comprimere le immagini.

Interessantemente, solo cinque giorni fa due altri ricercatori dell’ETH Zurich hanno prodotto un articolo intitolato Condizionale allucinazioni per la compressione delle immagini, che esamina la possibilità di un “livello ottimale di allucinazione” nei sistemi di compressione basati su intelligenza artificiale.

Gli autori affermano lì:

‘Per il contenuto simile a texture, come ad esempio l’erba, le efelidi e i muri di pietra, generare pixel che realisticamente corrispondano a una determinata texture è più importante che ricostruire valori di pixel precisi; generare qualsiasi campione dalla distribuzione di una texture è generalmente sufficiente.’

Pertanto, questo secondo articolo sostiene la desiderabilità di allucinazioni laddove il dominio è generico (e, argomentano, “inoffensivo”) a sufficienza:

Uno si chiede cosa penserebbe la comunità fotografica e creativa di questa rielaborazione abbastanza radicale della “compressione”.

*La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali.

Pubblicato per la prima volta mercoledì, 30 ottobre 2024