Ripristinare i video dei social media sovracompressi con l’apprendimento automatico

Una nuova ricerca proveniente dalla Cina offre un metodo efficace e innovativo per ripristinare i dettagli e la risoluzione dei video caricati dagli utenti che vengono automaticamente compressi su piattaforme come WeChat e YouTube per risparmiare banda e spazio di archiviazione.

Confronto del nuovo metodo con gli approcci precedenti, in termini di capacità di risolvere nuovamente i dettagli eliminati durante l’ottimizzazione automatica della piattaforma dei social media. Fonte: https://arxiv.org/pdf/2208.08597.pdf

A differenza dei metodi precedenti che possono aumentare la risoluzione e il campionamento dei video in base a dati di formazione generici, il nuovo approccio deriva invece una mappa delle caratteristiche di degrado (DFM) per ogni frame del video compresso – effettivamente una panoramica delle regioni più danneggiate o deteriorate nel frame che sono risultate dalla compressione.

Dagli studi di ablazione del nuovo articolo: seconda da destra, la verità di base per una ‘pura’ mappa delle caratteristiche di degrado (DFM); terza da destra, una stima del danno senza l’uso di DFM. A sinistra, una mappa del danno molto più precisa con DFM.

Il processo di ripristino, che sfrutta le reti neurali convoluzionali (CNN), tra le altre tecnologie, è guidato e focalizzato dalle informazioni nella DFM, consentendo al nuovo metodo di superare le prestazioni e l’accuratezza degli approcci precedenti.

La verità di base per il processo è stata ottenuta dai ricercatori caricando video di alta qualità su quattro piattaforme di condivisione popolari, scaricando i risultati compressi e sviluppando una pipeline di visione computerizzata in grado di apprendere in modo astratto gli artifact della compressione e la perdita di dettagli, in modo che possa essere applicata su più piattaforme per ripristinare i video a una qualità quasi originale, in base a dati completamente diversi.

Esempi dal nuovo set di dati UVSSM dei ricercatori.

Il materiale utilizzato nella ricerca è stato raccolto in un set di dati HQ/LQ intitolato Video degli utenti condivisi sui social media (UVSSM) e reso disponibile per il download (password: rsqw) su Baidu, per il beneficio dei progetti di ricerca successivi che cercano di sviluppare nuovi metodi per ripristinare i video compressi dalle piattaforme.

Un confronto tra due campioni HQ/LQ equivalenti dal set di dati UVSSM scaricabile (vedere i link sopra per gli URL di origine). Poiché anche questo esempio può essere soggetto a più round di compressione (applicazione dell’immagine, CMS, CDN, ecc.), si prega di fare riferimento ai dati di origine per un confronto più preciso.

Il codice per il sistema, noto come Ripristino video attraverso il rilevamento adattivo del degrado (VOTES), è stato anche rilasciato su GitHub, sebbene la sua implementazione richieda una serie di dipendenze basate su pull.

L’articolo è intitolato Ripristino dei video condivisi dagli utenti sui social media e proviene da tre ricercatori dell’Università di Shenzhen e uno dal Dipartimento di Ingegneria Elettronica e Informatica dell’Università Politecnica di Hong Kong.

Dai manufatti ai fatti

La capacità di ripristinare la qualità dei video estratti dal web senza la “allucinazione” generica, a volte eccessiva di dettagli fornita da programmi come Gigapixel (e dalla maggior parte dei pacchetti open source di portata simile) potrebbe avere implicazioni per il settore della ricerca sulla visione computerizzata.

La ricerca sui tecnologie di visione computerizzata basate su video si basa frequentemente su filmati ottenuti da piattaforme come YouTube e Twitter, dove i metodi di compressione e i codec utilizzati sono strettamente protetti, non possono essere facilmente dedotti in base a modelli di artifact o altri indicatori visivi e possono cambiare periodicamente.

La maggior parte dei progetti che sfruttano video trovati sul web non stanno studiando la compressione e devono fare delle concessioni per la qualità disponibile dei video compressi offerti dalle piattaforme, poiché non hanno accesso alle versioni originali di alta qualità che gli utenti hanno caricato.

Pertanto, la capacità di ripristinare fedelmente una maggiore qualità e risoluzione a tali video, senza introdurre influenze a valle da set di dati di visione computerizzata non correlate, potrebbe aiutare a eliminare i frequenti escamotage e accomodamenti che i progetti di visione computerizzata devono attualmente fare per le fonti di video degradate.

Sebbene piattaforme come YouTube possano occasionalmente annunciare grandi cambiamenti nel modo in cui comprimono i video degli utenti (come VP9), nessuna di esse rivela esplicitamente l’intero processo o i codec e le impostazioni esatti utilizzati per ridurre i file di alta qualità che gli utenti caricano.

Raggiungere una qualità di output migliorata dai caricamenti degli utenti è quindi diventata una sorta di arte druidica nell’ultimo decennio, con vari (per lo più non confermati) ‘escamotage’ che vanno e vengono di moda.

Metodo

Gli approcci precedenti al ripristino del video basato sull’apprendimento profondo hanno coinvolto l’estrazione di caratteristiche generiche, sia come approccio al ripristino di un singolo frame che in un’architettura multi-frame che sfrutta flusso ottico (cioè che tiene conto dei frame adiacenti e successivi quando si ripristina un frame corrente).

Tutti questi approcci hanno dovuto fare i conti con l’effetto ‘scatola nera’ – il fatto che non possano esaminare gli effetti della compressione nelle tecnologie di base, perché non è certo né cosa siano le tecnologie di base, né come siano state configurate per un particolare video caricato dall’utente.

VOTES, invece, cerca di estrarre caratteristiche salienti direttamente dal video originale e compresso e determinare modelli di trasformazione che si generalizzino agli standard di più piattaforme.

Architettura concettuale semplificata per VOTES.

VOTES utilizza un modulo di rilevamento del degrado appositamente sviluppato (DSM, vedi immagine sopra) per estrarre caratteristiche nei blocchi convoluzionali. Più frame vengono quindi passati a un modulo di estrazione e allineamento delle caratteristiche (FEAM), con questi poi inviati a un modulo di modulazione del degrado (DMM). Infine, il modulo di ricostruzione produce il video ripristinato.

Dati e esperimenti

Nel nuovo lavoro, i ricercatori hanno concentrato i loro sforzi nel ripristinare i video caricati e scaricati dalla piattaforma WeChat, ma erano preoccupati di assicurarsi che l’algoritmo risultante potesse essere adattato ad altre piattaforme.

È risultato che una volta ottenuto un modello di ripristino efficace per i video di WeChat, adattarlo a Bilibili, Twitter e YouTube ha richiesto solo 90 secondi per un’unica epoca per ogni modello personalizzato per ogni piattaforma (su una macchina che esegue 4 NVIDIA Tesla P40 GPU con un totale di 96GB di VRAM).

L’adattamento del modello WeChat di successo ad altre piattaforme di condivisione video si è rivelato abbastanza banale. Qui vediamo VOTES raggiungere quasi istantaneamente la parità di prestazioni in tutte le piattaforme, utilizzando il set di dati UVSSM degli autori e il set di dati REDS (vedere sotto).

Per popolare il set di dati UVSSM, i ricercatori hanno raccolto 264 video che vanno da 5 a 30 secondi, ciascuno con un frame rate di 30fps, provenienti direttamente da telefoni cellulari o da Internet. I video erano tutti o 1920 x 1080 o 1280 x 270 di risoluzione.

I contenuti (vedere immagine precedente) includevano viste della città, paesaggi, persone e animali, tra una varietà di altri soggetti, e sono utilizzabili nel set di dati pubblico tramite licenza Creative Commons Attribution, che consente il riutilizzo.

Gli autori hanno caricato 214 video su WeChat utilizzando cinque marche diverse di telefoni cellulari, ottenendo la risoluzione video predefinita di WeChat di 960×540 (a meno che il video di origine non sia già più piccolo di queste dimensioni), tra le conversioni più “punitive” tra le piattaforme popolari.

In alto a sinistra, il frame HQ originale con tre sezioni ingrandite; in alto a destra, lo stesso frame da una versione compressa del video; in basso a sinistra, il calcolo del degrado del frame compresso; e in basso a destra, la conseguente ‘area di lavoro’ per VOTES per focalizzare la sua attenzione. Ovviamente le dimensioni dell’immagine a bassa qualità sono la metà di quelle dell’immagine HQ, ma sono state ridimensionate qui per una chiara comparazione.

Per i confronti successivi con le routine di conversione di altre piattaforme, i ricercatori hanno caricato 50 video non inclusi nel set originale di 214 su Bilibili, YouTube e Twitter. La risoluzione originale dei video era 1280×270, con le versioni scaricate a 640×360.

Ciò porta il set di dati UVSSM a un totale di 364 coppie di video originali (HQ) e condivisi (LQ), con 214 su WeChat e 50 su ciascuna di Bilibili, YouTube e Twitter.

Per gli esperimenti, 10 video casuali sono stati selezionati come set di test, quattro come set di convalida e i restanti 200 come set di formazione principale. Gli esperimenti sono stati condotti cinque volte con validazione incrociata K-fold, con i risultati mediati su queste istanze.

Nelle prove di ripristino del video, VOTES è stato confrontato con Spatio-Temporal Deformable Fusion (STDF). Per il miglioramento della risoluzione, è stato testato contro Enhanced Deformable convolutions (EDVR), RSDN, Video Super-resolution with Temporal Group Attention (VSR_TGA), e BasicVSR. Il metodo a singola fase di Google COMISR è stato anche incluso, sebbene non rientri nel tipo di architettura degli altri lavori precedenti.

I metodi sono stati testati contro sia UVSS che il set di dati REDS, con VOTES che ha raggiunto i punteggi più alti:

Gli autori sostengono che i risultati qualitativi indicano anche la superiorità di VOTES rispetto ai sistemi precedenti:

Frame di video da REDS ripristinati da approcci concorrenti. Risoluzione indicativa solo – vedere l’articolo per la risoluzione definitiva.

Pubblicato per la prima volta il 19 agosto 2022.