Utilizzare l’IA per simulare il grano del film

Make America Grainy Again: uno nuovo strumento di intelligenza artificiale può rimuovere il grano del film da vecchie riprese, comprimere il video a una frazione della sua dimensione originale, e poi riaggiungere il grano in modo che gli spettatori non si accorgano della differenza. Funziona con gli standard video esistenti e riduce la larghezza di banda fino al 90%, mantenendo comunque l’aspetto vintage.

Per molti di noi che guardano film o vecchi spettacoli televisivi, il “sibilo” del grano del film è rassicurante; anche quando non lo registriamo consapevolmente, il grano ci dice che ciò che stiamo guardando è stato realizzato con sostanze chimiche, non con codice, e lega l’esperienza al mondo fisico: alla scelta del materiale, all’esposizione, ai processi di laboratorio e alle epoche passate:

L’approccio di Hollywood al grano è cambiato insieme alle modifiche nella cultura e nei metodi di produzione. Negli anni ’60, le mutevoli scelte di pellicola e le pratiche fotografiche hanno contribuito all’identità visiva distintiva del decennio. In seguito, i registi che lavoravano in digitale hanno iniziato a reintrodurre il grano in modo deliberato. A metà degli anni ’80, il regista James Cameron ha selezionato uno stock Kodak particolarmente grossolano per Aliens (1986, in basso a destra nell’immagine sopra), probabilmente per aumentare l’atmosfera e aiutare a nascondere i fili dai lavori di miniatura VFX pratici. Fonte: https://archive.is/3ZSjN (il mio articolo più recente su questo argomento)

La texture analogica proviene da un’epoca in cui la produzione di media costava denaro vero, l’accesso era limitato e c’era almeno una vaga sensazione che solo i più capaci o determinati potessero farcela, agendo come una sorta di abbreviazione per realismo e credibilità – e, quando le tecnologie di cattura ad alta risoluzione hanno eliminato il grano, nostalgia.

Christopher Nolan non ha mai cambiato. Mentre la maggior parte dell’industria ha abbracciato il digitale per la sua velocità e flessibilità, il regista acclamato si è attestato sulla pellicola come disciplina e aesthetic.

Denis Villeneuve, che lavora all’interno di pipeline digitali, fa comunque passare le sue riprese attraverso processi fotochimici. Per i film Dune, girati digitalmente, le riprese sono state stampate su pellicola e poi scansionate di nuovo in digitale, solo per atmosfera ed effetto.

Grano Falso

Gli appassionati di film e TV di qualità associano il grano visibile con alta risoluzione, dove il bitrate (la quantità di dati che vengono inseriti in ogni frame) è così alto che anche i dettagli più piccoli, come i grani di alogenuro, vengono preservati.

Tuttavia, se le reti di streaming rendessero realmente disponibile quel tipo di bitrate, ciò comporterebbe un carico eccessivo sulla capacità di rete e probabilmente causerebbe buffering e stuttering. Pertanto, piattaforme come Netflix creano versioni AV1 ottimizzate dei loro contenuti e utilizzano le capacità del codec AV1 per aggiungere grano al film o all’episodio in modo intelligente e appropriato, risparmiando il 30% di larghezza di banda nel processo.

AV1 è progettato per incorporare grano del film artificiale, come in questi esempi. Fonte: https://waveletbeam.com/index.php/av1-film-grain-synthesis

Il “feticismo del grano” è un equivalente digitale relativamente raro a tendenze ataviche come il revival del vinile, ed è difficile dire se viene utilizzato dagli streamer per far sembrare video altamente ottimizzati come “raw video” di alta qualità (per gli spettatori che hanno inconsciamente associato quelle caratteristiche), facendo sembrare il bitrate più alto di quanto non sia; o per mitigare la perdita di qualità percepita che gli spettacoli vecchi 4:3 subirebbero altrimenti quando i fornitori di streaming li ritagliano in rapporti di aspetto widescreen; o solo per assecondare l’estetica “Nolan” retro in generale.

Grano in Silo

Il problema è che il grano è anche rumore. I sistemi digitali odiano il rumore, e i codec di streaming come AV1 lo cancellano per risparmiare larghezza di banda, a meno che le impostazioni del grano non siano configurate esplicitamente. Allo stesso modo, gli algoritmi di aumento della risoluzione basati sull’IA come la serie Topaz Gigapixel trattano il grano come un difetto da correggere.

Nel campo della sintesi di immagini basata sulla diffusione, il grano è estremamente difficile da generare, poiché rappresenta dettagli estremi, e quindi sarebbe solitamente visibile solo in modelli sovrappesati, poiché l’intera architettura del modello di diffusione latente (LDM) è progettata per decostruire il rumore (come il grano) in immagini chiare, piuttosto che trattare i grani come proprietà implicite nei media.

Pertanto, può essere difficile creare grano convincente utilizzando l’apprendimento automatico. E anche se fosse possibile farlo, renderlo direttamente in un video ottimizzato gonfierebbe nuovamente le dimensioni del file del video.

A causa di questa ultima considerazione logistica, codec video all’avanguardia come Versatile Video Coding (VVC) offrono grano come una sorta di “servizio accessorio”.

VVC comprime il video pulito, senza grano, e scarta il grano. Invece di sprecare dati cercando di preservare schemi di grano ad alta frequenza casuali, analizza il grano separatamente e codifica un piccolo set di parametri (ad esempio ampiezza, frequenza e modalità di blending) che descrivono come rigenerare grano simile durante la riproduzione.

Questi parametri vengono archiviati in un flusso FGC-SEI (Informazioni supplementari sulle caratteristiche del grano del film), che accompagna il flusso principale. Dopo la decodifica, un modulo di sintesi utilizza queste istruzioni per riapplicare grano sintetico che imita l’originale.

Questo conserva l'”aspetto” di emulsione ad alta bitrate e ricca di grano, mantenendo comunque la bitrate effettiva bassa, poiché l’encoder non è costretto a spendere risorse per preservare rumore imprevedibile.

Inoltre, come per i file di sottotitoli discreti, questo contenuto di “grano” falso è specifico del video in questione; l’applicazione casuale di filtri di grano generici in piattaforme come Photoshop o After Effects, o in pipeline di elaborazione automatica, non produrrebbe grano “adattato”, ma piuttosto un sovrapposto di rumore non correlato:

Sinistra: immagine originale. Centro: grano Camera Raw di Photoshop applicato uniformemente su tutti i canali. Destra: lo stesso filtro di grano applicato individualmente a ciascun canale in sequenza. Immagine di origine (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (tramite il mio articolo precedente)

Il filtro “Grano” di Photoshop aggiunge rumore casuale uniforme; ma il grano del film vero proviene da cristalli di alogenuro di dimensioni variabili. Applicare il filtro a ciascun canale separatamente (vedi immagine sopra) crea solo più caos, non realismo. Il vero grano del film riflette come la luce colpisce strati di emulsione al momento dell’esposizione. Simulare ciò richiederebbe la stima di come diverse aree di un’immagine avrebbero attivato ciascuno strato di alogenuro, non solo dividendo l’effetto attraverso i layer RGB.

FGA-NN

In questo perseguimento specioso arriva un nuovo articolo di ricerca dalla Francia – una breve ma interessante uscita che offre un metodo quantitativamente e qualitativamente superiore per analizzare e ricreare grano:

Confronto tra grano di verità e risultati di vari metodi di analisi e sintesi. Fonte: https://arxiv.org/pdf/2506.14350

Il nuovo sistema, intitolato FGA-NN, non si discosta dall’uso convenzionale della sintesi di grano basata su Gaussian convenzionale attraverso il metodo VVC-compatibile standard, Versatile Film Grain Synthesis (VFGS). Ciò che il sistema cambia è l’analisi, utilizzando una rete neurale per stimare i parametri di sintesi in modo più preciso

Pertanto, il grano finale è ancora sintetizzato utilizzando lo stesso modello Gaussian convenzionale – ma la rete fornisce migliori metadati a un generatore basato su regole standard, ottenendo un modello all’avanguardia.

L’nuovo articolo è intitolato FGA-NN: Film Grain Analysis Neural Network, e proviene da tre ricercatori presso InterDigital (IDCC ) R&D, Cesson-Sévigné. Sebbene l’articolo non sia lungo, analizziamo alcuni degli aspetti chiave dei progressi offerti dal nuovo metodo.

Metodo

Per riassumere: il sistema FGA-NN prende un video granuloso come input ed estrae una descrizione compatta del grano, producendo parametri nel formato FGC-SEI standardizzato utilizzato da diversi codec moderni. Questi parametri vengono trasmessi insieme al video, consentendo al decoder di ricostruire il grano utilizzando VFGS, anziché codificare il grano direttamente.

Schema per l’analisi e la riapplicazione del grano del film nella distribuzione video, utilizzando FGA-NN per l’estrazione dei parametri e VFGS per la sintesi.

Per addestrare la rete, gli autori hanno bisogno di coppie di video granulosi e relativi metadati FGC-SEI. Poiché la maggior parte dei video granulosi manca di questo tipo di metadati, i ricercatori hanno creato il loro own dataset generando parametri FGC-SEI, applicando grano sintetico a video puliti e utilizzandoli come esempi di addestramento.

I dati di addestramento per FGA-NN sono stati creati applicando grano sintetico a footage pulito dai dataset BVI-DVC e DIV2K. Sono stati generati parametri FGC-SEI casualizzati e utilizzati con lo strumento di sintesi VFGS, consentendo a ciascun video granuloso di essere accoppiato con metadati noti.

Il modello basato sulla frequenza supportato dagli standard video attuali è stato utilizzato, con intervalli di parametri limitati per mantenere la plausibilità visiva attraverso canali luma e croma.

I dati di addestramento per la nuova raccolta sono stati creati applicando grano sintetico a footage pulito dai dataset BVI-DVC e DIV2K. Sono stati generati parametri FGC-SEI casualizzati e utilizzati con lo strumento di sintesi Versatile Film Grain (VFGS), consentendo a ciascun video granuloso di essere accoppiato con metadati noti.

Panoramica degli intervalli di parametri FGC-SEI casualizzati utilizzati per generare grano sintetico per l’addestramento, applicati a footage pulito dai dataset BVI-DVC e DIV2K. I parametri sono stati limitati per garantire risultati visivi plausibili su entrambi i canali luma e croma.

Il modello di filtraggio basato sulla frequenza, l’unico metodo di sintesi attualmente supportato nelle implementazioni dei codec come il VVC Test Model (VTM), è stato utilizzato in tutto. Gli intervalli di parametri sono stati limitati per preservare la plausibilità visiva su entrambi i canali luma e croma.

Effetto di Rete

FGA-NN presenta due modelli coordinati, per luma e croma, rispettivamente, ciascuno progettato per prevedere i parametri specifici necessari per ricreare grano del film realistico.

Per ogni immagine di input, il sistema stima un insieme di intervalli di intensità, i fattori di scala collegati a ciascun intervallo, le frequenze di taglio orizzontali e verticali e un ajustamento di scala globale noto come fattore Log2Scale. Per gestire ciò, il modello utilizza un estrattore di caratteristiche condiviso che elabora l’input granuloso e alimenta quattro rami di output separati, ciascuno responsabile di una diversa attività di previsione:

Architettura della versione luma di FGA-NN. Un backbone condiviso estrae caratteristiche da frame di input granulosi, seguito da quattro rami di output progettati per attività di previsione specifiche: limiti di intervallo, fattori di scala, frequenze di taglio e ajustamento globale Log2Scale. La rete croma utilizza la stessa struttura con dimensioni di input e output ajustate.

I limiti di intervallo sono previsti utilizzando regressione, mentre i fattori di scala, le frequenze di taglio e l’impostazione di scala globale sono trattati come problemi di classificazione.

L’architettura è ajustata per riflettere la complessità di ciascun compito, con layer interni più grandi utilizzati per previsioni più dettagliate; in particolare, il modello croma specchia la struttura luma, ma si adatta alle diverse caratteristiche dei dati di colore.

Addestramento e Test

FGA-NN è stato addestrato utilizzando quattro funzioni obiettivo, ciascuna allineata con una delle sue attività di previsione. Per gli output di classificazione è stata utilizzata una perdita di entropia incrociata categorica per ridurre il divario tra etichette previste e verità di base.

I limiti di intervallo sono stati normalizzati in un intervallo da 0 a 1 e ottimizzati utilizzando una perdita combinata: una perdita L1 esponenzialmente scalata (expL1) che penalizzava errori più grandi più pesantemente, e una penalità di monotonicità che scoraggiava le tendenze discendenti. Tutte e quattro le perdite sono state combinate, con pesi elevati assegnati ai fattori di taglio e di scala, mentre i limiti di intervallo e Log2Scale sono stati pesati rispettivamente a 1 e 0,1.

L’addestramento è stato eseguito sotto l’ottimizzatore Adam a un tasso di apprendimento di 5e-4, su 10.000 iterazioni, con una dimensione del batch di 64.

L’unico strumento confrontabile adatto per test comparativi è stato FGA-CONVENT, che produce anch’esso valori nel formato FGC-SEI e viene utilizzato per l’elaborazione del grano. Entrambi i sistemi sono stati testati su sequenze UHD del set di valutazione soggettiva JVET, utilizzando footage contenente grano del film reale.

Linee tratteggiate verticali indicano i limiti di intervallo di intensità, mentre il guadagno Log2Scale è annotato nell’etichetta dell’asse.

Nell’immagine sopra, vediamo frame ritagliati identici generati da VFGS utilizzando parametri da ciascun metodo, confrontati con l’originale. Le loro stime di luma rispettive sono anche tracciate contro valori di verità di base impostati manualmente utilizzando VFGS, che qui traccia l’intensità dei pixel sull’asse X (0–255), i fattori di scala sull’asse Y blu (0–255) e le frequenze di taglio sull’asse Y verde (2–14).

Gli autori affermano:

‘Si può osservare che FGA-NN cattura con precisione la tendenza generale del modello di grano del film di verità e l’ampiezza, risultando in immagini sintetizzate con grano del film percepibilmente simile a quello delle immagini di verità.

‘D’altra parte, FGA-CONVENT prevede un fattore di scala più basso, compensato da un fattore Log2Scale più basso come risultato della sua progettazione, e tende a generare un modello di grano del film più grossolano rispetto al riferimento, risultando in un aspetto distinto ma coerente visualmente.’

Essi notano che il confronto diretto con parametri di grano di verità di base è poco affidabile, poiché la scala e Log2Scale possono compensarsi a vicenda, e piccoli errori hanno spesso poco impatto visivo.

Test di Fede

La fedeltà del grano del film è stata valutata in quattro flussi di lavoro: FGA-NN con VFGS; FGA-CONVENT più VFGS; Style-FG; e 3R-INN. I test hanno utilizzato sia il set di dati FGC-SEI che FilmGrainStyle740k, confrontando l’output con la verità di base utilizzando Metriche di similarità percepita apprese (LPIPS); JSD-NSS; e divergenza di Kullback-Leibler (KL).

Risultati del benchmark sul set di dati FilmGrainStyle740k. Style-FG e 3R-INN superano gli altri a causa dell’addestramento su questo set, con FGA-NN che segue da vicino. FGA-CONVENT sottopresta, riflettendo la sua dipendenza dall’analisi multi-frame e dalle regioni omogenee – condizioni non soddisfatte dagli input piccoli e ricchi di texture utilizzati in questo caso.

Di questi risultati, gli autori affermano:

‘Sul set di test FilmGrainStyle740k, Style-FG e 3R-INN raggiungono i migliori risultati, poiché questi metodi sono stati addestrati specificamente su questo set di dati, con FGA-NN che segue da vicino. La performance di FGA-CONVENT combinata con VFGS è subottimale su entrambi i set di test.

‘Ciò è dovuto al fatto che l’analisi si basa su regioni omogenee e sfrutta informazioni da più frame in un caso di analisi del grano del film reale, mentre nella presente valutazione l’analisi è fornita con una singola immagine a bassa risoluzione (256×256 fino a un massimo di 768×512), che spesso contiene una quantità significativa di texture.

‘Ciò complica ulteriormente la sfida per il metodo di analisi convenzionale, rendendo impossibile applicare FGA-CONVENT a tali piccole immagini.’

Infine, gli autori notano che mentre i metodi basati sull’apprendimento come 3R-INN e Style-FG producono risultati visivi forti su set di dati curati, il loro alto costo computazionale li rende inadatti per la distribuzione su dispositivi finali.

Confronto di frame a bassa bitrate migliorati utilizzando diversi flussi di lavoro di analisi e sintesi (terzo da ultimo colonne).

Al confronto, l’approccio proposto nel nuovo articolo accoppia il modulo di analisi FGA-NN leggero con il metodo di sintesi VFGS efficiente dal punto di vista hardware, che gli autori descrivono come una soluzione più fattibile e distribuibile per reintrodurre il grano del film in video compressi.

Essi affermano inoltre che i benefici di FGA-NN sono potenzialmente considerevoli, su larga scala:

‘[La codifica] dei video UHD con grano del film a bitrate medio o basso utilizzando il nostro flusso di lavoro di analisi e sintesi del grano del film consente di risparmiare fino al 90% di bitrate rispetto alla codifica ad alta bitrate.’

Conclusione

L’ossessione per il grano del film è una delle concezioni più strane e curiose dell’era post-analogica, ed è interessante notare che ciò che un tempo era considerato un limite del mezzo è ora diventato un simbolo di verisimilitudine e autenticità in sé, anche (forse inconsciamente) per una nuova generazione di spettatori nati dopo il declino effettivo dell’emulsione.

È importante notare che nessuno dei metodi di ricreazione del grano del film all’avanguardia, compresa questa ultima innovazione, può catturare esattamente l’effetto vero del modo in cui la luce influenza gli strati di alogenuro in un processo fotochimico vero, in un intervallo di condizioni.

Pubblicato per la prima volta mercoledì, 18 giugno 2025