Utilizzare l’AI per Simulare il Grain del Film

Fare l’America Grainy di Nuovo: uno strumento AI nuovo può rimuovere il grain del film da vecchie riprese, comprimere il video a una frazione delle dimensioni, e poi rimettere il grain in modo che gli spettatori non si accorgano. Funziona con gli standard video esistenti e riduce la larghezza di banda fino al 90%, mantenendo l’aspetto vintage.

Per molti di noi che guardano film o spettacoli TV vecchi, il “sibilo” del grain del film è rassicurante; anche quando non lo registriamo consapevolmente, il grain ci dice che ciò che stiamo guardando è stato realizzato con sostanze chimiche, non con codice, e lega l’esperienza al mondo fisico: alla scelta della pellicola, all’esposizione, ai processi di laboratorio e alle epoche passate:

L’approccio di Hollywood al grain è cambiato insieme ai cambiamenti nella cultura e nei metodi di produzione. Negli anni ’60, le pellicole e le pratiche fotografiche in evoluzione hanno contribuito all’identità visiva distintiva del decennio. In seguito, i registi che lavoravano in digitale hanno iniziato a reintrodurre il grain intenzionalmente. A metà degli anni ’80, il regista James Cameron ha selezionato uno stock Kodak particolarmente grezzo per Aliens (1986, in basso a destra nell’immagine sopra), probabilmente per migliorare l’atmosfera e anche per aiutare a nascondere i fili del lavoro di miniature VFX pratiche. Fonte: https://archive.is/3ZSjN (il mio articolo più recente su questo argomento)

La texture analogica proviene da un’epoca in cui la produzione di media costava denaro vero, l’accesso era limitato e c’era almeno un senso vago che solo i più capaci o determinati potevano farcela, agendo come una sorta di abbreviazione per realismo e credibilità – e, quando le tecnologie di cattura ad alta risoluzione lo hanno eliminato, nostalgia.

Christopher Nolan non ha mai cambiato. Mentre la maggior parte dell’industria ha abbracciato il digitale per la sua velocità e flessibilità, il regista acclamato ha insistito sulla pellicola come disciplina e come estetica.

Denis Villeneuve, che lavora all’interno di pipeline digitali, analizza ancora le sue riprese attraverso processi fotochimici. Per i film Dune, girati digitalmente, le riprese sono state stampate su pellicola e poi scansionate nuovamente in digitale, solo per atmosfera ed effetto.

Falso Grain

Gli appassionati di qualità del film e della TV associano il grain visibile con l’alta risoluzione, dove il bitrate (la quantità di dati inseriti in ogni fotogramma) è così alto che anche i dettagli più piccoli, come i cristalli di alogenuro, sono preservati.

Tuttavia, se le reti di streaming rendessero realmente disponibile questo tipo di bitrate, ciò comporterebbe una forte pressione sulla capacità di rete e probabilmente causerebbe buffering e stuttering. Pertanto, piattaforme come Netflix creano versioni ottimizzate AV1 del loro contenuto e utilizzano le capacità del codec AV1 per aggiungere il grain al film o all’episodio in modo intelligente e appropriato, risparmiando il 30% della larghezza di banda nel processo.

AV1 è progettato per incorporare il grain del film artificiale, come in questi esempi. Fonte: https://waveletbeam.com/index.php/av1-film-grain-synthesis

Il “feticismo del grain” è un equivalente digitale relativamente raro di tendenze ataviche come il revival del vinile, ed è difficile dire se viene utilizzato dai broadcaster per far sembrare video altamente ottimizzati come “video grezzo” di alta qualità (per gli spettatori che hanno associato inconsciamente queste caratteristiche), facendo sembrare il bitrate più alto di quanto non sia; o per deviare la caduta della qualità percepita che gli spettacoli vecchi 4:3 subirebbero altrimenti quando i fornitori di streaming li ritagliano per adattarli ai rapporti di aspetto widescreen; o solo per assecondare l’estetica “Nolan” retrò in generale.

Grain Siloed

Il problema è che il grain è anche rumore. I sistemi digitali odiano il rumore, e i codec di streaming come AV1 lo eliminano per risparmiare larghezza di banda, a meno che le impostazioni del grain non siano configurate esplicitamente. Allo stesso modo, gli upsampler AI come la serie Topaz Gigapixel trattano il grain come un difetto da correggere.

Nel campo della sintesi di immagini basata sulla diffusione, il grain è estremamente difficile da generare, poiché rappresenta dettagli estremi, e quindi apparirebbe solo in modelli sovrappresi in modo massiccio, poiché l’intera architettura del modello di diffusione latente (LDM) è progettata per decostruire il rumore (come il grain) in immagini chiare, piuttosto che trattare i grani come proprietà implicite nei media.

Pertanto, può essere difficile creare un grain convincente utilizzando l’apprendimento automatico. E anche se fosse possibile farlo, renderlo direttamente in un video ottimizzato gonfierebbe solo le dimensioni del file del video.

FGA-NN

In questo perseguimento specioso arriva un nuovo articolo di ricerca dalla Francia – un breve ma interessante viaggio che offre un metodo quantitativamente e qualitativamente superiore per analizzare e ricreare il grain:

Confronto tra grain di base e risultati di vari metodi di analisi e sintesi. Fonte: https://arxiv.org/pdf/2506.14350

Il nuovo sistema, intitolato FGA-NN, non si discosta dall’uso convenzionale della sintesi del grain basata su Gaussian attraverso il metodo standard compatibile con VVC, Versatile Film Grain Synthesis (VFGS). Ciò che il sistema cambia è l’analisi, utilizzando una rete neurale per stimare i parametri di sintesi in modo più preciso

Pertanto, il grain finale è ancora sintetizzato utilizzando lo stesso modello Gaussian convenzionale – ma la rete alimenta migliori metadati in un generatore basato su regole standard, ottenendo un modello di stato dell’arte.

Il nuovo articolo è intitolato FGA-NN: Film Grain Analysis Neural Network, e proviene da tre ricercatori di InterDigital R&D, Cesson-Sévigné. Sebbene l’articolo non sia lungo, analizziamo alcuni degli aspetti chiave dei progressi che il nuovo metodo offre.

Metodo