Utilizarea inteligenței artificiale pentru a simula granulația filmului

Fă-o din nou granulată în America: un nou instrument AI poate extrage granulația filmului din vechile înregistrări, comprima videoul la o fracțiune din dimensiune, apoi readuce granulația, astfel încât spectatorii să nu observe niciodată. Funcționează cu standardele video existente și reduce lățimea de bandă cu până la 90 la sută, păstrând în același timp aspectul vintage.

Pentru mulți dintre noi, care urmărim filme sau emisiuni TV vechi, “sizzling-ul” granulației filmului este liniștitor; chiar și atunci când nu conștientizăm acest lucru, granulația ne spune că ceea ce urmărim a fost realizat cu substanțe chimice, nu cu cod, și leagă experiența de lumea fizică: de alegerea stocului, expunere, procese de laborator și epoci trecute:

Abordarea Hollywood-ului față de granulație s-a schimbat odată cu schimbările culturale și metodele de producție. În anii 1960, evoluția stocurilor de cameră și practicile fotografice au contribuit la identitatea vizuală distinctă a deceniului. Mai târziu, regizorii care lucrau în digital au reintrodus intenționat granulația. La mijlocul anilor 1980, regizorul James Cameron a selectat un stoc Kodak deosebit de gros pentru filmul Aliens (1986, în partea de jos a imaginii de mai sus), probabil pentru a îmbunătăți atmosfera și, de asemenea, pentru a ascunde firele de la lucrările de efecte vizuale miniaturale practice. Sursă: https://archive.is/3ZSjN (ultimul meu articol pe această temă)

Textura analogică provine dintr-o perioadă în care producerea de conținut media costa bani reali, accesul era limitat, și exista cel puțin o idee vagă că doar cei mai capabili sau hotărâți puteau reuși, servind ca o prescurtare pentru realism și credibilitate – și, atunci când tehnologiile de captură de înaltă rezoluție au eliminat-o, nostalgie.

Christopher Nolan nu a schimbat. În timp ce cea mai mare parte a industriei a adoptat digitalul pentru viteza și flexibilitatea sa, regizorul aclamat s-a încăpățânat, insistând pe celuloid atât ca disciplină și estetică.

Denis Villeneuve, care lucrează în cadrul unor fluxuri de lucru digitale, își parcurge încă imaginile prin procese fotochimice. Pentru filmele Dune, filmate digital, imaginile au fost tipărite pe stoc de film și apoi scanează înapoi la digital, pur și simplu pentru atmosferă și efect.

Granulație falsă

Adepții calității filmului și a TV asociază granulația vizibilă cu rezoluție înaltă, unde debitul (cantitatea de date introduse în fiecare cadru) este atât de mare încât chiar și cele mai mici detalii, cum ar fi granulele de halid, sunt păstrate.

Cu toate acestea, dacă rețelele de streaming ar face disponibilă cu adevărat acest tip de debit, ar pune o presiune severă asupra capacității rețelei și ar provoca, probabil, bufferizare și întrerupere. Prin urmare, platforme precum Netflix creează versiuni AV1 optimizate ale conținutului lor și utilizează capacitățile codec-ului AV1 pentru a adăuga granulație la film sau episod într-un mod inteligent și adecvat, economisind 30% din lățimea de bandă în proces.

AV1 este proiectat pentru a incorpora granulație de film artificială, așa cum se arată în aceste exemple. Sursă: https://waveletbeam.com/index.php/av1-film-grain-synthesis

“Fetishul granulației” este un echivalent digital relativ rar al tendințelor atavice, cum ar fi renașterea vinilului, și este greu de spus dacă este utilizat de streameri pentru a face videoul foarte optimizat să arate ca un “video brut” foarte scump (pentru cei care au asociat inconștient aceste caracteristici), făcând debitul să pară mai mare decât este; sau pentru a devia scăderea calității perceptive care ar apărea altfel la spectacolele vechi 4:3 atunci când furnizorii de streaming le recadrează la raportul de aspect larg; sau pur și simplu pentru a se conforma esteticii “Nolan” retro:

Granulație izolată

Problema este că granulația este și zgomot. Sistemele digitale urăsc zgomotul și codec-urile de streaming, cum ar fi AV1, le elimină pentru a economisi lățimea de bandă, cu excepția cazului în care setările de granulație sunt configurate explicit. De asemenea, îmbunătățitorii AI cum ar fi seria Topaz Gigapixel tratează granulația ca o eroare care trebuie corectată.

În domeniul sintezei de imagine bazate pe difuzie, granulația este extrem de dificil de generat, deoarece reprezintă detalii extreme, și astfel ar apărea, de obicei, doar în modele supraînvățate, deoarece întreaga arhitectură a modelului de difuzie latentă (LDM) este proiectată pentru a deconstrui zgomotul (cum ar fi granulația) în imagini clare, și nu pentru a trata granulația ca o proprietate implicită a conținutului media.

Prin urmare, poate fi dificil să se creeze o granulație convingătoare utilizând învățarea automată. Și chiar dacă ar fi posibil, renderizarea acesteia direct într-un videoclip optimizat ar umfla pur și simplu dimensiunea fișierului videoclipului înapoi.

FGA-NN

În această căutare suspectă vine un nou articol de cercetare din Franța – o ieșire scurtă, dar interesantă, care oferă o metodă cantitativ și calitativ superioară de analiză și recreare a granulației:

Compararea dintre granulația reală și rezultatele diferitelor metode de analiză și sinteză. Sursă: https://arxiv.org/pdf/2506.14350

Noul sistem, intitulat FGA-NN, nu se abate de la utilizarea convențională a sintezei de granulație bazate pe Gaussian prin metoda standard compatibilă cu VVC, Sinteza de granulație de film versatilă (VFGS). Ceea ce schimbă sistemul este analiza, utilizând o rețea neuronală pentru a estima parametrii de sinteză mai precis.

Prin urmare, granulația finală este încă sintetizată utilizând același model Gaussian convențional – dar rețeaua alimentează mai bine metadatele într-un generator bazat pe reguli standard, obținând un model de ultimă generație.

Noul articol se intitulează FGA-NN: Rețea neuronală de analiză a granulației de film și provine de la trei cercetători de la InterDigital R&D, Cesson-Sévigné. Deși articolul nu este lung, să aruncăm o privire asupra unor aspecte cheie ale progreselor oferite de noua metodă.

Metodă