Utilizarea inteligenței artificiale pentru a simula granulația filmului

Make America Grainy Again: un nou instrument AI poate extrage granulația filmului din vechile înregistrări, comprima videoul la o fracțiune din dimensiunea inițială, și apoi readăuga granulația, astfel încât spectatorii să nu observe nimic. Funcționează cu standardele video existente și reduce lățimea de bandă cu până la 90 la sută, păstrând în același timp aspectul vintage.

Pentru mulți dintre noi care urmărim filme sau emisiuni TV vechi, “sizzlingul” granulației filmului este liniștitor; chiar și atunci când nu conștientizăm acest lucru, granulația ne spune că ceea ce urmărim a fost realizat cu substanțe chimice, nu cu cod, și leagă experiența de lumea fizică: de alegerea stocului, expunerea, procesele de laborator și epocile trecute:

Abordarea Hollywood-ului față de granulație s-a schimbat odată cu evoluția culturii și metodelor de producție. În anii 1960, evoluția stocurilor de cameră și practicilor fotografice a contribuit la identitatea vizuală distinctă a deceniului. Mai târziu, regizorii care lucrau în digital au reintrodus granulația în mod deliberat. La mijlocul anilor 1980, regizorul James Cameron a selectat un stoc Kodak foarte gros pentru filmul Aliens (1986, în partea de jos a imaginii de mai sus), probabil pentru a îmbunătăți atmosfera și pentru a ajuta la ascunderea firelor de la efectele vizuale practice miniaturale. Sursă: https://archive.is/3ZSjN (ultimul meu articol pe această temă)

Textura analogică provine dintr-o perioadă în care producerea de conținut media costa bani reali, accesul era limitat, și exista cel puțin o idee vagă că doar cei mai capabili sau hotărâți puteau reuși, servind ca o scurtătură pentru realism și credibilitate – și, atunci când tehnologiile de captură de înaltă rezoluție au eliminat-o, nostalgie.

Christopher Nolan nu a schimbat. În timp ce cea mai mare parte a industriei a adoptat digitalul pentru viteza și flexibilitatea sa, regizorul aclamat s-a încăpățânat, insistând asupra peliculei celuloidice atât ca disciplină, cât și ca estetică.

Denis Villeneuve, care lucrează în cadrul unor fluxuri de lucru digitale, își parcurge totuși imaginile prin procese fotochimice. Pentru filmele Dune, filmate digital, imaginile au fost imprimate pe stoc de film și apoi scanate înapoi în digital, exclusiv pentru atmosferă și efect.

Granulație falsă

Adepții calității filmului și a televiziunii asociază granulația vizibilă cu rezoluția înaltă, unde debitul (cantitatea de date introduse în fiecare cadru) este atât de mare încât chiar și cele mai mici detalii, cum ar fi granulațiile de halid, sunt păstrate.

Cu toate acestea, dacă rețelele de streaming ar face disponibilă cu adevărat acest tip de debit, ar pune o presiune severă asupra capacității rețelei și ar provoca, probabil, bufferizare și întreruperi. Prin urmare, platforme precum Netflix creează versiuni AV1 optimizate ale conținutului lor și utilizează capacitățile codec-ului AV1 pentru a adăuga granulație la film sau episod într-un mod inteligent și potrivit, economisind 30% din lățimea de bandă în acest proces.

AV1 este proiectat pentru a incorpora granulație de film artificială, așa cum se arată în exemplele de mai jos. Sursă: https://waveletbeam.com/index.php/av1-film-grain-synthesis

“Fetishul granulației” este un echivalent relativ rar al tendințelor atavice, cum ar fi renașterea vinilului, și este greu de spus dacă este utilizat de streameri pentru a face videourile foarte optimizate să arate ca “raw video” de înaltă calitate (pentru spectatorii care au asociat în mod inconștient aceste caracteristici); pentru a deflectede scăderea calității perceptive care ar apărea altfel atunci când furnizorii de streaming decupează emisiunile vechi de 4:3 la raportul de aspect widescreen; sau doar pentru a se conforma esteticii “Nolan” retro în general.

Granulație izolată

Problema este că granulația este și zgomot. Sistemele digitale urăsc zgomotul, și codec-urile de streaming, cum ar fi AV1, îl elimină pentru a economisi lățime de bandă, cu excepția cazului în care setările de granulație sunt configurate explicit. De asemenea, îmbunătățitorii AI cum ar fi seria Topaz Gigapixel tratează granulația ca o eroare care trebuie corectată.

În domeniul sintezei de imagini bazate pe difuzie, granulația este extrem de dificil de generat, deoarece reprezintă detalii extreme, și, prin urmare, ar apărea de obicei doar în modele supraîncărcate, deoarece întreaga arhitectură a modelului de difuzie latentă (LDM) este proiectată pentru a deconstrui zgomotul (cum ar fi granulația) în imagini clare, mai degrabă decât să trateze granulațiile ca proprietăți implicite în media.

Prin urmare, poate fi dificil să se creeze o granulație convingătoare utilizând învățarea automată. Și chiar dacă ar fi posibil, renderizarea acesteia direct într-un videou optimizat ar umfla din nou dimensiunea fișierului videoului.

Din cauza acestei considerații logistice, codec-uri video de ultimă generație, cum ar fi Versatile Video Coding (VVC) oferă granulație ca un fel de “serviciu de transportor”.

VVC comprimă videoul curat, fără zgomot, și elimină granulația. În loc de a încerca să păstreze modelele de granulație de înaltă frecvență aleatorii, analizează granulația separat și codifică un set mic de parametri (de exemplu, amplitudine, frecvență și mod de amestecare) care descriu cum să regenereze granulație similară în timpul redării.

Acești parametri sunt stocați într-un flux FGC-SEI (Supliment de informații de caracteristici de granulație de film), care este transmis alături de fluxul principal de biți. După decodare, un modul de sinteză utilizează aceste instrucțiuni pentru a reaplica o granulație sintetică care imită originalul.

Acest lucru păstrează “aspectul” emulsiei de înaltă calitate, cu granulație bogată, în timp ce menține lățimea de bandă reală scăzută, deoarece encoderul nu este forțat să cheltuiască resurse pentru a păstra modelele de zgomot imprevizibile.

În plus, așa cum se întâmplă cu fișierele de subtitrare discrete, acest conținut “de granulație” este specific videoului în cauză; aplicarea haotică a filtrelor de granulație generice în platforme precum Photoshop sau After Effects, sau în fluxuri de prelucrare automate, nu ar rezulta într-o “granulație potrivită”, ci mai degrabă într-un strat de zgomot neconectat:

Stânga: imaginea originală. Centru: filtrul de granulație Camera Raw aplicat uniform pe toate canalele. Dreapta: același filtru de granulație aplicat individual pe fiecare canal, în secvență. Imaginea sursă (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (prin articolul meu anterior)

Filtrul de “granulație” din Photoshop adaugă zgomot aleator uniform; dar granulația reală a filmului provine din cristale de halid de dimensiuni variabile. Aplicarea filtrului pe fiecare canal separat (a se vedea imaginea de mai sus) creează doar mai mult haos, nu realism. Granulația reală a filmului reflectă modul în care lumina lovește straturi de emulsie în momentul expunerii. Simularea acestui proces ar necesita estimarea modului în care diferitele părți ale unei imagini ar fi activat fiecare strat de halid, și nu doar împărțirea efectului pe straturile RGB.

FGA-NN

În această căutare suspectă vine un nou articol de cercetare din Franța – o ieșire scurtă, dar interesantă, care oferă o metodă cantitativ și calitativ superioară de analiză și recreare a granulației:

Comparație între granulația reală și rezultatele diferitelor metode de analiză și sinteză. Sursă: https://arxiv.org/pdf/2506.14350

Noul sistem, intitulat FGA-NN, nu se abate de la utilizarea convențională a sintezei de granulație bazate pe Gaussian prin metoda standard VVC-compatibilă, Versatile Film Grain Synthesis (VFGS). Ceea ce schimbă sistemul este analiza, utilizând o rețea neurală pentru a estima parametrii de sinteză cu mai mare acuratețe

Prin urmare, granulația finală este încă sintetizată utilizând același model Gaussian convențional – dar rețeaua alimentează metadata mai bună într-un generator bazat pe reguli standard, obținând un model de ultimă generație.

Articolul nou se intitulează FGA-NN: Film Grain Analysis Neural Network și provine de la trei cercetători de la InterDigital (IDCC ) R&D, Cesson-Sévigné. Deși articolul nu este lung, să aruncăm o privire asupra unor aspecte cheie ale progreselor oferite de noua metodă.

Metodă

Pentru a rezuma: sistemul FGA-NN ia un videou cu granulație ca intrare și extrage o descriere compactă a granulației, generând parametri în formatul standardizat FGC-SEI utilizat de diverse codec-uri moderne. Acești parametri sunt transmiși alături de videou, permițând decodificatorului să reconstruiască granulația utilizând VFGS, mai degrabă decât să codifice granulația direct.

Schema pentru analizarea și reaplicarea granulației de film în distribuția de videou, utilizând FGA-NN pentru extragerea parametrilor și VFGS pentru sinteză.

Pentru a antrena rețeaua, autorii au necesitat perechi de videouri cu granulație și metadata FGC-SEI corespunzătoare. Deoarece cea mai mare parte a înregistrărilor cu granulație lipsește de acest tip de metadata, cercetătorii și-au creat propriul set de date prin generarea de parametri FGC-SEI, aplicarea de granulație sintetică la videourile curate și utilizarea acestora ca exemple de antrenament.

Datele de antrenament pentru FGA-NN au fost create prin aplicarea de granulație sintetică la videourile curate din seturile de date BVI-DVC și DIV2K. Parametrii FGC-SEI au fost generați aleator și utilizați împreună cu instrumentul de sinteză VFGS, permițând fiecărui videou cu granulație să fie asociat cu metadata cunoscută.

Modelul bazat pe frecvență, susținut de standardele video actuale, a fost utilizat, cu game de parametri limitate pentru a menține plauzibilitatea vizuală pe canalele luma și croma.

Datele de antrenament pentru noua colecție au fost create prin aplicarea de granulație sintetică la videourile curate din seturile de date BVI-DVC și DIV2K. Parametrii FGC-SEI au fost generați aleator și utilizați împreună cu instrumentul de sinteză VFGS, permițând fiecărui videou cu granulație să fie asociat cu metadata cunoscută.

Prezentare generală a gamei de parametri FGC-SEI aleatorii utilizate pentru generarea de granulație sintetică pentru antrenament, aplicate la videourile curate din seturile de date BVI-DVC și DIV2K. Parametrii au fost limitați pentru a asigura rezultate vizuale plauzibile pe canalele luma și croma.

Modelul de filtrare pe frecvență, singura metodă de sinteză susținută în prezent în implementările codec-urilor, cum ar fi VVC Test Model (VTM), a fost utilizat pe tot parcursul. Gamele de parametri au fost limitate pentru a păstra plauzibilitatea vizuală pe canalele luma și croma.

Efectul de rețea

FGA-NN prezintă două modele coordonate, pentru luma și croma, proiectate pentru a prezice parametrii specifici necesari pentru a recrea o granulație de film realistă.

Pentru fiecare imagine de intrare, sistemul estimează un set de intervale de intensitate, factorii de scalare legați de fiecare interval, frecvențele de tăiere orizontale și verticale și o ajustare generală de scară numită factor Log2Scale. Pentru a face acest lucru, modelul utilizează un extractor de caracteristici comun care prelucrează intrarea cu granulație și se conectează la patru ramuri de ieșire separate, fiecare responsabilă de o sarcină de predicție specifică:

Arhitectura versiunii luma a FGA-NN. Un spate comun extrage caracteristici din cadrele cu granulație, urmat de patru ramuri de ieșire specializate pentru sarcini de predicție specifice: limite de interval, factori de scalare, frecvențe de tăiere și ajustare globală Log2Scale. Rețeaua croma utilizează aceeași structură cu dimensiuni de intrare și ieșire ajustate.

Limitele de interval sunt prezise utilizând regresia liniară, în timp ce factorii de scalare, frecvențele de tăiere și ajustarea globală Log2Scale sunt tratate ca probleme de clasificare.

Arhitectura este ajustată pentru a reflecta complexitatea fiecărei sarcini, cu straturi interne mai mari utilizate pentru predicții mai fine; în special, modelul croma oglindește structura luma, dar se adaptează la caracteristicile diferite ale datelor de culoare.

Antrenament și teste

FGA-NN a fost antrenat utilizând patru funcții obiective, fiecare aliniat cu una dintre sarcinile sale de predicție. Pentru ieșirile de clasificare, a fost utilizată o pierdere de entropie cruzată categorială pentru a reduce decalajul dintre etichetele prezise și valorile reale.

Limitele de interval au fost normalizate la o gamă de la 0 la 1 și optimizate utilizând o pierdere combinată: o pierdere L1 exponențială (expL1) care penaliza erorile mai mari și o pierdere de monotonicitate care descuraja tendințele descendente. Toate cele patru pierderi au fost combinate, cu greutăți mari atribuite factorilor de scalare și frecvențelor de tăiere, în timp ce limitele de interval și ajustarea Log2Scale au fost greutate cu 1 și 0,1.

Antrenamentul a fost realizat sub optimizerul Adam, la o rată de învățare de 5e-4, pe parcursul a 10.000 de iterații, cu o dimensiune a lotului de 64.

Singurul instrument comparabil potrivit pentru teste a fost FGA-CONVENT, care produce valori în formatul FGC-SEI și este utilizat pentru prelucrarea granulației. Ambele sisteme au fost testate pe secvențe UHD din setul de evaluare subiectivă JVET, utilizând înregistrări care conțin granulație de film reală.

Linii verticale întrerupte indică limitele de interval de intensitate, în timp ce câștigul Log2Scale este notat în eticheta axei.

În imaginea de mai sus, vedem cadre decupate identice generate de VFGS utilizând parametrii de la fiecare metodă, comparate cu originalul. Estimările lor luma corespunzătoare sunt reprezentate grafic împotriva valorilor reale stabilite manual utilizând VFGS, care aici reprezintă intensitatea pixelilor pe axa X (0–255), factorii de scalare pe axa Y albastră (0–255) și frecvențele de tăiere pe axa Y verde (2–14).

Autorii afirmă:

‘Se poate observa că FGA-NN capturează cu acuratețe tendința generală a modelului de granulație de film și a amplitudinii, rezultând imagini sintetizate cu granulație de film perceptiv similară cu cea a imaginilor reale.

‘Pe de altă parte, FGA-CONVENT prezice un factor de scalare mai mic, compensat de un factor Log2Scale corespunzător mai mic ca urmare a proiectării sale, și are tendința de a genera un model de granulație de film mai grosier decât cel de referință, rezultând un aspect distinct, dar consistent din punct de vedere vizual.’

Ei notează că comparația directă cu parametrii de granulație reali este nerelevantă, deoarece scalarea și Log2Scale pot compensa una pe alta, și erorile minore au adesea un impact vizual mic.

Test de credință

Fidelitatea granulației de film a fost testată pe patru fluxuri de lucru: FGA-NN cu VFGS; FGA-CONVENT plus VFGS; Style-FG; și 3R-INN. Testele au utilizat atât seturile de date FGC-SEI, cât și FilmGrainStyle740k, comparând ieșirile cu valorile reale utilizând Metrii de similaritate perceptivă învățați (LPIPS); JSD-NSS; și divergență Kullback–Leibler (KL).

Rezultatele testelor pe setul de date FilmGrainStyle740k. Style-FG și 3R-INN au obținut cele mai bune rezultate, deoarece aceste metode au fost antrenate pe acest set, iar FGA-NN a urmat îndeaproape. FGA-CONVENT a subperformant, reflectând dependența sa de analiza multi-cadru și regiunile omogene – condiții care nu au fost îndeplinite de intrările mici, bogate în textură, utilizate în acest caz.

Dintre aceste rezultate, autorii afirmă:

‘Pe setul de test FilmGrainStyle740k, Style-FG și 3R-INN au obținut cele mai bune rezultate, deoarece aceste metode au fost antrenate pe acest set, iar FGA-NN a urmat îndeaproape. Performanța FGA-CONVENT combinată cu VFGS a fost suboptimală pe ambele seturi de test.

‘Acest lucru se datorează faptului că analiza se bazează pe regiuni omogene și exploatează informații din multiple cadre într-un caz real de analiză a granulației de film, în timp ce în prezent analiza este furnizată cu o singură imagine de joasă rezoluție (256×256 până la maximum 768×512), care conține adesea o textură semnificativă.

‘Acest lucru complică și mai mult provocarea pentru metoda convențională de analiză, făcând imposibilă aplicarea FGA-CONVENT pe astfel de imagini mici.’

În final, autorii notează că, deși metodele bazate pe învățare, cum ar fi 3R-INN și Style-FG, produc rezultate vizuale puternice pe seturi de date curate, costul lor computațional ridicat le face nepotrivite pentru implementarea pe dispozitive finale.

Comparație între cadre cu bitrate scăzut îmbunătățite utilizând fluxuri de lucru de analiză și sinteză diferite (coloanele a treia până la a doua de la sfârșit).

Prin comparație, abordarea propusă în noul articol combină modulul de analiză ușor FGA-NN cu metoda de sinteză eficientă din punct de vedere al hardware-ului VFGS, pe care autorii o descriu ca o soluție mai viabilă și mai implementabilă pentru reintroducerea granulației de film în videourile comprimate.

Ei afirmă în continuare că beneficiile FGA-NN sunt considerabile la scară:

‘[Codificarea] videourilor UHD cu granulație de film la debite medii sau scăzute, utilizând fluxul nostru de lucru de analiză și sinteză a granulației de film, permite economii de bitrate de până la 90% comparativ cu codificarea la debite înalte.’

Concluzie

Obsesia pentru granulația de film este una dintre cele mai ciudate și mai curioase concepții ale epocii post-analogice, și este interesant de remarcat că ceea ce a fost odată considerat o limitare a mediului a devenit acum un simbol al veridicității și autenticității în sine, chiar și (poate inconștient) pentru o nouă generație de spectatori născuți după declinul efectiv al emulsiei.

Ar trebui să se remarce că niciuna dintre metodele actuale de ultimă generație de recreare a granulației, inclusiv această inovație recentă, nu poate captura exact efectul real al modului în care lumina afectează straturile de halid într-un proces fotochimic real, pe o gamă de condiții.

Publicat pentru prima dată miercuri, 18 iunie 2025