Použití umělé inteligence k simulaci filmového zrna

Znovu udělejme Ameriku zrnitou: nová nástroj umělé inteligence může odstranit filmové zrno ze starých záběrů, komprimovat video na zlomek jeho původní velikosti a poté zrno opět přidat, aby diváci nic nepostřehli. Funkční je s existujícími video standardy a snižuje šířku pásma až o 90 procent, zatímco zachovává vzhled z klasické éry.

Pro mnohé z nás, kteří sledují filmy nebo staré televizní pořady, je “šum” filmového zrna uklidňující; i když si to možná neuvědomujeme, zrno nám říká, že to, co sledujeme, bylo vytvořeno chemicky, ne kódem, a spojuje zkušenost se skutečným světem: s výběrem materiálu, expozicí, laboratorními procesy a minulými éрами:

Hollywoodský přístup ke zrnům se měnil spolu s kulturou a metodami výroby. Během 60. let přispěly měnící se typy filmu a fotografické postupy k vytvoření vizuální identity dekády. Později režiséři pracující v digitálním formátu záměrně opět zavedli zrno. V polovině 80. let si režisér James Cameron vybral velmi hrubý typ filmu Kodak pro film Vetřelci (1986, spodní pravá část obrázku výše), pravděpodobně aby zvýšil atmosféru a současně zakryl dráty z praktických miniatur VFX. Zdroj: https://archive.is/3ZSjN (mé poslední články na toto téma)

Textura z analogového média pochází z doby, kdy výroba médií stála skutečné peníze, přístup byl omezený a existoval alespoň volný pocit, že pouze ti nejzdatnější nebo nejodhodlanější mohli uspět, což sloužilo jako zkratka pro realističnost a důvěryhodnost – a když technologie vysoké rozlišení odstranily zrno, nostalgie.

Christopher Nolan nepřešel na digitální formát. Zatímco většina průmyslu přijala digitální formát pro jeho rychlost a flexibilitu, slavný režisér setrval u filmu jako disciplína a estetika.

Denis Villeneuve, který pracuje výhradně v digitálních procesech, stále prochází svá data fotochemickými procesy. Pro filmy Duna, natočené digitálně, byla data vytištěna na filmový materiál a poté naskenována zpět do digitální podoby, čistě pro atmosféru a efekt.

Falešné zrno

Majitelé filmů a televizních pořadů spojují viditelné zrno s vysokým rozlišením, kde bitrate (množství dat vložených do každého snímku) je tak vysoké, že jsou zachovány i ty nejmenší detaily, jako jsou krystaly halogenidů.

Však kdyby streamovací sítě skutečně poskytly takový bitrate, bylo by to velmi namáhavé pro kapacitu sítě a pravděpodobně by způsobilo zahlcení a záseky. Proto platformy jako Netflix vytvořily optimalizované verze AV1 svého obsahu a používají schopnosti kodeku AV1 pro přidání zrna k filmu nebo epizodě inteligentním a vhodným způsobem, šetrným způsobem, který ušetří 30% šířky pásma.

AV1 je navržen pro začlenění umělého filmového zrna, jako je vidět v těchto příkladech. Zdroj: https://waveletbeam.com/index.php/av1-film-grain-synthesis

“Fetиш zrna” je relativně vzácný digitální ekvivalent atavistických trendů, jako je obnovení popularity vinylových desek, a je těžké říci, zda je používán streamovacími službami, aby vypadaly vysoce optimalizovaná videa jako drahá “syrová videa” (pro diváky, kteří si nevědomky spojují tyto charakteristiky), nebo aby odvrátili pokles vnímané kvality starých pořadů ve 4:3, když streamovací služby odstřihnou okraje pro širokoúhlý formát; nebo zda je to jen snaha o nostalgickou “Nolanovu estetiku” obecně.

Zrno v izolaci

Problém je, že zrno je také šum. Digitální systémy nesnesou šum a streamovací kodeky, jako je AV1, jej odstraňují, aby ušetřily šířku pásma, pokud nejsou explicitně nastaveny. Stejně tak nástroje pro zvýšení rozlišení jako Topaz Gigapixel série považují zrno za chybu, kterou je třeba opravit.

V oblasti syntézy obrazu založené na difuzi je zrno extrémně náročné na generování, protože představuje extrémní detail, a proto by se obvykle objevilo pouze v masivně přeučených modelech, protože celá architektura latentního difuzního modelu (LDM) je navržena pro dekonstrukci šumu (jako je zrno) na jasnou obrazovou informaci, spíše než zacházet se zrnky jako s implicitními vlastnostmi médií.

Je proto obtížné vytvořit přesvědčivé zrno pomocí strojového učení. A i kdyby to bylo možné, přímé vložení zrna do optimalizovaného videa by jen zvýšilo velikost souboru.

Vzhledem k této logistické úvaze nabízí nejmodernější video kodeky, jako je Versatile Video Coding (VVC), zrno jako “vedlejší” službu.

VVC komprimuje čisté, odšuměné video a odstraní zrno. Místo plýtvání daty, aby se zachovaly náhodné high-frequency vzorce zrna, analyzuje zrno zvlášť a kóduje malou sadu parametrů (například amplitudu, frekvenci a režim míchání), které popisují, jak regenerovat podobné zrno během přehrávání.

Tato parametry jsou uložena v FGC-SEI (Film Grain Characteristics Supplemental Enhancement Information) proudu, který jede vedle hlavního bitového proudu. Po dekódování syntetizuje modul pomocí těchto instrukcí umělé zrno, které napodobuje původní.

To zachovává “vzhled” high-bitrate, zrnitého emulze, zatímco udržuje nízkou skutečnou bitrate, protože kodek není nucen vynakládat zdroje na zachování nepředvídatelného šumu.

<p Navíc, stejně jako u samostatných souborů titulků, je toto falešné "zrno" obsah specifický pro video; náhodné použití obecných filtrů zrna v platformách, jako je Photoshop nebo After Effects, nebo v automatizovaných procesech, by nevedlo k "přizpůsobenému" zrnu, ale spíše k nesouvisejícímu překryvu šumu:

Vlevo: původní obrázek. Střed: filtr zrna Camera Raw aplikovaný rovnoměrně napříč všemi kanály. Pravá: stejný filtr zrna aplikovaný jednotlivě na každý kanál v pořadí. Zdroj obrázku (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (z mého předchozího článku)

Filtr “zrno” v Photoshopu přidává uniformní náhodný šum; ale skutečné filmové zrno pochází z krystalů halogenidů různé velikosti. Aplikace filtru na každý kanál zvlášť (viz výše) vytváří pouze více chaosu, ne realismu. Skutečné filmové zrno odráží, jak světlo zasahuje vrstvy emulzí v okamžiku expozice. Simulace by vyžadovala odhad, jak by se různé oblasti obrazu aktivovaly každou vrstvu halogenidů, ne jen rozdělení efektu napříč kanály RGB.

FGA-NN

Do tohoto pochybného úsilí vstupuje nová výzkumná práce z Francie – krátká, ale zajímavá práce, která nabízí kvantitativně a kvalitativně nadřazenou metodu analýzy a rekreace zrna:

Srovnání mezi skutečným zrnem a výsledky různých analytických a syntetických metod. Zdroj: https://arxiv.org/pdf/2506.14350

Nový systém, nazvaný FGA-NN, se neodchyluje od konvenčního použití konvenčních Gaussovských syntetizérů zrna prostřednictvím standardní metody VVC, Versatile Film Grain Synthesis (VFGS). Co systém mění, je analýza, která používá neuronovou síť pro lepší odhad syntetických parametrů

To znamená, že konečné zrno je stále syntetizováno pomocí stejného konvenčního Gaussovského modelu – ale síť poskytuje lepší metadata do standardního, pravidlového generátoru, získávajícího tak špičkový model.

Článek nová práce se jmenuje FGA-NN: Film Grain Analysis Neural Network a pochází od tří výzkumníků z InterDigital (IDCC ) R&D, Cesson-Sévigné. Ačkoli je článek krátký, pojďme se podívat na některé z klíčových aspektů pokroku, který nová metoda nabízí.

Metoda

Abychom to shrnuli: systém FGA-NN bere zrnitý video jako vstup a extrahuje kompaktní popis zrna, výstupující parametry ve standardizovaném formátu FGC-SEI, používaném různými moderními kodeky. Tyto parametry jsou přenášeny spolu s videem, umožňující dekodéru rekonstruovat zrno pomocí VFGS, místo aby se zrno přímo kódovalo.

Schéma pro analýzu a opětovné použití filmového zrna ve video distribuci, pomocí FGA-NN pro extrakci parametrů a VFGS pro syntézu.

Pro výcvik sítě autoři potřebovali páry zrnitých videí a odpovídající metadata FGC-SEI. Jelikož většina zrnitých záběrů postrádá tato metadata, výzkumníci vytvořili vlastní dataset generováním parametrů FGC-SEI, aplikací syntetického zrna na čisté video a použitím těchto jako trénovacích příkladů.

Trénovací data pro FGA-NN byla vytvořena aplikací syntetického zrna na čisté záběry z BVI-DVC a DIV2K datasetů. Náhodné parametry FGC-SEI byly vygenerovány a použity s nástrojem VFGS, umožňujícím každému zrnitému videu přidružit známá metadata.

Frekvenční model podporovaný současnými video standardy byl použit, s rozsahy parametrů omezenými pro zachování vizuální věrohodnosti napříč luminančními a chrominančními kanály.

Trénovací data pro novou kolekci byla vytvořena aplikací syntetického zrna na čisté záběry z BVI-DVC a DIV2K datasetů. Náhodné parametry FGC-SEI byly vygenerovány a použity s nástrojem Versatile Film Grain Synthesis (VFGS), umožňujícím každému zrnitému videu přidružit známá metadata.

Přehled náhodných rozsahů parametrů FGC-SEI použitých pro generování syntetického zrna pro trénink, aplikovaného na čisté záběry z BVI-DVC a DIV2K datasetů. Parametry byly omezeny pro zachování vizuálně věrohodných výsledků napříč luminančními a chrominančními kanály.

Model frekvenční filtrace, jediná syntetická metoda aktuálně podporovaná v implementacích kodeků, jako je VVC Test Model (VTM), byl použit po celou dobu. Rozsahy parametrů byly omezeny pro zachování vizuální věrohodnosti napříč luminančními a chrominančními kanály.

Síťový efekt

FGA-NN obsahuje dvě koordinované modely, pro luminanční a chrominanční kanály, každý navržen pro predikci specifických parametrů potřebných pro rekreaci realistického filmového zrna.

Pro každý vstupní obrázek systém odhaduje sadu intervalů intenzity, faktorů měřítka spojených s každým intervalem, horizontální a vertikální frekvenční meze a globální úpravu zvanou Log2Scale faktor. K tomu používá sdílený extraktor rysů, který zpracovává zrnitý vstup a krmit do čtyř samostatných výstupních větví, z nichž každá je odpovědná za jinou úlohu predikce:

Architektura luminanční verze FGA-NN. Sdílený backbone extrahuje rysy ze zrnitých vstupních snímků, následovaný čtyřmi výstupními větvemi přizpůsobenými pro konkrétní úkoly predikce: hranice intervalů, faktory měřítka, frekvenční meze a globální Log2Scale. Chrominanční síť používá stejnou strukturu s upravenými vstupními a výstupními rozměry.

Hranice intervalů jsou predikovány pomocí regrese, zatímco faktory měřítka, frekvenční meze a globální nastavení měřítka jsou považovány za klasifikační úkoly.

Architektura je upravena pro odrážení složitosti každé úlohy, s většími vnitřními vrstvami pro jemnější predikce; konkrétně, chrominanční model odráží strukturu luminančního modelu, ale přizpůsobuje se odlišným charakteristikám barevných dat.

Trénink a testy

FGA-NN byl trénován pomocí čtyř cílových funkcí, z nichž každá odpovídá jedné z jeho úloh predikce. Pro klasifikační výstupy byla použita kategorická entropie pro snížení rozdílu mezi predikovanými štítky a skutečnými hodnotami.

Hranice intervalů byly normalizovány na rozsah 0-1 a optimalizovány pomocí kombinované ztráty: exponenciálně škálované L1 ztráty (expL1), která penalizovala větší chyby více, a monotonicity penalty, která odrazovala sestupné trendy. Všechny čtyři ztráty byly kombinovány, s vysokými váhami přiřazeny frekvenčním mezím a faktorům měřítka, zatímco hranice intervalů a Log2Scale byly váhy 1 a 0,1.

Trénink probíhal pod Adam optimalizátorem, při learning rate 5e-4, po dobu 10 000 iterací, s batch size 64.

Jediným srovnatelným nástrojem vhodným pro srovnávací testy byl FGA-CONVENT, který také produkuje hodnoty ve formátu FGC-SEI a je používán pro zpracování zrna. Oba systémy byly testovány na UHD sekvencích z JVET subjektivního hodnocení, pomocí záběrů obsahujících skutečné filmové zrno.

Svislé čárkované linie označují hranice intervalů intenzity, zatímco Log2Scale zisk je uveden v popisu osy.

V obrázku výše vidíme identické ořezané snímky vygenerované VFGS pomocí parametrů z každé metody, srovnávané se skutečným zrnem. Jejich odpovídající odhady luminanční intenzity jsou také zobrazeny proti skutečným hodnotám nastaveným ručně pomocí VFGS, které zde vykreslují pixelovou intenzitu na ose X (0–255), faktory měřítka na modré ose Y (0–255) a frekvenční meze na zelené ose Y (2–14).

Autoři uvádějí:

‘Je zřejmé, že FGA-NN přesně zachycuje celkový trend skutečného filmového zrnitého vzoru a amplitudy, což vede k syntetizovaným obrazům s podobným filmovým zrnem jako skutečné.’

‘Na druhé straně FGA-CONVENT predikuje nižší faktor měřítka, kompenzovaný odpovídajícím nižším Log2Scale faktorem jako výsledek jeho návrhu, a tendenci generovat hrubší filmové zrno než referenční, což vede k odlišnému, ale vizuálně konzistentnímu vzhledu.’

Poznamenávají, že přímé srovnání se skutečnými parametry zrna je nespolehlivé, protože měřítko a Log2Scale se mohou navzájem kompenzovat, a malé chyby často mají malý vizuální dopad.

Test víry

Věrnost filmového zrna byla testována napříč čtyřmi pracovními postupy: FGA-NN s VFGS; FGA-CONVENT plus VFGS; Style-FG; a 3R-INN. Testy používaly jak dataset FGC-SEI, tak FilmGrainStyle740k, srovnávající výstup se skutečnými hodnotami pomocí Learned Perceptual Similarity Metrics (LPIPS); JSD-NSS; a Kullback–Leibler (KL) divergence.

Výsledky testů na datasetu FilmGrainStyle740k. Style-FG a 3R-INN dosahují nejlepších výsledků, protože byly trénovány na tomto datasetu, s FGA-NN následujícím těsně za nimi. FGA-CONVENT podává horší výkon, odrážející jeho závislost na multifrámové analýze a homogenních oblastech – podmínky, které nejsou splněny v tomto případě, kdy se používají malé, texturové vstupy.

Z těchto výsledků autoři uvádějí:

‘Na testovacím datasetu FilmGrainStyle740k Style-FG a 3R-INN dosahují nejlepších výsledků, protože byly trénovány na tomto datasetu, s FGA-NN následujícím těsně za nimi. Výkon FGA-CONVENT kombinovaného s VFGS je suboptimální na obou testovacích datasetech. ‘

‘To je způsobeno tím, že analýza závisí na homogenních oblastech a využívá informace z více snímků ve skutečném filmovém zrnitém případě, zatímco v této evaluaci je analýza provedena na jednom malém, texturovém snímku (256×256 až 768×512), což ztěžuje aplikaci FGA-CONVENT na takové malé obrázky.’

‘To dále komplikuje výzvu pro konvenční analytickou metodu, dělající ji nepoužitelnou pro takové malé obrázky.’

Nakonec autoři poznamenávají, že zatímco učené metody, jako je 3R-INN a Style-FG, produkují silné vizuální výsledky na kurátorovaných datasetech, jejich vysoká výpočetní náročnost je činí nevhodnými pro nasazení na koncových zařízeních.

Srovnání snímků s nízkou bitrate, vylepšených pomocí různých analytických a syntetických pracovních postupů (třetí až poslední sloupce).

Naopak, navrhovaný přístup v novém článku kombinuje lehký modul analýzy FGA-NN s hardwarově efektivním syntetizačním nástrojem VFGS, který autoři popisují jako více životaschopné a nasaditelné řešení pro opětovné zavedení filmového zrna do komprimovaného videa.

Autoři dále uvádějí, že přínosy FGA-NN jsou potenciálně značné, v měřítku:

‘[Kódování] UHD videí s filmovým zrnem při středních až nízkých bitrate pomocí našeho pracovního postupu analýzy a syntézy filmového zrna umožňuje úspory bitrate až 90% ve srovnání s kódováním high-bitrate.’

Závěr

Fixace na filmové zrno je jednou z nejpodivnějších a nejzajímavějších konceptů post-analogového věku, a je zajímavé poznamenat, že to, co bylo dříve považováno za omezení média, se nyní stalo symbolem autenticity a realismu samo o sobě, i pro novou generaci diváků narozenou po poklesu emulze.

Mělo by být poznamenáno, že žádná z metod rekreace zrna, včetně této poslední inovace, nedokáže přesně zachytit skutečný efekt, jakým světlo ovlivňuje vrstvy halogenidů v pravém fotochemickém procesu, v různých podmínkách.

Poprvé publikováno ve středu, 18. června 2025