Używanie sztucznej inteligencji do symulacji ziarnistości filmu

Zróbmy Amerykę ziarnistą ponownie: nowy narzędzie AI może usunąć ziarnistość filmu ze starych nagrań, skompresować wideo do ułamka jego oryginalnej wielkości, a następnie przywrócić ziarnistość, tak aby widzowie nie zauważyli różnicy. Działa z istniejącymi standardami wideo i redukuje zużycie pasma o 90 procent, zachowując przy tym wygląd retro.

Dla wielu z nas, którzy oglądają filmy lub stare programy telewizyjne, “szum” ziarnistości filmu jest pocieszający; nawet jeśli nie zdajemy sobie z tego sprawy, ziarnistość mówi nam, że to, co oglądamy, zostało wykonane z użyciem chemikaliów, a nie kodu, i łączy nas z doświadczeniem świata fizycznego: z wyborem materiału, ekspozycją, procesami laboratoryjnymi i minionymi epokami:

Podejście Hollywood do ziarnistości filmu zmieniało się wraz ze zmianami w kulturze i metodach produkcji. W latach 60. ewoluujące materiały i praktyki fotograficzne przyczyniły się do wyjątkowej tożsamości wizualnej dekady. Później reżyserzy pracujący w cyfrowym środowisku celowo wprowadzali ziarnistość. W połowie lat 80. reżyser James Cameron wybrał szczególnie grubą taśmę Kodaka do filmu Obcy (1986, dolny prawy róg powyższego obrazu), prawdopodobnie w celu podkreślenia atmosfery, a także ukrycia drutów z miniatur VFX. Źródło: https://archive.is/3ZSjN (mój najnowszy artykuł na ten temat)

Texutura analogowa pochodzi z czasów, kiedy tworzenie mediów wymagało prawdziwych pieniędzy, dostęp był ograniczony, a istniał przynajmniej luźny związek, że tylko najbardziej zdolni lub zdeterminowani mogli się przebić, działając jako skrót do realizmu i wiarygodności – i kiedy technologie przechwytu wysokiej rozdzielczości wyeliminowały ją, nostalgia.

Christopher Nolan nigdy nie zmienił swojego stanowiska. Podczas gdy większość branży przyjęła cyfrowe rozwiązania ze względu na ich szybkość i elastyczność, znany reżyser upierał się przy użyciu celuloidu jako dyscypliny i estetyki.

Denis Villeneuve, pracujący w cyfrowych pipeline’ach, nadal przerabia swoje nagrania za pomocą procesów fotochemicznych. Dla filmu Dune, nakręconego cyfrowo, nagranie zostało wydrukowane na taśmie filmowej, a następnie zeskanowane z powrotem do cyfrowego, wyłącznie dla atmosfery i efektu.

Fake Grain

Miłośnicy filmu i jakości telewizyjnej kojarzą widoczną ziarnistość z wysoką rozdzielczością, gdzie przepływność (ilość danych wprowadzanych do każdej klatki) jest tak wysoka, że nawet najmniejsze szczegóły, takie jak ziarnistość halogenków, są zachowane.

Jednak jeśli sieci streamingowe naprawdę udostępniłyby tego rodzaju przepływność, spowodowałoby to poważne obciążenie pojemności sieci i prawdopodobnie powodowałoby buforowanie i szarpanie. Dlatego platformy takie jak Netflix tworzą zoptymalizowane wersje AV1 swojej zawartości i wykorzystują możliwości kodeka AV1 do dodania ziarnistości do filmu lub odcinka w inteligentny i odpowiedni sposób, zachowując 30% przepływności w procesie.

AV1 jest zaprojektowany do wbudowania sztucznej ziarnistości filmu, jak na tych przykładach. Źródło: https://waveletbeam.com/index.php/av1-film-grain-synthesis

The ‘grain fetish’ is a relatively rare digital equivalent to atavistic trends such as the revival of vinyl, and it’s hard to say whether it is used by streamers to make highly optimized video look like really expensive ‘raw video’ (for those viewers who have unconsciously associated those characteristics), making the bitrate seem higher than it is; or to deflect the perceptual quality drop that old 4:3 shows would otherwise take when streaming providers crop them to widescreen aspect ratios; or just to pander to the retro ‘Nolan aesthetic’ in general.

Grain Siloed

The problem is that grain is also noise. Digital systems hate noise, and streaming codecs such as AV1 scrub it away to save bandwidth, unless grain settings are explicitly configured. Likewise AI upscalers such as the Topaz Gigapixel series treat grain as a flaw to be corrected.

In the field of diffusion-based image synthesis, grain is extremely challenging to generate, since it represents extreme detail, and thus would usually only appear in massively overfitted models, because the entire latent diffusion model (LDM) architecture is designed to deconstruct noise (such as grain) into clear imagery, rather than treat grain flecks as implicit properties in media.

Therefore it can be challenging to create convincing grain using machine learning. And even if one could do it, rendering it straight back into an optimized video would just bloat the video’s file size right back up.

Because of this latter logistical consideration, state-of-the-art video codecs such as Versatile Video Coding (VVC) offer grain as a kind of ‘sidecar’ service.

VVC compresses the clean, denoised video and discards the grain. Instead of wasting data trying to preserve random high-frequency grain patterns, it analyzes the grain separately and encodes a small set of parameters (e.g. amplitude, frequency, and blending mode) that describe how to regenerate similar grain during playback.

These parameters are stored in an FGC-SEI (Film Grain Characteristics Supplemental Enhancement Information) stream, which rides alongside the main bit-stream. After decoding, a synthesis module uses these instructions to reapply synthetic grain that mimics the original.

This preserves the ‘look’ of high-bitrate, grain-rich emulsion, while keeping the actual bitrate low, since the encoder isn’t forced to spend resources preserving unpredictable noise.

Additionally, as with discrete subtitles files, this faux ‘grain’ content is specific to the video in question; haphazardly applying generic grain filters in platforms such as Photoshop or After Effects, or in automated processing pipelines, would not result in ‘fitted’ grain, but instead an unrelated overlay of noise:

Left: original image. Center: Photoshop Camera Raw Grain applied uniformly across all channels. Right: the same Grain filter applied individually to each channel in sequence. Source image (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (via my own previous article)

Filtr “Grain” w Photoshopie dodaje jednorodny losowy szum; ale prawdziwa ziarnistość filmu pochodzi z kryształów halogenków o różnych rozmiarach. Zastosowanie filtra do każdego kanału oddzielnie (patrz powyższy obraz) tworzy tylko więcej chaosu, a nie realizmu. Prawdziwa ziarnistość filmu odzwierciedla, w jaki sposób światło uderza w warstwy emulsji w momencie ekspozycji. Symulowanie tego wymagałoby oszacowania, w jaki sposób różne obszary obrazu aktywowałyby każdą warstwę halogenków, a nie tylko dzielenie efektu na kanały RGB.

FGA-NN

W tym podejściu pojawia się nowy artykuł badawczy z Francji – krótki, ale interesujący, który oferuje ilościowo i jakościowo lepszą metodę analizy i odtwarzania ziarnistości:

Porównanie między ziarnistością oryginalną a wynikami różnych metod analizy i syntezy. Źródło: https://arxiv.org/pdf/2506.14350

Nowy system, zatytułowany FGA-NN, nie odbiega od konwencjonalnego użycia konwencjonalnej syntezy ziarnistości opartej na gaussie za pomocą standardowej metody zgodnej z VVC, Versatile Film Grain Synthesis (VFGS). To, co zmienia system, to analiza, która wykorzystuje sieć neuronową do bardziej dokładnego oszacowania parametrów syntezy

W związku z tym końcowa ziarnistość jest nadal syntetyzowana za pomocą tej samej konwencjonalnej modelu gaussowskiego – ale sieć dostarcza lepsze metadane do standardowego generatora opartego na regułach, uzyskując model stanu sztuki.

Artykuł nowy nosi tytuł FGA-NN: Film Grain Analysis Neural Network i pochodzi od trzech badaczy z InterDigital R&D, Cesson-Sévigné. Chociaż artykuł nie jest długi, przyjrzyjmy się niektórym kluczowym aspektom nowych osiągnięć, które oferuje nowa metoda.

Method

Aby przypomnieć: system FGA-NN pobiera ziarnisty film jako dane wejściowe i wyodrębnia kompaktowy opis ziarnistości, wyprowadzając parametry w standardowym formacie FGC-SEI używanym przez różne nowoczesne kodeki. Parametry te są przesyłane wraz z filmem, umożliwiając dekoderowi odtworzenie ziarnistości za pomocą VFGS, zamiast kodować ziarnistość bezpośrednio.

Schemat analizy i ponownego zastosowania ziarnistości filmu w dystrybucji wideo, z użyciem FGA-NN do ekstrakcji parametrów i VFGS do syntezy.

Aby przeszkolić sieć, autorzy potrzebowali par ziarnistych filmów i odpowiadających im metadanych FGC-SEI. Ponieważ większość ziarnistych nagrań nie posiada tego rodzaju metadanych, badacze stworzyli własny zestaw danych, generując parametry FGC-SEI, stosując syntetyczną ziarnistość do czystych filmów i używając ich jako przykładów szkoleniowych.

Dane szkoleniowe dla FGA-NN zostały utworzone przez zastosowanie syntetycznej ziarnistości do czystych nagrań z zestawów BVI-DVC i DIV2K. Wygenerowano losowe parametry FGC-SEI i użyto ich z narzędziem syntezy VFGS, umożliwiając parowanie każdego ziarnistego filmu z znanymi metadanymi.

Częstotliwościowy model obsługiwany przez obecne standardy wideo został użyty, a zakresy parametrów zostały ograniczone w celu utrzymania wiarygodności wizualnej na kanałach luma i chroma.

Dane szkoleniowe dla nowego zestawu zostały utworzone przez zastosowanie syntetycznej ziarnistości do czystych nagrań z zestawów BVI-DVC i DIV2K. Wygenerowano losowe parametry FGC-SEI i użyto ich z narzędziem syntezy VFGS, umożliwiając parowanie każdego ziarnistego filmu z znanymi metadanymi.

Przegląd losowych zakresów parametrów FGC-SEI użytych do generowania syntetycznej ziarnistości do szkolenia, zastosowanych do czystych nagrań z zestawów BVI-DVC i DIV2K. Parametry zostały ograniczone w celu zapewnienia wiarygodnych wyników wizualnych na kanałach luma i chroma.

Model filtrowania częstotliwości, jedyna obecnie obsługiwana metoda syntezy w implementacjach kodeków, takich jak VVC Test Model (VTM), został użyty przez cały czas. Zakresy parametrów zostały ograniczone w celu zachowania wiarygodności wizualnej na kanałach luma i chroma.

Network Effect

FGA-NN składa się z dwóch współpracujących modeli, dla luma i chroma, każdy zaprojektowany do przewidywania konkretnych parametrów niezbędnych do odtworzenia realistycznej ziarnistości filmu.

Dla każdego obrazu wejściowego system szacuje zestaw przedziałów intensywności, współczynników skalowania powiązanych z każdym przedziałem, częstotliwości cięcia w kierunku poziomym i pionowym oraz ogólny współczynnik skali, znany jako Log2Scale. Aby to osiągnąć, model wykorzystuje wspólny ekstraktor cech, który przetwarza ziarnisty obraz wejściowy i dostarcza czterech oddzielnych gałęzi wyjściowych, z których każda jest odpowiedzialna za inną zadanie przewidywania:

Architektura wersji luma FGA-NN. Wspólny backbone ekstraktuje cechy z ziarnistych klatek wejściowych, po których następują cztery gałęzie wyjściowe dostosowane do konkretnych zadań przewidywania: granice przedziałów, współczynniki skalowania, częstotliwości cięcia i globalny Log2Scale. Sieć chroma używa tej samej struktury z dostosowanymi wymiarami wejścia i wyjścia.

Granice przedziałów są przewidywane za pomocą regresji, podczas gdy współczynniki skalowania, częstotliwości cięcia i globalny współczynnik skali są traktowane jako problemy klasyfikacji.

Architektura jest dostosowana do złożoności każdego zadania, z większymi warstwami wewnętrznymi używanymi do bardziej szczegółowych przewidywań; konkretnie, model chroma odbija strukturę luma, ale dostosowuje się do różnych cech danych kolorowych.

Training and Tests

FGA-NN został przeszkolony przy użyciu czterech funkcji celu, z których każda była wyrównana z jednym z jego zadań przewidywania. Dla wyjść klasyfikacji użyto cros-entropii w celu zredukowania różnicy między przewidywanymi etykietami a prawdą.

Granice przedziałów zostały znormalizowane do zakresu 0-1 i zoptymalizowane za pomocą połączonej straty: wykładniczo skalowanej L1 straty (expL1), która karze większe błędy bardziej surowo, oraz kary monotoniczności, która zniechęca do malejących trendów. Wszystkie cztery straty zostały połączone, z wysokimi wagami przypisanymi do współczynników cięcia i skalowania, podczas gdy granice przedziałów i Log2Scale zostały uwzględnione z wagami 1 i 0,1.

Przeszkolenie odbyło się pod optymalizatorem Adam przy współczynniku uczenia 5e-4, przez 10 000 iteracji, z rozmiarem partii 64.

Jedynym porównywalnym narzędziem odpowiednim do porównawczych testów był FGA-CONVENT, który również generuje wartości w formacie FGC-SEI i jest używany do przetwarzania ziarnistości. Obie systemy zostały przetestowane na sekwencjach UHD z JVET subjective evaluation set, używając nagrań zawierających prawdziwą ziarnistość filmu.

Pionowe linie przerywane wskazują granice przedziałów intensywności, podczas gdy współczynnik Log2Scale jest wskazany w etykiecie osi.

W powyższym obrazie widzimy identyczne kadry wycięte wygenerowane przez VFGS przy użyciu parametrów z każdej metody, porównane z oryginałem. Ich szacowane wartości luma są również naniesione na wykres wraz z wartościami odniesienia ustawionymi ręcznie przy użyciu VFGS, który tutaj wykresuje intensywność piksela na osi X (0-255), współczynniki skalowania na niebieskiej osi Y (0-255) oraz częstotliwości cięcia na zielonej osi Y (2-14).

Autorzy stwierdzają:

‘Można zaobserwować, że FGA-NN dokładnie ujmuje ogólny trend wzorca ziarnistości oryginalnej i amplitudy, w wyniku czego syntetyzowane obrazy mają podobną percepcyjnie ziarnistość do oryginalnych.

‘Z drugiej strony, FGA-CONVENT przewiduje niższy współczynnik skalowania, skompensowany przez odpowiednio niższy współczynnik Log2Scale w wyniku swojego projektu, i tendencję do generowania bardziej szorstkiej ziarnistości niż odniesienie, w wyniku czym powstaje odrębny, ale wizualnie spójny wygląd.’

Stwierdzają, że bezpośrednie porównanie z parametrami ziarnistości oryginalnej jest niewiarygodne, ponieważ skalowanie i Log2Scale mogą się wzajemnie kompensować, a mniejsze błędy często mają niewielki wpływ wizualny.

Test of Faith

Wierność ziarnistości filmu została zmierzone w czterech przepływach pracy: FGA-NN z VFGS; FGA-CONVENT plus VFGS; Style-FG; i 3R-INN. Testy wykorzystywały zarówno zestaw FGC-SEI, jak i FilmGrainStyle740k, porównując dane wyjściowe z oryginałem przy użyciu Learned Perceptual Similarity Metrics (LPIPS); JSD-NSS; i Kullback–Leibler (KL) divergence.

Wyniki testów na zestawie danych FilmGrainStyle740k. Style-FG i 3R-INN osiągają najlepsze wyniki, ponieważ te metody zostały wyraźnie przeszkolone na tym zestawie, a FGA-NN jest tuż za nimi. FGA-CONVENT osiąga słabsze wyniki, co wynika z jego zależności od analizy wielu klatek i obszarów jednorodnych – warunków, które nie są spełnione w tym przypadku.

Z tych wyników autorzy stwierdzają:

‘Na zestawie testowym FilmGrainStyle740k Style-FG i 3R-INN osiągają najlepsze wyniki, ponieważ te metody zostały wyraźnie przeszkolone na tym zestawie, a FGA-NN jest tuż za nimi. Wynik FGA-CONVENT w połączeniu z VFGS jest nieoptymalny na obu zestawach testowych.

‘To wynika z faktu, że analiza opiera się na obszarach jednorodnych i wykorzystuje informacje z wielu klatek w prawdziwej analizie ziarnistości, podczas gdy w tej ocenie analiza jest dostarczana z jednego niskiego obrazu (256×256 do maksymalnie 768×512), który często zawiera znaczną teksturę.

‘To dodatkowo komplikuje wyzwanie dla konwencjonalnej metody analizy, czyniąc niemożliwym zastosowanie FGA-CONVENT do takich małych obrazów.’

W końcu autorzy zauważają, że chociaż metody oparte na uczeniu, takie jak 3R-INN i Style-FG, dają silne wyniki wizualne na ucurzonych zestawach danych, ich wysoki koszt obliczeniowy sprawia, że nie są one odpowiednie do wdrożenia na urządzeniach końcowych.

Porównanie klatek niskiej jakości zwiększonej przy użyciu różnych przepływów pracy analizy i syntezy (trzecia do ostatniej kolumny).

W przeciwieństwie do tego proponowana w nowym artykule metoda łączy lekki moduł analizy FGA-NN z wydajnym sprzętowo narzędziem syntezy VFGS, które autorzy opisują jako bardziej odpowiednie i wdrożone rozwiązanie do ponownego wprowadzania ziarnistości filmu w skompresowanym wideo.

Stwierdzają dalej, że korzyści z FGA-NN są potencjalnie znaczące w skali:

‘[Kodowanie] wideo UHD z ziarnistością filmu w średnich do niskich przepływnościach przy użyciu naszego przepływu pracy analizy i syntezy ziarnistości umożliwia oszczędność przepływności do 90% w porównaniu z kodowaniem o wysokiej przepływności.’

Conclusion

Obsesja na punkcie ziarnistości filmu jest jednym z najdziwniejszych i najbardziej interesujących kaprysów ery postanalogowej, i jest interesujące zauważyć, że to, co kiedyś było uważane za ograniczenie medium, teraz stało się totemem wiarygodności i autentyczności, nawet (może nieświadomie) dla nowego pokolenia widzów urodzonych po skutecznym upadku emulsji.

Należy zauważyć, że żadna z metod odtwarzania ziarnistości filmu, w tym najnowsze innowacje, nie może dokładnie uchwycić prawdziwy efekt, jaki światło ma na warstwy halogenków w prawdziwym procesie fotochemicznym, w różnych warunkach.

Pierwotnie opublikowane w środę, 18 czerwca 2025