Brug af AI til at simulere filmkorn

Gør Amerika kornet igen: et nyt AI-værktøj kan fjerne filmkorn fra gamle optagelser, komprimere videoen til en brøkdel af størrelsen og derefter genskabe kornet, så seerne ikke lægger mærke til det. Det fungerer med eksisterende video-standarder og reducerer båndbredde med op til 90 procent, samtidig med at det bevarede det vintage-udseende.

Til mange af os, der ser film eller gamle tv-shows, er “suset” af filmkorn beroligende; selv når vi ikke bevidst registrerer det, fortæller kornet os, at det, vi ser, er lavet med kemikalier, ikke kode, og binder oplevelsen til den fysiske verden: til valg af film, eksponering, laboratorieprocesser og tidligere epoker:

Hollywoods tilgang til korn er skiftet sammen med ændringer i kultur og produktionsmetoder. I 1960’erne bidrog udviklingen af kamerafilm og fotografiske praksisser til årtiets karakteristiske visuelle identitet. Senere genindførte instruktører, der arbejdede med digitalt, korn bevidst. I midten af 1980’erne valgte instruktøren James Cameron en særlig grov Kodak-film til Aliens (1986, nederst til højre i billedet ovenfor), sandsynligvis for at forbedre atmosfæren og også hjælpe med at skjule ledninger fra praktiske VFX-miniaturarbejde. Kilde: https://archive.is/3ZSjN (mit eget seneste artikel om dette emne)

Analog tekstur kommer fra en tid, hvor produktion af medier kostede rigtige penge, adgang var begrænset, og der var i hvert fald en løs fornemmelse af, at kun de mest kompetente eller beslutsomme kunne komme igennem, fungerer som en forkortelse for realisme og troværdighed – og, da højopløsningsindfangsteknologier eliminerede det, nostalgi.

Christopher Nolan skiftede aldrig. Mens størstedelen af branchen accepterede digitalt på grund af dets hastighed og fleksibilitet, insisterede den anerkendte instruktør på celluloid både som disciplin og æstetik.

Denis Villeneuve, der arbejder inden for digitale rørledninger, parser stadig sin footage gennem foto-kemiske processer. Til Dune-filmene, der blev optaget digitalt, blev optagelserne trykt på film og derefter scannet tilbage til digitalt, udelukkende til atmosfære og effekt.

Falsk korn

Elskere af film- og tv-kvalitet associerer synligt korn med høj opløsning, hvor bitraten (mængden af data, der presses ind i hver ramme) er så høj, at selv de mindste detaljer, såsom halidkorn, er bevaret.

Men hvis streaming-netværk virkelig gjorde denne type bitrate tilgængelig, ville det belaste netværkskapaciteten kraftigt og sandsynligvis forårsage buffering og stuttering. Derfor laver platforme som Netflix optimerede AV1-versioner af deres indhold og bruger AV1-kodecs evner til at tilføje korn til filmen eller episoden på en intelligent og passende måde, sparer 30% af båndbredde undervejs.

AV1 er designed til at inkorporere kunstigt filmkorn, som i disse eksempler. Kilde: https://waveletbeam.com/index.php/av1-film-grain-synthesis

‘Det korn-fetich’ er en relativt sjælden digital pendant til atavistiske tendenser såsom vinyl-genoplivningen, og det er svært at sige, om det bruges af streamingsvirksomheder til at gøre højoptimeret video til at se ud som rigtig dyrt ‘råt video’ (for seere, der har underbevidst associeret disse karakteristika), så bitrate synes højere, end det er; eller til at aflede den perceptuelle kvalitetsnedgang, der ellers ville ramme gamle 4:3-shows, når streaming-udbydere beskærer dem til widescreen-aspektforhold; eller bare til at tilpasse sig den retro ‘Nolan-æstetik’ generelt.

Korn i silo

Problemet er, at korn også er støj. Digitale systemer hader støj, og streaming-kodecer såsom AV1 fjerner det for at spare båndbredde, medmindre kornindstillinger er ekslicit konfigureret. Ligeledes AI-opskalere såsom Topaz Gigapixel-serien behandler korn som en fejl, der skal korrigeres.

I feltet diffusion-baseret billedsyntheser er korn ekstremt udfordrende at generere, da det repræsenterer ekstrem detalje, og vil derfor normalt kun optræde i massivt overfitted modeller, fordi hele den latente diffusionsmodel (LDM)-arkitektur er designet til at dekonstruere støj (såsom korn) til klart billede, snarere end at behandle kornflokke som implicitte egenskaber i medier.

Derfor kan det være udfordrende at skabe overbevisende korn ved hjælp af maskinel læring. Og selvom man kunne gøre det, ville rendering af det direkte tilbage i et optimeret video blot forøge videoens filstørrelse tilbage op.

På grund af denne sidste logistiske overvejelse tilbyder state-of-the-art video-kodecer såsom Versatile Video Coding (VVC) korn som en slags ‘sidecar’-tjeneste.

VVC komprimerer det rene, afstøjede video og kasserer kornet. I stedet for at spilde data på at bevare tilfældige højfrekvens kornmønstre analyserer det korn separat og kodificerer en lille samling parametre (f.eks. amplitude, frekvens og blandingstilstand), der beskriver, hvordan man kan genskabe lignende korn under afspilning.

Disse parametre gemmes i en FGC-SEI (Film Grain Characteristics Supplemental Enhancement Information)-strøm, der kører sammen med hovedbitstrømmen. Efter afkodning bruger en syntese-modul disse instruktioner til at genskabe syntetisk korn, der ligner det originale.

Dette bevarede ‘udseendet’ på høj-bitrate, korn-rigt emulsion, samtidig med at den faktiske bitrate holdes lav, da encoderen ikke er tvunget til at bruge ressourcer på at bevare uforudsigelige støj.

Dertil kommer, at som med separate undertekstfiler, er dette falske ‘korn’-indhold specifikt for videoen i spørgsmål; tilfældigt anvendelse af generiske kornfiltre i platforme såsom Photoshop eller After Effects eller i automatiserede behandlingsrørledninger ville ikke resultere i ’tilpasset’ korn, men i stedet en ubeslægtet overlagring af støj:

Venstre: originalbillede. Midten: Photoshop Camera Raw Grain anvendt ensartet på alle kanaler. Højre: samme Grain-filter anvendt individuelt på hver kanal i sekvens. Kildebillede (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (via mit eget tidligere artikel)

Photoshops ‘Grain’-filter tilføjer ensartet tilfældig støj; men rigtigt filmkorn kommer fra halidkristaller af varierende størrelser. Anvendelse af filteret på hver kanal separat (se billedet ovenfor) skaber blot mere kaos, ikke realisme. Sandt filmkorn reflekterer, hvordan lys rammer lagdelte emulsioner ved eksponeringens øjeblik. Simulering af dette ville kræve en estimering af, hvordan forskellige områder af et billede ville have aktiveret hver halidlag, ikke blot splitte effekten på tværs af RGB-lag.

FGA-NN

Ind i denne tvivlsomme forfølgelse kommer en ny forskningsartikel fra Frankrig – en kort, men interessant udflugt, der tilbyder en kvantitativt og kvalitativt overlegen metode til at analysere og genskabe korn:

Sammenligning mellem grundsandkorn og resultater fra forskellige analyse- og syntesemodeller. Kilde: https://arxiv.org/pdf/2506.14350

Det nye system, betitlet FGA-NN, afviger ikke fra den konventionelle brug af konventionel Gaussian-baseret kornsammenligning gennem den standard VVC-kompatible metode, Versatile Film Grain Synthesis (VFGS). Hvad systemet ændrer, er analysen, ved at bruge et neuralt netværk til at estimere syntese-parametrene mere præcist

Derfor er det endelige korn stadig syntetiseret ved hjælp af samme konventionelle Gaussian-model – men netværket føder bedre metadata ind i en standard, regelbaseret generator, hvilket resulterer i en state-of-the-art-model.

Den nye artikel er betitlet FGA-NN: Film Grain Analysis Neural Network, og kommer fra tre forskere ved InterDigital R&D, Cesson-Sévigné. Selvom artiklen ikke er lang, lad os kaste et blik på nogle af de vigtigste aspekter af de fremskridt, den nye metode tilbyder.

Metode

For at gentage: FGA-NN-systemet tager et kornet video som input og udtrækker en kompakt beskrivelse af kornet, udgangsparametre i den standardiserede FGC-SEI-format, der bruges af diverse moderne kodecer. Disse parametre overføres sammen med videoen, hvilket giver decoderen mulighed for at genskabe kornet ved hjælp af VFGS, snarere end at kodificere kornet direkte.

Skema for analyse og genskabelse af filmkorn i video-distribution, ved hjælp af FGA-NN til parameter-ekstraktion og VFGS til syntese.

Til at træne netværket havde forfatterne brug for par af kornede videoer og tilhørende FGC-SEI-metadata. Da de fleste kornede optagelser mangler denne type metadata, oprettede forskerne deres eget dataset ved at generere FGC-SEI-parametre, anvende syntetisk korn til rene videoer og bruge disse som trænings eksempler.

Træningsdata for FGA-NN blev oprettet ved at anvende syntetisk korn til ren footage fra BVI-DVC– og DIV2K-datasettet. Tilfældige FGC-SEI-parametre blev genereret og brugt med VFGS-synteseværktøjet, hvilket gjorde det muligt at parre hver kornet video med kendt metadata.

Frekvensbaseret model, der understøttes af nuværende video-standarder, blev brugt, med parameterområder begrænset for at bevare visuel plausibilitet på tværs af luma- og chroma-kanaler.

Træningsdata for den nye samling blev oprettet ved at anvende syntetisk korn til ren footage fra BVI-DVC– og DIV2K-datasettet. Tilfældige FGC-SEI-parametre blev genereret og brugt med Versatile Film Grain Synthesis (VFGS)-værktøjet, hvilket gjorde det muligt at parre hver kornet video med kendt metadata.

Oversigt over de tilfældige FGC-SEI-parameterområder, der blev brugt til at generere syntetisk korn til træning, anvendt på ren footage fra BVI-DVC- og DIV2K-datasettet. Parametre blev begrænset for at bevare visuel plausibilitet på tværs af både luma- og chroma-kanaler.

Frekvensfiltreringsmodellen, den eneste syntese-metode, der i øjeblikket understøttes i kodec-implementationer såsom VVC Test Model (VTM), blev brugt hele vejen igennem. Parameterområder blev begrænset for at bevare visuel plausibilitet på tværs af både luma- og chroma-kanaler.

Netværkseffekt

FGA-NN har to koordinerede modeller, én for luma og én for chroma, hver designet til at forudsige de specifikke parametre, der er nødvendige for at genskabe realistisk filmkorn.

Til hvert inputbillede estimerer systemet en samling intensitetsintervaller, skalaeringsfaktorerne forbundet med hvert interval, de horisontale og vertikale afkæringsfrekvenser og en samlet skala-tilpasning kendt som Log2Scale-faktoren. Til dette formål bruger modellen en fælles funktionsextraktor, der behandler det kornede input og føder ind i fire separate output-grene, hver ansvarlig for en anden forudsigelse-opgave:

Arkitektur for luma-versionen af FGA-NN. En fælles backbone ekstraherer funktioner fra kornede input-rammer, efterfulgt af fire output-grænser tilpasset til specifikke parameter-forudsigelsesopgaver: intervalgrænser, skalaeringsfaktorer, afkæringsfrekvenser og global Log2Scale. Chroma-netværket bruger samme struktur med tilpassede input- og output-dimensioner.

Intervalgrænser forudsiges ved hjælp af regression, mens skalaeringsfaktorer, afkæringsfrekvenser og den globale skala-indstilling behandles som klassificeringsproblemer.

Arkitekturen tilpasses for at reflektere kompleksiteten af hver opgave, med større interne lag brugt til mere finmasket forudsigelse; specifikt, chroma-modellen spejler luma-strukturen, men tilpasser sig de forskellige karakteristika af farvedata.

Træning og tests

FGA-NN blev trænet ved hjælp af fire objektive funktioner, hver af dem tilpasset én af dens forudsigelsesopgaver. For klassificeringsoutput blev en kategorisk cross-entropy-tab brugt til at reducere afstanden mellem forudsigede mærker og grundsand.

Intervalgrænser blev normaliseret til et område fra 0 til 1 og optimeret ved hjælp af en kombineret tab: en eksponentielt skaleret L1 tab (expL1), der straffede større fejl mere kraftigt, og en monotonicity-straf, der diskurerede nedadgående tendenser. Alle fire tab blev kombineret, med høje vægte tildelt afkærings- og skalaeringsfaktorer, mens intervalgrænser og Log2Scale blev vægtet med 1 og 0,1.

Træning blev gennemført under Adam-optimeren, med en læringsrate på 5e-4, på tværs af 10.000 iterationer, med en batch-størrelse på 64.

Det eneste sammenlignelige værktøj, der var egnet til sammenlignende tests, var FGA-CONVENT, der også producerer værdier i FGC-SEI-formatet og bruges til kornbehandling. Begge systemer blev testet på UHD-sekvenser fra JVET-subjektive evalueringssæt, ved hjælp af optagelser, der indeholdt ægte filmkorn.

Lodrette stiplede linjer indikerer intensitetsintervalgrænser, mens Log2Scale-forstærkningen er noteret i akse-etiketten.

I billedet ovenfor ser vi identiske beskårne rammer genereret af VFGS ved hjælp af parametre fra hver metode, sammenlignet med det originale. Deres respektive luma-estimeringer er også plotteret mod grundsand-værdier sat manuelt ved hjælp af VFGS, som her afbilder pixel-intensitet på x-aksen (0-255), skalaeringsfaktorer på den blå y-akse (0-255) og afkæringsfrekvenser på den grønne y-akse (2-14).

Forfatterne skriver:

‘Man kan observere, at FGA-NN nøjagtigt fanger den overordnede tendens i grundsand-kornmønsteret og -amplituden, hvilket resulterer i syntetiserede billeder med perceptuelt lignende filmkorn som grundsand-billederne.

‘På den anden side forudser FGA-CONVENT en lavere skalaeringsfaktor, kompenseret af en tilsvarende lavere Log2Scale-faktor som følge af dens design, og har tendens til at generere et grovere filmkornmønster end referencen, hvilket resulterer i et distinkt, men visuelt konsistent udseende.’

De bemærker, at direkte sammenligning med grundsand-kornparametre er upålidelig, da skalaerings- og Log2Scale-faktorer kan kompensere for hinanden, og mindre fejl ofte har lille visuel indvirkning.

Test af tro

Filmkorn troskab blev målt på tværs af fire arbejdsgange: FGA-NN med VFGS; FGA-CONVENT plus VFGS; Style-FG; og 3R-INN. Testene brugte både FGC-SEI- og FilmGrainStyle740k-datasettet, sammenlignende output med grundsand ved hjælp af Lærte Perceptuelle Lighedsmål (LPIPS); JSD-NSS; og Kullback-Leibler (KL) divergens.

Benchmark-resultater på FilmGrainStyle740k-datasettet. Style-FG og 3R-INN overgår andre på grund af, at de er trænet på dette sæt, med FGA-NN følger tæt efter. FGA-CONVENT underpræsterer, hvilket skyldes dens afhængighed af multi-ramme-analyse og homogene regioner – betingelser, der ikke er opfyldt af de små, teksturerede input, der blev brugt i dette tilfælde.

Af disse resultater skriver forfatterne:

‘På FilmGrainStyle740k-test-sættet opnår Style-FG og 3R-INN de bedste resultater, da disse metoder er specifikt trænet på dette sæt, med FGA-NN følger tæt efter. FGA-CONVENTs præstation kombineret med VFGS er underoptimal på begge test-sæt.

‘Dette skyldes udelukkende, at analysen afhænger af homogene regioner og udnytter information fra multiple rammer i en reel filmkorn-analyse-sag, hvorimod i den nuværende evaluering analysen får en enkelt lavopløst billede (256×256 til maksimalt 768×512), der ofte indeholder betydelig tekstur.

‘Dette komplicerer yderligere udfordringen for konventionelle analysemetoder, hvilket gør det umuligt at anvende FGA-CONVENT på sådanne små billeder.’

Til sidst bemærker forfatterne, at selvom læringsbaserede metoder såsom 3R-INN og Style-FG producerer stærke visuelle resultater på kuraterede dataset, er deres høje beregningsomkostninger ikke egnet til installation på slutbrugerens enheder.

Sammenligning af lav-bitrate-rammer forbedret ved hjælp af forskellige analyse- og syntese-arbejdsgange (tredje til sidste kolonner).

Imod dette parer den nye papers tilbud på en letvægts FGA-NN-analysemodule med den hardware-effektive VFGS-syntesemethode, som forfatterne beskriver som en mere brugbar og udrulningsvenlig løsning til genskabelse af filmkorn i komprimeret video.

De skriver yderligere, at fordelene ved FGA-NN er potentielt betydelige, i stor målestok:

‘[Kodning] UHD-videoer med filmkorn ved medium til lav bitrate ved hjælp af vores filmkorn-analyse- og syntese-arbejdsgang muliggør bitrate-besparelser på op til 90% i forhold til høj-bitrate-kodning.’

Konklusion

Besættelsen af filmkorn er en af de underligste og mest kuriose fikseringer i den post-analoge æra, og det er interessant at bemærke, at det, der engang blev betragtet som en begrænsning af mediet, nu er blevet et totem for sandhed og autenticitet i sig selv, selv (muligvis ubevidst) for en ny generation af seere født efter den effektive tilbagegang af emulsion.

Det bør bemærkes, at ingen af de state-of-the-art korn-genskabelsemetoder, herunder denne seneste innovation, kan nøjagtigt fange den sande effekt af, hvordan lys påvirker lag af halider i en sand foto-kemisk proces, på tværs af et spektrum af betingelser. Først publiceret onsdag, 18. juni 2025