Het gebruik van AI om filmkorrel te simuleren

Maak Amerika korrelig weer: een nieuw AI-hulpmiddel kan filmkorrel van oude beelden verwijderen, de video comprimeren tot een fractie van de oorspronkelijke grootte en vervolgens de korrel terugplaatsen, zodat kijkers niets merken. Het werkt met bestaande videostandaarden en vermindert de bandbreedte met maximaal 90 procent, terwijl het vintage-uiterlijk behouden blijft.

Voor velen van ons die films of oude tv-series kijken, is de ‘sizzle’ van filmkorrel geruststellend; zelfs als we het niet bewust registreren, vertelt korrel ons dat wat we kijken is gemaakt met chemicaliën, niet met code, en verbindt de ervaring met de fysieke wereld: met keuze van stock, belichting, labprocessen en verleden tijdperken:

Hollywood’s aanpak van korrel is veranderd samen met veranderingen in cultuur en productiemethoden. Tijdens de jaren 60 droegen evoluerende camerastocks en fotografische praktijken bij aan de distinctieve visuele identiteit van het decennium. Later introduceerden regisseurs die in de digitale wereld werkten korrel opnieuw opzettelijk. In het midden van de jaren 80 koos regisseur James Cameron een bijzonder grove Kodak-stock voor Aliens (1986, onderaan rechts in de afbeelding hierboven), waarschijnlijk om de sfeer te verhogen en om te helpen bij het verbergen van draden van praktische VFX-miniatuurwerk. Bron: https://archive.is/3ZSjN (mijn meest recente artikel over dit onderwerp)

Analoge textuur komt uit een tijdperk waarin het produceren van media echt geld kostte, toegang beperkt was en er ten minste een losse notie was dat alleen de meest capabele of vastberaden mensen erdoorheen konden komen, waardoor het een soort afkorting werd voor realisme en geloofwaardigheid – en, toen hoge resolutie-opname technologieën het elimineerden, nostalgie.

Christopher Nolan is nooit overgestapt. Terwijl de meeste van de industrie digitaal omarmde vanwege de snelheid en flexibiliteit, zette de bekroonde regisseur zijn hakken in het zand en hield vast aan celluloid als zowel discipline als esthetiek.

Denis Villeneuve, die binnen digitale pipelines werkt, laat zijn beelden nog steeds door fotochemische processen gaan. Voor de Dune-films, die digitaal zijn opgenomen, werden de beelden op filmstock gedrukt en vervolgens gescand terug naar digitaal, puur voor sfeer en effect.

Nepkorrel

Liefhebbers van film- en tv-kwaliteit associëren zichtbare korrel met hoge resolutie, waar de bitrate (de hoeveelheid gegevens die in elke frame worden gestopt) zo hoog is dat zelfs de kleinste details, zoals halidekorrels, behouden blijven.

Als streamingnetwerken echter echt die soort bitrate beschikbaar zouden maken, zou dit een zware belasting voor de netwerkcapaciteit betekenen en waarschijnlijk leiden tot buffering en stuttering. Daarom creëren platforms zoals Netflix geoptimaliseerde AV1-versies van hun content en gebruiken de AV1-codec’s mogelijkheden om korrel toe te voegen aan de film of aflevering op een intelligente en passende manier, waardoor 30% van de bandbreedte wordt bespaard tijdens het proces.

AV1 is ontworpen om kunstmatige filmkorrel te incorporeren, zoals in deze voorbeelden. Bron: https://waveletbeam.com/index.php/av1-film-grain-synthesis

De ‘korrelfetisj’ is een relatief zeldzame digitale equivalent van atavistische trends zoals de revival van vinyl, en het is moeilijk te zeggen of het wordt gebruikt door streamers om zeer geoptimaliseerde video’s te laten lijken als echt ‘ruwe video’ (voor kijkers die onbewust die kenmerken hebben geassocieerd), waardoor de bitrate hoger lijkt dan het eigenlijk is; of om de perceptuele kwaliteitsdaling van oude 4:3-series te compenseren die anders zouden optreden wanneer streamingproviders ze bijsnijden tot breedbeeldaspectratio’s; of gewoon om toe te geven aan de retro ‘Nolan-esthetiek’ in het algemeen.

Korrel geïsoleerd

Het probleem is dat korrel ook ruis is. Digitale systemen haten ruis, en streamingcodecs zoals AV1 wissen het weg om bandbreedte te besparen, tenzij korrelinstellingen expliciet zijn geconfigureerd. Ook AI-omhoogschalers zoals de Topaz Gigapixel-serie behandelen korrel als een fout die moet worden gecorrigeerd.

In het veld van diffusie-gebaseerde beeldsynthese is korrel extreem moeilijk te genereren, omdat het extreem detail vertegenwoordigt, en zou dus meestal alleen verschijnen in massaal overfitted modellen, omdat de hele latent diffusiemodel (LDM) architectuur is ontworpen om ruis (zoals korrel) te deconstrueren in heldere beelden, in plaats van korrelvlekken te behandelen als impliciete eigenschappen in media.

Daarom kan het moeilijk zijn om overtuigende korrel te creëren met behulp van machine learning. En zelfs als het mogelijk was, zou het rechtstreeks renderen naar een geoptimaliseerde video de bestandsgrootte van de video weer opblazen.

Vanwege deze laatste logistieke overweging bieden state-of-the-art videocodecs zoals Versatile Video Coding (VVC) korrel als een soort ‘sidecar’-service.

VVC comprimeert de schone, gedenoiseerde video en gooit de korrel weg. In plaats van data te verspillen aan het proberen om willekeurige hoge-frequentie korrelpatronen te behouden, analyseert het de korrel afzonderlijk en codeert een kleine set parameters (bijv. amplitude, frequentie en blendmodus) die beschrijven hoe om soortgelijke korrel te regenereren tijdens afspelen.

Deze parameters worden opgeslagen in een FGC-SEI (Film Grain Characteristics Supplemental Enhancement Information) stroom, die naast de hoofdbitstroom loopt. Na decodering gebruikt een synthesemodule deze instructies om synthetische korrel toe te passen die de oorspronkelijke korrel imiteert.

Dit behoudt het ‘uitzicht’ van hoge bitrate, korrelrijke emulsie, terwijl de daadwerkelijke bitrate laag blijft, omdat de encoder niet wordt gedwongen om middelen te besteden aan het behouden van onvoorspelbare ruis.

Bovendien, net als bij discrete ondertitelingsbestanden, is deze nepkorrelinhoud specifiek voor de video in kwestie; het toepassen van generieke korrelfilters in platforms zoals Photoshop of After Effects, of in geautomatiseerde verwerkingpijplijnen, zou niet resulteren in ‘aangepaste’ korrel, maar in plaats daarvan een ongerelateerde overlay van ruis:

Links: originele afbeelding. Midden: Photoshop Camera Raw Grain toegepast op alle kanalen. Rechts: dezelfde Grain-filter toegepast op elk kanaal afzonderlijk. Bronafbeelding (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (via mijn eigen vorig artikel)

Photoshop’s ‘Grain’-filter voegt uniforme willekeurige ruis toe; maar echte filmkorrel komt van halidekristallen van verschillende groottes. Het toepassen van de filter op elk kanaal afzonderlijk (zie afbeelding hierboven) creëert meer chaos, niet realisme. Echte filmkorrel weerspiegelt hoe licht laag voor laag emulsies op het moment van blootstelling raakt. Het simuleren hiervan zou het schatten van hoe verschillende delen van een afbeelding elke halidelayer zouden hebben geactiveerd, vereisen, en niet alleen het splitsen van het effect over RGB-lagen.

FGA-NN

In deze specieuze onderneming komt een nieuw onderzoeksartikel uit Frankrijk – een kort maar interessant uitstapje dat een kwantitatief en kwalitatief superieure methode biedt voor het analyseren en recreëren van korrel:

Vergelijking tussen grondkorrel en resultaten van verschillende analyse- en synthesemethoden. Bron: https://arxiv.org/pdf/2506.14350

Het nieuwe systeem, getiteld FGA-NN, wijkt niet af van het conventionele gebruik van conventionele Gaussian-gebaseerde korrelsynthese via de standaard VVC-compatibele methode, Versatile Film Grain Synthesis (VFGS). Wat het systeem verandert, is de analyse, door een neurale netwerk te gebruiken om de syntheseparameters meer nauwkeurig te schatten

Daarom is de uiteindelijke korrel nog steeds gesynthetiseerd met behulp van hetzelfde conventionele Gaussian-model – maar het netwerk voedt betere metadata in een standaard, regelgebaseerde generator, waardoor een state-of-the-art-model ontstaat.

Het nieuwe artikel is getiteld FGA-NN: Film Grain Analysis Neural Network, en komt van drie onderzoekers bij InterDigital R&D, Cesson-Sévigné. Hoewel het artikel niet lang is, laten we enkele van de belangrijkste aspecten van de voordelen van de nieuwe methode zien.

Methode

Om samen te vatten: het FGA-NN-systeem neemt een korrelige video als invoer en extracteert een compacte beschrijving van de korrel, waardoor parameters in het gestandaardiseerde FGC-SEI-formaat worden uitgevoerd, dat wordt gebruikt door diverse moderne codecs. Deze parameters worden verzonden naast de video, waardoor de decoder de korrel kan reconstrueren met behulp van VFGS, in plaats van de korrel rechtstreeks te coderen.

Het schema voor het analyseren en opnieuw toepassen van filmkorrel in videodistributie, met behulp van FGA-NN voor parameterextractie en VFGS voor synthese.

Om het netwerk te trainen, hadden de auteurs paren van korrelige video’s en overeenkomstige FGC-SEI-metadata nodig. Aangezien de meeste korrelige beelden deze soort metadata ontbreken, creëerden de onderzoekers hun eigen dataset door FGC-SEI-parameters te genereren, synthetische korrel toe te passen op schone video’s en deze te gebruiken als trainingsvoorbeelden.

Trainingsdata voor FGA-NN werden gegenereerd door synthetische korrel toe te passen op schone beelden uit de BVI-DVC en DIV2K datasets. Willekeurige FGC-SEI-parameters werden gegenereerd en gebruikt met het VFGS-synthesetool, waardoor elke korrelige video kon worden gekoppeld aan bekende metadata.

De frequentiegebaseerde model ondersteund door huidige videostandaarden werd gebruikt, met parameterbereiken beperkt om visuele plausibiliteit te behouden over luma- en chromakanalen.

Trainingsdata voor de nieuwe collectie werden gegenereerd door synthetische korrel toe te passen op schone beelden uit de BVI-DVC en DIV2K datasets. Willekeurige FGC-SEI-parameters werden gegenereerd en gebruikt met het Versatile Film Grain Synthesis (VFGS) tool, waardoor elke korrelige video kon worden gekoppeld aan bekende metadata.

Overzicht van de willekeurige FGC-SEI-parameterbereiken die werden gebruikt om synthetische korrel te genereren voor training, toegepast op schone beelden uit de BVI-DVC en DIV2K datasets. Parameters werden beperkt om visueel plausibele resultaten te behouden over zowel luma- als chromakanalen.

Het frequentiefiltermodel, de enige synthesemethode die momenteel wordt ondersteund in codec-implementaties zoals de VVC Test Model (VTM), werd gebruikt. Parameterbereiken werden beperkt om visuele plausibiliteit te behouden over zowel luma- als chromakanalen.

Netwerkeffect

FGA-NN heeft twee gecoördineerde modellen, voor luma en chroma, respectievelijk, elk ontworpen om de specifieke parameters te voorspellen die nodig zijn om realistische filmkorrel te recreëren.

Voor elke invoerbeeld schat het systeem een set van intensiteitsintervallen, de schaalfactoren die aan elk interval zijn gekoppeld, de horizontale en verticale cut-offfrequenties en een algemene schaalaanpassing, bekend als de Log2Scale-factor. Om dit te doen, gebruikt het model een gedeelde functie-extractor die de korrelige invoer verwerkt en voedt in vier afzonderlijke uitvoerbranches, elk verantwoordelijk voor een andere voorspellingsopdracht:

Architectuur van de luma-versie van FGA-NN. Een gedeelde backbone extracteert functies uit korrelige invoerframes, gevolgd door vier uitvoerbranches die zijn aangepast aan specifieke parameterpredictietaken: intervalgrenzen, schaalfactoren, cut-offfrequenties en globale Log2Scale. Het chromamodel gebruikt dezelfde structuur met aangepaste invoer- en uitvoerdimensies.

Intervalgrenzen worden voorspeld met behulp van regressie, terwijl schaalfactoren, cut-offfrequenties en de globale schaalaanpassing worden behandeld als classificatieproblemen.

De architectuur is aangepast om de complexiteit van elke taak te weerspiegelen, met grotere interne lagen die worden gebruikt voor fijnere voorspellingen; specifiek, het chromamodel spiegelt de lumastructuur, maar past zich aan aan de verschillende kenmerken van kleurgegevens.

Training en tests

FGA-NN werd getraind met behulp van vier objectiefuncties, elk afgestemd op een van zijn voorspellingsopdrachten. Voor de classificatie-uitvoer werd een categorische cross-entropy-verlies gebruikt om de kloof tussen voorspelde labels en grondwaarheid te verminderen.

Intervalgrenzen werden genormaliseerd tot een bereik van 0 tot 1 en geoptimaliseerd met behulp van een gecombineerd verlies: een exponentieel geschaald L1 verlies (expL1) dat grotere fouten zwaarder bestraft, en een monotonieboete die neerwaartse trends ontmoedigde. Alle vier verliezen werden gecombineerd, met hoge gewichten toegewezen aan cut-off en schaalfactoren, terwijl intervalgrenzen en Log2Scale werden gewogen op 1 en 0,1.

Training werd uitgevoerd onder de Adam optimizer, bij een leer tempo van 5e-4, over 10.000 iteraties, met een batchgrootte van 64.

Het enige vergelijkbare hulpmiddel dat geschikt was voor vergelijkende tests was FGA-CONVENT, dat ook waarden produceert in het FGC-SEI-formaat, en wordt gebruikt voor korrelverwerking. Beide systemen werden getest op UHD-sequenties uit de JVET subjectieve evaluatieset, met behulp van footage met echte filmkorrel.

Verticale gestreepte lijnen geven intervalgrenzen aan, terwijl de Log2Scale-versterking wordt vermeld in het aslabel.

In de afbeelding hierboven zien we identieke ingezoomde frames gegenereerd door VFGS met behulp van parameters van elke methode, vergeleken met de oorspronkelijke. Hun respectieve luma-schattingen worden ook geplot tegen grondwaarheidswaarden die handmatig zijn ingesteld met behulp van VFGS, die hier pixelintensiteit op de X-as (0-255), schaalfactoren op de blauwe Y-as (0-255) en cut-offfrequenties op de groene Y-as (2-14) aangeeft.

De auteurs verklaren:

‘Men kan observeren dat FGA-NN de algehele trend van het grondkorrelpatroon en de amplitude nauwkeurig vastlegt, waardoor gesynthetiseerde beelden ontstaan met een perceptueel vergelijkbare filmkorrel als die van de grondkorrel.

‘Aan de andere kant voorspelt FGA-CONVENT een lagere schaalfactor, gecompenseerd door een overeenkomstig lagere Log2Scale-factor als gevolg van zijn ontwerp, en heeft de neiging om een grovere filmkorrelpatroon te genereren dan de referentie, waardoor een distinctief maar visueel consistent uiterlijk ontstaat.’

Ze merken op dat directe vergelijking met grondkorrelparameters onbetrouwbaar is, omdat schaalfactoren en Log2Scale elkaar kunnen compenseren, en kleine fouten meestal weinig visueel effect hebben.

Test van geloof

Filmkorrel fideliteit werd getest in vier workflows: FGA-NN met VFGS; FGA-CONVENT plus VFGS; Style-FG; en 3R-INN. Tests gebruikten zowel de FGC-SEI- als FilmGrainStyle740k datasets, en vergeleken de uitvoer met grondwaarheid met behulp van Learned Perceptual Similarity Metrics (LPIPS); JSD-NSS; en Kullback-Leibler (KL) divergentie.

Benchmarkresultaten op de FilmGrainStyle740k-dataset. Style-FG en 3R-INN presteren beter dan anderen omdat ze zijn getraind op deze set, met FGA-NN die dicht volgt. FGA-CONVENT presteert ondermaats, wat te wijten is aan zijn afhankelijkheid van multiframe-analyse en homogene regio’s – voorwaarden die in dit geval niet worden vervuld door de kleine, texturenrijke invoer.

Van deze resultaten zeggen de auteurs:

‘Op de FilmGrainStyle740k-testset behalen Style-FG en 3R-INN de beste resultaten, omdat deze methoden specifiek zijn getraind op deze dataset, met FGA-NN die dicht volgt. De prestaties van FGA-CONVENT in combinatie met VFGS zijn ondermaats op beide testsets. ‘

‘Dit is alleen omdat de analyse afhankelijk is van homogene regio’s en informatie uit meerdere frames in een echte filmkorrelanalyse, terwijl in de huidige evaluatie de analyse wordt geleverd met een enkel, laagresolutiebeeld (256×256 tot maximaal 768×512), dat vaak significante texturen bevat. ‘

‘Dit maakt de uitdaging voor conventionele analysemethoden nog groter, waardoor het onmogelijk wordt om FGA-CONVENT toe te passen op dergelijke kleine beelden.’

Ten slotte merken de auteurs op dat, hoewel op machine learning gebaseerde methoden zoals 3R-INN en Style-FG sterke visuele resultaten produceren op gecuratede datasets, hun hoge computatiekosten ze ongeschikt maken voor implementatie op eindgebruikersapparaten.

Vergelijking van laagbitrate-frames die zijn verbeterd met behulp van verschillende analyse- en synthesemethoden (derde tot laatste kolommen).

Door vergelijking presteert de voorgestelde aanpak in het nieuwe artikel, die de lichtgewicht FGA-NN-analysemodule combineert met de hardware-efficiënte VFGS-synthesemethode, als een meer haalbare en implementeerbare oplossing voor het opnieuw introduceren van filmkorrel in gecomprimeerde video.

Ze verklaren verder dat de voordelen van FGA-NN potentieel aanzienlijk zijn, op grote schaal:

‘[Het coderen] van UHD-video’s met filmkorrel bij middel tot lage bitrates met behulp van onze filmkorrelanalyse- en syntheseworkflow maakt een bitratebesparing mogelijk van maximaal 90% in vergelijking met hoge bitrate-codering.’

Conclusie

De obsessie met filmkorrel is een van de vreemdste en meest curieuze eigenaardigheden van de post-analoge tijd, en het is interessant om op te merken dat wat ooit werd beschouwd als een beperking van het medium nu een totem van geloofwaardigheid en authenticiteit is geworden, zelfs (misschien onbewust) voor een nieuwe generatie kijkers die zijn geboren na de effectieve neergang van emulsie.

Er moet worden opgemerkt dat geen van de state-of-the-art korrelrecreatiemethoden, inclusief deze laatste innovatie, de werkelijke werking van de manier waarop licht laag voor laag haliden in een echte fotochemisch proces beïnvloedt, over een bereik van omstandigheden, exact kan vastleggen. Eerst gepubliceerd op woensdag 18 juni 2025