Använda AI för att simulera filmkorn

Gör Amerika kornigt igen: ett nytt AI-verktyg kan ta bort filmkorn från gammal footage, komprimera videon till en bråkdel av dess ursprungliga storlek och sedan lägga tillbaka kornet så att tittarna inte märker någon skillnad. Det fungerar med befintliga videostandarder och minskar bandbredden med upp till 90 procent, samtidigt som det behåller den klassiska looken.

För många av oss som tittar på filmer eller gamla TV-program är “knastret” från filmkornet en trygghet; även när vi inte medvetet uppmärksammar det, berättar kornet för oss att det vi tittar på är gjort med kemikalier, inte kod, och binder upplevelsen till den fysiska världen: till val av råmaterial, exponering, laboratorieprocesser och försvunna epoker:

Hollywoods tillvägagångssätt för korn har förändrats i takt med kulturella och produktionsmässiga förändringar. Under 1960-talet bidrog utvecklingen av kameror och fotografiska metoder till decenniets distinkta visuella identitet. Senare började regissörer som arbetade med digital teknik återinföra korn medvetet. I mitten av 1980-talet valde regissören James Cameron ett särskilt grovt Kodak-korn för filmen Aliens (1986, nedre högra delen i bilden ovan), troligen för att förhöja atmosfären och samtidigt dölja trådar från praktiska VFX-miniatyrarbeten. Källa: https://archive.is/3ZSjN (min senaste artikel på detta ämne)

Analog textur kommer från en tid då produktion av media kostade riktiga pengar, tillgången var begränsad och det fanns åtminstone en löst sammanhållen känsla av att endast de mest kapabla eller beslutna kunde ta sig igenom, fungerande som en förkortning för realism och trovärdighet – och när högupplösningsinspelnings-teknologier eliminerade det, nostalgi.

Christopher Nolan gick aldrig över. Medan större delen av branschen accepterade digital teknik för dess hastighet och flexibilitet, höll den hyllade regissören fast vid celluloid som både en disciplin och en estetik.

Denis Villeneuve, som arbetar inom digitala produktionskedjor, parsar fortfarande sin footage genom foto kemiska processer. För Dune-filmerna, som spelades in digitalt, trycktes footagen på filmrullar och sedan scannades tillbaka till digitalt, enbart för atmosfär och effekt.

Falskt korn

Kännare av film- och TV-kvalitet associerar synligt korn med högupplösning, där bitraten (mängden data som matas in i varje bild) är så hög att även de minsta detaljerna, som halidkorn, bevaras.

Men om streamingnätverk verkligen gjorde den här sortens bitrate tillgänglig, skulle det belasta nätverkskapaciteten kraftigt och troligen orsaka buffring och hackning. Därför skapar plattformar som Netflix optimerade AV1-versioner av sitt innehåll och använder AV1-kodarens förmåga att lägga till korn till filmen eller avsnittet på ett intelligent och passande sätt, spara 30% av bandbredden under processen.

AV1 är utformat för att inkorporera artificiellt filmkorn, som i dessa exempel. Källa: https://waveletbeam.com/index.php/av1-film-grain-synthesis

‘Kornfetischen’ är en relativt sällsynt digital motsvarighet till atavistiska trender som vinylåterupplivandet, och det är svårt att säga om det används av streamare för att göra högoptimerad video se ut som riktigt dyrt ‘råvideo’ (för de tittare som omedvetet har associerat dessa egenskaper), vilket gör att bitrate verkar högre än den är; eller för att avleda den perceptuella kvalitetsförsämring som gamla 4:3-program annars skulle ta när streamingleverantörer beskär dem till widescreen-format; eller bara för att pandera till den retro ‘Nolan-estetiken’ i allmänhet.

Korn i silo

Problemet är att korn också är brus. Digitala system avskyr brus, och streamingkodare som AV1 tvättar bort det för att spara bandbredd, såvida korninställningar inte uttryckligen konfigureras. Likaså AI-uppskalare som Topaz Gigapixel-serien behandlar korn som en defekt som ska korrigeras.

I området för diffusionsbaserad bildsyntes är korn extremt utmanande att generera, eftersom det representerar extrem detalj, och skulle därför vanligtvis endast förekomma i massivt överanpassade modeller, eftersom hela den latenta diffusionsmodellens (LDM) arkitektur är utformad för att dekonstruera brus (såsom korn) till tydliga bilder, snarare än att behandla kornfläckar som implicita egenskaper i media.

Därför kan det vara utmanande att skapa övertygande korn med hjälp av maskinlärning. Och även om man kunde göra det, skulle återge det rakt in i en optimerad video förmodligen bara blåsa upp videofilens storlek igen.

På grund av denna senare logistiska övervägande erbjuder state-of-the-art-videokodare som Versatile Video Coding (VVC) korn som en slags ‘sidovagnstjänst’.

VVC komprimerar den rena, brusreducerade videon och kasserar kornet. Istället för att slösa bort data för att försöka bevara slumpmässiga högfrekventa kornmönster, analyserar den kornet särskilt och kodar en liten uppsättning parametrar (t.ex. amplitud, frekvens och blandningsläge) som beskriver hur man kan återskapa liknande korn under uppspelning.

Dessa parametrar lagras i en FGC-SEI (Film Grain Characteristics Supplemental Enhancement Information)-ström, som följer med huvudbitströmmen. Efter avkodning använder en syntesmodul dessa instruktioner för att återlägga syntetiskt korn som imiterar originalet.

Detta bevarar ‘utseendet’ på högbitrat, kornrikt emulsion, samtidigt som den faktiska bitraten hålls låg, eftersom encodern inte tvingas lägga resurser på att bevara oförutsägbart brus.

Dessutom, liksom med diskreta undertextfiler, är detta falska ‘korn’innehåll specifikt för videon i fråga; att slumpmässigt applicera generiska kornfilter i program som Photoshop eller After Effects, eller i automatiserade bearbetningspipelines, skulle inte resultera i ‘anpassat’ korn, utan istället en orelaterad överlagring av brus:

Vänster: ursprunglig bild. Mitten: Photoshop Camera Raw Grain applicerat enhetligt över alla kanaler. Höger: samma Grain-filter applicerat individuellt på varje kanal i sekvens. Källbild (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (via min egen tidigare artikel)

Photoshops ‘Grain’-filter lägger till enhetligt slumpmässigt brus; men riktigt filmkorn kommer från halidkristaller av varierande storlekar. Att applicera filtret på varje kanal separat (se bilden ovan) skapar bara mer kaos, inte realism. Riktigt filmkorn reflekterar hur ljus träffar skiktade emulsioner vid exponeringsögonblicket. Att simulera det skulle kräva att man uppskattar hur olika områden av en bild skulle ha aktiverat varje halidskikt, inte bara dela effekten över RGB-lager.

FGA-NN

In i denna tvivelaktiga strävan kommer en ny forskningsartikel från Frankrike – en kort men intressant utgåva som erbjuder en kvantitativt och kvalitativt överlägsen metod för att analysera och återskapa korn:

Jämförelse mellan grundkorn och resultat från olika analys- och syntesmetoder. Källa: https://arxiv.org/pdf/2506.14350

Det nya systemet, med titeln FGA-NN, avviker inte från den konventionella användningen av konventionell Gaussisk kornsyntax genom den standardiserade VVC-kompatibla metoden, Versatile Film Grain Synthesis (VFGS). Vad systemet ändrar är analysen, med hjälp av en neural nätverksmodell för att uppskatta syntesparametrarna mer exakt

Således är det slutliga kornet fortfarande syntetiserat med hjälp av samma konventionella Gaussiska modellen – men nätverket matar in bättre metadata till en standardbaserad generator, vilket resulterar i en state-of-the-art-modell.

Den nya artikeln heter FGA-NN: Film Grain Analysis Neural Network, och kommer från tre forskare på InterDigital R&D, Cesson-Sévigné. Även om artikeln inte är lång, ska vi ta en titt på några av de viktigaste aspekterna av de framsteg som den nya metoden erbjuder.

Metod

För att sammanfatta: FGA-NN-systemet tar ett kornigt video som indata och extraherar en komprimerad beskrivning av kornet, som producerar parametrar i den standardiserade FGC-SEI-format som används av olika moderna kodare. Dessa parametrar sänds tillsammans med videon, vilket möjliggör för avkodaren att återskapa kornet med hjälp av VFGS, snarare än att koda kornet direkt.

Schemat för att analysera och återlägga filmkorn i videodistribution, med FGA-NN för parameterextraktion och VFGS för syntes.

För att träna nätverket behövde författarna par av korniga videor och motsvarande FGC-SEI-metadata. Eftersom de flesta korniga footagen saknar den här sortens metadata, skapade forskarna sin egen dataset genom att generera FGC-SEI-parametrar, applicera syntetiskt korn på rena videor och använda dessa som träningsexempel.

Träningsdata för FGA-NN skapades genom att applicera syntetiskt korn på ren footage från BVI-DVC och DIV2K-dataset. Slumpmässiga FGC-SEI-parametrar genererades och användes med VFGS-syntestverktyget, vilket möjliggjorde att varje kornigt video kunde paras med känd metadata.

Frekvensbaserad modell som stöds av aktuella videostandarder användes, med parametrar begränsade för att upprätthålla visuell trovärdighet över luma- och kromakanaler.

Träningsdata för den nya samlingen skapades genom att applicera syntetiskt korn på ren footage från BVI-DVC och DIV2K-dataset. Slumpmässiga FGC-SEI-parametrar genererades och användes med Versatile Film Grain Synthesis (VFGS)-verktyget, vilket möjliggjorde att varje kornigt video kunde paras med känd metadata.

Översikt över de slumpmässiga FGC-SEI-parameterområden som användes för att generera syntetiskt korn för träning, applicerat på ren footage från BVI-DVC och DIV2K-dataset. Parametrar begränsades för att säkerställa visuellt trovärdiga resultat över både luma- och kromakanaler.

Frekvensfiltermodellen, den enda syntesmetod som för närvarande stöds i kodimplementeringar som VVC Test Model (VTM), användes genomgående. Parametrar begränsades för att bevara visuell trovärdighet över både luma- och kromakanaler.

Nätverkseffekt

FGA-NN har två samordnade modeller, för luma respektive kroma, som båda är utformade för att förutsäga de specifika parametrar som behövs för att återskapa realistiskt filmkorn.

För varje inmatningsbild uppskattar systemet en uppsättning intensitetsintervall, skalningsfaktorer kopplade till varje intervall, horisontella och vertikala avskärningsfrekvenser och en allmän skalfaktor som kallas Log2Scale-faktorn. För att hantera detta använder modellen en delad funktionsextraherare som bearbetar det korniga inmatningsmaterialet och matar in i fyra separata utmatningsgrenar, var och en ansvarig för en annan förutsägelseuppgift:

Arkitektur för luma-versionen av FGA-NN. En delad bakbenextraherare bearbetar funktioner från kornigt inmatningsmaterial, följt av fyra utmatningsgrenar anpassade till specifika parameterförutsägelseuppgifter: intervalgränser, skalningsfaktorer, avskärningsfrekvenser och global Log2Scale. Kroma-nätverket använder samma struktur med justerad in- och utmatningsdimension.

Intervallgränser förutsägs med regression, medan skalningsfaktorer, avskärningsfrekvenser och den globala skalfaktorn behandlas som klassificeringsproblem.

Arkitekturen anpassas för att återspegla komplexiteten i varje uppgift, med större inre lager som används för mer detaljerade förutsägelser; specifikt använder kroma-modellen samma struktur som luma-modellen, men anpassar sig till de olika egenskaperna hos färgdata.

Träning och tester

FGA-NN tränades med hjälp av fyra målfunktioner, var och en anpassad till en av dess förutsägelseuppgifter. För klassificeringsutmatningarna användes en kategorisk korsentropiförlust för att minska gapet mellan förutsagda etiketter och grundvärdet.

Intervallgränser normaliserades till ett område mellan 0 och 1 och optimerades med en kombinerad förlust: en exponentiellt skalad L1 förlust (expL1) som bestraffade större fel mer kraftigt, och en monotonicitetsstraff som uppmuntrade till en ökning. Alla fyra förluster kombinerades, med höga vikter tilldelade avskärnings- och skalningsfaktorer, medan intervalgränser och Log2Scale viktades med 1 respektive 0,1.

Träning genomfördes med Adam-optimisatorn vid en inlärningshastighet på 5e-4, under 10 000 iterationer, med en batchstorlek på 64.

Det enda jämförbara verktyget som var lämpligt för jämförande tester var FGA-CONVENT, som också producerar värden i FGC-SEI-formatet och används för kornbearbetning. Båda systemen testades på UHD-sekvenser från JVET-subjektiva utvärderingssättet, med footage som innehåller riktigt filmkorn.

Vertikala streckade linjer indikerar intensitetsintervallgränser, medan Log2Scale-vinsten noteras i axeletiketten.

I bilden ovan ser vi identiska beskurna ramar genererade av VFGS med parametrar från varje metod, jämförda med originalet. Deras respektive luma-uppskattningar är också plottade mot grundvärdet som manuellt ställts in med VFGS, som här kartlägger pixelintensitet på x-axeln (0–255), skalningsfaktorer på den blå y-axeln (0–255) och avskärningsfrekvenser på den gröna y-axeln (2–14).

Författarna påstår:

‘Man kan observera att FGA-NN noggrant fångar den övergripande trenden i grundvärdets filmkornmönster och amplitud, vilket resulterar i syntetiserade bilder med perceptuellt liknande filmkorn som de ursprungliga.

‘Å andra sidan förutsäger FGA-CONVENT en lägre skalningsfaktor, kompenserad av en motsvarande lägre Log2Scale-faktor som ett resultat av dess design, och tenderar att generera ett grövre filmkornmönster än referensen, vilket resulterar i en distinkt men visuellt konsekvent utseende.’

De noterar att direkt jämförelse med grundvärdets kornparametrar är opålitlig, eftersom skalning och Log2Scale kan kompensera för varandra, och små fel ofta har liten visuell inverkan.

Trohetsprov

Filmkorn trogenhet utvärderades över fyra arbetsflöden: FGA-NN med VFGS; FGA-CONVENT plus VFGS; Style-FG; och 3R-INN. Testerna använde både FGC-SEI och FilmGrainStyle740k-dataset, och jämförde utmatningen med grundvärdet med hjälp av Lärd Perceptuell Likhet (LPIPS); JSD-NSS; och Kullback-Leibler (KL) divergens.

Benchmarksresultat på FilmGrainStyle740k-dataset. Style-FG och 3R-INN presterar bättre än andra på grund av att de tränats på detta dataset, med FGA-NN som följer nära efter. FGA-CONVENT presterar undermåligt, vilket reflekterar dess beroende av multi-ramanalys och homogena regioner – förhållanden som inte uppfylldes av de små, texturerika inmatningarna som användes i detta fall.

Av dessa resultat påstår författarna:

‘På FilmGrainStyle740k-testuppsättningen uppnår Style-FG och 3R-INN de bästa resultaten, eftersom dessa metoder specifikt tränats på detta dataset, med FGA-NN som följer nära efter. FGA-CONVENTs prestanda i kombination med VFGS är undermålig på båda testuppsättningarna.

‘Detta beror enbart på att analysen förlitar sig på homogena regioner och utnyttjar information från flera ramar i en verklig filmkornanalys, medan i den aktuella utvärderingen analysen tillhandahålls med en enda lågupplöst bild (256×256 till maximalt 768×512), som ofta innehåller betydande textur.

‘Detta komplicerar ytterligare utmaningen för den konventionella analysmetoden, vilket gör det omöjligt att tillämpa FGA-CONVENT på sådana små bilder.’

Slutligen noterar författarna att lärande-baserade metoder som 3R-INN och Style-FG producerar starka visuella resultat på kuraterade dataset, men att deras höga beräkningskostnad gör dem olämpliga för distribution på slutanvändarens enheter.

Jämförelse av lågbitrats-ramar förbättrade med hjälp av olika analys- och syntesarbetsflöden (tredje till sista kolumnerna).

Genom att jämföra föreslår den nya artikeln en kombination av det lätta FGA-NN-analysmodulen och den hårdvarueffektiva VFGS-syntesmetoden, som författarna beskriver som en mer livskraftig och distribuerbar lösning för att återinföra filmkorn i komprimerad video.

De påstår vidare att fördelarna med FGA-NN är potentiellt betydande i stor skala:

‘[Att koda] UHD-videor med filmkorn i medel till låga bitraten med hjälp av vår filmkornanalys- och syntesarbetsflöde möjliggör en bitratebesparing på upp till 90% jämfört med högbitratskodning.’

Slutsats

Besattheten av filmkorn är en av de underligaste och mest nyfikna föreställningarna i den post-analogiska eran, och det är intressant att notera att det som en gång ansågs vara en begränsning av mediet har nu blivit en symbol för autenticitet och trovärdighet i sig själv, även (kanske omedvetet) för en ny generation av tittare som föddes efter emulsionens nedgång.

Det bör noteras att ingen av de state-of-the-art-kornåterställningsmetoderna, inklusive denna senaste innovation, kan exakt fånga den sanna effekten av hur ljus påverkar lager av halider i en sann foto kemisk process, över ett spektrum av förhållanden. Första publiceringen var onsdag, den 18 juni 2025.