Käyttäen tekoälyä elokuvan grainin simuloimiseen

Tee Amerikkaa grainaallisemmaksi: uusi tekoälytyökalu voi poistaa elokuvagrainingin vanhasta kuvamateriaalista, pakata videon murto-osaan alkuperäisestä koosta ja sitten palauttaa grainin, jotta katsojat eivät huomaa eroa. Se toimii olemassa olevien videostandardien kanssa ja leikkaa kaistanleveyttä jopa 90 prosentilla, säilyttäen samalla vintage-tyylin.

Monille meistä, jotka katsomme elokuvia tai vanhoja tv-ohjelmia, elokuvan “sirpale” on tuttu; vaikka emme tietoisesti havaitse sitä, grain kertoo meille, että se, mitä katsomme, on tehty kemikaaleista, ei koodista, ja sitoo kokemuksen fyysiseen maailmaan: valintaan, valotukseen, laboratorioprosesseihin ja menneisiin aikoihin:

<img class="size-full wp-image-219345" src="https://www.unite.ai/wp-content/uploads/2025/06/grain-styles-in-hollywood.jpg" alt="Hollywoodin lähestymistapa grainiin on muuttunut kulttuurin ja tuotantotapojen mukana. 1960-luvulla kehittyvät kameran filmistokset ja valokuvausmenetelmät vaikuttivat vuosikymmenen ominaiselle visuaaliselle identiteetille. Myöhemmin digitaalisen työn tekijät alkoivat jälleen käyttää grainia tietoisesti. 1980-luvun puolivälissä ohjaaja James Cameron valitsi erityisen karkean Kodak-filmistoken elokuvaan Aliens (1986, alhaalla oikealla kuvassa), luultavasti lisätäkseen tunnelmaa ja auttaakseen piilottamaan käytännön VFX-miniatyyritöiden johtimia. Lähde: https://archive.is/3ZSjN (oma viimeisin artikkeli aiheesta)

Analoginen tekstura tulee ajalta, jolloin median tuottaminen maksoi oikeaa rahaa, pääsy oli rajoitettu, ja oli ainakin löyhä vaikutelma, että vain kyvykkäimmät tai määrätietoisimmat pystyivät pääsemään läpi, toimien lyhenteenä realismin ja luotettavuuden kannalta – ja kun korkean resoluution kuvausteknologiat poistivat sen, nostalgia.

Christopher Nolan ei koskaan siirtynyt. Vaikka suurin osa teollisuudesta omaksui digitaalisen nopeuden ja joustavuuden vuoksi, tunnettu ohjaaja puolusti selluloidia sekä kurin ja esteettisenä.

Denis Villeneuve, joka työskentelee täysin digitaalisissa prosesseissa, kuitenkin käsittelee kuvamateriaaliaan valokemiallisissa prosesseissa. Dune-elokuville, jotka kuvattiin digitaalisesti, kuvamateriaali tulostettiin filmille ja sitten skannattu takaisin digitaaliseen, yksinomaan tunnelman ja vaikutuksen vuoksi.

Väärä Grain

Elokuvan ja tv-laatusuhteiden asiantuntijat liittävät näkyvän grainin korkeaan resoluutioon, jossa bittinopeus (määrä dataa, jota syötetään jokaiseen kehykseen) on niin korkea, että jopa pienimmätkin yksityiskohdat, kuten halidioksidikiteet, säilytetään.

Kuitenkaan, jos suoratoistopalvelut tosiaan tarjoaisivat tällaista bittinopeutta, se aiheuttaisi vakavia rasitteita verkkokapasiteettiin ja todennäköisesti aiheuttaisi puskurointia ja tökkimistä. Sen vuoksi palvelut kuten Netflix luo optimoidut AV1-versiot sisällöstään ja käyttävät AV1-kooderin ominaisuuksia grainin lisäämiseksi elokuvaan tai jaksoon älykkäällä ja sopivalla tavalla, säästäen 30% kaistanleveydestä prosessissa.

AV1 on suunniteltu sisällyttämään tekoälygraini, kuten näissä esimerkeissä. Lähde: https://waveletbeam.com/index.php/av1-film-grain-synthesis

“Grain-fetissi” on suhteellisen harvinainen digitaalinen vastine atavistisiin suuntauksiin, kuten vinyylilevyjen uudelleenheräämiseen, ja on vaikea sanoa, onko sitä käytetty suoratoistajien toimesta tehdäkseen erittäin optimoidun videon näyttämään kuin todella kalliista “raaavideota” (niille katsojille, jotka ovat tietoisesti liittäneet nämä ominaisuudet toisiinsa); tai deflekoidakseen havaittavissa olevan laadun laskun, jonka vanhat 4:3-ohjelmat muuten ottaisivat, kun suoratoistopalvelut leikkaavat ne laajakuvaksi; tai yksinkertaisesti tyydyttääkseen retro “Nolan-estetiikkaa” yleensä.

Grain Siloed

Ongelma on, että grain on myös melua. Digitaaliset järjestelmät vihaavat melua, ja suoratoistokooderit kuten AV1 poistavat sen bittinopeuden säästämiseksi, ellei grain-asetukset ole nimenomaisesti määritetty. Vastaavasti tekoäly-yloskalerit kuten Topaz Gigapixel -sarja käsittelevät grainia virheenä, joka on korjattava.

Kuvasynteesin difuusiopohjaisessa kentässä grain on erittäin haasteellista tuottaa, koska se edustaa ääriviivaa yksityiskohtaa, ja näin ollen se ilmestyisi yleensä vain massiivisesti yliopituneissa malleissa, koska koko latentti difuusiomalli (LDM) -arkkitehtuuri on suunniteltu purkamaan melua (kuten grainia) selkeäksi kuvaksi, sen sijaan, että grain-hiukkaset käsiteltäisiin implisiittisinä ominaisuuksina mediassa.

Sen vuoksi on haasteellista luoda vakuuttava grain tekoälyllä. Ja vaikka se olisi mahdollista, suora renderöinti se optimoituun videoon vain paisuttaisi videon tiedostokokoa takaisin.

Tämän jälkeisen logistisen huomioon ottoa vuoksi, valmiiden videokooderin kuten Versatile Video Coding (VVC) tarjoavat grainin “sivuvaununa”.

VVC pakkaa puhdistetun, melupuhdistetun videon ja hylkää grainin. Sen sijaan, että yritettäisiin säästää tietoa yrittämällä säilyttää satunnaisia korkeataajuista grain-malleja, se analysoi grainin erikseen ja koodaa pieni joukon parametreja (esim. Amplitudi, taajuus ja sekoitusmalli), jotka kuvaavat, miten grain voidaan regeneroida uudelleen toistettaessa.

Nämä parametrit tallennetaan FGC-SEI (Elokuvagrainingin ominaisuuksien täydentävä parannus) -virran, joka kulkee päävirran rinnalla. Dekoodauksen jälkeen synteesimoduuli käyttää näitä ohjeita sovittamaan tekoälygrainia, joka jäljittelee alkuperäistä.

Tämä säilyttää “näön” korkean bittinopeuden, grainin rikkaan emulsio, pitäen todellisen bittinopeuden alhaisena, koska kooderi ei joutunut käyttämään resursseja epävarman melun säilyttämiseen.

Lisäksi, kuten erilliset tekstitys-tiedostot, tämä tekoälygrain on spesifinen videolle; satunnaisesti soveltamalla yleisiä grain-suotimia alustoissa kuten Photoshop tai After Effects, tai automaattisissa prosessoinneissa, ei tulosta “sovitettua” grainia, vaan sen sijaan satunnaisen melun päällekkäin:

Vasen: alkuperäinen kuva. Keskellä: Photoshop Camera Raw Grain sovellettu yhdenmukaisesti kaikkiin kanaviin. Oikea: sama Grain-suodin sovellettu yksittäin kullekin kanavalle peräkkäin. Lähdekuva (CC0): https://stocksnap.io/photo/woman-beach-FJCOO6JWDP (omasta aiemmasta artikkelistani)

Photoshopin ‘Grain’ -suodin lisää yhdenmukaista satunnaista melua; mutta oikea elokuvagraining tulee halidioksidikiteistä, jotka ovat eri kokoisia. Suodattimen soveltaminen kullekin kanavalle erikseen (ks. yllä oleva kuva) luo vain enemmän kaaosta, ei realismin. Oikea elokuvagraining heijastaa, miten valo osuu kerroksiin emulsioita valotuskohtaa. Simuloimaan tätä vaadittaisiin arvioimalla, miten eri alueet kuvassa olisivat aktivoineet kunkin halidioksidikerroksen, ei vain jakamalla vaikutus RGB-kerroksien yli.

FGA-NN

Tähän epäilyttävään tavoitteeseen tulee uusi tutkimuspaperi Ranskasta – lyhyt mutta mielenkiintoinen ulosanti, joka tarjoaa määrällisesti ja laadullisesti paremman tavan analyysiin ja elokuvagrainingin uudelleenluomiseen:

Vertailu alkuperäisen grainin ja eri analyysi- ja synteesimenetelmien tuloksien välillä. Lähde: https://arxiv.org/pdf/2506.14350

Uusi järjestelmä, joka on nimeltään FGA-NN, ei poikkea perinteisestä käytöstä perinteistä Gaussian-pohjaista grain-synteesiä VVC-yhteensopivan menetelmän, Versatile Film Grain Synthesis (VFGS), kautta. Mitä järjestelmä muuttaa, on analyysi, jossa käytetään neuroverkkoa arvioimaan synteesiparametreja tarkemmin

Sen vuoksi lopullinen grain on edelleen syntetisoitu samalla perinteisellä Gaussian-mallilla – mutta verkko syöttää parempia metatietoja standardiin, sääntöpohjaiseen generaattoriin, saavuttaen valmiin mallin.

Uusi paperi on nimeltään FGA-NN: Film Grain Analyysi Neuroverkko, ja se tulee kolmelta tutkijalta InterDigital (IDCC ) R&D:stä, Cesson-Sévigné. Vaikka paperi ei ole pitkä, tarkastellaan joitakin avainkohtia, joita uusi menetelmä tarjoaa.

Menetelmä

Yhteenvetona: FGA-NN-järjestelmä ottaa grainisen videon syötteenä ja poistaa siitä tiiviin grainin kuvaus, tuottaa parametreja standardoituun FGC-SEI-muotoon, jota käytetään monissa modernissa kooderissa. Nämä parametrit lähetetään videon rinnalla, sallien dekooderin rakentaa grainin uudelleen VFGS:llä, sen sijaan, että kooderisi grainia suoraan.

Schema elokuvagrainingin analysointiin ja soveltamiseen videon jakelussa, käyttäen FGA-NN:ää parametrin poistoon ja VFGS:ää synteesiin.

Verkon kouluttamiseksi tutkijat tarvitsivat pareja grainisia videoita ja vastaavia FGC-SEI-metatietoja. Koska useimmissa grainisissa kuvamateriaaleissa ei ole tällaista metatietoa, tutkijat loivat oman tietokokoelmansa luomalla FGC-SEI-parametreja, soveltamalla tekoälygrainia puhdistettuihin videoihin ja käyttämällä niitä koulutus-esimerkkeinä.

FGA-NN-koulutusdataa luotiin soveltamalla tekoälygrainia puhdistettuihin kuvamateriaaleihin BVI-DVC ja DIV2K -tietokannoista. Satunnaiset FGC-SEI-parametrit luotiin ja käytettiin VFGS-synteesityökalun kanssa, sallien jokaisen grainisen videon parittaminen tunnetuin metatiedoilla.

<p-Taajuuspohjainen malli, jota tukevat nykyiset videostandardit, käytettiin, ja parametrialueet rajoitettiin säilyttämään visuaalinen uskottavuus luma- ja kroma-kanavien yli.

Koulutusdataa uudelle kokoelmalle luotiin soveltamalla tekoälygrainia puhdistettuihin kuvamateriaaleihin BVI-DVC ja DIV2K -tietokannoista. Satunnaiset FGC-SEI-parametrit luotiin ja käytettiin Versatile Film Grain Synthesis (VFGS) -työkalun kanssa, sallien jokaisen grainisen videon parittaminen tunnetuin metatiedoilla.

Yleiskatsaus satunnaisten FGC-SEI-parametrin alueista, joita käytettiin tekoälygrainin luomiseen koulutukseen, sovellettuna puhdistettuihin kuvamateriaaleihin BVI-DVC- ja DIV2K-tietokannoista. Parametrit rajoitettiin säilyttämään visuaalinen uskottavuus luma- ja kroma-kanavien yli.

Taajuussuodinmalli, jota tukee kooderin toteutukset kuten VVC Test Model (VTM), käytettiin koko ajan. Parametrialueet rajoitettiin säilyttämään visuaalinen uskottavuus luma- ja kroma-kanavien yli.

Verkon Vaikutus

FGA-NN:llä on kaksi koordinoitua mallia, luma- ja kroma-kanaville, jotka on suunniteltu ennustamaan tarkat parametrit, jotka tarvitaan realistisen elokuvagrainingin luomiseen.

Jokaiselle syötekuvalle järjestelmä arvioi joukon intensiteettivälejä, skaalauksien tekijöitä, jotka liittyvät kunkin väliin, vaakasuoran ja pystysuoran leikkaustaajuuden, ja yleisen skaalaussäätöä, jota kutsutaan Log2Scale-tekijäksi. Tätä varten malli käyttää jaettua piirrosprosessoria, joka käsittelee grainisen syötteen ja syöttää neljään erilliseen lähtöhaaraan, joista kunkin on vastuussa eri ennustustehtävistä:

FGA-NN:n luma-version arkkitehtuuri. Jaettu runko käsittelee piirrosprosessoria grainisesta syötekuvalle, seurattuna neljästä lähtöhaarasta, jotka on suunniteltu eri parametrin ennustustehtäville: välin rajojen ennustaminen, skaalauksen tekijöiden ennustaminen, leikkaustaajuuden ennustaminen ja yleisen Log2Scale-säätö. Kroma-malli käyttää samaa rakennetta, mutta sopeutuu eri syöte- ja lähtöulottuvuuksiin.

Välin rajoja ennustetaan regressiolla, kun taas skaalauksen tekijöitä, leikkaustaajuutta ja yleistä skaalaussäätöä käsitellään luokittelutehtävinä.

Arkkitehtuuri on sopeutettu kunkin tehtävän monimutkaisuuteen, ja suuremmat sisäiset kerrokset käytetään tarkempien ennustustehtävien käsittelyyn; erityisesti kroma-malli heijastaa luma-rakennetta, mutta sopeutuu eri ominaisuuksiin, jotka liittyvät väridataan.

Koulutus ja Testit

FGA-NN koulutettiin neljällä objektiivifunktiolla, joista kunkin on suunniteltu yhden ennustustehtävän mukaan. Luokittelumallien tuloksille käytettiin kategoriaa cross-entropiaa vähentämään eroa ennustettujen luokkien ja todellisten arvojen välillä.

Välin rajoja normalisoitiin 0-1-alueelle ja optimoitiin yhdistetyllä menetyksellä: eksponentiaalisesti skaalatulla L1 menetyksellä (expL1), joka rangaisti suurempia virheitä voimakkaammin, ja monotonia-rangaistuksella, joka esti alaspäin suuntautuvia trendejä. Kaikki neljä menetystä yhdistettiin, ja suuret painot määrättiin leikkaus- ja skaalauksen tekijöille, kun taas välin rajojen ja Log2Scale-painot määrättiin 1:ksi ja 0,1:ksi.

Koulutus suoritettiin Adam -optimoinnin alla, 5e-4 oppimisnopeudella, 10 000 iteraatiolla ja 64:n pakettikokolla.

Ainoa vertailukelpoinen työkalu, joka soveltuu vertailutesteihin, on FGA-CONVENT, joka myös tuottaa arvoja FGC-SEI-muodossa, ja jota käytetään grainin käsittelyyn. Molemmat järjestelmät testattiin UHD-kuvasarjoilla JVET:n subjektiivisesta arviointisarjasta, käyttäen kuvamateriaalia, joka sisälsi oikeaa elokuvagrainingia.

Pystyviivat osoittavat intensiteetin välin rajoja, kun taas Log2Scale-voimakkuus on merkitty akselin nimessä.

Yllä olevassa kuvassa nähdään samat rajatut kehykset, jotka on luotu VFGS:llä, käyttäen parametreja kummastakin menetelmästä, verrattuna alkuperäiseen. Niiden luma-arviot on myös piirretty vastaavasti, verrattuna manuaalisesti asetettuihin VFGS-arvoihin, jotka kuvaavat pikselin kirkkautta x-akselilla (0–255), skaalauksen tekijöitä sinisellä y-akselilla (0–255) ja leikkaustaajuutta vihreällä y-akselilla (2–14).

Tutkijat toteavat:

‘Havaitsemme, että FGA-NN havaitsee tarkasti alkuperäisen elokuvagrainingin mallin ja amplitudin, tuloksena on syntetisoituja kuvia, joilla on havainnollisesti samanlainen elokuvagraining kuin alkuperäisissä.

‘Toisaalta FGA-CONVENT ennustaa alempaa skaalauksen tekijää, jota kompensoidaan vastaavasti alempaa Log2Scale-tekijällä, ja taipuu luomaan karkeampaa elokuvagraining-mallia kuin viite, tuloksena on erilainen, mutta visuaalisesti yhdenmukainen ulkonäkö.’

He huomauttavat, että suora vertailu alkuperäisen grainin parametreihin on epäluotettavaa, koska skaalauksen tekijät ja Log2Scale voivat korvata toisiaan, ja pienet virheet usein ovat visuaalisesti merkityksettömiä.

Uskon Koetus

Elokuvagrainingin uskollisuutta mitattiin neljällä työvirran kautta: FGA-NN VFGS:llä; FGA-CONVENT VFGS:llä; Style-FG; ja 3R-INN. Testit käyttivät sekä FGC-SEI- että FilmGrainStyle740k -tietokantoja, ja vertasivat tuloksia alkuperäisiin Learn Perceptual Similarity Metrics (LPIPS); JSD-NSS; ja Kullback-Leibler (KL) -hajonnalla.

Vertailutulokset FilmGrainStyle740k-tietokannasta. Style-FG ja 3R-INN suoriutuvat parhaiten, koska ne on koulutettu tähän tietokantaan, ja FGA-NN seuraa läheisesti. FGA-CONVENT suoriutuu heikommin, mikä johtuu sen riippuvuudesta monikehyksisestä analyysistä ja homogeenisista alueista – ehdot, joita ei täytetä tässä tapauksessa käytetyissä pienissä, tekstuurisissa syötekuissa.

Tutkijat toteavat:

‘FilmGrainStyle740k-testisarjassa Style-FG ja 3R-INN saavuttavat parhaat tulokset, koska nämä menetelmät on koulutettu tähän tietokantaan, ja FGA-NN seuraa läheisesti. FGA-CONVENTin suorituskyky on alhainen molemmissa testisarjoissa.

‘Tämä johtuu siitä, että analyysi perustuu homogeenisiin alueisiin ja hyödyntää tietoa useista kehyksistä oikeassa elokuvagrainingin analyysitapauksessa, kun taas tässä arvioinnissa analyysi suoritetaan yhdellä pienellä, tekstuurisella kuvalla (256×256 – 768×512), joka usein sisältää merkittävää tekstuuria.

‘Tämä vaikeuttaa haastetta perinteisille analyysimenetelmille, ja tekee mahdottomaksi soveltaa FGA-CONVENTia tällaisiin pieniin kuviin.’

Lopulta tutkijat huomauttavat, että vaikka oppimismenetelmät kuten 3R-INN ja Style-FG tuottavat vahvoja visuaalisia tuloksia kokoelmista, niiden korkea laskennallinen kustannus tekee niistä sopimattomia käytettäviksi lopputulosten laitteissa.

Vertailu matalan bittinopeuden kehyksistä, joita on parannettu eri analyysi- ja synteesityövirroilla (kolmas viimeisistä sarakkeista).

Sen sijaan ehdotettu lähestymistapa tässä uudessa paperissa yhdistää kevyen FGA-NN-analyysimoduulin tehokkaaseen VFGS-synteesimenetelmään, jonka tutkijat kuvaavat toimivammaksi ja käyttökelpoisemmaksi ratkaisuksi elokuvagrainingin palauttamiseen pakattuihin videoihin.

He toteavat, että FGA-NN:n hyödyt ovat merkittäviä suuressa mittakaavassa:

‘Koodaamalla UHD-videoita elokuvagrainingilla keskitasoisen tai matalan bittinopeuden kanssa käyttäen filmigrainin analyysi- ja synteesityövirran, voidaan saavuttaa jopa 90%:n bittinopeuden säästö verrattuna korkean bittinopeuden koodaukseen.’

Johtopäätös

Elokuvagrainingin pakkomielteisyys on yksi outo ja mielenkiintoinen post-analogisen ajan harhakuva, ja on mielenkiintoista huomata, että se, mikä kerran katsottiin rajoituksena, on nyt itse uskottavuuden ja aidon tosiasiallisuuden vertauskuvaksi, jopa uudelle sukupolvelle, joka on syntynyt emulsio-ajan laskun jälkeen.

On huomattava, että mikään valmiiden grainin luomismenetelmistä, mukaan lukien tämä viimeisin innovaatio, ei voi tarkasti vangita oikean vaikutuksen, miten valo vaikuttaa halidioksidikerroksiin oikeassa fotokemiallisessa prosessissa, eri olosuhteissa.

Julkaistu ensimmäisen kerran keskiviikkona, 18. kesäkuuta 2025