NeRF siirtyy askelta lähemmäs CGI:n korvaamista

Tutkijat MIT:stä ja Googlelta ovat tehneet suuren edistysaskeleen yhden neural radiance field (NeRF) -teknologian merkittävimmistä esteistä ratkaisemiseksi, joka voi lopulta korvata CGI:n – erottamalla NeRF-kuvausten visuaaliset komponentit, jotta kuvausten tekstuuria ja valaistusta voidaan muuttaa.

Uusi lähestymistapa, jota kutsutaan NeRFactoriksi, erottaa tehokkaasti kuvausten per-objektinormaalit (joihin tekstuurit voidaan liittää), valon näkyvyyden, albedon (pinnan heijastaman valon osuuden) ja Bidirectional Reflectance Distribution Functions (BRDF):t.

Näiden seikkojen erottamisen myötä on mahdollista vaihtaa tekstuurit yksittäisille objekteille tai objektiryhmille ja lisätä uusia ja yksilöllisiä valonlähteitä ja varjostustoteutuksia, jättäen huomioimatta ne, jotka on tallennettu monikamerajärjestelmillä, joka tuottaa NeRF-kuvausten syötteen.

Kuvamalli tukee pehmeitä tai kova varjoja mielivaltaisista, käyttäjän määrittelmistä valonlähteistä, ja erottaa neljä kuvausten osaa ohjelmallisesti käyttäen rekonstruktiohäviötä, edellisten BRDF-laskelmien tietoja ja yksinkertaista sileää säännöllistämistä.

NeRFactor käyttää HDR-valosondia, joka on vakiintunut lähestymistapa, joka on ollut kuvataiteen ja teollisuuden visualisointinäkymässä sen julkaisusta vuonna 1998 lähtien, arvioidakseen mahdolliset säteiden reitit, mikä mahdollistaa mielivaltaisen valaistuksen. Koska tämä tuottaa hallitsemattoman määrän mahdollisia parametreja, valosondi suodatetaan monikerroksisen perceptronin (MLP) läpi, joka kartoittaa havaitun geometrian sondiin ilman koko valaistusvoluumin kartan laskemista mallitilassa.

Uusi tutkimus on ehkä merkittävin erottamalla kuvausten kerrokset, jotka ohjaavat heijastusta. Tämä on yksi suurimmista haasteista neural radiance field -kuvauksille, koska todella uusi ja joustava NeRF-järjestelmä tarvitsee ei vain kykyä korvata tekstuurit, vaan myös keinoja heijastaa liikkuvia objekteja (paitsi vain kiinteää ympäristöä), jotka olisivat normaalisti otettu huomioon CGI-työvirrassa.

Tämä ongelma huomattiin äskettäin Intelin vaikuttavan uuden tutkimuksen yhteydessä videopelikuvausten muuttamiseksi fotorealistiseksi videoksi konvoluutio-neuroverkkojen avulla. Tällaisissa työvirroissa monet “paistetut” alkumateriaalin osat tarvitsisivat muuttuvan erilliseksi ja vaihdettavaksi, ja tämä on väittäen helpompi ratkaista valaistuksen (joka on NeRF:ssä renderöidyn geometrian funktio) kuin heijastuksen (joka käyttää “näytön ulkopuolista” geometriaa, joka on kokonaan mallin ulottumattomissa).

NeRFactorin avulla voidaan erottaa kuvausten kerrokset, jotka mahdollistavat heijastuksen, ja NeRF on yhden askeleen lähempänä heijastushaasteen ratkaisemista.

HDR-ympäristö ratkaisee jo valon heijastumisen (esim. taivaan, maiseman ja muiden “kiinteiden” ympäristötekijöiden) ongelman, mutta uusia lähestymistapoja tarvitaan saadakseen aikaan liikkuvat ja dynaamiset heijastukset.

NeRF-kuvaus käyttää koneoppimisen analyysiä kehittääksesi täysin volumetrinen tila kohtauksesta tai objektista, joka on tallennettu useista kulmista.

Erilaiset NeRF-pohjaiset järjestelmät, jotka ovat kehittyneet viime vuoden aikana, ovat käyttäneet monia erilaisia kamerajärjestelmiä; jotkut käyttävät 16 tai useampaa kameraa, toiset vain yhtä tai kahta. Kaikissa tapauksissa välittömät näkökulmat “täytetään” (tulkitaan), jotta kohtaus tai objekti voidaan navigoida sulavasti.

Tuloksena on täysin volumetrinen tila, jolla on sisäänrakennettu 3D-ymmärrys, jota voidaan hyödyntää monin tavoin, mukaan lukien kyky luoda perinteisiä CG- verkkorakenteita 3D-parsimisen summan avulla.

NeRF-kuvaus on suoraan maailman todellisista kuvista, mukaan lukien liikkuvat kuvat ihmisistä, objekteista ja kohtauksista. Sen sijaan CGI-menettely “tutkii” ja tulkkaa maailmaa, vaatiessaan taitavia työntekijöitä luomaan verkkorakenteita, rigit ja tekstuurit, jotka hyödyntävät maailman todellisia kuvia (esim. kasvo- ja ympäristönäkymien tallennus). Se on edelleen tulkinnallinen ja käsityöläinen lähestymistapa, joka on kallista ja työlästä.

Lisäksi CGI on kokenut jatkuvia ongelmia “uncanny valley” -ilmiössä pyrkiessään jäljittelemään ihmisen kaltaisia hahmoja, mikä ei ole este NeRF-lähestymistavalle, joka tallentaa vain videota tai kuvia todellisista ihmisistä ja muokkaa niitä.

NeRF voi myös luoda perinteisiä CGI-tyyppisiä verkkorakenteita suoraan valokuvista tarpeen mukaan ja korvata monia manuaalisia prosesseja, jotka ovat aina olleet välttämättömiä tietokonegrafiikassa.

Viimeisimmän MIT:n ja Googlelta saadun tutkimuksen myötä NeRF on edennyt askelen lähemmäs CGI:n korvaamista. NeRF on yhä lähempänä ratkaisemasta suurinta haastettaan, ja jos se onnistuu ratkaisemaan heijastusongelmansa ja optimointitutkimuksensa, NeRF voi todella korvata CGI:n seuraavien viiden vuoden aikana.