Adobe: Valaistus todellisen maailman kanssa neurorenderöinnin avulla

Adoben tutkijat ovat luoneet neurorenderöintijärjestelmän, joka pystyy monimutkaiseen valaistukseen, tarjoaa reaaliaikaisen käyttöliittymän ja käsittelee kiiltäviä pinnoja ja heijastuksia – merkittävän haasteen kilpaileville kuvansynteesimenetelmille, kuten Neural Radiance Fields (NeRF) -menetelmille.

Tässä todellinen maailman kuva on rekonstruoitu useista valokuvista, mikä tekee kohtauksesta navigoitavissa olevan. Valaistusta voidaan lisätä ja muuttaa väriltään ja laadulta, kun taas heijastukset säilyvät tarkkoina ja kiiltävät pinnat ilmaisevat käyttäjän muutokset valaistuslähteissä ja/tai tyylissä. Lähde: https://www.youtube.com/watch?v=d3ma4opFpgM

Uusi järjestelmä mahdollistaa Photoshop-tyyppisen, GUI-ohjatun valaistuksen hallinnan todellisessa 3D-kohtauksessa, joka on tallennettu neuroavaruuteen, mukaan lukien varjot ja heijastukset.

GUI mahdollistaa käyttäjän valaistuksen lisäämisen (ja säätämisen) todelliseen maailman kohtaukseen, joka on rekonstruoitu harvalukuisista valokuvista, ja vapaan navigoinnin siinä, ikään kuin se olisi CGI-tyyppinen mesh-pohjainen kohtaus.

Tutkimusartikkeli, joka on lähetetty ACM Transactions on Graphics -julkaisuun ja joka on otsikoitu Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, on yhteistyö Adoben ja Université Côte d’Azur -tutkijoiden välillä.

Lähde: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (klikkaa nähdäksesi täysikokoisen version)

Kuten Neural Radiance Fields (NeRF) -menetelmässä, järjestelmä käyttää fotogrammetriaa (ylempänä vasemmalla), jossa kohtauksen ymmärtäminen johdetaan rajoitetusta määrästä valokuvia, ja “puuttuvat” näkökulmat koulutetaan koneoppimisella, kunnes kohtauksesta on saatavilla täydellinen ja abstrakti malli, jota voidaan tulkita vapaasti.

Järjestelmä on koulutettu kokonaan synthetisoiduilla (CGI) tiedoilla, mutta 3D-mallit on käsitelty täsmälleen samalla tavoin kuin jos henkilö olisi ottanut useita rajoitettuja valokuvia todellisesta kohtauksesta neurotulkinnan vuoksi. Yllä oleva kuva näyttää synthetisen kohtauksen, jota valaistetaan uudelleen, mutta “makuuhuone”-näkymä (yllä, animoitu) on johdettu todellisista valokuvista, jotka on otettu oikeassa huoneessa.

Kohtauksen implisiittinen edustus saadaan alkuperäisestä aineistosta konvoluutio-neuroverkon (CNN) avulla ja jaetaan useisiin kerroksiin, mukaan lukien heijastavuus, säteilyvoimakkuus (radiosity/globaali valaistus) ja albedo.

Adoben valaistusjärjestelmän arkkitehtuuri. Moninäkökulmainen tietokanta esikäsitellään, ja 3D-mesh-geometria generoidaan syötetiedosta. Kun uusi valaistus on lisättävä, säteilyvoimakkuus lasketaan reaaliajassa, ja valaistettu näkymä syntetisoidaan. (klikkaa nähdäksesi täysikokoisen version)

Algoritmi yhdistää perinteisen säteenseurannan (Monte Carlo) ja kuvapohjaisen renderöinnin (IBR, neurorenderöinti) piirteitä.

Vaikka suuri osa viimeaikaisesta tutkimuksesta Neural Radiance Fields -menetelmästä on keskittynyt 3D-geometrian eristämiseen tasokuvista, Adoben tarjoama menetelmä on ensimmäinen, joka on osoittanut erittäin monimutkaisen valaistuksen yhdistettynä vapaan näkökulman navigointiin yhdessä kehyksessä kohtauksille, jotka jäljittelevät realistisesti heijastavia pinnoja.

Algoritmi käsittelee myös toisen perinteisen NeRF- ja vastaavien menetelmien rajoituksen, laskemalla täydellisen heijastuskartan, jossa jokainen kuvaosuus on määritelty 100% heijastavaksi materiaaliksi.

Heijastavat tekstuuri karttaa valaistusreittejä. (klikkaa nähdäksesi täysikokoisen version)

Tämän integraalisen heijastavuuskartan avulla on mahdollista “vähentää” heijastavuutta eri materiaaleille, kuten puulle, metallille ja kivelle. Heijastavuuskartta (yllä) tarjoaa myös täydellisen mallin säteenseurannalle, jota voidaan uudelleen käyttää hajasäteilyn mukauttamiseen.

Muita kerroksia Adoben neurorenderöintijärjestelmässä. (klikkaa nähdäksesi täysikokoisen version)

Kohtauksen alkuperäinen tallennus käyttää 250-350 RAW-kuvaa, joista lasketaan mesh moninäkökulmaisella stereometodilla. Tiedot tiivistetään 2D-syöteominaisuuksiksi, jotka sitten projisoidaan uudelleen uuteen näkymään. Valaistuksen muutokset lasketaan keskiarvoistamalla hajasäteily- ja kiiltävät kerrokset tallennetusta kohtauksesta.

Heijastuskerros generoidaan nopealla yksittäisellä heijastussäteellä (yksi heijastus), joka arvioi alkuperäisiä arvoja ja sitten kohdearvoja. Kartat, jotka sisältävät tietoa kohtauksen alkuperäisestä valaistuksesta, tallennetaan neurotietoihin, samalla tavoin kuin radiosity-kartat usein tallennetaan perinteisissä CGI-kohtauksissa.

Neurorenderöintiheijastusten ratkaisu

Todennäköisesti työn tärkein saavutus on heijastustiedon erottaminen hajasäteily- ja muiden tietokerroksista. Laskenta-aika pidetään alhaisena varmistamalla, että “heijastus”-käytössä olevat näkymät, kuten peilit, lasketaan vain aktiiviselle käyttöliittymälle, eikä koko kohtaukselle.

Tutkijat väittävät, että tämä työ edustaa ensimmäistä kertaa, jolloin valaistusominaisuudet on yhdistetty vapaan näkökulman navigointiin yhdessä kehyksessä kohtauksille, jotka jäljittelevät realistisesti heijastavia pinnoja.

Jotkut uhraukset on tehty, jotta tämä toiminnallisuus saataisiin aikaan, ja tutkijat myöntävät, että aiemmat menetelmät, jotka käyttävät monimutkaisempia näkökulma-kohtaisia mesh-malleja, osoittavat parannettua geometriaa pienille esineille. Adoben lähestymistavan tulevaisuuden suunnat sisältävät näkökulma-kohtaisen geometrian käytön tämän puolen parantamiseksi.