Andersonin kulma
Kohti reaaliaikaisia tekoälyihmisiä Neural Lumigraph Rendering -menetelmällä

Keskeiset kohdatNeural Lumigraph Rendering parantaa NeRF:iä noin kahdella suuruusluokalla.
Näytä lisää
- Neural Lumigraph Rendering parantaa NeRF:iä noin kahdella suuruusluokalla.
- NLR käyttää SIREN-verkkoja yhdistääkseen NeRF:n ja IDR:n vahvuudet reaaliaikaiseen grafiikkaan.
- NLR:stä puuttuvat dynaamisen valaistuksen ja uudelleenvalaistuksen ominaisuudet, mikä rajoittaa tulosteen kuvaushetken valaistukseen.
Vaikka Neural Radiance Fields (NeRF) herättää nyt paljon kiinnostusta ja mahdollistaa tekoälyn luomat 3D-ympäristöt ja -objektit, tämä uusi kuvansynteesin lähestymistapa vaatii edelleen runsaasti koulutusaikaa. Siltä puuttuu toteutus, joka mahdollistaisi reaaliaikaiset, nopeasti reagoivat käyttöliittymät.
Teollisuuden ja tiedemaailman merkittävien toimijoiden yhteistyö tarjoaa kuitenkin uuden lähestymistavan tähän haasteeseen, joka tunnetaan yleisesti uusien näkymien synteesinä (Novel View Synthesis, NVS).
Tutkimus artikkeli, jonka otsikko on Neural Lumigraph Rendering, väittää parantavansa tilannetta noin kahden kertaluokan verran, edistäen reaaliaikaisen tietokonegrafiikan tuottamista koneoppimisputkien avulla.

Neural Lumigraph Rendering (oikea) tarjoaa sekoitusartefaktien paremman korjaamisen ja peittyvien pintojen paremman käsittelyn edeltäviin menetelmiin verrattuna. Lähde.
Vaikka artikkelin tekijöiksi mainitaan vain Stanfordin yliopisto ja holografisen näyttöteknologian yritys Raxium (joka toimii tällä hetkellä salassa), tutkijaryhmään kuuluvat myös Googlen johtava koneoppimisen arkkitehti, Adoben tietojenkäsittelytieteilijä ja StoryFile-nimisen yrityksen CTO (joka on aiheuttanut huomiota vastikään luomallaan AI-versiolla William Shatnerista).
(ADBE )Shatnerin viimeaikaisen julkisuuskampanjan yhteydessä StoryFile näyttää käyttävän NLR:ää uudessa prosessissaan, jossa luodaan interaktiivisia, tekoälypohjaisia entiteettejä yksilöiden ominaisuuksien ja kertomusten perusteella.
StoryFile näkee tätä teknologiaa käytettävän museoissa, interaktiivisissa verkkokertomuksissa, holografisissa näytöissä, lisätyn todellisuuden sovelluksissa ja kulttuuriperinnön dokumentoinnissa – ja näyttää myös tutkivan uusia sovellusmahdollisuuksia NLR:lle työhaastatteluissa ja virtuaalitreffeissä:

Ehdotettuja käyttökohteita StoryFile-nimisen yrityksen verkkovideosta.
Volumetrinen tallennus uusien näkymien synteesin käyttöliittymiä ja videota varten
Tilavuuden kaappauksen periaate, jota käsitellään useissa tutkimusartikkeleissa, on ideana ottaa kuvia tai videoita kohteesta ja käyttää koneoppimista “täyttämään” näkökulmia, joita alkuperäinen kameraryhmä ei kattanut.

Lähde: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf
Yllä olevassa kuvassa, joka on otettu Facebookin AI-tutkimuksesta vuodelta 2019 (ks. alla), nähdään tilavuuden kaappauksen neljä vaihetta: useat kamerat ottavat kuvia/materiaalia; koodaus/dekoodaus-arkkitehtuuri (tai muut arkkitehtuurit) laskee ja yhdistää näkökulmien suhteellisuuden; säteenmarssimisalgoritmit laskevat jokaisen tilavuuden pisteiden voxelit (tai muut XYZ-avaruudelliset geometriset yksiköt); ja (useimmissa viimeaikaisissa tutkimuksissa) koulutuksen avulla syntetisoidaan kokonainen entiteetti, jota voidaan muokata reaaliajassa.
Tämä usein laaja ja data-intensiivinen koulutusvaihe on pitänyt uusien näkymien synteesin pois reaaliajasta tai nopeasti reagoivasta tallennuksesta.
Se, että uusien näkymien synteesi luo täydellisen 3D-kartan tilavuudesta, tekee siitä suhteellisen helppoa yhdistää nämä pisteet perinteiseksi tietokonegrafiikan polygoniverkoksi ja siten tallentaa ja niveltää CGI-ihminen (tai minkä tahansa toisen suhteellisen rajatun kohteen) lennossa.
Lähestymistavat, jotka käyttävät NeRF:ää, riippuvat pistepilvistä ja syvyyskartoista interpoloidakseen tallennuslaitteiden harvojen näkökulmien välillä:

NeRF voi luoda tilavuuden syvyyden laskemalla syvyyskarttoja sen sijaan, että luotaisiin tietokonegrafiikkamalleja. Lähde: https://www.youtube.com/watch?v=JuH79E8rdKc
Vaikka NeRF on kykenevä laskemaan polygoniverkkoja, useimmat toteutukset eivät käytä tätä kolmiulotteisten näkymien luomiseen.
Sen sijaan Implicit Differentiable Renderer (IDR) -lähestymistapa, joka julkaistiin Weizmannin tiede-instituutissa lokakuussa 2020, perustuu hyödyntämään 3D-mallitietoa, joka luodaan automaattisesti kameraryhmistä:

IDR-kuvia, jotka on muunnettu interaktiivisiksi tietokonegrafiikkamalleiksi. Lähde: https://www.youtube.com/watch?v=C55y7RhJ1fE
NeRF:stä puuttuu IDR:n kyky arvioida muotoa, mutta IDR ei voi kilpailla NeRF:n kuvanlaadussa, ja molemmat vaativat laajoja resursseja koulutuksen ja kokoamisen vuoksi (vaikka NeRF:iin liittyvät viimeaikaiset innovaatiot alkavat ratkaista tätä ongelmaa).

NLR:n erityisvalmisteinen kamerajärjestelmä, jossa on 16 GoPro HERO7 -kameraa ja 6 keskellä olevaa Back-Bone H7PRO-kameraa. ‘Reaaliaikaisessa’ renderöinnissä nämä toimivat vähintään 60 kuvan sekuntivauhtia. Lähde: https://arxiv.org/pdf/2103.11571.pdf
Sen sijaan Neural Lumigraph Rendering käyttää SIREN:iä (Sinusoidal Representation Networks) yhdistämään kumpaankin lähestymistapaan liittyvät vahvuudet omaan viitekehykseensä, joka on tarkoitettu tuottamaan suoraan käytettävissä olevaa tulosta olemassa oleviin reaaliaikaisiin grafiikkaputkiin.
SIREN:iä on käytetty samankaltaisissa toteutuksissa viime vuoden aikana, ja se edustaa nyt suosittua API-kutsua kuvansynteesiyhteisöjen harrastajien Colab-muistikirjoissa; kuitenkin NLR:n innovaatio on soveltaa SIREN:ia kaksiulotteiseen moninäkökulmaiseen kuvavalvontaan, mikä on ongelmallista SIREN:in tuottaman usein ylisovitetun, ei yleistetyn, tulosteen vuoksi.
Kun tietokonegrafiikkamalli on erotettu kamerakuvista, malli rasteroidaan OpenGL:llä, ja mallin kärkipisteiden sijainnit määritetään asianmukaisiin pikseleihin, minkä jälkeen lasketaan eri karttojen sekoittumista:
Tuloksena oleva malli on yleisempi ja edustavampi kuin NeRF:n (ks. alla oleva kuva), vaatii vähemmän laskentaa eikä sovellakaan liiallista yksityiskohtaisuutta alueille (kuten sileälle kasvojen iholle), joilta se ei voi hyötyä:
Toisaalta NLR:llä ei ole vielä dynaamisen valaistuksen tai uudelleenvalaistuksen ominaisuutta, ja tuloste on rajoitettu tallennushetkellä saatuihin varjokarttoihin ja muihin valaistusparametreihin. Tutkijat aikovat käsitellä tämän tulevassa työssä.
Lisäksi artikkeli myöntää, että NLR:llä luodut muodot eivät ole yhtä tarkkoja kuin joissakin vaihtoehtoisissa lähestymistavoissa, kuten Pixelwise View Selection for Unstructured Multi-View Stereo tai Weizmannin instituutin tutkimuksessa mainittu.
Volumetrisen kuvansynteesin nousu
Idea 3D-entiteettien luomisesta rajoitetusta valokuvien sarjasta neuroverkkojen avulla edeltää NeRF:iä, ja visionääriset tutkimukset ulottuvat vuoteen 2007 tai aiemmaksi. Vuonna 2019 Facebookin AI-tutkimuslaitos julkaisi merkittävän tutkimuksen, Neural Volumes: Learning Dynamic Renderable Volumes from Images, joka mahdollisti ensimmäisen kerran nopeasti reagoivat käyttöliittymät tekoälyllä luoduille ihmisille tilavuuden kaappauksen avulla.

Facebookin vuoden 2019 tutkimus mahdollisti nopeasti reagoivan käyttöliittymän luomisen kolmiulotteiselle ihmiselle. Lähde: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/













