Kunsmatige Intelligensie
Verlig neurale uitstralingsvelde met enige omgewingskaart
A nuwe papier van die Max Planck Instituut en MIT het 'n tegniek voorgestel om ware te verkry ontknoping van neurale uitstralingsvelde (NeRF) inhoud van die beligting wat teenwoordig was toe die data ingesamel is, wat toelaat ad hoc omgewingskaarte om die beligting in 'n NeRF-toneel heeltemal uit te skakel:
Die nuwe tegniek toegepas op werklike data. Dit is opmerklik dat die metode selfs werk op argiefdata van hierdie tipe, wat nie die nuwe pyplyn in ag geneem het toe die data vasgelê is nie. Ten spyte hiervan word realistiese en gebruikersgespesifiseerde beligtingsbeheer verkry. Bron: https://arxiv.org/pdf/2207.13607.pdf
Die nuwe benadering gebruik die gewilde oopbron 3D-animasieprogram Blender om 'n 'virtuele ligverhoog' te skep, waar talle iterasies van moontlike beligtingscenario's weergegee word en uiteindelik opgelei word in 'n spesiale laag in die NeRF-model wat enige omgewingskaart kan akkommodeer wat die gebruiker wil gebruik om die toneel te verlig.
'n Uitbeelding van die deel van die pyplyn wat Blender gebruik om virtuele ligverhoogaansigte van die onttrekte meetkunde te skep. Vorige metodes wat soortgelyke lyne volg, het werklike ligstadiums gebruik om hierdie data te verskaf, wat 'n lastige vereiste vir diskrete voorwerpe is, en 'n onmoontlike een vir uitsig oor die buite-omgewing. In die linkerbovenhoek van die heel regterkantste twee prente kan ons die omgewingskaarte sien wat die beligting van die toneel dikteer. Dit kan arbitrêr deur die eindgebruiker geskep word, wat NeRF 'n stadium nader bring aan die buigsaamheid van 'n moderne CGI-benadering.
Die benadering is getoets aan die Mitsuba2 omgekeerde weergawe raamwerk, en ook teenoor vorige werke Fisg, RNR, Neurale-PIL en NeRFactor, wat slegs 'n direkte beligtingsmodel gebruik en die beste tellings behaal het:
Resultate van die nuwe tegniek, vergelyk met vergelykbare benaderings onder 'n verskeidenheid verliesfunksies. Die navorsers beweer dat hul benadering metodes van die hoogste gehalte oplewer, met die resultate geëvalueer deur middel van pieksein-tot-geraasverhouding (PSNR), Structurele Similarity Index Measure (SSIM) en die effektiewe indien eksentrieke Learned Perceptual Image Patch Similarity (LPIPS) .
Die artikel sê:
'Ons kwalitatiewe en kwantitatiewe resultate toon 'n duidelike stap vorentoe in terme van die herstel van toneelparameters sowel as die sintesekwaliteit van ons benadering onder nuwe aansigte en beligtingstoestande wanneer dit vergelyk word met die vorige stand van die kuns.'
Die navorsers verklaar dat hulle uiteindelik die kode vir die projek sal vrystel.
Die behoefte aan NeRF-bewerkbaarheid
Hierdie soort ontknoping was 'n noemenswaardige uitdaging vir navorsers in Neurale Radiance Fields, aangesien NeRF in wese 'n fotogrammetrie-tegniek is wat die pixelwaarde van duisende moontlike paaie vanuit 'n oogpunt bereken, RGBD-waardes toeken en 'n matriks van hierdie waardes saamstel in 'n volumetriese voorstelling. In sy kern word NeRF gedefinieer deur beligting.
Trouens, ten spyte van sy indrukwekkende beeldmateriaal en uitspattige aanvaarding deur NVIDIA, is NeRF veral 'rigied' - in CGI-terme, 'gebak'. Daarom het die navorsingsgemeenskap gesentreer op die verbetering van sy hanteerbaarheid en veelsydigheid in hierdie opsig oor die afgelope 12-18 maande.
Wat belangrikheid betref, is die belange vir hierdie soort mylpaal hoog, en dit sluit die moontlikheid in om die visuele effekte-industrie te transformeer van 'n kreatiewe en samewerkende model gesentreer rondom maasgenerering, bewegingsdinamika en tekstuur, na 'n model wat rondom gebou is. omgekeerde weergawe, Waar die VFX-pyplyn aangevuur word deur werklike foto's van werklike dinge (of selfs, moontlik, van werklike en gesintetiseerde modelle), eerder as beraamde, ambagsmatige benaderings.
Vir nou is daar relatief min rede tot kommer onder die visuele effekte-gemeenskap, ten minste van Neural Radiance Fields. NeRF het slegs ontluikende vermoëns in terme van rigging, nes, dieptebeheer, artikulasie…en beslis ook ten opsigte van beligting. Die meegaande video vir 'n ander nuwe papier, wat rudimentêre vervormings vir NeRF meetkunde bied, illustreer die enorme kloof tussen die huidige stand van die kuns in CGI en die seminale pogings van neurale weergawe tegnieke.
Sif die elemente
Nietemin, aangesien dit nodig is om iewers te begin, het die navorsers vir die nuwe artikel CGI aangeneem as 'n tussenganger-beheer- en produksiemeganisme, nou 'n algemene benadering na die rigiede latente ruimtes van GAN'e en die byna ondeurdringbare en lineêre netwerke van NeRF.
Die sentrale uitdaging is effektief om te bereken globale verligting (GI, wat geen direkte toepaslikheid in neurale weergawe het nie) in 'n ekwivalent Vooraf berekende stralingsoordrag (PRT, wat aangepas kan word vir neurale weergawe) berekening.
GI is 'n nou-eerbiedwaardige CGI-weergawe-tegniek wat die manier waarop lig van oppervlaktes en op ander oppervlaktes weerkaats modelleer, en hierdie areas van weerkaatste lig in 'n weergawe inkorporeer, vir ekstra realisme.
PRT word as 'n intermediêre beligtingsfunksie in die nuwe benadering gebruik, en die feit dat dit 'n diskrete en bewerkbare komponent is, is wat die ontvlechting bewerkstellig. Die nuwe metode modelleer die materiaal van die NeRF-objek met 'n aangeleerde PRT.
Die werklike toneelbeligting van die oorspronklike data word in die proses as 'n omgewingskaart herwin, en toneelgeometrie self word onttrek as 'n Tekenafstandveld (SDF) wat uiteindelik 'n tradisionele gaas sal bied vir Blender om in die virtuele ligstadium op te werk.
'n Oorsig van die pyplyn vir die nuwe tegniek.
Die eerste fase in die proses is om die toneelgeometrie uit die beskikbare veelvuldige aansigbeelde te onttrek deur implisiete oppervlakrekonstruksie, via tegnieke wat in die 2021 gebruik word. NeuS navorsing samewerking.
Ten einde 'n neurale uitstralingsoordragveld (NRTF, wat die beligtingsdata sal akkommodeer) te ontwikkel, het die navorsers die Mitsuba 2-differensieerbare padspoorder gebruik.
Dit vergemaklik die gesamentlike optimalisering van 'n tweerigtingverspreidingsverspreidingsfunksie (BSDF), sowel as die generering van 'n aanvanklike omgewingskaart. Sodra die BSDF geskep is, kan die padspoorder in Blender gebruik word (sien ingebedde video direk hierbo) om virtuele een-lig-op-'n-tyd (OLAT) toneelweergawes te skep.
Die NRTF word dan opgelei met 'n gekombineerde verlies tussen fotorealistiese materiaaleffekte en die sintetiese data, wat nie met mekaar verstrengel is nie.
'n Vergelyking met voorganger NeRFactor, oor die uitdagings van nuwe sieningssintese en herbeligting.
Die pad na verligting
Die opleidingsvereistes vir hierdie tegniek, hoewel aansienlik minder as die oorspronklike NeRF-opleidingstye, is nie onbeduidend nie. Op 'n NVIDIA QuadroRTX 8000 met 48 GB VRAM neem voorlopige opleiding vir aanvanklike lig- en tekstuurskatting 30 minute; OLAT-opleiding (dws die opleiding van die virtuele ligverhoogopnames) neem agt uur; en die finale gesamentlike optimalisering tussen die ontstrengelde sintetiese en werklike data neem 'n verdere 16 uur om optimale kwaliteit te bereik.
Verder kan die gevolglike neurale voorstelling nie in reële tyd loop nie en neem volgens die navorsers 'n paar sekondes per raam'.
Die navorsers kom tot die gevolgtrekking:
"Ons resultate toon 'n duidelike verbetering teenoor die huidige stand van die kuns, terwyl toekomstige werk die verdere verbetering van die looptyd en 'n gesamentlike redenasie van meetkunde, materiaal en toneelbeligting kan behels."
Eerste gepubliseer 28 Julie 2022.
