Neuronové vykreslování: NeRF se vydává na procházku čerstvým vzduchem

Spolupráce mezi Google Research a Harvardovou univerzitou vyvinula novou metodu pro vytvoření 360stupňového neuronového videa kompletních scén pomocí Neuronových radiance polí (NeRF). Nová metoda přibližuje NeRF k běžnému abstraktnímu použití v jakémkoli prostředí, bez omezení na stolní modely nebo uzavřené interiérové scény.

Viz konec článku pro kompletní video. Zdroj: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 může zpracovat prodloužené pozadí a ‘nekonečné’ objekty, jako je obloha, protože, na rozdíl od většiny předchozích iterací, nastavuje hranice pro interpretaci světelných paprsků a vytváří hranice pozornosti, které racionalizují jinak dlouhé doby trénování. Viz nové doprovodné video vložené na konci tohoto článku pro další příklady a prohloubení procesu.

Nová studie se jmenuje Mip-NeRF 360: Neomezená anti-aliasovaná neuronová radiance pole a je vedená seniorním výzkumným vědcem v Google Research Jonem Barronem.

Abychom pochopili průlom, je nutné mít základní pochopení toho, jak funguje syntéza obrazu založená na neuronových radiance polích.

Co je NeRF?

Je problematické popisovat NeRF síť jako ‘video’, protože se jedná spíše o plně 3D realizované, ale AI-založené virtuální prostředí, kde jsou multiple pohledy z jednotlivých fotografií (včetně snímků videa) použity k sešívání scény, která technicky existuje pouze v latentním prostoru algoritmu strojového učení – ale z něhož lze extrahovat neobvyklé množství pohledů a videí podle potřeby.

Zobrazení více bodů zachycení kamery, které poskytují data, která NeRF sestavuje do neuronové scény (zobrazeno vpravo).

Informace odvozené z příspěvkových fotografií jsou trénovány do matice, která je podobná tradiční voxel mřížce v pracovních postupech CGI, v tom smyslu, že každý bod v 3D prostoru skončí s hodnotou, což činí scénu procházkovou.

Tradiční voxelová matice umisťuje informace o pixelech (které normálně existují v 2D kontextu, jako je pixelová mřížka souboru JPEG) do trojrozměrného prostoru. Zdroj: ResearchGate

Po výpočtu meziprostoru mezi fotografiemi (pokud je necessário), je efektivní cesta každého možného pixelu každého příspěvkového snímku prakticky ‘ray-traced’ a přiřazena barva, včetně hodnoty průhlednosti (bez které by neuronová matice byla úplně neprůhledná nebo úplně prázdná).

Podobně jako voxelové mřížky a na rozdíl od CGI-založeného 3D koordinátového prostoru, ‘interiér’ ‘uzavřeného’ objektu neexistuje v NeRF matici. Můžete otevřít CGI bubnovou soupravu a podívat se dovnitř, pokud chcete; ale pokud jde o NeRF, existence bubnové soupravy končí, když hodnota opacita jejího povrchu dosáhne ‘1’.

Širší pohled na pixel

Mip-NeRF 360 je rozšířením výzkumu z března 2021, který efektivně zavedl efektivní anti-aliasing do NeRF bez vyčerpávajícího supersamplingu.

NeRF tradičně počítá pouze jednu cestu pixelu, což má tendenci produkovat typ ‘jaggies’, které charakterizovaly rané internetové formáty obrazů, stejně jako dřívější herní systémy. Tyto hrubé hrany byly vyřešeny různými metodami, obvykle zahrnujícími vzorkování sousedních pixelů a nalezení průměrného zastoupení.

Pokud tradiční NeRF pouze vzorkuje jednu cestu pixelu, Mip-NeRF zavedl ‘konický’ záchytný prostor, podobný širokému paprsku, který poskytuje dostatek informací o sousedních pixelech pro ekonomické anti-aliasing s vylepšeným detailováním.

Konický záchytný prostor, který Mip-NeRF používá, je rozdělen na konické frustumy (dole), které jsou dále ‘rozostřeny’ pro reprezentaci vágního Gaussova prostoru, který lze použít pro výpočet přesnosti a aliasingu pixelu. Zdroj: https://www.youtube.com/watch?v=EpH175PY1A0

Vylepšení oproti standardní implementaci NeRF bylo pozoruhodné:

Mip-NeRF (vpravo), vydán v březnu 2021, poskytuje vylepšené detaily prostřednictvím více komplexního, ale ekonomického aliasingového potrubí, spíše než jen ‘rozostření’ pixelů pro zabránění hrubým hranám. Zdroj: https://jonbarron.info/mipnerf/

NeRF Neomezené

Studie z března ponechala tři problémy nevyřešené ve vztahu k použití Mip-NeRF v neomezených prostředích, která mohou zahrnovat velmi vzdálené objekty, včetně oblohy. Nová studie řeší tento problém aplikací Kalmanovsky styl warp na Mip-NeRF Gaussovy.

Druhým problémem je, že větší scény vyžadují větší výpočetní výkon a prodloužené doby trénování, které Mip-NeRF 360 řeší ‘destilací’ scénické geometrie s malým ‘návrhem’ multi-layer perceptronem (MLP), který předem určuje geometrii předpovězenou standardním NeRF MLP. To zrychluje trénování o faktor tři.

Konečně, větší scény mají tendenci dělat diskrétnost interpretované geometrie nejednoznačnou, což vede k typu artifactů, se kterými mohou být hráči seznámeni, když je výstup ‘roztržen’. Nová studie řeší tento problém vytvořením nového regularizátoru pro Mip-NeRF intervaly paprsků.

Vpravo vidíme nežádoucí artifacty v Mip-NeRF kvůli obtížím při ohraničení takové velké scény. Vlevo vidíme, že nový regularizátor optimalizoval scénu dostatečně, aby odstranil tyto poruchy.

Abyste se dozvěděli více o nové studii, podívejte se na video níže a také na březnovou studii 2021 o Mip-NeRF. Můžete také najít více informací o výzkumu NeRF tím, že se podíváte na naši dosavadní pokrytí.

Původně zveřejněno 25. listopadu 2021
21. prosince 2021, 12:25 – Nahradil mrtvé video. – MA