Neural Rendering: NeRF Takes a Walk in the Fresh Air

Spolupráce mezi Google Research a Harvard University vyvinula novou metodu pro vytváření 360stupňových neuronových videí kompletních scén pomocí Neural Radiance Fields (NeRF). Nová přístup přibližuje NeRF k běžnému abstraktnímu použití v jakémkoli prostředí, bez omezení na modely stolů nebo uzavřené interiérové scénáře.

Viz konec článku pro kompletní video. Source: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 může zpracovat prodloužené pozadí a ‘nekonečné’ objekty, jako je obloha, protože na rozdíl od většiny předchozích iterací nastavuje limity pro interpretaci světelných paprsků a vytváří hranice pozornosti, které racionalizují jinak dlouhé časy trénování. Viz nové doprovodné video na konci tohoto článku pro více příkladů a prohloubení procesu.

Nová práce se jmenuje Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields a je vedená seniorním výzkumným vědcem v Google Research Jonem Barronem.

Chcete-li pochopit průlom, je nutné mít základní pochopení toho, jak funguje syntéza obrazu založená na neuronových radiance polích.

Co je NeRF?

Je problematické popisovat síť NeRF v termínech ‘videa’, protože se jedná spíše o plně 3D-realizované, ale AI-based virtuální prostředí, kde jsou multiple pohledy z jediných fotografií (včetně snímků videa) použity k sešívání scény, která technicky existuje pouze v latentním prostoru algoritmu strojového učení – ale z které lze extrahovat neobvyklé množství pohledů a videí podle potřeby.

Zobrazení více bodů zachycení kamery, které poskytují data, která NeRF sestavuje do neuronové scény (zobrazeno vpravo).

Informace odvozené z přispívajících fotografií jsou trénovány do matice, která je podobná tradiční voxel mřížce v CGI pracovních postupech, v tom smyslu, že každý bod v 3D prostoru skončí s hodnotou, což činí scénu navigovatelnou.

Tradiční voxel mřížka umístí pixelové informace (které normálně existují v 2D kontextu, jako je pixelová mřížka souboru JPEG) do trojrozměrného prostoru. Source: ResearchGate

Po výpočtu meziprostoru mezi fotografiemi (pokud je necessário), je efektivní ‘ray-tracing’ každé možné pixelu každého přispívajícího snímku a přiřazena barva, včetně hodnoty průhlednosti (bez které by neuronová mřížka byla completely neprůhledná nebo completely prázdná).

Stejně jako voxel mřížky a na rozdíl od CGI-založeného 3D koordinačního prostoru, ‘interiér’ ‘uzavřeného’ objektu neexistuje v NeRF mřížce. Můžete rozdělit otevřený CGI bicí soupravu a podívat se dovnitř, pokud chcete; ale pokud jde o NeRF, existence bicí soupravy končí, když hodnota opacnosti její povrchu rovná ‘1’.

Širší pohled na pixel

Mip-NeRF 360 je rozšířením výzkumu z března 2021, který efektivně zavedl efektivní anti-aliasing do NeRF bez vyčerpávajícího supersamplingu.

Tradiční NeRF počítá pouze jednu cestu pixelu, která má tendenci produkovat typ ‘jaggies’, které charakterizovaly rané internetové formáty obrázků, stejně jako dřívější herní systémy. Tyto zubaté hrany byly řešeny různými metodami, obvykle zahrnujícími vzorkování_adjacentních pixelů a nalezení průměrného zastoupení.

Protože tradiční NeRF vzorkuje pouze jednu cestu pixelu, Mip-NeRF zavedl ‘konický’ zachycení, jako široký paprsek, který poskytuje dostatek informací o adjacentních pixelech pro ekonomické anti-aliasing s vylepšenými detaily.

Konický konický zachycení, které Mip-NeRF používá, je rozděleno na konické frustumy (dole), které jsou dále ‘rozostřeny’ pro reprezentaci vágního Gaussian prostoru, který lze použít pro výpočet přesnosti a aliasingu pixelu. Source: https://www.youtube.com/watch?v=EpH175PY1A0

Vylepšení oproti standardní implementaci NeRF bylo znatelné:

Mip-NeRF (vpravo), vydaný v březnu 2021, poskytuje vylepšené detaily prostřednictvím komplexnějšího, ale ekonomického aliasingového potrubí, spíše než jen ‘rozostření’ pixelů pro zabránění zubatým hranám. Source: https://jonbarron.info/mipnerf/

NeRF Unbounded

Článek z března ponechal tři problémy nevyřešené ve vztahu k použití Mip-NeRF v neomezených prostředích, která mohou zahrnovat velmi vzdálené objekty, včetně oblohy. Nová práce řeší tento problém aplikací Kalman-style deformace na Mip-NeRF Gaussovské funkce.

Druhým problémem je, že větší scény vyžadují větší výpočetní výkon a prodloužené časy trénování, které Mip-NeRF 360 řeší ‘destilací’ geometrie scény s malým ‘návrhem’ multi-layer perceptron (MLP), který předem stanoví geometrii předpovězenou velkým standardním NeRF MLP. To urychluje trénování o faktor tři.

Třetím problémem je, že větší scény tendují k tomu, aby diskretizace interpretované geometrie byla vágní, což vede k typům artifactů, se kterými mohou být hráči seznámeni, když je výstup hry ‘roztržen’. Nová práce řeší tento problém vytvořením nového regularizátoru pro Mip-NeRF intervaly paprsků.

Na pravé straně vidíme nežádoucí artifacty v Mip-NeRF v důsledku obtíží při ohraničení takové velké scény. Na levé straně vidíme, že nový regularizátor optimalizoval scénu dostatečně, aby odstranil tyto poruchy.

Chcete-li se dozvědět více o nové práci, podívejte se na video níže a také na video z března 2021 o Mip-NeRF. Můžete také zjistit více o výzkumu NeRF tím, že se podíváte na naši dosavadní zpravodajství.

Původně publikováno 25. listopadu 2021
21. prosince 2021, 12:25 – Nahradil mrtvé video. – MA