Neurónové vykresľovanie: NeRF sa prechádza na čerstvom vzduchu

Spolupráca medzi výskumom Google a Harvardskou univerzitou vyvinula novú metódu na vytváranie 360-stupňového neurónového videa kompletných scén pomocou Neurónové radiačné polia (NeRF). Nový prístup posúva NeRF o krok bližšie k bežnému abstraktnému použitiu v akomkoľvek prostredí, bez toho, aby bol obmedzený stolové modely or uzavreté interiérové ​​scenáre.

Celé video nájdete na konci článku. Zdroj: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 dokáže zvládnuť rozšírené pozadie a „nekonečné“ objekty, ako je obloha, pretože na rozdiel od väčšiny predchádzajúcich iterácií stanovuje limity na spôsob interpretácie svetelných lúčov a vytvára hranice pozornosti, ktoré racionalizujú inak zdĺhavé tréningové časy. Pozrite si nové sprievodné video vložené na konci tohto článku, kde nájdete ďalšie príklady a rozšírené informácie o tomto procese.

nového papiera je s názvom Mip-NeRF 360: Neohraničené anti-aliaizované polia neurónového žiareniaa vedie ju vedúci výskumný pracovník spoločnosti Google Research Jon Barron.

Na pochopenie prelomu je potrebné mať základné pochopenie toho, ako funguje syntéza obrazu založená na poli neurónového žiarenia.

Čo je NeRF?

Je problematické opísať sieť NeRF z hľadiska „videa“, pretože je bližšie k plne realizovanému 3D, ale založené na AI virtuálne prostredie, kde sa na spojenie scény, ktorá technicky existuje iba v latentnom priestore algoritmu strojového učenia, používa viacero uhlov pohľadu z jednotlivých fotografií (vrátane videosnímok), z ktorých je však možné ľubovoľne extrahovať mimoriadne množstvo uhlov pohľadu a videí. .

Zobrazenie viacerých snímacích bodov kamery, ktoré poskytujú údaje, ktoré NeRF zostavuje do neurónovej scény (obrázok vpravo).

Informácie odvodené z prispievajúcich fotografií sú trénované do matice, ktorá je podobná tradičnej matici voxelová mriežka v pracovných postupoch CGI v tom, že každý bod v 3D priestore končí s hodnotou, vďaka čomu je scéna navigovateľná.

Tradičná voxelová matica umiestňuje informácie o pixeloch (ktoré normálne existujú v 2D kontexte, ako je mriežka pixelov súboru JPEG) do trojrozmerného priestoru. Zdroj: ResearchGate

Po výpočte intersticiálneho priestoru medzi fotografiami (ak je to potrebné) sa dráha každého možného pixelu každej prispievajúcej fotografie efektívne „sleduje lúčom“ a je jej priradená farebná hodnota vrátane hodnoty priehľadnosti (bez ktorej by bola nervová matica úplne nepriehľadná, alebo úplne prázdne).

Ako voxelové mriežky a na rozdiel od 3D súradnicový priestor založený na CGI, „interiér“ „uzavretého“ objektu, v matici NeRF neexistuje. Ak chcete, môžete rozdeliť súpravu bicích CGI a pozrieť sa dovnútra; ale pokiaľ ide o NeRF, existencia súpravy bicích končí, keď sa hodnota nepriehľadnosti jej povrchu rovná '1'.

Širší pohľad na pixel

Mip-NeRF 360 je rozšírením výskum od marca 2021, ktorý efektívne zaviedol efektívny anti-aliasing do NeRF bez vyčerpávajúceho supervzorkovania.

NeRF tradične počíta len jednu cestu pixelov, ktorá má tendenciu produkovať druh 'jaggies' ktoré charakterizovali skoré internetové obrazové formáty, ako aj staršie herné systémy. Tieto zubaté okraje boli vyriešené rôznymi metódami, zvyčajne zahŕňajúcimi vzorkovanie susedných pixelov a nájdenie priemernej reprezentácie.

Pretože tradičný NeRF vzorkuje iba tú dráhu jedného pixelu, Mip-NeRF zaviedol „kužeľovitú“ oblasť povodia, ako je baterka so širokým lúčom, ktorá poskytuje dostatok informácií o priľahlý pixelov na vytvorenie ekonomického antialiasingu s vylepšenými detailmi.

Kužeľový kužeľový záchyt, ktorý používa Mip-NeRF, je rozrezaný na kužeľové zrezané časti (spodný obrázok), ktoré sú ďalej „rozmazané“, aby sa vytvorili vágne gaussovské priestory, ktoré možno použiť na výpočet presnosti a aliasingu pixelu. Zdroj: https://www.youtube.com/watch?v=EpH175PY1A0

Zlepšenie oproti štandardnej implementácii NeRF bolo pozoruhodné:

Mip-NeRF (vpravo), vydaný v marci 2021, poskytuje vylepšené detaily prostredníctvom komplexnejšieho, ale hospodárnejšieho aliasingového kanála, a nie len „rozmazania“ pixelov, aby sa predišlo zubatým okrajom. Zdroj: https://jonbarron.info/mipnerf/

NeRF Unbounded

Marcový dokument ponechal tri problémy nevyriešené v súvislosti s používaním Mip-NeRF v neohraničených prostrediach, ktoré môžu zahŕňať veľmi vzdialené objekty vrátane oblohy. Nový príspevok to rieši aplikáciou a Kalmanov štýl warp k Mip-NeRF Gaussovcom.

Po druhé, väčšie scény vyžadujú väčší výkon spracovania a predĺžené tréningové časy, čo Mip-NeRF 360 rieši „destiláciou“ geometrie scény pomocou malého „návrhu“ viacvrstvový perceptrón (MLP), ktorý vopred ohraničuje geometriu predpovedanú veľkým štandardným NeRF MLP. Tým sa tréning zrýchli trojnásobne.

Napokon, väčšie scény majú tendenciu robiť diskretizáciu interpretovanej geometrie nejednoznačnou, čo vedie k druhu artefaktov, ktoré môžu hráči poznať, keď sa herný výstup „roztrhne“. Nový dokument to rieši vytvorením nového regularizátora pre intervaly lúčov Mip-NeRF.

Vpravo vidíme nežiaduce artefakty v Mip-NeRF kvôli ťažkostiam s ohraničením takej veľkej scény. Vľavo vidíme, že nový regularizátor optimalizoval scénu dostatočne dobre na to, aby odstránil tieto poruchy.

Ak sa chcete dozvedieť viac o novom papieri, pozrite si video nižšie a tiež Úvodné video z marca 2021 na Mip-NeRF. Môžete sa tiež dozvedieť viac o výskume NeRF pri kontrole naše doterajšie pokrytie.

Pôvodne uverejnené 25. novembra 2021
21. decembra 2021, 12:25 – Nahradené mŕtve video. – MA