Neural Rendering: NeRF se prochází na čerstvém vzduchu

Spolupráce mezi výzkumem Google a Harvardskou univerzitou vyvinula novou metodu vytváření 360stupňového neurálního videa kompletních scén pomocí Pole neuronového záření (NeRF). Nový přístup posouvá NeRF o krok blíže k příležitostnému abstraktnímu použití v jakémkoli prostředí, aniž by byl omezen stolní modely or uzavřené scénáře interiéru.

Celé video najdete na konci článku. Zdroj: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 si poradí s rozšířeným pozadím a „nekonečnými“ objekty, jako je obloha, protože na rozdíl od většiny předchozích iterací nastavuje limity pro způsob interpretace světelných paprsků a vytváří hranice pozornosti, které racionalizují jinak zdlouhavé tréninkové časy. Podívejte se na nové doprovodné video vložené na konci tohoto článku, kde najdete další příklady a rozšířený náhled do procesu.

Projekt nový papír je s názvem Mip-NeRF 360: Neohraničená anti-aliaizovaná pole neuronového zářenía vede jej Senior Staff Research Scientist z Google Research Jon Barron.

Abychom porozuměli průlomu, je nutné mít základní pochopení toho, jak funguje syntéza obrazu založená na poli neuronového záření.

Co je NeRF?

Je problematické popsat síť NeRF z hlediska „videa“, protože se blíží plně 3D realizovanému Na bázi AI virtuální prostředí, kde se používá více úhlů pohledu z jednotlivých fotografií (včetně snímků videa) ke spojení scény, která technicky existuje pouze v latentním prostoru algoritmu strojového učení – ale ze kterého lze libovolně extrahovat mimořádný počet úhlů pohledu a videí .

Zobrazení vícenásobných snímacích bodů kamery, které poskytují data, která NeRF sestavuje do neurální scény (obrázek vpravo).

Informace odvozené z přispívajících fotografií jsou trénovány do matice, která je podobná tradiční voxelová mřížka v pracovních postupech CGI v tom, že každý bod ve 3D prostoru končí s hodnotou, díky níž je možné scénu navigovat.

Tradiční voxelová matice umísťuje informace o pixelech (které normálně existují ve 2D kontextu, jako je mřížka pixelů souboru JPEG) do trojrozměrného prostoru. Zdroj: ResearchGate

Po výpočtu intersticiálního prostoru mezi fotografiemi (je-li to nutné) je dráha každého možného pixelu každé přispívající fotografie efektivně „sledována paprskem“ a je jí přiřazena hodnota barvy, včetně hodnoty průhlednosti (bez které by byla nervová matice zcela neprůhledná, nebo úplně prázdné).

Jako voxelové mřížky a na rozdíl od 3D souřadnicový prostor založený na CGI, „vnitřek“ „uzavřeného“ objektu, v matici NeRF neexistuje. Pokud chcete, můžete rozdělit bicí CGI sadu a podívat se dovnitř; ale pokud jde o NeRF, existence bicí sady končí, když se hodnota opacity jejího povrchu rovná '1'.

Širší pohled na pixel

Mip-NeRF 360 je rozšíření výzkum od března 2021, který účinně zavedl efektivní anti-aliasing do NeRF bez vyčerpávajícího supersamplingu.

NeRF tradičně vypočítává pouze jednu cestu pixelu, která je nakloněna k vytvoření takového druhu 'jaggies' které charakterizovaly rané internetové obrazové formáty, stejně jako dřívější herní systémy. Tyto zubaté okraje byly vyřešeny různými metodami, obvykle zahrnujícími vzorkování sousedních pixelů a nalezení průměrné reprezentace.

Protože tradiční NeRF vzorkuje pouze dráhu jednoho pixelu, zavedl Mip-NeRF „kónické“ povodí, jako je širokoúhlý hořák, který poskytuje dostatek informací o přilehlý pixelů pro dosažení ekonomického antialiasingu s vylepšenými detaily.

Kónický kuželový záchyt, který používá Mip-NeRF, je rozřezán na kónické komolé útvary (spodní obrázek), které jsou dále „rozmazané“, aby se vytvořily vágní gaussovské prostory, které lze použít k výpočtu přesnosti a aliasingu pixelu. Zdroj: https://www.youtube.com/watch?v=EpH175PY1A0

Zlepšení oproti standardní implementaci NeRF bylo pozoruhodné:

Mip-NeRF (vpravo), vydaný v březnu 2021, poskytuje vylepšené detaily prostřednictvím komplexnějšího, ale hospodárnějšího potrubí aliasingu, spíše než jen „rozmazávání“ pixelů, aby se zabránilo zubatým okrajům. Zdroj: https://jonbarron.info/mipnerf/

NeRF Unbounded

Březnový dokument ponechal tři problémy nevyřešené s ohledem na použití Mip-NeRF v neomezených prostředích, která mohou zahrnovat velmi vzdálené objekty, včetně oblohy. Nový článek to řeší aplikací a Kalmanův styl warp k Mip-NeRF Gaussianům.

Zadruhé, větší scény vyžadují větší výpočetní výkon a delší dobu školení, což Mip-NeRF 360 řeší „destilací“ geometrie scény pomocí malého „návrhu“ vícevrstvý perceptron (MLP), který předem vymezuje geometrii předpovězenou velkým standardním NeRF MLP. To zrychluje trénink třikrát.

A konečně, větší scény mají tendenci dělat diskretizaci interpretované geometrie nejednoznačnou, což má za následek druh artefaktů, které mohou hráči znát, když se herní výstup „roztrhne“. Nový dokument to řeší vytvořením nového regularizátoru pro intervaly paprsků Mip-NeRF.

Vpravo vidíme nežádoucí artefakty v Mip-NeRF kvůli obtížnosti ohraničení tak velké scény. Vlevo vidíme, že nový regularizer optimalizoval scénu dostatečně dobře, aby tyto poruchy odstranil.

Chcete-li se o novém papíru dozvědět více, podívejte se na níže uvedené video a také na Úvodní video z března 2021 na Mip-NeRF. Můžete se také dozvědět více o výzkumu NeRF při kontrole naše dosavadní pokrytí.

Původně publikováno 25. listopadu 2021
21. prosince 2021, 12:25 – nahrazeno mrtvé video. – MA