Neurální renderování: NeRF se vydává na čerstvý vzduch

Spolupráce mezi Google Research a Harvard University vyvinula novou metodu pro tvorbu 360‑stupňového neurálního videa kompletních scén pomocí Neurálních radiance polí (NeRF). Tento inovativní přístup posouvá NeRF o krok blíže k běžnému abstraktnímu využití v jakémkoli prostředí, aniž by byl omezen na modely na stole nebo uzavřené interiérové scénáře.

Podívejte se na konec článku pro celé video. Zdroj: https://www.youtube.com/watch?v=zBSH-k9GbV4

Mip-NeRF 360 dokáže zpracovat rozšířené pozadí a „nekonečné“ objekty, jako je obloha, protože na rozdíl od většiny předchozích verzí nastavuje limity způsobu, jakým jsou interpretovány světelné paprsky, a vytváří hranice pozornosti, které zkracují jinak dlouhé tréninkové časy. Podívejte se na nový doprovodný videozáznam vložený na konci tohoto článku pro více příkladů a podrobnější pohled na proces.

Nový článek nový článek se jmenuje Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields a vede jej Senior Staff Research Scientist ve společnosti Google Research Jon Barron.

Pro pochopení průlomu je nutné mít základní představu o tom, jak funguje syntéza obrazu založená na neurálních radiance polích.

Co je NeRF?

Je obtížné popsat síť NeRF jako „video“, protože se jedná spíše o plně 3D‑realizované, ale AI‑založené virtuální prostředí, kde se z několika pohledů z jedné fotografie (včetně snímků videa) sestavuje scéna, která technicky existuje jen v latentním prostoru strojového učení – ale ze které lze libovolně získat obrovské množství pohledů a videí.

Zobrazení více bodů zachycení kamer, které poskytují data, jež NeRF sestavuje do neurální scény (vpravo na obrázku).

Informace odvozené z přispívajících fotografií jsou trénovány do matice, která je podobná tradiční voxelové mřížce v CGI pracovních postupech, protože každý bod ve 3D prostoru získá hodnotu, což umožňuje navigaci ve scéně.

Tradiční voxelová matice umisťuje informace o pixelech (které normálně existují ve 2D kontextu, jako je pixelová mřížka JPEG souboru) do trojrozměrného prostoru. Zdroj: ResearchGate

Po výpočtu mezery mezi fotografiemi (je-li to nutné) je cesta každého možného pixelu z každé přispívající fotografie efektivně „ray‑tracována“ a přiřazena jí barevná hodnota, včetně hodnoty průhlednosti (bez ní by neurální matice byla zcela neprůhledná nebo zcela prázdná).

Podobně jako voxelové mřížky a na rozdíl od CGI‑založených 3D souřadnicových prostorů, „interiér“ „uzavřeného“ objektu v NeRF matici neexistuje. Můžete otevřít CGI bicí soupravu a podívat se dovnitř, pokud chcete; ale co se týče NeRF, existence bicí soupravy končí, když hodnota neprůhlednosti jejího povrchu dosáhne „1“.

Širší pohled na pixel

Mip-NeRF 360 je rozšířením výzkumu z března 2021, který efektivně zavedl úsporné antialiasing do NeRF bez vyčerpávajícího supersamplingu.

NeRF tradičně počítá jen jednu cestu pixelu, což má tendenci vytvářet takzvané „zubaté“ artefakty, které charakterizovaly rané internetové formáty obrázků, stejně jako starší herní systémy. Tyto zubaté hrany byly řešeny různými metodami, obvykle zahrnujícími vzorkování sousedních pixelů a hledání průměrné reprezentace.

Protože tradiční NeRF vzorkuje jen tuto jedinou cestu pixelu, Mip-NeRF zavedl „kuželovou“ oblast zachycení, podobnou širokému paprsku, která poskytuje dostatek informací o okolních pixelech k vytvoření úsporného antialiasingu s vylepšenými detaily.

Kuželová oblast zachycení, kterou Mip-NeRF používá, je rozdělena na kuželové úseky (níže), které jsou dále „rozmazány“ k vytvoření nejasných Gaussových prostorů, jež lze použít k výpočtu přesnosti a aliasingu pixelu. Zdroj: https://www.youtube.com/watch?v=EpH175PY1A0

Zlepšení oproti standardní implementaci NeRF bylo pozoruhodné:

Mip-NeRF (vpravo), vydaný v březnu 2021, poskytuje vylepšené detaily díky komplexnějšímu, ale úspornému pipeline aliasingu, místo pouhého „rozmazání“ pixelů k odstranění zubatých hran. Zdroj: https://jonbarron.info/mipnerf/

NeRF bez omezení

Březnový článek zanechal tři nevyřešené problémy týkající se používání Mip-NeRF v neomezených prostředích, která mohou zahrnovat velmi vzdálené objekty, včetně oblohy. Nový článek to řeší aplikací Kalman‑stylového zkreslení na Gaussovy funkce Mip-NeRF.

Za druhé, větší scény vyžadují vyšší výpočetní výkon a delší tréninkové časy, což Mip-NeRF 360 řeší „destilací“ geometrie scény pomocí malého „návrhového“ vícevrstvého perceptronu (MLP), který předem ohraničuje geometrii předpovězenou velkým standardním NeRF MLP. To zrychluje trénink až třemi násobky.

Nakonec, větší scény často způsobují nejasnou diskrétizaci interpretované geometrie, což vede k artefaktům, které hráči znají jako „roztrhání“ výstupu hry. Nový článek to řeší vytvořením nového regularizátoru pro intervaly paprsků Mip-NeRF.

Vpravo vidíme nechtěné artefakty v Mip-NeRF kvůli obtížnosti ohraničení tak velké scény. Vlevo vidíme, že nový regularizátor optimalizoval scénu natolik, že tyto rušivé elementy odstranil.

Pro více informací o novém článku se podívejte na video níže a také na březnové video úvodu k Mip-NeRF. Více o výzkumu NeRF můžete zjistit v našem dosavadním pokrytí.

Původně publikováno 25. listopadu 2021
21. prosince 2021, 12:25pm – Nahrazeno nefunkční video. – MA