NeRFocus: Přináší Lehkou Kontrolu Ostření do Neurálních Polí Záření

Nový výzkum z Číny nabízí metodu, jak dosáhnout dostupné kontroly efektů hloubky ostření pro Neurální Pole Záření (NeRF), což umožňuje uživateli ostřit a dynamicky měnit konfiguraci virtuální čočky v renderovacím prostoru.

Nazvaný NeRFocus, tato technika implementuje novou “tenkou čočkovou” metodu pro ostření a inovuje P-trénink, probabilistickou tréninkovou strategii, která eliminuje potřebu speciálních datových sad pro hloubku ostření a zjednodušuje workflow tréninku s ostřením.

Článek článku se nazývá NeRFocus: Neurální Pole Záření pro 3D Syntetické Rozostření a pochází od čtyř výzkumníků ze Šen-čenského postgraduálního institutu na Pekingské univerzitě a z laboratoře Peng Cheng v Šen-čenu, institutu financovaného provincií Kuang-tung.

Řešení Foveovaného Locusu Pozornosti v NeRF

Pokud má NeRF někdy nahradit tradiční metody jako platidlo pro virtuální a rozšířenou realitu, bude potřebovat lehkou metodu pro realistické foveované vykreslování, kde většina zdrojů vykreslování se soustředí kolem pohledu uživatele, místo aby se rozdělily na nižší rozlišení po celém dostupném vizuálním prostoru.

Z článku z roku 2021 Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality vidíme locus pozornosti v novém foveovaném vykreslovacím schématu pro NeRF. Zdroj: https://arxiv.org/pdf/2103.16365.pdf

NeRF samo o sobě je založeno na pinhole modelu vykreslování, který vykresluje celou scénu ostře způsobem podobným výchozímu CGI scénáři (před různými přístupy, které vykreslují rozostření jako post-proces nebo vrozený efekt na základě hloubky ostření).

Mimo Omezené Ohniskové Roviny

Vědomy požadavků na kontrolu ostření, několik projektů NeRF v posledních letech zavedlo opatření pro něj, ale všechny pokusy doposud jsou efektivně triky nebo zahrnují významné post-procesní rutiny, které je činí nepravděpodobnými příspěvky k reálnému času prostředími, které jsou nakonec pro technologie Neurálních Polí Záření představeny.

Syntetická kontrola ostření v neurálních vykreslovacích rámcích byla pokusu o různé metody v posledních 5-6 letech – například pomocí segmentační sítě pro oddělení popředí a pozadí a následné generické rozostření pozadí – společné řešení pro jednoduché dvou-rovinové efekty ostření.

Z článku ‘Automatic Portrait Segmentation for Image Stylization’, banální, animační styl oddělení ohniskových rovin. Zdroj: https://jiaya.me/papers/portrait_eg16.pdf

Modelování Virtuální Čočky

NeRFocus vytváří virtuální “tenkou čočku” (místo “bezsklené” apertury), která vypočítává dráhu každého příchozího pixelu a vykresluje jej přímo, efektivní inverzí standardního procesu zachycení obrazu, který funguje post facto na světelném vstupu, který již byl ovlivněn refrakčními vlastnostmi čočky.

Tato metoda zavádí řadu možností pro vykreslování obsahu uvnitř frustum (největší kruh vlivu znázorněný na obrázku výše).

NeRFocus překonává to P-tréninkem, kde tréninkové datové sady jsou generovány na základě základních operací rozostření. Takže model je vytvořen s rozostřovacími operacemi vrozenými a procházetelnými.

Průměr apertury je nastaven na nulu během tréninku a předem definované pravděpodobnosti se používají pro výběr rozostřovacího jádra náhodně. Tento získaný průměr se používá pro škálování každého kompozitního kuželu, umožňující MLP přesně předpovědět záření a hustotu frustum (širokých kruhů na obrázcích výše, reprezentujících zónu transformace pro každý pixel)

Autoři nového článku pozorují, že NeRFocus je potenciálně kompatibilní s HDR-poháněným přístupem RawNeRF, který by mohl potenciálně pomoci při vykreslování určitých náročných částí, jako jsou rozostřené speculární zvýraznění, a mnoha dalších výpočetně náročných efektů, které již třicet nebo více let představují výzvu pro pracovní postupy CGI.

Proces neobsahuje žádné další požadavky na čas a/nebo parametry ve srovnání s předchozími přístupy, jako je NeRF a Mip-NeRF (a předpokládaně Mip-NeRF 360, i když to není řešeno v článku), a je použitelný jako obecné rozšíření centrální metodologie neurálních polí záření.

Poprvé zveřejněno 12. března 2022.