Andersonův úhel
Směrem k AI lidem vykreslovaným v reálném čase pomocí Neural Lumigraph Rendering

Klíčové bodyVykreslování neurálního lumigrafu (Neural Lumigraph Rendering) překonává NeRF přibližně…
Zobrazit více
- Vykreslování neurálního lumigrafu (Neural Lumigraph Rendering) překonává NeRF přibližně o dva řády.
- NLR používá sítě SIREN ke spojení silných stránek NeRF a IDR pro grafiku v reálném čase.
- NLR postrádá schopnosti dynamického osvětlení a přeosvětlení, což omezuje výstup na osvětlení v době zachycení.
Navzdory současné vlně zájmu o Neural Radiance Fields (NeRF), technologii schopnou vytvářet 3D prostředí a objekty pomocí AI, vyžaduje tento nový přístup k syntéze obrazu stále mnoho času na trénování. Chybí mu implementace, která by umožnila rozhraní pracující v reálném čase s velmi rychlou odezvou.
Jedna spolupráce mezi několika významnými jmény v průmyslu a akademii nabízí nový přístup k této výzvě (obecně známé jako Novel View Synthesis, nebo NVS).
Výzkumná práce, nazvaná Neural Lumigraph Rendering, tvrdí, že dosáhla zlepšení přibližně o dva řády velikosti ve srovnání se stávajícím stavem, což představuje několik kroků směrem k reálnému času CG renderování prostřednictvím řetězců zpracování založených na strojovém učení.

Neural Lumigraph Rendering (vpravo) nabízí lepší řešení artefaktů prolínání a lepší zpracování zakrytí ve srovnání s předchozími metodami. Zdroj.
Přestože autoři práce uvádějí pouze Stanfordovu univerzitu a holografickou display technologickou společnost Raxium (která nyní působí v utajeném režimu), přispěvatelé zahrnují hlavního architekta strojového učení v Google, počítačového vědce v Adobe (ADBE ) a technického ředitele ve společnosti StoryFile (která nedávno udělala titulky s AI verzí Williama Shatnera).
V souvislosti s nedávnou publicitou Williama Shatnera se zdá, že StoryFile využívá NLR ve své nové technologii pro vytváření interaktivních, AI-generovaných entit na základě charakteristik a narativů jednotlivých lidí.
StoryFile předpokládá využití této technologie v muzejních výstavách, online interaktivních narativech, holografických displejích, rozšířené realitě (AR) a dokumentaci dědictví – a zdá se, že také zvažuje potenciální nové aplikace NLR při pracovních pohovorech a ve virtuálních seznamovacích aplikacích:

Navrhované využití z online videa StoryFile.
Volumetrické snímání pro rozhraní a video se syntézou nových pohledů
Základní princip volumetrického snímání, napříč celou řadou prací, které se na toto téma hromadí, je myšlenka pořízení statických snímků nebo videí subjektu a použití strojového učení k “vyplnění” pohledů, které nebyly pokryty původní sadou kamer.

Zdroj: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf
Na obrázku výše, pocházejícím z Facebookova AI výzkumu z roku 2019 (viz níže), vidíme čtyři fáze volumetrického snímání: více kamer pořizují snímky/videa; architektura kodéru a dekodéru (nebo jiná architektura) vypočítává a spojuje relativitu pohledů; ray-marching algoritmy vypočítávají voxely (nebo jiné XYZ prostorové geometrické jednotky) každého bodu ve volumetrickém prostoru; a (v nejnovějších pracích) trénování probíhá k syntéze kompletní entity, která může být manipulována v reálném čase.
Je to často rozsáhlá a datově náročná fáze trénování, která dosud držela syntézu nových pohledů mimo oblast reálného času nebo snímání s velmi rychlou odezvou.
Fakt, že Novel View Synthesis vytváří kompletní 3D mapu volumetrického prostoru, znamená, že je relativně triviální spojit tyto body do tradiční počítačem generované polygonové sítě, a tím za běhu zachytit CGI lidskou postavu (nebo jiný relativně ohraničený objekt) a ovládat její pohyb.
Přístupy, které využívají NeRF, spoléhají na mračna bodů a hloubkové mapy k generování interpolací mezi řídkými body pohledů snímacích zařízení:

NeRF může generovat volumetrickou hloubku prostřednictvím výpočtu hloubkových map, spíše než generování CG mřížek. Zdroj: https://www.youtube.com/watch?v=JuH79E8rdKc
Přestože NeRF je schopný vypočítat mřížky, většina implementací toto nevyužívá k generování volumetrických scén.
Naproti tomu přístup Implicit Differentiable Renderer (IDR) publikovaný Weizmannovým institutem věd v říjnu 2020, spočívá v využití 3D mřížkové informace automaticky generované z sestav snímacích kamer:

Příklady snímání pomocí IDR přeměněných na interaktivní CGI mřížky. Zdroj: https://www.youtube.com/watch?v=C55y7RhJ1fE
Přestože NeRF postrádá IDR schopnost pro odhad tvaru, IDR nemůže dosáhnout NeRF kvality obrazu, a obě vyžadují rozsáhlé zdroje pro trénování a sběr (ačkoli nedávné inovace v NeRF jsou začínají řešit toto).

Vlastní kamerová sestava NLR s 16 GoPro HERO7 a 6 centrálními Back-Bone H7PRO kamerami. Pro renderování v reálném čase tyto kamery fungují minimálně na 60fps. Zdroj: https://arxiv.org/pdf/2103.11571.pdf
Místo toho Neural Lumigraph Rendering využívá SIREN (Sinusoidal Representation Networks) k začlenění silných stránek každého přístupu do svého vlastního rámce, který je určen k generování výstupu, který je přímo použitelný v existujících grafických řetězcích pracujících v reálném čase.
SIREN byl využíván pro podobné implementace během posledního roku, a nyní představuje populární API volání pro hobbyistické Colaby v komunitách zabývajících se syntézou obrazu; nicméně, NLR inovace spočívá v aplikaci SIREN na učení pod dohledem s dvourozměrnými snímky z více pohledů, což je problematické kvůli rozsahu, v jakém SIREN produkuje přeučený namísto zobecněného výstupu.
Po extrakci CG mřížky z pole snímků, mřížka je rasterizována prostřednictvím OpenGL, a vrcholové pozice mřížky jsou mapovány na odpovídající pixely, po čemž je vypočteno prolínání různých přispívajících map.
Výsledná polygonová síť je lépe zobecněná a reprezentativnější než NeRF (viz obrázek níže), vyžaduje méně výpočtu a nepoužívá nadměrné detaily v oblastech (jako je hladká obličejová kůže), které z toho nemohou mít prospěch:
Nevýhodou je, že NLR dosud nemá žádnou kapacitu pro dynamické osvětlení nebo přeosvětlení, a výstup je omezen na stínové mapy a další parametry osvětlení získané v době snímání. Výzkumníci mají v úmyslu řešit toto v budoucí práci.
Kromě toho práce uznává, že tvary generované NLR nejsou tak přesné jako některé alternativní přístupy, jako je Pixelwise View Selection for Unstructured Multi-View Stereo, nebo výše zmíněný výzkum Weizmannova institutu.
Vzestup volumetrické syntézy obrazu
Myšlenka vytváření 3D entit z omezené série fotografií s neuronovými sítěmi předchází NeRF, s vizionářskými pracemi sahajícími až do roku 2007 nebo dříve. V roce 2019 Facebookův AI výzkumný odbor vydal zásadní výzkumnou práci, Neural Volumes: Learning Dynamic Renderable Volumes from Images, která poprvé umožnila rozhraní s rychlou odezvou pro syntetické lidi generované strojovým učením založené na volumetrickém snímání.

Facebookův výzkum z roku 2019 umožnil vytvoření uživatelského rozhraní s rychlou odezvou pro volumetrickou osobu. Zdroj: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/













