Andersonův úhel

Směrem k AI lidem vykreslovaným v reálném čase pomocí Neural Lumigraph Rendering

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
Neural Lumigraph Rendering
Klíčové bodyVykreslování neurálního lumigrafu (Neural Lumigraph Rendering) překonává NeRF přibližně…
Zobrazit více
  • Vykreslování neurálního lumigrafu (Neural Lumigraph Rendering) překonává NeRF přibližně o dva řády.
  • NLR používá sítě SIREN ke spojení silných stránek NeRF a IDR pro grafiku v reálném čase.
  • NLR postrádá schopnosti dynamického osvětlení a přeosvětlení, což omezuje výstup na osvětlení v době zachycení.

Navzdory současné vlně zájmu o Neural Radiance Fields (NeRF), technologii schopnou vytvářet 3D prostředí a objekty pomocí AI, vyžaduje tento nový přístup k syntéze obrazu stále mnoho času na trénování. Chybí mu implementace, která by umožnila rozhraní pracující v reálném čase s velmi rychlou odezvou.

Jedna spolupráce mezi několika významnými jmény v průmyslu a akademii nabízí nový přístup k této výzvě (obecně známé jako Novel View Synthesis, nebo NVS).

Výzkumná práce, nazvaná Neural Lumigraph Rendering, tvrdí, že dosáhla zlepšení přibližně o dva řády velikosti ve srovnání se stávajícím stavem, což představuje několik kroků směrem k reálnému času CG renderování prostřednictvím řetězců zpracování založených na strojovém učení.

Neural Lumigraph Rendering (vpravo) nabízí lepší řešení artefaktů prolínání a lepší zpracování zakrytí ve srovnání s předchozími metodami. Zdroj: https://www.youtube.com/watch?v=maVF-7x9644

Neural Lumigraph Rendering (vpravo) nabízí lepší řešení artefaktů prolínání a lepší zpracování zakrytí ve srovnání s předchozími metodami. Zdroj.

Přestože autoři práce uvádějí pouze Stanfordovu univerzitu a holografickou display technologickou společnost Raxium (která nyní působí v utajeném režimu), přispěvatelé zahrnují hlavního architekta strojového učení v Google, počítačového vědce v Adobe (ADBE ) a technického ředitele ve společnosti StoryFile (která nedávno udělala titulky s AI verzí Williama Shatnera).

V souvislosti s nedávnou publicitou Williama Shatnera se zdá, že StoryFile využívá NLR ve své nové technologii pro vytváření interaktivních, AI-generovaných entit na základě charakteristik a narativů jednotlivých lidí.

StoryFile předpokládá využití této technologie v muzejních výstavách, online interaktivních narativech, holografických displejích, rozšířené realitě (AR) a dokumentaci dědictví – a zdá se, že také zvažuje potenciální nové aplikace NLR při pracovních pohovorech a ve virtuálních seznamovacích aplikacích:

Navrhované využití z online videa StoryFile. Zdroj:

Navrhované využití z online videa StoryFile.

Volumetrické snímání pro rozhraní a video se syntézou nových pohledů

Základní princip volumetrického snímání, napříč celou řadou prací, které se na toto téma hromadí, je myšlenka pořízení statických snímků nebo videí subjektu a použití strojového učení k “vyplnění” pohledů, které nebyly pokryty původní sadou kamer.

Zdroj: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

Zdroj: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

Na obrázku výše, pocházejícím z Facebookova AI výzkumu z roku 2019 (viz níže), vidíme čtyři fáze volumetrického snímání: více kamer pořizují snímky/videa; architektura kodéru a dekodéru (nebo jiná architektura) vypočítává a spojuje relativitu pohledů; ray-marching algoritmy vypočítávají voxely (nebo jiné XYZ prostorové geometrické jednotky) každého bodu ve volumetrickém prostoru; a (v nejnovějších pracích) trénování probíhá k syntéze kompletní entity, která může být manipulována v reálném čase.

Je to často rozsáhlá a datově náročná fáze trénování, která dosud držela syntézu nových pohledů mimo oblast reálného času nebo snímání s velmi rychlou odezvou.

Fakt, že Novel View Synthesis vytváří kompletní 3D mapu volumetrického prostoru, znamená, že je relativně triviální spojit tyto body do tradiční počítačem generované polygonové sítě, a tím za běhu zachytit CGI lidskou postavu (nebo jiný relativně ohraničený objekt) a ovládat její pohyb.

Přístupy, které využívají NeRF, spoléhají na mračna bodů a hloubkové mapy k generování interpolací mezi řídkými body pohledů snímacích zařízení:

NeRF může generovat volumetrickou hloubku prostřednictvím výpočtu hloubkových map, spíše než generování CG mřížek. Zdroj: https://www.youtube.com/watch?v=JuH79E8rdKc

NeRF může generovat volumetrickou hloubku prostřednictvím výpočtu hloubkových map, spíše než generování CG mřížek. Zdroj: https://www.youtube.com/watch?v=JuH79E8rdKc

Přestože NeRF je schopný vypočítat mřížky, většina implementací toto nevyužívá k generování volumetrických scén.

Naproti tomu přístup Implicit Differentiable Renderer (IDR) publikovaný Weizmannovým institutem věd v říjnu 2020, spočívá v využití 3D mřížkové informace automaticky generované z sestav snímacích kamer:

Příklady snímání pomocí IDR přeměněných na interaktivní CGI mřížky. Zdroj: https://www.youtube.com/watch?v=C55y7RhJ1fE

Příklady snímání pomocí IDR přeměněných na interaktivní CGI mřížky. Zdroj: https://www.youtube.com/watch?v=C55y7RhJ1fE

Přestože NeRF postrádá IDR schopnost pro odhad tvaru, IDR nemůže dosáhnout NeRF kvality obrazu, a obě vyžadují rozsáhlé zdroje pro trénování a sběr (ačkoli nedávné inovace v NeRF jsou začínají řešit toto).

Vlastní kamerová sestava NLR s 16 GoPro HERO7 a 6 centrálními Back-Bone H7PRO kamerami. Pro renderování v reálném čase tyto kamery fungují minimálně na 60fps. Zdroj: https://arxiv.org/pdf/2103.11571.pdf

Vlastní kamerová sestava NLR s 16 GoPro HERO7 a 6 centrálními Back-Bone H7PRO kamerami. Pro renderování v reálném čase tyto kamery fungují minimálně na 60fps. Zdroj: https://arxiv.org/pdf/2103.11571.pdf

Místo toho Neural Lumigraph Rendering využívá SIREN (Sinusoidal Representation Networks) k začlenění silných stránek každého přístupu do svého vlastního rámce, který je určen k generování výstupu, který je přímo použitelný v existujících grafických řetězcích pracujících v reálném čase.

SIREN byl využíván pro podobné implementace během posledního roku, a nyní představuje populární API volání pro hobbyistické Colaby v komunitách zabývajících se syntézou obrazu; nicméně, NLR inovace spočívá v aplikaci SIREN na učení pod dohledem s dvourozměrnými snímky z více pohledů, což je problematické kvůli rozsahu, v jakém SIREN produkuje přeučený namísto zobecněného výstupu.

Po extrakci CG mřížky z pole snímků, mřížka je rasterizována prostřednictvím OpenGL, a vrcholové pozice mřížky jsou mapovány na odpovídající pixely, po čemž je vypočteno prolínání různých přispívajících map.

Výsledná polygonová síť je lépe zobecněná a reprezentativnější než NeRF (viz obrázek níže), vyžaduje méně výpočtu a nepoužívá nadměrné detaily v oblastech (jako je hladká obličejová kůže), které z toho nemohou mít prospěch:

Zdroj: https://arxiv.org/pdf/2103.11571.pdf

Zdroj: https://arxiv.org/pdf/2103.11571.pdf

Nevýhodou je, že NLR dosud nemá žádnou kapacitu pro dynamické osvětlení nebo přeosvětlení, a výstup je omezen na stínové mapy a další parametry osvětlení získané v době snímání. Výzkumníci mají v úmyslu řešit toto v budoucí práci.

Kromě toho práce uznává, že tvary generované NLR nejsou tak přesné jako některé alternativní přístupy, jako je Pixelwise View Selection for Unstructured Multi-View Stereo, nebo výše zmíněný výzkum Weizmannova institutu.

Vzestup volumetrické syntézy obrazu

Myšlenka vytváření 3D entit z omezené série fotografií s neuronovými sítěmi předchází NeRF, s vizionářskými pracemi sahajícími až do roku 2007 nebo dříve. V roce 2019 Facebookův AI výzkumný odbor vydal zásadní výzkumnou práci, Neural Volumes: Learning Dynamic Renderable Volumes from Images, která poprvé umožnila rozhraní s rychlou odezvou pro syntetické lidi generované strojovým učením založené na volumetrickém snímání.

Facebookův výzkum z roku 2019 umožnil vytvoření uživatelského rozhraní s rychlou odezvou pro volumetrickou osobu. Zdroj: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/

Facebookův výzkum z roku 2019 umožnil vytvoření uživatelského rozhraní s rychlou odezvou pro volumetrickou osobu. Zdroj: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai