NeRF udělal další krok blíž k nahrazení CGI

Výzkumníci z MIT a Google udělali velký krok při řešení jednoho z nejzákladnějších překážek pro vznikající technologii poháněnou umělou inteligencí, která může nakonec nahradit CGI – rozdělení obrazů vytvořených pomocí neuronových radiance field (NeRF) na jejich jednotlivé vizuální komponenty, aby mohla být obrazová data přetexturována a znovu osvětlena.

Nový přístup, nazvaný NeRFactor, efektivní rozdělí zachycená obrazová data na normály pro objekty (na které lze přiřadit textury), viditelnost světla, albedo (poměr světla, které je odraženo od povrchu) a funkce bidirekcionálního rozložení odrazivosti (BRDFs).

S těmito izolovanými aspekty je možné nejen přepnout textury pro jednotlivé objekty nebo skupiny objektů, ale také přidat nové a unikátní zdroje světla a implementace stínů, bez ohledu na to, zda byly zachyceny pomocí více kamer, které generují vstupní data pro NeRF.

Normály, viditelnost, albedo a BRDF odděleny pomocí NeRFactoru. Zdroj: https://www.youtube.com/watch?v=UUVSPJlwhPg

Model podporuje měkké nebo tvrdé stíny z libovolných, uživatelsky definovaných zdrojů světla a odděluje čtyři aspekty zachyceného videa programově, pomocí rekonstrukční ztráty, dat z předchozích výpočtů BRDF a základní jednoduché regularizace.

Pracovní postup NeRFactoru, extrahující samostatně použitelné aspekty obrazových dat odvozených z více kamer. Zdroj: https://arxiv.org/pdf/2106.01970.pdf

NeRFactor používá HDR světelný sondu, který je dobře etablovaným přístupem, který se rozšířil do vizuálního průmyslu a umělecké scény od jeho zavedení v roce 1998, pro vyhodnocení možných cest pro paprsky, což umožňuje libovolné osvětlení. Protože to generuje nepředstavitelný počet možných parametrů, je světelná sonda filtrována prostřednictvím vícevrstvé perceptronové sítě (MLP), která mapuje vnímanou geometrii na sondu bez pokusu o výpočet kompletní mapy osvětlení pro modelový prostor.

Dva modely neuronových radiance field jsou použity k demonstraci pěti modelů osvětlení možných pomocí NeRFactoru. Kliknutím na obrázek získáte vyšší rozlišení.

Příčina pro reflexi

Nový výzkum je možná nejvýznamnější v oddělení vrstev zachycených obrazových dat, které kontrolují reflexi. To zůstává jednou z největších výzev pro neuronové radiance field, protože skutečně novátorský a flexibilní systém NeRF bude potřebovat nejen nahradit textury, ale také mít nějakou možnost odrážet se pohybující objekty (kromě pouze pevného prostředí), které by normálně byly zohledněny v pracovním postupu CGI.

Tato otázka byla nedávno zmíněna v souvislosti s impresivními novými výzkumy Intelu do transformace videogame snímků do fotorealistických videí pomocí konvolučních neuronových sítí. V takových pracovních postupech by mnoho “upečených” aspektů zdrojového materiálu muselo být odděleno a vyměněno, a to je zřejmě snazší vyřešit pro osvětlení (které je funkcí geometrie renderované v NeRF) než pro reflexe (které využívají “mimoobrazovkovou” geometrii, která je zcela mimo rozsah modelu).

Proto izolování vrstev v NeRF videu, které usnadňují reflexi, přibližuje NeRF o krok blíž k řešení své “reflexní výzvy”.

Použití HDR prostředí již řeší problém generování reflexí prostředí (tj. oblohy, krajiny a dalších “pevných” ambientních faktorů), ale nové přístupy budou potřebné k zavádění pohyblivých a dynamických reflexí.

Fotogrammetrie s NeRF

Obrazová data neuronových radiance field používají analýzu strojového učení k vývoji kompletního objemového prostoru ze scény nebo objektu, který byl zachycen z více úhlů.

Různé NeRF-based schéma, které se objevily v posledním roce, použily různé kamery; některé používají 16 nebo více kamer, jiné tolik jako jedna nebo dvě. Ve všech případech jsou mezilehlé pohledy “vyplňovány” (tj. interpretovány), aby mohla být scéna nebo objekt plynule procházena.

Výsledkem je kompletní objemový prostor s vnitřním trojrozměrným pochopením, které lze využít mnoha způsoby, včetně schopnosti generovat tradiční CG sítě z 3D-parsed součtu vstupních obrazů.

NeRF v kontextu “nového CGI”

Obrazová data neuronových radiance field jsou vytvořena přímo z obrazů skutečného světa, včetně pohyblivých obrazů lidí, objektů a scén. Na rozdíl od toho CGI metodika “studuje” a interpretuje svět, vyžadující dovedné pracovníky, kteří budují sítě, rigy a textury, které využívají skutečné obrazové materiály (tj. obličejové a environmentální zachycení). Zůstává to esenciálně interpretační a řemeslný přístup, který je drahý a zdlouhavý.

Kromě toho CGI mělo neustálé problémy s “uncanny valley” efektem ve svých snahách rekreovat lidské podobizny, což nepředstavuje žádnou překážku pro NeRF-poháněný přístup, který prostě zachycuje video nebo obrázky skutečných lidí a manipuluje jimi.

Další, NeRF může generovat tradiční CGI-styl mesh geometrii přímo z fotografií podle potřeby a fakticky nahradit mnoho manuálních postupů, které byly vždy nezbytné v počítačově generovaných obrazech.

Výzvy pro NeRF

Tento nejnovější výzkum z MIT a Google přichází v kontextu skutečného přílivu NeRF papírů v posledním roce, z nichž mnohé nabízejí řešení různých výzev, které vyvstaly z počátečního papíru z roku 2020.

V dubnu, inovace z čínského výzkumného konsorcia poskytla způsob, jak discretely izolovat jednotlivé časové osy aspektů v NeRF scéně, včetně lidí.

Čínský výzkum umožňuje koncovým uživatelům kopírovat, vkládat a měnit zachycené prvky, oddělovat je od lineární časové osy původního zdrojového videa. Zdroj: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Tento přístup nejen umožňuje si představit scénu z libovolného úhlu zachyceného kamerovým polem (a nejen z jednoho pohledu reprezentovaného v typickém videozáznamu), ale také umožňuje všestranné komponování – a dokonce i schopnost reprezentovat dva aspekty ze stejného záběru, které běží ve svých vlastních individuálních časových rámcích (nebo dokonce běží pozpátku, pokud je to nutné).

Čínský výzkum umožňuje koncovým uživatelům kopírovat, vkládat a měnit zachycené prvky, oddělovat je od lineární časové osy původního zdrojového videa. Zdroj: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Jednou z největších výzev pro NeRF je snížení značných zdrojů potřebných pro výuku scény, a to bylo řešeno v několika nedávných papírech. Například Max Planck Institute for Intelligent Systems nedávno představil KiloNeRF, který nejen urychluje časy vykreslování o faktor 1000, ale také umožňuje NeRF fungovat interaktivně.

KiloNeRF běží interaktivní prostředí při 50fps na GTX 1080ti. Zdroj: https://github.com/creiser/kilonerf

Jiné přístupy zahrnují FastNeRF, který tvrdí, že dosahuje vysoké věrnosti neuronového vykreslování při 200fps.

Bylo poznamenáno, že mnohé optimalizační techniky pro NeRF zahrnují ‘upečení’ scény, tím, že se zavázají k aspektům, které se mají vykreslit, a odstraní ostatní aspekty, což omezuje prozkoumávání, ale značně urychluje interaktivitu.

Nevýhodou je, že stres se přesouvá z GPU na úložiště, protože upečené scény zabírají enormní množství místa na disku; do jisté míry lze to zmírnit downsamplingem upečených dat, i když to také znamená jistý závazek, pokud jde o uzavření cest prozkoumávání nebo interaktivity.

Ohledně motion capture a riggingu, nový přístup od Zheijang a Cornell universities, odhalený v květnu, nabídl metodu pro rekreaci animovatelných lidí pomocí blend weight polí a skeletálních struktur interpretovaných z vstupního videa:

Odvozená skeletální struktura v Animatable NeRF. Zdroj: https://www.youtube.com/watch?v=eWOSWbmfJo4

Kdy bude NeRF mít své “Jurské park” okamžik?

Navzdory rychlému tempu pokroku v oblasti syntézy obrazů pomocí neuronových radiance field, je to právě v tomto období, kdy jakýsi “zákon termodynamiky” bude stanoven pro to, jak použitelný NeRF může být. Pokud jde o časovou osu analogickou k historii CGI, NeRF se目前 nachází kolem roku 1973, právě před prvním použitím CGI ve Westworldu.

To však neznamená, že NeRF bude muset čekat devět let na svůj ekvivalentní Wrath Of Khan milník, nebo desetiletí pro podobné průlomy, kterých CGI dosáhlo pod patronátem Jamese Camerona v roce 1989 ve The Abyss nebo 1991 ve Terminator 2 – a poté technologický skutečně revoluční průlomový okamžik v roce 1993 ve Jurském parku.

Obrazová scéna se změnila značně od dlouhého období stagnace pro fotochemické vizuální efekty, které dominovaly filmové a televizní produkci od narození kinematografie do počátku 90. let. Příchod revoluce PC a urychlení Mooreova zákona vedly k revoluci CGI, která by jinak mohla nastat již v 60. letech.

Zůstává otázkou, zda existuje nějaká překážka tak neproniknutelná, že by mohla zadržet pokrok NeRF po tak dlouhou dobu – a zda inovace v počítačovém vidění nemusí mezitím zcela předehnat NeRF jako hlavního uchazeče o korunu CGI, charakterizující neuronové radiance fieldy jako krátkodobý “faxový stroj” neuronové syntézy obrazů.

Jako dosud NeRF nebyl použit v žádném kontextu mimo akademický výzkum; ale je pozoruhodné, že hlavní hráči, jako je Google Research, a mnohé z nejvýznamnějších laboratoří počítačového vidění, soutěží o nejnovější průlom NeRF.

Mnohé z největších překážek NeRF začaly být přímo řešeny tento rok; pokud následující výzkum nabídne řešení “reflexní otázky”, a mnohé nitě optimalizačního výzkumu NeRF se spojí do rozhodujícího řešení technologických značných požadavků na zpracování a/nebo úložiště, NeRF skutečně má šanci stát se “novým CGI” v příštích pěti letech.