NeRF: Školení dronů v neuronových prostředích radiance

Výzkumníci ze Stanfordovy univerzity vyvinuli novou metodu pro školení dronů, aby se pohybovaly v fotorealistických a vysoce přesných prostředích, využívajících recentní zával zájmu v neuronových radiance polích (NeRF).

Drony lze školení ve virtuálních prostředích, které jsou mapovány přímo z reálných míst, bez potřeby specializované 3D scény rekonstrukce. Na této obrazovce z projektu je přidán vítr jako potenciální překážka pro dron a můžeme vidět, jak se dron na chvíli odchyluje od své dráhy a kompenzuje v posledním okamžiku, aby se vyhnul potenciální překážce. Zdroj: https://mikh3x4.github.io/nerf-navigation/

Metoda nabízí možnost interaktivního školení dronů (nebo jiných typů objektů) ve virtuálních scénářích, které automaticky zahrnují objemové informace (pro výpočet vyhýbání se kolizím), textury získané přímo z reálných fotografií (pro lepší školení dronů v rozpoznávání obrazů) a reálné osvětlení (pro zajištění různých osvětlovacích scénářů a zabránění přeučení nebo přepřeučení původní snímky scény).

Objekt gauč prochází složitým virtuálním prostředím, které by bylo velmi obtížné mapovat pomocí geometrické zachycení a retexturování v tradičních AR/VR pracovních postupech, ale které bylo automaticky rekonstruováno v NeRF z omezeného počtu fotografií. Zdroj: https://www.youtube.com/watch?v=5JjWpv9BaaE

Typické implementace NeRF obvykle nezahrnují mechanismy pro trajektorii, protože většina projektů NeRF v posledních 18 měsících se soustředila na jiné výzvy, jako je osvětlení scény, rendering odrazů, kompozice a disentanglement zachycených prvků. Proto je primární inovací nové práce implementace NeRF prostředí jako procházelého prostoru, bez rozsáhlého vybavení a zdlouhavých postupů, které by byly nutné k modelování jako 3D prostředí založeného na zachycení senzoru a rekonstrukci CGI.

NeRF jako VR/AR

Nová práce nese název Vision-Only Robot Navigation in a Neural Radiance World a je spoluprací mezi třemi odděleními Stanfordovy univerzity: Aeronautiky a astronautiky, Mechanického inženýrství a Informatiky.

Práce navrhuje navigační rámec, který poskytuje robotu předem vytvořené NeRF prostředí, jehož objemová hustota vymezuje možné dráhy pro zařízení. Zahrnuje také filtr pro odhad, kde se robot nachází ve virtuálním prostředí, na základě rozpoznávání obrazu z robotovy kamery RGB. Díky tomu je dron nebo robot schopen “hallucinovat” přesněji, co může očekávat v daném prostředí.

Optimalizátor trajektorie projektu prochází modelem Stonehenge, který byl vygenerován pomocí fotogrammetrie a interpretace obrazu (v tomto případě mesh modelů) do neuronového prostředí radiance. Optimalizátor trajektorie vypočítá několik možných drah, než stanoví optimální trajektorii přes oblouk.

Pokud NeRF prostředí obsahuje plně modelované překážky, může dron naučit se vypočítávat překážky snáze, protože neuronová síť za NeRF může mapovat vztah mezi překážkami a způsobem, jakým dronovy systémy navigace založené na vidění vnímají prostředí. Automatický generátor NeRF prostředí nabízí relativně triviální metodu pro vytváření hyper-reálných trénovacích prostorů s pouze několika fotografiemi.

Online framework pro opětovné plánování vyvinutý pro Stanfordský projekt usnadňuje odolný a zcela založený na vidění navigační pipeline.

Iniciativa Stanfordu je mezi prvními, které zvažují možnosti prozkoumání NeRF prostoru v kontextu procházelého a imersivního VR-stylu prostředí. Neuronová radiance pole jsou vznikající technologií a v současné době jsou předmětem多 akademických úsilí k optimalizaci jejich vysokých požadavků na výpočetní zdroje, jakož i k disentanglementu zachycených prvků.

Nerf není (skutečně) CGI

Protože NeRF prostředí je procházelým 3D scénářem, stalo se špatně pochopenou technologií od jeho vzniku v roce 2020, často široce vnímanou jako metodu pro automatizaci vytváření mesh a textur, spíše než náhradu 3D prostředí známých divákům z Hollywoodských VFX oddělení a fantastických scénářů Augmented Reality a Virtual Reality prostředí.

NeRF extrahuje geometrické a texturové informace z velmi omezeného počtu pohledů na obraz, vypočítávající rozdíl mezi obrázky jako objemové informace. Zdroj: https://www.matthewtancik.com/nerf

Ve skutečnosti je NeRF prostředí více jako “živé” renderovací prostor, kde se amalgamuje pixelová a osvětlovací informace a naviguje v aktivní a běží neuronové síti.

Klíč k potenciálu NeRF spočívá v tom, že vyžaduje pouze omezený počet obrázků pro rekonstrukci prostředí a že vygenerovaná prostředí obsahují všechny nezbytné informace pro vysokou fidelitu rekonstrukce, bez potřeby služeb modelérů, texturových umělců, odborníků na osvětlení a mnoha dalších přispěvatelů k “tradičnímu” CGI.

Semantická segmentace

I když NeRF efektivní tvoří “Computer-Generated Imagery” (CGI), nabízí zcela odlišnou metodologii a vysoce automatizovanou pipeline. Navíc NeRF může izolovat a “enkapsulovat” pohyblivé části scény, aby je bylo možné přidat, odebrat, urychlit a obecně operovat jako samostatné prvky ve virtuálním prostředí – schopnost, která je daleko za současným stavem umění v “Hollywoodském” výkladu CGI.

Spolupráce ze Šanghajské technické univerzity, zveřejněná v létě 2021, nabízí metodu pro individuaci pohyblivých NeRF prvků do “vkládacích” prvků scény. Zdroj: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negativně, architektura NeRF je trochu “černou skříňkou”; v současné době není možné extrahovat objekt z NeRF prostředí a přímo manipulovat s ním pomocí tradičních mesh-založených a obraz-založených nástrojů, ačkoli řada výzkumných úsilí začíná dosahovat průlomů v dekonstrukci matice za NeRF neuronovou sítí živého renderování prostředí.