NeRF: Szkolenie dronów w środowiskach Neural Radiance

Badacze z Uniwersytetu Stanforda opracowali nowy sposób szkolenia dronów do nawigacji w fotorealistycznych i bardzo dokładnych środowiskach, wykorzystując ostatnią falę zainteresowania Neural Radiance Fields (NeRF).

Drony mogą być szkolone w wirtualnych środowiskach mapowanych bezpośrednio z rzeczywistych lokalizacji, bez potrzeby specjalistycznej rekonstrukcji scen 3D. Na tym obrazie z projektu widzimy, jak dron jest chwilowo odwrócony od swojej trajektorii i kompensuje to na ostatni moment, aby uniknąć potencjalnej przeszkody. Źródło: https://mikh3x4.github.io/nerf-navigation/

Metoda ta oferuje możliwość interaktywnego szkolenia dronów (lub innych typów obiektów) w wirtualnych scenariuszach, które automatycznie obejmują informacje o objętości (do obliczania unikania kolizji), teksturach pobranych bezpośrednio z fotografii (w celu szkolenia sieci rozpoznawania obrazów dronów w bardziej realistyczny sposób) oraz oświetleniu z rzeczywistych środowisk (w celu zapewnienia różnorodnych scenariuszy oświetlenia i uniknięcia nadmiernego dopasowania do oryginalnego zdjęcia).

Obiekt w kształcie kanapy porusza się w złożonym wirtualnym środowisku, które byłoby bardzo trudne do zmapowania przy użyciu geometrii i retuszowania w tradycyjnych workflow AR/VR, ale które zostało automatycznie odtworzone w NeRF z ograniczonej liczby zdjęć. Źródło: https://www.youtube.com/watch?v=5JjWpv9BaaE

Typowe implementacje NeRF nie posiadają mechanizmów trajektorii, ponieważ większość projektów NeRF w ciągu ostatnich 18 miesięcy koncentrowała się na innych wyzwaniach, takich jak odświetlenie sceny, rendering odbić, kompozycja i rozłączenie przechwyconych elementów. Dlatego główną innowacją nowego artykułu jest zaimplementowanie środowiska NeRF jako przestrzeni nawigowalnej, bez konieczności korzystania z obszernego sprzętu i pracochłonnej procedury, która byłaby niezbędna do zamodelowania go jako środowiska 3D na podstawie danych z czujników i odtworzenia CGI.

NeRF jako VR/AR

Nowy artykuł nosi tytuł Nawigacja robota za pomocą wyłącznie wizji w środowisku Neural Radiance i jest współpracą między trzema wydziałami Uniwersytetu Stanforda: Wydziałem Lotnictwa i Astronautyki, Wydziałem Inżynierii Mechanicznej oraz Wydziałem Informatyki.

Praca proponuje ramy nawigacyjne, które zapewniają robotowi przeszkolone środowisko NeRF, którego gęstość objętości wyznacza możliwe ścieżki dla urządzenia. Zawiera również filtr do oszacowania, gdzie robot znajduje się w wirtualnym środowisku, na podstawie rozpoznawania obrazu z kamery RGB na pokładzie. W ten sposób dron lub robot może “halucynować” bardziej dokładnie, co może się spodziewać w danym środowisku.

Optymalizator trajektorii projektu nawiguje przez model NeRF Stonehenge, który został wygenerowany za pomocą fotogrametrii i interpretacji obrazu (w tym przypadku modeli siatkowych) do środowiska Neural Radiance. Planista trajektorii oblicza kilka możliwych ścieżek, zanim ustali optymalną trajektorię nad łukiem.

Ponieważ środowisko NeRF zawiera w pełni zmodelowane przeszkody, dron może łatwiej nauczyć się obliczania przeszkód, ponieważ sieć neuronowa za NeRF może mapować relację między przeszkodami a sposobem, w jaki systemy nawigacji oparte na wizji na pokładzie drona postrzegają środowisko. Zautomatyzowany potok generowania NeRF oferuje dość trywialny sposób tworzenia hiperrealistycznych przestrzeni szkoleniowych zaledwie kilku zdjęć.

Rozwinięty w ramach projektu Stanforda framework planowania online ułatwia wytrwały i w pełni oparty na wizji potok nawigacji.

Inicjatywa Stanforda jest jedną z pierwszych, które rozważają możliwości eksploracji przestrzeni NeRF w kontekście nawigowalnego i immersyjnego środowiska VR. Pola promieniowania neuronowego są nową technologią i są obecnie przedmiotem wielu wysiłków akademickich w celu zoptymalizowania ich wysokich wymagań obliczeniowych, a także rozłączenia przechwyconych elementów.

Nerf nie jest (naprawdę) CGI

Ponieważ środowisko NeRF jest nawigowalną sceną 3D, stało się mylącą technologią od momentu pojawienia się w 2020 roku, często postrzeganą jako sposób automatyzacji tworzenia siatek i tekstur, zamiast zastępowania środowisk 3D znanych widzom z działów efektów wizualnych Hollywood i fantastycznych scen środowisk AR i VR.

NeRF wyodrębnia informacje geometryczne i tekstur z bardzo ograniczonej liczby punktów widzenia, obliczając różnicę między obrazami jako informację objętościową. Źródło: https://www.matthewtancik.com/nerf

W rzeczywistości środowisko NeRF jest bardziej podobne do “na żywo” przestrzeni renderowania, gdzie połączenie informacji pikseli i oświetlenia jest zachowane i nawigowane w aktywnej i działającej sieci neuronowej.

Kluczem do potencjału NeRF jest to, że wymaga tylko ograniczonej liczby zdjęć, aby odtworzyć środowiska, i że wygenerowane środowiska zawierają wszystkie niezbędne informacje do wysokiej jakości odtworzenia, bez potrzeby usług modelarzy, artystów tekstur, specjalistów od oświetlenia i innych współpracowników “tradycyjnego” CGI.

Segmentacja semantyczna

Nawet jeśli NeRF skutecznie stanowi “Computer-Generated Imagery” (CGI), oferuje całkowicie odmienną metodologię i wysoko zautomatyzowany potok. Dodatkowo NeRF może izolować i “enkapsułować” poruszające się części sceny, tak aby mogły być dodane, usunięte, przyspieszone i ogólnie działać jako oddzielne elementy w wirtualnym środowisku – możliwość, która jest znacznie poza obecnym stanem techniki w “hollywoodzkim” rozumieniu CGI.

Współpraca z Uniwersytetu Technologicznego w Szanghaju, opublikowana latem 2021 roku, oferuje metodę indywidualizacji poruszających się elementów NeRF w “wklejane” elementy sceny. Źródło: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Negatywnie, architektura NeRF jest trochę “czarną skrzynką”; nie jest obecnie możliwe wyodrębnienie obiektu z środowiska NeRF i bezpośrednie manipulowanie nim przy użyciu tradycyjnych narzędzi opartych na siatkach i obrazach, chociaż wiele wysiłków badawczych zaczyna osiągać przełomy w dekonstrukcji macierzy za środowiskami renderowania sieci neuronowej NeRF.