Nauczanie robotów o narzędziach za pomocą Neural Radiance Fields (NeRF)

Nowe badania przeprowadzone na Uniwersytecie Michigan proponują sposób, w jaki roboty mogą zrozumieć mechanizmy narzędzi i innych obiektów złożonych, tworząc obiekty Neural Radiance Fields (NeRF), które demonstrują, jak te obiekty się poruszają, co pozwoli robotom na interakcję z nimi i używanie ich bez konieczności żmudnej dedykowanej prekonfiguracji.

Wykorzystując znane odniesienia do wewnętrznej ruchomości narzędzi (lub jakiegokolwiek obiektu z odpowiednim odniesieniem), NARF22 może syntetyzować fotorealistyczne przybliżenie narzędzia i jego zakresu ruchu oraz rodzaju operacji. Źródło: https://progress.eecs.umich.edu/projects/narf/

Roboty, które muszą wykonywać więcej niż unikać pieszych lub wykonywać skomplikowane wcześniej zaprogramowane rutyny (dla których najprawdopodobniej zostały już oznaczone i przeszkolone na koszt), potrzebują tego rodzaju zdolności adaptacyjnych, jeśli mają współpracować z tymi samymi materiałami i obiektami, z którymi musimy się zmagać.

Do tej pory istniało wiele przeszkód w nadaniu systemom roboczym tego rodzaju wszechstronności. Obejmują one brak odpowiednich zbiorów danych, wiele z nich zawiera bardzo ograniczoną liczbę obiektów; ogromny koszt generowania fotorealistycznych, opartych na siatce modeli 3D, które mogą pomóc robotom w nauce instrumentów w kontekście świata rzeczywistego; oraz nie-fotorealistyczna jakość takich zbiorów danych, które mogą być odpowiednie dla wyzwania, powodując, że obiekty wydają się niezwiązane z tym, co robot postrzega w otoczeniu, i trenują go do poszukiwania kreskówkowego obiektu, który nigdy nie pojawi się w rzeczywistości.

Aby rozwiązać ten problem, badacze z Michigan, których artykuł nosi tytuł NARF22: Neural Articulated Radiance Fields for Configuration-Aware Rendering, opracowali dwuetapową linię produkcyjną do generowania obiektów NeRF opartych na złożonych obiektach, które mają wygląd “świata rzeczywistego” i które uwzględniają ruch i wynikające z tego ograniczenia każdego złożonego obiektu.

Chociaż wygląda to na coś bardziej złożonego, podstawowe dwa etapy linii produkcyjnej NARF22 obejmują renderowanie statycznych części ruchomych narzędzi, a następnie komponowanie tych elementów w drugi zbiór danych, który jest poinformowany o parametrach ruchu tych części względem siebie. Źródło: https://arxiv.org/pdf/2210.01166.pdf

System nosi nazwę Neural Articulated Radiance Field – lub NARF22, aby odróżnić go od innego podobnie nazwanego projektu.

NARF22

Określenie, czy nieznany obiekt jest potencjalnie złożony, wymaga niemal niewyobrażalnej ilości wiedzy w stylu ludzkim. Na przykład, jeśli nigdy nie widziałeś zamkniętej szuflady, mogłaby ona wyglądać jak każdy inny rodzaj dekoracyjnego panelu – dopiero gdy ją otworzysz, internalizujesz “szufladę” jako złożony obiekt z jedną osią ruchu (do przodu i do tyłu).

Dlatego NARF22 nie jest przeznaczony jako system eksploracyjny do podnoszenia rzeczy i sprawdzania, czy mają aktywne części ruchome – prawie małpia zachowanie, które wiązałoby się z pewnymi potencjalnie katastrofalnymi scenariuszami. Zamiast tego, ramy są oparte na wiedzy dostępnej w Universal Robot Description Format (URDF) – otwartym formacie XML, który jest powszechnie stosowany i odpowiedni do tego zadania. Plik URDF zawiera parametry ruchu obiektu, a także opisy i inne oznaczone aspekty części obiektu.

W konwencjonalnych liniach produkcyjnych konieczne jest opisanie zdolności artykulacyjnych obiektu i oznaczenie odpowiednich wartości stawów. Nie jest to tanie ani łatwo skalowalne zadanie. Zamiast tego, przepływ pracy NaRF22 renderuje poszczególne składniki obiektu, zanim “zmontuje” każdy statyczny składnik w złożony obiekt NeRF, z wiedzą o parametrach ruchu dostarczoną przez URDF.

W drugim etapie procesu tworzony jest całkowicie nowy renderer, który uwzględnia wszystkie części. Chociaż może być łatwiej po prostu skleić poszczególne części na wcześniejszym etapie i pominąć ten następny krok, badacze obserwują, że ostateczny model – który został przeszkolony na NVIDIA RTX 3080 GPU pod AMD 5600X CPU – ma niższe wymagania obliczeniowe podczas wstecznego propagowania niż taki nagły i przedwczesny montaż.

Ponadto, model z drugiego etapu działa z dwukrotnie większą szybkością niż zmontowany, “siłowy” montaż, a wszelkie dodatkowe aplikacje, które mogą potrzebować wykorzystywać informacje o statycznych częściach modelu, nie będą musiały mieć własnego dostępu do informacji URDF, ponieważ zostały one już uwzględnione w ostatecznym rendererze.

Dane i Eksperymenty

Badacze przeprowadzili szereg eksperymentów, aby przetestować NARF22: jeden do oceny jakości renderowania dla każdej konfiguracji i położenia obiektu; test ilościowy do porównania wyników renderowania z podobnymi punktami widzenia widzianymi przez roboty świata rzeczywistego; oraz demonstrację estymacji konfiguracji i wyzwania uściślenia 6 DOF (głębi pola), który wykorzystywał NARF22 do wykonania optymalizacji opartej na gradientzie.

Dane szkoleniowe zostały pobrane z zestawu danych Progress Tools z wcześniejszego artykułu kilku autorów bieżącej pracy. Zestaw danych Progress Tools zawiera około sześciu tysięcy obrazów RGB-D (tj. zawierających informacje o głębi, niezbędne dla wizji robota) o rozdzielczości 640×480. Sceny obejmowały osiem narzędzi ręcznych, podzielonych na ich części składowe, wraz z modelami siatkowymi i informacjami o właściwościach kinematycznych obiektów (tj. w jaki sposób są one zaprojektowane do ruchu i parametrów tego ruchu).

Zestaw danych Progress Tools zawiera cztery złożone narzędzia. Powyższe obrazy są renderowaniami opartymi na NeRF z NARF22.

Dla tego eksperymentu ostateczny model konfiguracyjny został przeszkolony przy użyciu tylko liniałów, kleszczy długich i klamry (patrz powyższy obraz). Dane szkoleniowe zawierały jedną konfigurację klamry i jedną dla każdego z kleszczy.

Implementacja NARF22 oparta jest na FastNeRF, z parametrami wejściowymi zmodyfikowanymi w celu skupienia się na połączonym i przestrzennie zakodowanym położeniu narzędzi. FastNeRF wykorzystuje wielowarstwowy perceptron (MLP) sparowany z mechanizmem próbkowania voxelizowanego (voxel to podstawowa jednostka pikseli, ale z pełnymi współrzędnymi 3D, dzięki czemu mogą one działać w trójwymiarowej przestrzeni).

Dla testu jakościowego badacze obserwują, że istnieją pewne zakryte części klamry (tj. centralny szkielet, który nie może być znany lub zgadnięty przez obserwację obiektu, ale tylko przez interakcję z nim), i że system ma trudności z tworzeniem tej “nieznanej” geometrii.

Jakościowe renderowania narzędzi.

Z drugiej strony, kleszcze były w stanie dobrze uogólnić do nowych konfiguracji (tj. do rozszerzeń i ruchów ich części, które są w ramach parametrów URDF, ale które nie są wyraźnie omówione w materiale szkoleniowym dla modelu.

Badacze obserwują jednak, że błędy w oznaczaniu dla kleszczy doprowadziły do zmniejszenia jakości renderowania dla bardzo szczegółowych czubków narzędzi, negatywnie wpływając na renderowania – problem związany z szerszymi problemami logistyki oznaczania, budżetowania i dokładności w sektorze badań nad wizją komputerową, a nie z proceduralnymi niedostatkami w przepływie pracy NARF22.

Wyniki testu dokładności renderowania.

Dla testów estymacji konfiguracji badacze wykonali uściślenie położenia i estymację konfiguracji z początkowego “sztywnego” położenia, unikając wszelkich buforów lub innych rozwiązań przyspieszających używanych przez FastNeRF.

Następnie przeszkolili 17 dobrze uporządkowanych scen z zestawu testowego Progress Tools (które zostały odłożone podczas szkolenia), przechodząc przez 150 iteracji optymalizacji opartej na gradientzie pod optymalizatorem Adam. Ta procedura odzyskała estymację konfiguracji “bardzo dobrze”, według badaczy.

Wyniki testu estymacji konfiguracji.

Pierwotnie opublikowane 5 października 2022.