Undervisning av robotar om verktyg med Neurala Radiance Fields (NeRF)

Ny forskning från University of Michigan föreslår ett sätt för robotar att förstå mekanismerna för verktyg och andra verkliga, artikulerade objekt, genom att skapa Neurala Radiance Fields (NeRF) -objekt som demonstrerar hur dessa objekt rör sig, vilket potentiellt tillåter roboten att interagera med dem och använda dem utan tråkig dedikerad förkonfiguration.

Genom att använda kända källreferenser för verktygens inre rörlighet (eller något objekt med en lämplig referens), kan NARF22 syntetisera en fotorealistisk approximation av verktyget och dess rörelseomfång och typ av operation. Källa: https://progress.eecs.umich.edu/projects/narf/

Robotar som kräver mer än att undvika fotgängare eller utföra elaborerat förprogrammerade rutiner (för vilka icke-återanvändbara dataset troligen har märkts och tränats till en viss kostnad) behöver denna typ av anpassningsförmåga om de ska arbeta med samma material och objekt som resten av oss måste hantera.

Hittills har det funnits ett antal hinder för att ge robotiska system denna typ av flexibilitet. Dessa inkluderar bristen på tillämpliga dataset, många av vilka endast innehåller ett mycket begränsat antal objekt; den enorma kostnaden för att generera fotorealistiska, mesh-baserade 3D-modeller som kan hjälpa robotar att lära sig instrumenteringskontext i den verkliga världen; och den icke-fotorealistiska kvaliteten på sådana dataset som faktiskt kan vara lämpliga för utmaningen, vilket gör att objekten verkar frånskilda från vad roboten uppfattar i världen runt omkring den, och tränar den att söka efter ett tecknat objekt som aldrig kommer att dyka upp i verkligheten.

För att åtgärda detta har forskarna vid University of Michigan, vars artikel heter NARF22: Neural Articulated Radiance Fields för konfigurationsmedveten rendering, utvecklat en tvåstegspipeline för att generera NeRF-baserade artikulerade objekt som har ett “verkligt värld”-utseende och som inkorporerar rörelse och efterföljande begränsningar för varje specifikt artikulerat objekt.

Även om det verkar mer komplext, består de två steg i NARF22-pipelinen av att rendera statiska delar av rörliga verktyg och sedan komponera dessa element till en andra dataset som är informerad om rörelseparametrarna som dessa delar har i förhållande till varandra. Källa: https://arxiv.org/pdf/2210.01166.pdf

Systemet kallas Neural Articulated Radiance Field – eller NARF22, för att skilja det från ett annat liknande projekt.

NARF22

Att bestämma om ett okänt objekt potentiellt är artikulerat kräver en nästan ofattbar mängd mänsklig förkunskap. Till exempel, om du aldrig hade sett en stängd låda tidigare, kunde den verka vara vilken annan typ av dekorativ panel som helst – det är inte förrän du har öppnat en som du internaliserar “låda” som ett artikulerat objekt med en enda axelrörelse (fram och tillbaka).

Därför är NARF22 inte avsett som ett utforskningssystem för att plocka upp saker och se om de har aktiva rörliga delar – ett nästan simianbeteende som skulle medföra ett antal potentiellt katastrofala scenarier. Istället är ramverket baserat på kunskap som finns i Universal Robot Description Format (URDF) – ett öppen källkods-XML-baserat format som är allmänt tillämpligt och lämpligt för uppgiften. En URDF-fil kommer att innehålla de användbara rörelseparametrarna för ett objekt, samt beskrivningar och andra märkta aspekter av objektdelarna.

I konventionella pipeliner är det nödvändigt att i princip beskriva objekts artikuleringsförmåga och märka de relevanta ledvärdena. Detta är inte en billig eller lätt skalbar uppgift. Istället renderar NaRF22-arbetet de enskilda komponenterna i objektet innan de “sätter samman” varje statisk komponent till en artikulerad NeRF-baserad representation, med kunskap om rörelseparametrarna som tillhandahålls av URDF.

I den andra fasen av processen skapas ett helt nytt renderingsprogram som inkorporerar alla delar. Även om det kan vara lättare att bara konkatenera de enskilda delarna i ett tidigare skede och hoppa över detta efterföljande steg, observerar forskarna att den slutliga modellen – som tränades på en NVIDIA RTX 3080 GPU under en AMD 5600X CPU – har lägre beräkningskrav under backpropagation än en sådan abrupt och prematur sammansättning.

Dessutom kör den andra etappen av modellen med dubbelt så hög hastighet som en konkatenerad, “brutaliserad” sammansättning, och eventuella sekundära applikationer som kan behöva använda information om statiska delar av modellen kommer inte att behöva sin egen åtkomst till URDF-information, eftersom detta redan har inkorporerats i den slutliga renderaren.

Data och Experiment

Forskarna genomförde ett antal experiment för att testa NARF22: ett för att utvärdera kvalitativ rendering för varje objekts konfiguration och pose; en kvantitativ test för att jämföra de renderade resultaten med liknande vyer som ses av verkliga robotar; och en demonstration av konfigurationsuppskattning och en 6 DOF (djup av fält) -utmaning som använde NARF22 för att utföra gradientbaserad optimering.

Träningsdata togs från Progress Tools -dataset från en tidigare artikel av flera av författarna till nuvarande arbete. Progress Tools innehåller cirka sex tusen RGB-D-bilder (dvs inklusive djupinformation, vilket är nödvändigt för robotiksyn) i upplösning 640×480. Scener som användes inkluderade åtta handverktyg, indelade i sina beståndsdelar, komplett med nätmodeller och information om objekts kinematiska egenskaper (dvs hur de är utformade för att röra sig och parametrarna för den rörelsen).

Progress Tools-datasetet innehåller fyra artikulerade verktyg. Bilderna ovan är NeRF-baserade renderningar från NARF22.

För detta experiment tränades en slutlig konfigurerbar modell med hjälp av endast linesmans tång, långnosad tång och en klo (se bild ovan). Träningsdata innehöll en enda konfiguration av klon och en för varje tång.

Implementeringen av NARF22 baseras på FastNeRF, med indataparametrarna modifierade för att fokusera på konkatenerad och rumsligt kodad pose för verktygen. FastNeRF använder en faktoriserad multilayerperceptron (MLP) parat med en voxeliserad sampelmechanism (voxlar är i princip pixlar, men med fulla 3D-koordinater, så att de kan fungera i ett tredimensionellt utrymme).

För den kvalitativa testen observerar forskarna att det finns flera dolda delar av klon (dvs den centrala ryggraden som inte kan kännas till eller gissas genom att observera objektet, men endast genom att interagera med det, och att systemet har svårt att skapa denna “okända” geometri.

Kvalitativa renderningar av verktyg.

I kontrast kunde tångarna generalisera väl till nya konfigurationer (dvs till utvidgningar och rörelser av deras delar som ligger inom URDF-parametrarna, men som inte uttryckligen behandlas i träningsmaterialet för modellen.

Forskarna observerar dock att märkningsfel för tångarna ledde till en minskning av renderingkvaliteten för de mycket detaljerade spetsarna på verktygen, vilket negativt påverkade renderingarna – ett problem som är relaterat till mycket bredare problem kring märkningslogistik, budgetering och noggrannhet inom datavisionsforskningssektorn, snarare än något procedurmässigt fel i NARF22-pipelinen.

Resultat från renderingsnoggrannhetstestet.

För konfigurationsuppskattningstesterna utförde forskarna posefinering och konfigurationsuppskattning från en initial “stel” pose, undvikande alla cachade eller accelerativa workaround som används av FastNeRF själv.

Sedan tränade de 17 välordnade scener från testuppsättningen av Progress Tools (som hade hållits åt sidan under träning), körande genom 150 iterationer av gradientbaserad optimering under Adam-optimisatorn. Denna procedur återställde konfigurationsuppskattningen “extremt bra”, enligt forskarna.

Resultat från konfigurationsuppskattningstestet.

Publicerad första gången den 5 oktober 2022.