Învățarea roboților despre unelte cu câmpuri de radianță neuronale (NeRF)

Noi cercetări de la Universitatea din Michigan oferă o modalitate pentru roboți de a înțelege mecanismele uneltelor și a altor obiecte articulate din lumea reală, prin crearea de câmpuri de radianță neuronale (NeRF) care demonstrează modul în care aceste obiecte se mișcă, permițând potențial robotului să interacționeze cu ele și să le utilizeze fără o preconfigurare dedicată și laborioasă.

Prin utilizarea unor referințe cunoscute pentru motilitatea internă a uneltelor (sau a oricărui obiect cu o referință adecvată), NARF22 poate sintetiza o aproximare fotorealistică a uneltei și a gamei sale de mișcare și a tipului de operațiune. Sursă: https://progress.eecs.umich.edu/projects/narf/

Roboții care sunt obligați să facă mai mult decât să evite pietonii sau să execute rutine preprogramate elaborat (pentru care seturi de date nelabelate și netrainate au fost probabil etichetate și antrenate la o anumită cheltuială) au nevoie de acest tip de capacitate adaptivă pentru a lucra cu aceleași materiale și obiecte cu care trebuie să se confrunte și restul nostru.

Până în prezent, au existat o serie de obstacole în încorporarea sistemelor robotice cu acest tip de versatilitate. Acestea includ lipsa seturilor de date aplicabile, multe dintre ele având un număr foarte limitat de obiecte; cheltuielile implicate în generarea modelelor 3D fotorealiste, bazate pe plasă, care pot ajuta roboții să învețe instrumentarul în contextul lumii reale; și calitatea non-fotorealistă a seturilor de date care ar putea fi adecvate pentru provocare, făcând obiectele să pară disjuncte de ceea ce percepe robotul în jurul său și antrenându-l să caute un obiect de desen animat care nu va apărea niciodată în realitate.

Pentru a aborda această problemă, cercetătorii de la Michigan, a căror lucrare se intitulează NARF22: Câmpuri de radianță neuronale articulate pentru renderingul conștient de configurație, au dezvoltat o pipeline în două etape pentru generarea de obiecte articulate bazate pe NeRF, care au un aspect din lumea reală și care incorporează mișcarea și limitările ulterioare ale oricărui obiect articulat.

Deși pare mai complex, esențialul celor două etape ale pipeline-ului NARF22 implică renderarea părților statice ale uneltelor mobile și apoi compunerea acestor elemente într-un al doilea set de date care este informat despre parametrii de mișcare ai acestor părți, relativ unele față de altele. Sursă: https://arxiv.org/pdf/2210.01166.pdf

Sistemul se numește Câmp de radianță neuronale articulate – sau NARF22, pentru a-l deosebi de un alt proiect cu un nume similar.

NARF22

Determinarea dacă un obiect necunoscut este potențial articulat necesită o cantitate aproape de neimaginat de cunoștințe umane anterioare. De exemplu, dacă nu ai văzut niciodată un dulap închis, ar putea părea orice alt tip de panou decorativ – nu este până când ai deschis unul că internalizezi “dulap” ca un obiect articulat cu un singur ax de mișcare (înainte și înapoi).

Prin urmare, NARF22 nu este destinat să fie un sistem de explorare pentru a lua obiecte și a vedea dacă au părți mobile acționabile – un comportament aproape simian care ar implica o serie de scenarii potențial dezastruoase. Mai degrabă, cadrul este bazat pe cunoștințele disponibile în Format de descriere universală a roboților (URDF) – un format deschis, bazat pe XML, care este larg aplicabil și adecvat pentru sarcină. Un fișier URDF va conține parametrii utili de mișcare ai unui obiect, precum și descrieri și alte aspecte etichetate ale părților obiectului.

În pipeline-urile convenționale, este necesar să descrieți capacitățile de articulare ale unui obiect și să etichetați valorile joint-urilor pertinente. Acest lucru nu este o sarcină ieftină sau ușor de escaladat. În schimb, fluxul de lucru NARF22 renderizează componentele individuale ale obiectului înainte de a “asambla” fiecare component static într-o reprezentare NeRF bazată, articulată, cu cunoștințe despre parametrii de mișcare furnizați de URDF.

În a doua etapă a procesului, se creează un renderer complet nou care incorporează toate părțile. Deși ar fi mai ușor să concatenezi pur și simplu părțile individuale la o etapă anterioară și să sări peste acest pas ulterioar, cercetătorii observă că modelul final – care a fost antrenat pe un GPU NVIDIA RTX 3080 sub un CPU AMD 5600X – are cerințe computaționale mai mici în timpul backpropagation decât o astfel de asamblare prematură și forțată.

În plus, modelul din a doua etapă rulează la dublul vitezei unei asamblări concatenate, “forțate”, iar orice aplicații secundare care ar putea avea nevoie de informații despre părțile statice ale modelului nu vor avea nevoie de accesul propriu la informații URDF, deoarece acestea au fost deja incorporate în rendererul din a doua etapă.

Date și experimente

Cercetătorii au efectuat o serie de experimente pentru a testa NARF22: una pentru a evalua renderingul calitativ pentru fiecare configurație și poziție a obiectului; un test cantitativ pentru a compara rezultatele renderate cu puncte de vedere similare văzute de roboții din lumea reală; și o demonstrație a estimării configurației și a unei provocări de rafinare a profundimii de 6 grade de libertate care a utilizat NARF22 pentru a efectua o optimizare bazată pe gradient.

Datele de antrenare au fost luate din setul de date Progress Tools dintr-o lucrare anterioară a unora dintre autorii actualei lucrări. Progress Tools conține aproximativ șase mii de imagini RGB-D (inclusiv informații de adâncime, esențiale pentru viziunea robotică) la o rezoluție de 640×480. Scenele utilizate au inclus opt unelte de mână, împărțite în părțile lor constitutive, complete cu modele de plasă și informații despre proprietățile cinematice ale obiectelor (adică modul în care sunt proiectate să se miște și parametrii acestei mișcări).

Setul de date Progress Tools prezintă patru unelte articulate. Imaginile de mai sus sunt renderizări bazate pe NeRF de la NARF22.

Pentru acest experiment, un model configurabil final a fost antrenat utilizând doar clești de linie, clești lungi și o clapetă (a se vedea imaginea de mai sus). Datele de antrenare conțineau o singură configurație a clapetei și una pentru fiecare dintre clești.

Implementarea NARF22 se bazează pe FastNeRF, cu parametrii de intrare modificați pentru a se concentra pe poza concatenată și codificată spațial a uneltelor. FastNeRF utilizează un perceptron multistratificat factorizat, împerechiat cu un mecanism de eșantionare voxelizat (voxelii sunt esențialmente pixeli, dar cu coordonate 3D complete, astfel încât pot opera într-un spațiu tridimensional).

Pentru testul calitativ, cercetătorii observă că există mai multe părți ascunse ale clapetei (adică spina centrală, care nu poate fi cunoscută sau ghicită prin observarea obiectului, ci doar prin interacțiunea cu el) și că sistemul are dificultăți în crearea acestei “geometrii necunoscute”.

Renderizări calitative ale uneltelor.

În schimb, cleștii au putut generaliza bine la configurații noi (adică la extensii și mișcări ale părților lor care sunt în parametrii URDF, dar care nu sunt abordate explicit în materialul de antrenare pentru model.

Cercetătorii observă, cu toate acestea, că erorile de etichetare pentru clești au dus la o diminuare a calității renderingului pentru vârfurile foarte detaliate ale uneltelor, afectând negativ renderizările – o problemă legată de preocupări mai largi în jurul logisticii de etichetare, bugetării și acurateței în sectorul cercetării viziunii calculate, mai degrabă decât orice deficiență procedurală în pipeline-ul NARF22.

Rezultatele testului de acuratețe a renderizării.

Pentru testele de estimare a configurației, cercetătorii au efectuat o rafinare a poziției și o estimare a configurației de la o poziție “rigidă” inițială, evitând orice caching sau accelerări laterale utilizate de FastNeRF însuși.

Apoi, au antrenat 17 scene bine ordonate din setul de test al Progress Tools (care fuseseră păstrate în timpul antrenării), rulând prin 150 de iterații de optimizare a gradientului sub optimizerul Adam. Această procedură a recuperat estimarea configurației “extrem de bine”, conform cercetătorilor.

Rezultatele testului de estimare a configurației.

Publicat pentru prima dată pe 5 octombrie 2022.