Undervisning av roboter om verktøy med Neural Radiance Fields (NeRF)

Ny forskning fra University of Michigan tilbyr en måte for roboter å forstå mekanismene til verktøy og andre sanntidsartikulerte objekter, ved å opprette Neural Radiance Fields (NeRF) -objekter som demonstrerer hvordan disse objektene beveger seg, potensielt tillater roboten å samhandle med dem og bruke dem uten tråkede dedikerte forhåndskonfigurasjoner.

Ved å bruke kjente kildehenvisninger for den indre bevegelsen til verktøy (eller enhver gjenstand med en passende referanse), kan NARF22 syntetisere en fotorealistisk approksimasjon av verktøyet og dets bevegelsesområde og operasjonstype. Kilde: https://progress.eecs.umich.edu/projects/narf/

Roboter som må gjøre mer enn å unngå fotgjengere eller utføre elaborert forhåndskonfigurerte rutiner (for hvilke ikke-gjenbrukbare datasett har sannsynligvis blitt merket og trent til en viss kostnad) trenger denne typen tilpasningsdyktighet hvis de skal arbeide med de samme materialene og objektene som resten av oss må forholde oss til.

Hittil har det vært flere hindringer for å gi robotiske systemer denne typen fleksibilitet. Disse inkluderer mangelen på anvendelige datasett, mange av disse har et svært begrenset antall objekter; den enorme kostnaden involvert i å generere fotorealistiske, mesh-baserte 3D-modeller som kan hjelpe roboter å lære instrumentell i sanntidskontekst; og den ikke-fotorealistiske kvaliteten på slike datasett som faktisk kan være egnet for utfordringen, noe som får objektene til å se uavhengige ut fra hva roboten oppfatter i verden rundt den, og trener den til å søke etter en tegneserie-liknende gjenstand som aldri vil dukke opp i virkeligheten.

For å løse dette, har Michigan-forskerne, hvis artikkel heter NARF22: Neural Articulated Radiance Fields for Configuration-Aware Rendering, utviklet en to-trinns pipeline for å generere NeRF-baserte artikulerte objekter som har et ‘sanntids’ utseende, og som inkorporerer bevegelsen og følgende begrensninger for enhver artikulert gjenstand.

Selv om det ser mer komplisert ut, består de essensielle to trinnene i NARF22-pipeline av å rendre statiske deler av mobile verktøy, og deretter komponere disse elementene inn i en annen datasett som er informert om bevegelsesparametere som disse delene har, relativt til hverandre. Kilde: https://arxiv.org/pdf/2210.01166.pdf

Systemet kalles Neural Articulated Radiance Field – eller NARF22, for å skille det fra et annet lignende prosjekt.

NARF22

Å bestemme om et ukjent objekt er potensielt artikulert, krever en nesten ufatelig mengde menneske-lignende forhåndskunnskap. For eksempel, hvis du aldri hadde sett en lukket skuff før, kunne det se ut som enhver annen type dekorativ paneling – det er ikke før du har åpnet en at du internaliserer ‘skuff’ som et artikulert objekt med en enkelt akse av bevegelse (fram og tilbake).

Derfor er NARF22 ikke ment som et eksplorerende system for å plukke opp ting og se om de har handlebare bevegelige deler – nesten som en ape-lignende atferd som ville medføre en rekke potensielt katastrofale scenarier. I stedet er rammeverket basert på kunnskap tilgjengelig i Universal Robot Description Format (URDF) – et åpen kilde-XML-basert format som er vidt anvendelig og egnet for oppgaven. En URDF-fil vil inneholde de anvendelige bevegelsesparametrene for et objekt, samt beskrivelser og andre merkte deler av objektets deler.

I konvensjonelle pipelines er det nødvendig å beskrive artikulasjonskapasiteten til et objekt, og å merke jointverdiene. Dette er ikke en billig eller lett-skalerbar oppgave. I stedet renderer NaRF22-arbeidsflyten de enkelte komponentene av objektet før ‘samlingen’ av hver statisk komponent inn i en artikulert NeRF-basert representasjon, med kunnskap om bevegelsesparametrene gitt av URDF.

I den andre fasen av prosessen, opprettes en helt ny renderer som inkorporerer alle delene. Selv om det kunne være enklere å bare konkatenerer de enkelte delene på et tidligere stadium og hoppe over dette påfølgende trinnet, observerer forskerne at den endelige modellen – som ble trent på en NVIDIA RTX 3080 GPU under en AMD 5600X CPU – har lavere beregningskrav under backpropagation enn en slik abrupt og forhastet samling.

I tillegg kjører den andre-trinnsmodellen med dobbelt så høy hastighet som en konkateneret, ‘brutalt’ samling, og enhver sekundærapplikasjon som kan trenge å bruke informasjon om statiske deler av modellen, trenger ikke sin egen tilgang til URDF-informasjon, fordi dette allerede er inkorporert i den endelige renderer.

Data og Eksperimenter

Forskerne utførte en rekke eksperimenter for å teste NARF22: ett for å evaluere kvalitativ rendering for hver objektkonfigurasjon og pose; en kvantitativ test for å sammenligne de rendrede resultater med lignende utsikt som sett av sanntidsroboter; og en demonstrasjon av konfigurasjonsestimat og en 6 DOF (dybde av felt) finjustering som brukte NARF22 for å utføre gradient-basert optimering.

Treningdataene ble tatt fra Progress Tools-datasettet fra en tidligere artikkel av flere av arbeidets nåværende forfattere. Progress Tools inneholder rundt seks tusen RGB-D-bilder (inkludert dybdeinformasjon, essensiell for robotikk-syn) i 640×480-oppløsning. Scener inkluderte åtte håndverktøy, delt inn i deres respektive deler, komplett med mesh-modeller og informasjon om objektets kinematiske egenskaper (dvs. hvordan de er designet for å bevege seg, og parameterne for denne bevegelsen).

Progress Tools-datasettet inneholder fire artikulerte verktøy. Bildene ovenfor er NeRF-basert rendre fra NARF22.

For dette eksperimentet, ble en endelig konfigurerbar modell trent ved å bruke bare linesmanns tang, langnese-tang og en klempe (se bilde ovenfor). Treningdataene inneholdt en enkelt konfigurasjon av klempe, og en for hver av tangene.

Implementeringen av NARF22 er basert på FastNeRF, med inndata-parametrene modifisert for å konsentrere seg om konkateneret og romlig-kodet pose av verktøyene. FastNeRF bruker faktorisert multilayer perceptron (MLP) parret med en voxelisert sampling-mekanisme (voxler er essensielt piksler, men med full 3D-koordinater, så de kan operere i et tredimensjonalt rom).

For den kvalitative testen, observerer forskerne at det finnes flere okkulte deler av klempe (dvs. den sentrale spindelen, som ikke kan kjennes eller gjettes ved å observere objektet, men bare ved å samhandle med det, og at systemet har vanskeligheter med å skape denne ‘ukjente’ geometrien.

Kvalitative rendre av verktøy.

I motsetning til dette, kunne tangene generalisere godt til nye konfigurasjoner (dvs. til utvidelser og bevegelser av deres deler som er innenfor URDF-parametrene, men som ikke er eksplisitt behandlet i treningmaterialet for modellen.

Forskerne observerer imidlertid at merkingfeil for tangene ledet til en reduksjon av renderingkvaliteten for de svært detaljerte spissene av verktøyene, negativt påvirkte renderingene – et problem relatert til mye større bekymringer rundt merking logistikk, budsjett og nøyaktighet i datavisjon-forskning-sektoren, snarere enn noen prosedyremessig svikt i NARF22-pipeline.

Resultater fra rendre-nøyaktighets-testen.

For konfigurasjons-estimat-testene, utførte forskerne pose-tilpasning og konfigurasjons-estimat fra en innledende ‘stiv’ pose, unngikk alle caching eller andre akselererende arbeidsomgåelser brukt av FastNeRF selv.

De trente deretter 17 velordnede scener fra testsettet av Progress Tools (som hadde blitt holdt til side under trening), kjørte gjennom 150 iterasjoner av gradient-basert optimering under Adam-optimatoren. Denne prosedyren gjenoppbygde konfigurasjons-estimatet ‘ekstremt godt’, ifølge forskerne.

Resultater fra konfigurasjons-estimat-testen.

Først publisert 5. oktober 2022.