Robottien opettaminen työkalujen käyttöön neuroverkkosäteilykenttien (NeRF) avulla

Michiganin yliopiston uusi tutkimus tarjoaa roboteille tavan ymmärtää työkalujen ja muiden todellisen maailman nivellettyjen esineiden mekanismeja. Menetelmä luo neuroverkkoon perustuvia säteilykenttäesityksiä (NeRF), jotka havainnollistavat esineiden liikettä ja voivat auttaa robottia käyttämään niitä ilman työlästä esinekohtaista ennakkomääritystä.

Käyttämällä tunnettuja lähdereferenssejä työkalujen (tai muun esineen, jolle on sopiva viite) sisäisestä liikkeestä, NARF22 voi syntetisoida fotorealistisen arvion työkalusta, sen liikealueesta ja toimintatavasta. Lähde: https://progress.eecs.umich.edu/projects/narf/

Robotit, jotka tarvitsevat tehdä enemmän kuin välttää jalankulkijoita tai suorittaa monimutkaisia ennalta ohjelmoituja rutiineja (joille uudelleenkäyttöön soveltumattomat aineistot on todennäköisesti merkitty ja koulutettu jonkin verran kustannuksia), tarvitsevat tällaista sopeutumiskykyä, jotta ne voivat työskennellä samoilla materiaaleilla ja objekteilla kuin me muutkin.

Tähän asti on ollut useita esteitä robotijärjestelmien antamisessa tällaisella sopeutumiskyvylle. Nämä sisältävät soveltuvien tietokantojen niukkuuden, joista useat sisältävät hyvin rajoitetun määrän objekteja; kustannukset, jotka ovat olleet mukana luomassa fotorealistisia, polygoniverkkoihin perustuvia 3D-malleja, jotka voivat auttaa roboteja oppimaan työkalujen käyttöä todellisessa maailmassa; ja ei-fotorealistinen laatu sellaisista tietokannoista, jotka ovat soveltuvia haasteeseen, aiheuttaen objektien näyttämisen erillään siitä, mitä robotti havaitsee ympärillään, ja kouluttaa sitä etsimään karikatyyrimäistä objektia, jota ei koskaan ilmene todellisuudessa.

Tätä varten Michiganin tutkijat, joiden artikkeli on otsikoitu NARF22: nivelletyt neuroverkkosäteilykentät konfiguraation huomioivaan renderöintiin, ovat kehittäneet kaksivaiheisen putken NeRF-pohjaisille liikkuville objekteille, jotka ovat “todellisen maailman” näköisiä ja sisältävät liikkeen ja sen rajoitusten jokaiselle liikkuvalle objektille.

Vaikka se näyttää monimutkaisemmalta, NARF22-pipelineen olennaiset kaksi vaihetta ovat statisten osien renderöinti liikkuville työkaluille ja sitten näiden osien yhdistäminen toiseen tietokantaan, joka on perustettu liikkeen parametreihin, joilla nämä osat liikkuvat toisiinsa nähden. Lähde: https://arxiv.org/pdf/2210.01166.pdf

Järjestelmä on nimeltään Nivelletty neuroverkkosäteilykenttä – tai NARF22, jotta se voidaan erottaa toisesta samannimisestä hankkeesta.

NARF22

Sen selvittäminen, onko tuntematon esine mahdollisesti nivelletty, vaatii lähes käsittämättömän määrän ihmisen kaltaista ennakkotietoa. Jos et esimerkiksi ole koskaan nähnyt suljettua vetolaatikkoa, se voi näyttää pelkältä koristepaneelilta. Vasta avattuasi laatikon ymmärrät sen nivellettynä esineenä, jolla on yksi liikeakseli, eteen ja taakse.

NARF22 ei ole tarkoitettu tutkimusjärjestelmäksi, joka etsii asioita ja tutkii, onko niissä toimivia liikkuvia osia – melkein apinoiden kaltaista käyttäytymistä, joka sisältäisi useita potentiaalisia katastrofaalisia skenaarioita. Sen sijaan kehys perustuu tietoihin, jotka ovat saatavilla Universal Robot Description Format (URDF) – avoimen lähdekoodin XML-pohjaisessa muodossa, joka on laajasti sovellettavissa ja sopiva tehtävään. URDF-tiedosto sisältää objektin liikkeen parametreja, kuvausta ja muita merkittyjä osia objektin osista.

Perinteisissä putkissa on välttämätöntä kuvailla objektin liikkeen mahdollisuuksia ja merkitä olennaisia nivelparametreja. Tämä ei ole halpa tai helposti skaalautuva tehtävä. Sen sijaan NaRF22-työkalu renderöi objektin yksittäisiä osia ennen kuin “kokoo” jokaisen statisen osan liikkuvaan NeRF-pohjaiseen esitykseen, jossa liikkeen parametreja tarjoaa URDF.

Toisessa vaiheessa prosessissa luodaan uusi renderöijä, joka sisältää kaikki osat. Vaikka olisi helpompaa yksinkertaisesti yhdistää yksittäiset osat aikaisemmassa vaiheessa ja hypätä tämän jälkeisen vaiheen yli, tutkijat huomaavat, että lopullinen malli – joka on koulutettu NVIDIA RTX 3080 -näytönohjaimella AMD 5600X -suorittimella – vaatii vähemmän laskentaa virheen takaisinlevitys -vaiheessa kuin tällainen äkillinen ja ennenaikainen kokoonpano.

Lisäksi toisen vaiheen malli suorittaa kaksi kertaa nopeammin kuin yhdistetty, pelkkään suoraviivaiseen yhdistämiseen perustuva kokoonpano, ja mikä tahansa toissijainen sovellus, joka tarvitsee tietoa statisista osista mallista, ei tarvitse omaa pääsyä URDF-tietoihin, koska tämä on jo sisällytetty lopulliseen renderöijään.

Data ja kokeet

Tutkijat suorittivat useita kokeita NARF22:n testaamiseksi: yksi arvioi renderöinnin laadullisesti kullekin objektin konfiguraatiolle ja asennolle; kvantitatiivinen testi, joka vertasi renderöityjä tuloksia samanlaisiin näkymiin, joita todelliset robotit näkevät; ja esittely konfiguraation arvioinnista ja 6 DOF (syvyyden) hienosäätöhaasteesta, jossa NARF22 käytti gradientiperusteista optimointia.

Koulutusdata otettiin Progress Tools -tietokannasta aiemman tutkimuksen useilta nykyisen työn tekijöiltä. Progress Tools sisältää noin 6000 RGB-D (sisältäen syvyyden tiedon, joka on välttämätöntä robottien näköjärjestelmille) kuvia 640×480-resoluutiolla. Käytetyt kohtaukset sisälsivät kahdeksan käsi-työkalua, jaettuina osiin, täydellisinä mesh-malleina ja tietoina objektien kinemaattisista ominaisuuksista (ts. miten ne on suunniteltu liikkumaan ja liikkeen parametreja).

Progress Tools -tietokanta sisältää neljä liikkuvaista työkalua. Yllä olevat kuvat ovat NeRF-pohjaisia renderöintejä NARF22:sta.

Tässä kokeessa lopullinen konfiguroitavissa oleva malli koulutettiin käyttäen vain yhdistelmäpihtejä, pitkäkärkisiä pihtejä ja puristinta (ks. yllä oleva kuva). Koulutusdata sisälsivät yhden konfiguraation puristimesta ja yhden kummastakin pihdeistä.

NARF22:n toteutus perustuu FastNeRF:iin, jossa syötteen parametreja on muutettu keskittymään yhdistettyyn ja paikkatietoihin perustuvaan asentoon työkaluille. FastNeRF käyttää faktorisoitua monikerroksista perceptronia (MLP) parittain voxelisoidun näytteenottomekanismin (voxelit ovat periaatteessa pikseleitä, mutta täydellisinä 3D-koordinaatein, jotta ne voivat toimia kolmiulotteisessa tilassa) kanssa.

Laadullisessa testissä tutkijat huomaavat, että on useita peitetyjä osia puristimesta (ts. keskimmäinen selkäranka, jota ei voi tuntea tai päätellä pelkästään esinettä tarkastelemalla vaan vain olemalla sen kanssa vuorovaikutuksessa, ja jota järjestelmällä on vaikeuksia luoda tämä “tuntematon” geometria.

Laadullisia renderöintejä työkaluista.

Toisaalta pihdit pystyivät yleistämään hyvin uusiin konfiguraatioihin (ts. laajennuksiin ja liikkeisiin, jotka ovat URDF-parametreja, mutta joita ei ole nimenomaan käsitelty koulutusmateriaalissa mallille.

Tutkijat huomaavat kuitenkin, että merkintävirheet pihdeistä johtivat renderöintilaadun heikentymiseen työkalujen hyvin yksityiskohtaisissa kärjissä, negatiivisesti vaikuttaen renderöinteihin – ongelma, joka liittyy laajempiin huolenaiheisiin merkintälogistiikasta, budjetoinnista ja tarkinasta tarkkuudesta konenäön tutkimuksessa, eikä se ole prosessuaalinen puute NARF22-pipelineen.

Tulokset renderöintitarkkuustestistä.

Konfiguraation arviointikokeissa tutkijat suorittivat asennon hienosäätöä ja konfiguraation arviointia alun jäykästä asennosta, välttäen kaikkia välimuistin tai muiden kiihdytysvälineiden käyttöä, joita FastNeRF itse käyttää.

He kouluttivat 17 hyvin järjestettyä kohtausta Progress Tools -testijoukosta (joka oli pidetty erillään koulutuksen aikana), suorittaen 150 gradienttilaskeutumisoptimoinnin iteraatiota Adam-optimoinnilla. Tämä prosessi palautti konfiguraation arvion “erittäin hyvin”, tutkijoiden mukaan.

Tulokset konfiguraation arviointikokeesta.

Julkaistu ensimmäisen kerran 5. lokakuuta 2022.