Opettaminen roboteille työkalujen käytöstä neuroradianssikentillä (NeRF)

Michiganin yliopiston tutkimus tarjoaa tavan, jolla robotit voivat ymmärtää työkalujen ja muiden todellisen maailman liikkuvaisten objektiiden mekanismit luomalla Neuroradianssikenttiä (NeRF) -objekteja, jotka osoittavat, miten nämä objektit liikkuvat, mahdollistaen robotin vuorovaikutuksen ja käytön ilman tylsää omistautumista.

Käyttämällä tunnettuja lähdereferenssejä työkalujen (tai minkä tahansa objektin) sisäisestä liikkeestä, NARF22 voi syntetisoida fotorealistisen työkalun ja sen liikkeen ja toiminnan tyypin. Lähde: https://progress.eecs.umich.edu/projects/narf/

Robotit, jotka tarvitsevat tehdä enemmän kuin välttää jalankulkijoita tai suorittaa monimutkaisia ennalta ohjelmoituja rutiineja (joille ei-kierrätettävät tietokannat on todennäköisesti merkitty ja koulutettu jonkin verran kustannuksia), tarvitsevat tällaista sopeutumiskykyä, jotta ne voivat työskennellä samoilla materiaaleilla ja objekteilla kuin me muutkin.

Tähän asti on ollut useita esteitä robotijärjestelmien antamisessa tällaisella sopeutumiskyvylle. Nämä sisältävät soveltuvien tietokantojen niukkuuden, joista useat sisältävät hyvin rajoitetun määrän objekteja; kustannukset, jotka ovat olleet mukana luomassa fotorealistisia, verkkopohjaisia 3D-malleja, jotka voivat auttaa roboteja oppimaan instrumentaalisuutta todellisessa maailmassa; ja ei-fotorealistinen laatu sellaisista tietokannoista, jotka ovat soveltuvia haasteeseen, aiheuttaen objektien näyttämisen erillään siitä, mitä robotti havaitsee ympärillään, ja kouluttaa sitä etsimään karikatyyrimäistä objektia, jota ei koskaan ilmene todellisuudessa.

Tätä varten Michiganin tutkijat, joiden artikkeli on otsikoitu NARF22: Neuroradianssikentät konfiguraatioherkkyydelle, ovat kehittäneet kaksivaiheisen putken NeRF-pohjaisille liikkuville objekteille, jotka ovat “todellisen maailman” näköisiä ja sisältävät liikkeen ja sen rajoitusten jokaiselle liikkuvalle objektille.

Vaikka se näyttää monimutkaisemmalta, NARF22-pipelineen olennaiset kaksi vaihetta ovat statisten osien renderöinti liikkuville työkaluille ja sitten näiden osien yhdistäminen toiseen tietokantaan, joka on perustettu liikkeen parametreihin, joilla nämä osat liikkuvat toisiinsa nähden. Lähde: https://arxiv.org/pdf/2210.01166.pdf

Järjestelmä on nimeltään Neuroradianssikenttä – tai NARF22, jotta se voidaan erottaa toisesta samannimisestä hankkeesta.

NARF22

Määrittämiseksi, onko tuntematon objekti potentiaalisesti liikkuva, vaaditaan lähes uskomaton määrä ihmisen tyyppistä etukäteistietoa. Esimerkiksi, jos et ole koskaan nähnyt suljettua laatikkoa, se saattaa näyttää miltä tahansa muulta koristeluun, eikä se ole, kunnes olet todella avannut yhden – se on, kun “laatikko” sisäistetään liikkuva objektina, jolla on yksi akseli liikettä (eteen ja taakse).

NARF22 ei ole tarkoitettu tutkimusjärjestelmäksi, joka etsii asioita ja tutkii, onko niissä toimivia liikkuvia osia – melkein apinoiden kaltaista käyttäytymistä, joka sisältäisi useita potentiaalisia katastrofaalisia skenaarioita. Sen sijaan kehys perustuu tietoihin, jotka ovat saatavilla Universal Robot Description Format (URDF) – avoimen lähdekoodin XML-pohjaisessa muodossa, joka on laajasti sovellettavissa ja sopiva tehtävään. URDF-tiedosto sisältää objektin liikkeen parametreja, kuvausta ja muita merkittyjä osia objektin osista.

Perinteisissä putkissa on välttämätöntä kuvailla objektin liikkeen mahdollisuuksia ja merkitä olennaisia nivelparametreja. Tämä ei ole halpa tai helposti skaalautuva tehtävä. Sen sijaan NaRF22-työkalu renderöi objektin yksittäisiä osia ennen kuin “kokoo” jokaisen statisen osan liikkuvaan NeRF-pohjaiseen esitykseen, jossa liikkeen parametreja tarjoaa URDF.

Toisessa vaiheessa prosessissa luodaan uusi renderöijä, joka sisältää kaikki osat. Vaikka olisi helpompaa yksinkertaisesti yhdistää yksittäiset osat aikaisemmassa vaiheessa ja hypätä tämän jälkeisen vaiheen yli, tutkijat huomaavat, että lopullinen malli – joka on koulutettu NVIDIA RTX 3080 -näytönohjaimella AMD 5600X -suorittimella – on alhaisemmat laskennalliset vaatimukset backpropagation -aikana kuin tällainen äkillinen ja ennenaikainen kokoonpano.

Lisäksi toisen vaiheen malli suorittaa kaksi kertaa nopeammin kuin yhdistetty, “brutalisoiden” kokoonpano, ja mikä tahansa toissijainen sovellus, joka tarvitsee tietoa statisista osista mallista, ei tarvitse omaa pääsyä URDF-tietoihin, koska tämä on jo sisällytetty lopulliseen renderöijään.

Data ja kokeet

Tutkijat suorittivat useita kokeita NARF22:n testaamiseksi: yksi arvioi laadukkaan renderöinnin kullekin objektin konfiguraatiolle ja asennolle; kvantitatiivinen testi, joka vertasi renderöityjä tuloksia samanlaisiin näkymiin, joita todelliset robotit näkevät; ja esittely konfiguraation arvioinnista ja 6 DOF (syvyyden) hienosäätöhaasteesta, jossa NARF22 käytti gradientiperusteista optimointia.

Koulutusdata otettiin Progress Tools -tietokannasta aiemman tutkimuksen useilta nykyisen työn tekijöiltä. Progress Tools sisältää noin 6000 RGB-D (sisältäen syvyyden tiedon, joka on välttämätöntä robottiennustamiselle) kuvia 640×480-resoluutiolla. Käytetyt kohtaukset sisälsivät kahdeksan käsi-työkalua, jaettuina osiin, täydellisinä mesh-malleina ja tietoina objektien kinemaattisista ominaisuuksista (ts. miten ne on suunniteltu liikkumaan ja liikkeen parametreja).

Progress Tools -tietokanta sisältää neljä liikkuvaista työkalua. Yllä olevat kuvat ovat NeRF-pohjaisia renderöintejä NARF22:sta.

Tässä kokeessa lopullinen konfiguroitavissa oleva malli koulutettiin käyttäen vain linesmenin pihdeitä, pitkiä nenäpihdeitä ja klampea (ks. yllä oleva kuva). Koulutusdata sisälsivät yhden konfiguraation klammista ja yhden kummastakin pihdeistä.

NARF22:n toteutus perustuu FastNeRF:iin, jossa syötteen parametreja on muutettu keskittymään yhdistettyyn ja paikkatietoihin perustuvaan asentoon työkaluille. FastNeRF käyttää faktorisoitua monikerroksista perkeliä (MLP) parittain voxelisoidun näytteenottomekanismin (voxelit ovat periaatteessa pikseleitä, mutta täydellisinä 3D-koordinaatein, jotta ne voivat toimia kolmiulotteisessa tilassa) kanssa.

Laadukkaassa testissä tutkijat huomaavat, että on useita peitetyjä osia klammista (ts. keskimmäinen selkäranka, jota ei voida tietää tai arvata objektin kanssa vuorovaikutuksessa, mutta ainoastaan kokeilemalla, ja jota järjestelmällä on vaikeuksia luoda tämä “tuntematon” geometria.

Laadukkaita renderöintejä työkaluista.

Toisaalta pihdit pystyivät yleistämään hyvin uusiin konfiguraatioihin (ts. laajennuksiin ja liikkeisiin, jotka ovat URDF-parametreja, mutta joita ei ole nimenomaan käsitelty koulutusmateriaalissa mallille.

Tutkijat huomaavat kuitenkin, että merkintävirheet pihdeistä johtivat renderöintilaadun heikentymiseen työkalujen hyvin yksityiskohtaisissa kärjissä, negatiivisesti vaikuttaen renderöinteihin – ongelma, joka liittyy laajempiin huolenaiheisiin merkintälogistiikasta, budjetoinnista ja tarkinasta tarkkuudesta tietokoneen näköalalla, eikä se ole prosessuaalinen puute NARF22-pipelineen.

Tulokset renderöintitarkkuustestistä.

Konfiguraation arviointikokeissa tutkijat suorittivat asennon hienosäätöä ja konfiguraation arviointia alkuasennosta, välttäen kaikkia välimuistin tai muiden kiihdytysvälineiden käyttöä, joita FastNeRF itse käyttää.

He kouluttivat 17 hyvin järjestettyä kohtausta Progress Tools -testijoukosta (joka oli pidetty erillään koulutuksen aikana), suorittaen 150 iteraatiota gradientin laskentaa Adam-optimoinnilla. Tämä prosessi palautti konfiguraation arvion “erittäin hyvin”, tutkijoiden mukaan.

Tulokset konfiguraation arviointikokeesta.

Julkaistu ensimmäisen kerran 5. lokakuuta 2022.