Edistys “Spatial-AI”:ssa mahdollistaa robotien havainnoida fyysistä ympäristöä ihmisen tavoin

MIT:n insinöörit työskentelevät robotien kehittämiseksi, jotta ne voivat seurata korkean tason käskyjä, kuten mennä toiseen huoneeseen hakemaan jotain yksilölle. Jotta tämä olisi mahdollista, robotit tarvitsevat kyvyn havainnoida fyysistä ympäristöään samalla tavoin kuin ihmiset.

Luca Carlone on apulaisprofessori ilmailu- ja avaruustekniikassa MIT:ssä.

“Jotta voimme tehdä mitään päätöksiä maailmassa, meidän on oltava mentalinen malli ympäristöstämme”, Carlone sanoo. “Tämä on ihmisille niin vaivatonta. Mutta robotille se on vaikea ongelma, jossa on kyse siitä, miten muunnetaan kuvapikseleiden arvoja, jotka se näkee kameransa kautta, ymmärrykseksi maailmasta.”

Tässä haasteessa tutkijat mallinsivat robotin avaruushavainnoinnin edustamisen, joka perustuu siihen, miten ihmiset havainnoivat ja navigoivat fyysistä ympäristöään.

3D Dynaamiset Kohteen Graafit

Uusi malli on nimeltään 3D Dynaamiset Kohteen Graafit, ja se mahdollistaa robotin luominen 3D-kartan sen fyysisestä ympäristöstä, mukaan lukien objektit ja niiden semanttiset merkinnät. Robotti voi myös kartoittaa ihmisiä, huoneita, seiniä ja muita rakenteita ympäristössä.

Malli sallii sitten robotin poimia tietoa 3D-kartasta, tietoa, jota voidaan käyttää objektien, huoneiden ja ihmisten liikkeen sijainnin määrittämiseen.

“Tämä ympäristön tiivis edustus on hyödyllinen, koska se mahdollistaa robotillemme nopeiden päätösten tekemisen ja reitin suunnittelun”, Carlone sanoo. “Tämä ei ole kovin kaukana siitä, mitä teemme ihmisinä. Jos tarvitset suunnitella reitin kotiisi MIT:hen, et suunnittele jokaista yksittäistä sijaintia, johon tarvitset mennä. Sinä ajattelet kaduilla ja maamerkeillä, mikä auttaa sinua suunnittelemaan reittisi nopeammin.”

Carlonen mukaan robotit, jotka riippuvat tästä mallista, voivat tehdä paljon enemmän kuin vain kotitöitä. Ne voivat myös olla käytössä korkean tason taitojen ja työskentelyssä ihmisten rinnalla tehtaissa tai auttaa löytämään onnettomuuspaikkojen selviytyjiä.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Nykyiset Menetelmät vs Uusi Malli

Nykyiset menetelmät robotti-näön ja navigoinnin kannalta keskittyvät pääasiassa 3D-kartointiin, joka mahdollistaa robotien rekonstruktio ympäristöstään kolmiulotteisesti reaaliajassa, tai semanttiseen segmentointiin, joka tapahtuu, kun robotit luokittelevat ympäristön piirteet semanttisiksi objekteiksi, kuten auton ja pyörän. Semanttinen segmentointi tehdään usein 2D-kuvissa.

Uusi kehitetty avaruushavainnoinnin malli on ensimmäinen, joka luo 3D-kartan ympäristöstä reaaliajassa ja merkitsee objekteja, ihmisiä ja rakenteita 3D-kartassa samanaikaisesti.

Tässä uuden mallin saavuttamiseksi tutkijat riippuivat Kimerasta, avoimen lähdekoodin kirjastosta. Kimeraa oli aiemmin kehitetty samalla tiimillä 3D-geometrisen mallin rakentamiseksi ympäristöstä ja samalla koodauksessa, mitä objekti todennäköisesti on, kuten tuoli vs. pöytä.

“Kuten myyttinen olento, joka on sekoitus eri eläimiä, halusimme Kimeran olevan sekoitus kartointia ja semanttista ymmärrystä 3D:ssa”, Carlone sanoo.

Kimera käytti robotin kameran kuvia ja inertialmittauksia laitteiston anturien avulla rekonstruoimaan kohtauksen 3D-verkkomalliksi reaaliajassa. Tämän tekemiseksi Kimera käytti neuroverkkoa, joka on koulutettu miljoonilla todellisista kuvista. Se voisi sitten ennustaa jokaisen pikselin merkintää ja käyttää säteensyötettä heittääkseen ne 3D:hen.

Tämän tekniikan avulla robotin ympäristö voidaan kartoittaa kolmiulotteiseksi verkkomalliksi, jossa jokainen pinta on värillä koodattu, tunnistamassa sitä osana objekteja, rakenteita tai ihmisiä ympäristössä.

3D Verkko 3D Dynaamisiin “Kohteen Graafeihin”

Koska 3D semanttinen verkko-malli vaatii paljon laskentakapasiteettia ja on aikaa vievä, tutkijat käyttivät Kimeraa kehittääkseen algoritmeja, jotka johtivat 3D dynaamisiin “kohteen graafeihin”.

3D semanttinen verkko hajoitetaan eri semanttisiin kerroksiin, ja robotti voi sitten tarkastella kohtausta kerroksen kautta. Kerrokset ovat objekteja ja ihmisiä, avoimia tiloja ja rakenteita, huoneita, käytäviä, käytäviä ja koko rakennuksia.

Tämä kerroksellinen menetelmä mahdollistaa robotille kohdistaa huomionsa tietyksi kohteeksi eikä tarvitse analysoida miljardeja pisteitä ja pinnoja. Tämä kerroksellinen menetelmä mahdollistaa myös algoritmien seurata ihmisiä ja heidän liikkeitään ympäristössä reaaliajassa.

Uusi malli testattiin valokuvamaisessa simulaattorissa, joka simuloiti robotin navigointia toimistoympäristössä, jossa liikkui ihmisiä.

“Emme ole periaatteessa mahdollistamassa robotien omistamista mentalisista malleista, joita ihmiset käyttävät”, Carlone sanoo. “Tämä voi vaikuttaa moniin sovelluksiin, mukaan lukien itseajavat autot, etsintä- ja pelastus, yhteistyöllinen valmistus ja kotirobotiikka.

Carlonea avusti johtava kirjoittaja ja MIT:n jatko-opiskelija Antoni Rosinol.

“Lähestymistapa on vain mahdollinen kiitos viimeaikaisille edistysaskelille syvällä oppimisessa ja vuosikymmenien tutkimuksessa samanaikaisesta lokalisaatiosta ja kartoinnista”, Rosinol sanoo. “Tällä työllä teemme loikan kohti uutta aikakautta robotti-havainnoinnissa, jota kutsutaan spatial-AI:ksi, joka on vasta alkuvaiheessa, mutta jolla on suuri potentiaali robotiikassa ja suurissa virtuaali- ja lisättyjen todellisuuksien sovelluksissa.”

Tutkimus esiteltiin Robotics: Science and Systems virtuaalikonferenssissa.