Fremgang i “Spatial-AI” gjør det mulig for roboter å oppfatte fysiske miljøer som et menneske

Ingeniører ved MIT arbeider med å gi roboter evnen til å følge høynivåkommandoer, som å gå til et annet rom for å hente et objekt til en person. For at dette skal være mulig, må robotene ha evnen til å oppfatte sine fysiske miljøer på samme måte som vi mennesker gjør.

Luca Carlone er en assistentprofessor i luftfart og romfart ved MIT.

“For å kunne fatte noen beslutning i verden, må du ha en mental modell av miljøet rundt deg,” sier Carlone. “Dette er noe så enkelt for mennesker. Men for roboter er det et smertefullt hardt problem, der det handler om å omforme piksverdier som de ser gjennom en kamera, til en forståelse av verden.”

For å møte denne utfordringen, modellerte forskerne en representasjon av romlig persepsjon for roboter basert på hvordan mennesker oppfatter og navigerer i sine fysiske miljøer.

3D Dynamiske Scene Graf

Den nye modellen kalles 3D Dynamiske Scene Graf, og den gjør det mulig for en robot å generere en 3D-kart over sine fysiske omgivelser, inkludert objekter og deres semantiske merker. Roboten kan også kartlegge mennesker, rom, vegger og andre strukturer i miljøet.

Modellen gjør det deretter mulig for roboten å trekke ut informasjon fra 3D-kartet, informasjon som kan brukes til å lokalisere objekter, rom og menneskers bevegelser.

“Denne komprimerte representasjonen av miljøet er nyttig fordi den gjør det mulig for vår robot å raskt fatte beslutninger og planlegge sin rute,” sier Carlone. “Dette er ikke så langt fra det vi gjør som mennesker. Hvis du trenger å planlegge en rute fra hjemmet ditt til MIT, planlegger du ikke hver enkelt posisjon du må ta. Du tenker bare på niveauet med gater og landemerker, som hjelper deg å planlegge ruten din raskere.”

Ifølge Carlone vil roboter som avhenger av denne modellen kunne gjøre mye mer enn bare huslige oppgaver. De kan også brukes til høynivå ferdigheter og arbeide sammen med mennesker i fabrikker, eller hjelpe med å lokalisere overlevende etter en katastrofe.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Gjeldende metoder vs Ny modell

De gjeldende metodene for robotisk syn og navigasjon fokuserer hovedsakelig på 3D-kartlegging som gjør det mulig for roboter å rekonstruere sine omgivelser i tre dimensjoner i sanntid, eller semantisk segmentering, som skjer når roboter klassifiserer trekk i miljøet som semantiske objekter, som en bil versus en sykkel. Semantisk segmentering skjer ofte på 2D-bilder.

Den nylig utviklede modellen for romlig persepsjon er den første av sin type som genererer en 3D-kart over miljøet i sanntid og merker objekter, mennesker og strukturer innenfor 3D-kartet samtidig.

For å oppnå denne nye modellen, avhengte forskerne av Kimera, en åpen kildekode-bibliotek. Kimera ble tidligere utviklet av samme team for å konstruere en 3D-geometrisk modell av et miljø, samtidig som det kodet hva objektet sannsynligvis er, som en stol versus et skrivebord.

“Liksom den mytiske skapningen som er en blanding av forskjellige dyr, ønsket vi at Kimera skulle være en blanding av kartlegging og semantisk forståelse i 3D,” sier Carlone.

Kimera brukte bilder fra en robottkamera og inertialmålinger fra ombord-sensorer for å rekonstruere scenen som en 3D-mesh i sanntid. For å gjøre dette, brukte Kimera et neuralt nettverk som er trent på millioner av virkelige bilder. Det kunne deretter forutsi merket til hver piksel og bruke ray-casting til å projicere dem i 3D.

Gjennom bruk av denne teknikken kan robotens miljø kartlegges i en tredimensjonal mesh hvor hver overflate er fargekodet, og identifiserer det som en del av objekter, strukturer eller mennesker i miljøet.

3D Mesh til 3D Dynamiske “Scene Graf”

Fordi den 3D semantiske mesh-modellen krever mye beregningskraft og er tidskrevende, brukte forskerne Kimera for å utvikle algoritmer som resulterte i 3D dynamiske “scene graf”.

Den 3D semantiske mesh deles inn i distinkte semantiske lag, og roboten kan deretter se en scene gjennom et lag. Lagene går fra objekter og mennesker, til åpne rom og strukturer, til rom, korridorer, ganger og hele bygninger.

Denne lagdelingsmetoden gjør det mulig for roboten å snevre inn fokusen sin i stedet for å måtte analysere milliarder av punkter og overflater. Denne lagdelingsmetoden gjør det også mulig for algoritmene å spore mennesker og deres bevegelser i miljøet i sanntid.

Den nye modellen ble testet i en foto-realistisk simulator som simulerer en robot som navigerer i et kontormiljø med mennesker i bevegelse.

“Vi gjør i praksis det mulig for roboter å ha mentale modeller som ligner de mennesker bruker,” sier Carlone. “Dette kan ha innvirkning på mange applikasjoner, inkludert selvkjørende biler, søk og redning, samarbeidende produksjon og huslige roboter.

Carlone ble ledsaget av hovedforfatter og MIT-gradstudent Antoni Rosinol.

“Vår tilnærming har bare blitt mulig takket være nylige fremskritt i dyp læring og tiårs forskning på samtidig lokaliserings- og kartlegging,” sier Rosinol. “Med dette arbeidet, tar vi spranget mot en ny æra av robotisk persepsjon kalt spatial-AI, som bare er i sin barndom, men har stor potensiale i robotikk og stor skala virtuell og forbedret virkelighet.”

Forskningen ble presentert på Robotics: Science and Systems virtuell konferanse.