Fremgang i “Spatial-AI” giver robotter evne til at opfatte fysiske omgivelser som et menneske

Ingeniører på MIT arbejder på at give robotter evnen til at følge højtniveau-kommandoer, såsom at gå til et andet rum for at hente et objekt til en person. For at dette skal være muligt, skal robotter have evnen til at opfatte deres fysiske omgivelser på samme måde som vi mennesker gør.

Luca Carlone er adjunkt i aeronautik og astronautik på MIT.

“For at træffe nogen beslutning i verden, har du brug for at have en mental model af omgivelserne omkring dig,” siger Carlone. “Dette er noget, der er så ubesværet for mennesker. Men for robotter er det et smertefuldt hårdt problem, hvor det handler om at omdanne pixelværdier, som de ser gennem en kamera, til en forståelse af verden.”

For at tage imod denne udfordring, har forskerne modelleret en repræsentation af rumlig perception for robotter baseret på, hvordan mennesker opfatter og navigerer i deres fysiske omgivelser.

3D Dynamiske Scenekort

Den nye model kaldes 3D Dynamiske Scenekort, og den giver en robot mulighed for at generere en 3D-kort over sin fysiske omgivelse, herunder objekter og deres semantiske mærker. Robotten kan også kortlægge personer, rum, vægge og andre strukturer i omgivelserne.

Modellen giver herefter robotten mulighed for at trække information ud af 3D-kortet, information, der kan bruges til at lokalisere objekter, rum og personers bevægelser.

“Denne komprimerede repræsentation af omgivelserne er nyttig, fordi den giver vores robot mulighed for hurtigt at træffe beslutninger og planlægge sin rute,” siger Carlone. “Dette er ikke så langt fra, hvad vi gør som mennesker. Hvis du skal planlægge en rute fra dit hjem til MIT, planlægger du ikke hver enkelt position, du skal tage. Du tænker kun på niveauet af gader og vartegn, hvilket hjælper dig med at planlægge din rute hurtigere.”

Ifølge Carlone vil robotter, der afhænger af denne model, være i stand til at gøre meget mere end blot hjemlige opgaver. De kan også bruges til højtniveau-færdigheder og arbejde sammen med mennesker i fabrikker eller hjælpe med at lokalisere overlevende på et katastrofeområde.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Nuværende metoder vs. ny model

De nuværende metoder for robotisk vision og navigation fokuserer hovedsagelig på 3D-kortlægning, der giver robotter mulighed for at genskabe deres omgivelse i tre dimensioner i realtid, eller semantisk segmentering, der sker, når robotter klassificerer funktioner i omgivelserne som semantiske objekter, som en bil versus en cykel. Semantisk segmentering sker ofte på 2D-billeder.

Den nyligt udviklede model for rumlig perception er den første af sin art, der genererer en 3D-kort over omgivelserne i realtid og mærker objekter, personer og strukturer inden for 3D-kortet på samme tid.

For at opnå denne nye model, har forskerne afhængt af Kimera, en åben kilde-bibliotek. Kimera blev tidligere udviklet af det samme hold til at konstruere en 3D-geometrisk model af en omgivelse, samtidig med at det kodificerer, hvad objektet sandsynligvis er, som en stol versus et skrivebord.

“Ligesom den mytiske skabning, der er en blanding af forskellige dyr, ønskede vi, at Kimera skulle være en blanding af kortlægning og semantisk forståelse i 3D,” siger Carlone.

Kimera brugte billeder fra en robotkamera og inertialmålinger fra onboard-sensorer til at genskabe scenen som en 3D-mesh i realtid. For at gøre dette, brugte Kimera en neural netværk, der er trænet på millioner af billeder fra den virkelige verden. Det kunne derefter forudsige mærket på hver pixel og bruge ray-casting til at projicere dem i 3D.

Gennem brugen af denne teknik kan robotens omgivelse kortlægges i en tredimensionel mesh, hvor hver overflade er farvekodet, og identificerer det som en del af objekter, strukturer eller personer i omgivelserne.

3D Mesh til 3D Dynamiske “Scenekort”

Da den 3D-semantiske mesh-model kræver meget beregningskraft og er tidskrævende, har forskerne brugt Kimera til at udvikle algoritmer, der resulterer i 3D-dynamiske “scenekort”.

Den 3D-semantiske mesh deles op i distinkte semantiske lag, og robotten kan derefter se en scene gennem et lag. Lagene går fra objekter og personer til åbne rum og strukturer, til rum, korridorer, gange og hele bygninger.

Denne lagdelingsmetode giver robotten mulighed for at indsnævre sin fokus i stedet for at skulle analysere milliarder af punkter og overflader. Denne lagdelingsmetode giver også algoritmerne mulighed for at spore mennesker og deres bevægelser i omgivelserne i realtid.

Den nye model blev testet i en foto-realitets-simulator, der simulerer en robot, der navigerer i et kontormiljø med mennesker i bevægelse.

“Vi giver essentieligt robotter mulighed for at have mentale modeller, der ligner dem, mennesker bruger,” siger Carlone. “Dette kan have indvirkning på mange anvendelser, herunder selvstændige biler, søgning og redning, samarbejdende fremstilling og hjemmerobotik.

Carlone blev ledsaget af den ledende forfatter og MIT-student Antoni Rosinol.

“Vores tilgang er blevet mulig takket være de seneste fremskridt i dyb læring og årtiers forskning i samtidig lokalisation og kortlægning,” siger Rosinol. “Med dette arbejde, springer vi over til en ny æra af robotperception kaldet spatial-AI, der lige er i sin barndom, men har stor potentiale i robotik og stor skala virtuel og forstærket virkelighed.”

Forskningen blev præsenteret på Robotics: Science and Systems virtuel konference.