Vooruitgang in “Spatial-AI” stelt robots in staat om fysieke omgevingen te waarnemen zoals een mens

Engineers at MIT werken aan het geven van robots de mogelijkheid om hoge niveau commando’s te volgen, zoals naar een andere kamer gaan om een item voor een individu op te halen. Om dit mogelijk te maken, moeten robots de mogelijkheid hebben om hun fysieke omgeving te waarnemen op een manier die vergelijkbaar is met die van mensen.

Luca Carlone is een assistent-professor in luchtvaart- en ruimtevaarttechniek aan MIT.

“Om een beslissing te nemen in de wereld, moet je een mentaal model hebben van de omgeving om je heen,” zegt Carlone. “Dit is iets dat zo moeiteloos is voor mensen. Maar voor robots is het een pijnlijk moeilijk probleem, waarbij het gaat om het omzetten van pixelwaarden die ze zien via een camera, in een begrip van de wereld.”

Om deze uitdaging aan te gaan, hebben de onderzoekers een representatie van ruimtelijke waarneming voor robots gemodelleerd op basis van hoe mensen hun fysieke omgeving waarnemen en navigeren.

3D Dynamische Scene Graphs

Het nieuwe model heet 3D Dynamische Scene Graphs, en het stelt een robot in staat om een 3D-kaart van zijn fysieke omgeving te genereren, inclusief objecten en hun semantische labels. De robot kan ook mensen, kamers, muren en andere structuren in de omgeving in kaart brengen.

Het model stelt de robot vervolgens in staat om informatie uit de 3D-kaart te extraheren, informatie die kan worden gebruikt om objecten, kamers en de beweging van mensen te lokaliseren.

“Deze gecomprimeerde weergave van de omgeving is nuttig omdat het onze robot in staat stelt om snel beslissingen te nemen en zijn route te plannen,” zegt Carlone. “Dit is niet zo ver weg van wat we als mensen doen. Als je een route moet plannen van je huis naar MIT, plan je niet elke enkele positie die je moet innemen. Je denkt op het niveau van straten en oriëntatiepunten, wat je helpt om je route sneller te plannen.”

Volgens Carlone zouden robots die op dit model vertrouwen veel meer kunnen doen dan alleen huishoudelijke taken. Ze zouden ook kunnen worden gebruikt voor hoge niveau vaardigheden en kunnen werken naast mensen in fabrieken, of helpen bij het lokaliseren van overlevenden van een ramp.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Huidige Methoden vs Nieuw Model

De huidige methoden voor robotvisie en navigatie richten zich voornamelijk op 3D-kaarten die robots in staat stellen om hun omgeving in drie dimensies in real-time te reconstrueren, of semantische segmentatie, die plaatsvindt wanneer robots kenmerken in de omgeving classificeren als semantische objecten, zoals een auto versus een fiets. Semantische segmentatie gebeurt vaak op 2D-afbeeldingen.

Het nieuw ontwikkelde model van ruimtelijke waarneming is het eerste van zijn soort dat een 3D-kaart van de omgeving in real-time genereert en objecten, mensen en structuren binnen de 3D-kaart tegelijkertijd labelt.

Om dit nieuwe model te bereiken, vertrouwden de onderzoekers op Kimera, een open-source bibliotheek. Kimera was eerder ontwikkeld door hetzelfde team om een 3D-geometrisch model van een omgeving te construeren, terwijl het tegelijkertijd encodeert wat het object waarschijnlijk is, zoals een stoel versus een tafel.

“Net als het mythologische wezen dat een mix is van verschillende dieren, wilden we dat Kimera een mix zou zijn van kaarten en semantisch begrip in 3D,” zegt Carlone.

Kimera gebruikte afbeeldingen van een robotcamera en inertiale metingen van onboard sensoren om de scène als een 3D-mesh in real-time te reconstrueren. Om dit te doen, gebruikte Kimera een neurale netwerk dat was getraind op miljoenen echte afbeeldingen. Het kon vervolgens de label van elke pixel voorspellen en gebruiken om ray-casting te projecteren in 3D.

Door het gebruik van deze techniek kan de omgeving van de robot worden gekarteerd in een driedimensionale mesh waarbij elk gezicht is gekleurd, waardoor het wordt geïdentificeerd als een deel van objecten, structuren of mensen in de omgeving.

3D Mesh naar 3D Dynamische “Scene Graphs”

Omdat het 3D-semantische meshmodel veel rekenkracht vereist en tijdrovend is, gebruikten de onderzoekers Kimera om algoritmes te ontwikkelen die resulteerden in 3D-dynamische “scenegraphs”.

Het 3D-semantische mesh wordt opgesplitst in distincte semantische lagen, en de robot kan vervolgens een scène bekijken via een laag. De lagen gaan van objecten en mensen, tot open ruimtes en structuren, tot kamers, gangen, hallen en hele gebouwen.

Deze laagmethode stelt de robot in staat om zijn focus te verkleinen in plaats van dat hij miljarden punten en gezichten moet analyseren. Deze laagmethode stelt de algoritmes ook in staat om mensen en hun beweging in de omgeving in real-time te volgen.

Het nieuwe model werd getest in een foto-realistische simulator die een robot simuleert die een kantooromgeving met bewegende mensen navigeert.

“We stellen robots in staat om mentale modellen te hebben die vergelijkbaar zijn met die van mensen,” zegt Carlone. “Dit kan een impact hebben op veel toepassingen, waaronder zelfrijdende auto’s, zoek- en reddingsoperaties, collaboratieve productie en huishoudelijke robotica.

Carlone werd vergezeld door de hoofdauteur en MIT-afgestudeerde Antoni Rosinol.

“Onze aanpak is pas mogelijk gemaakt dankzij recente vooruitgang in diepe leertheorie en decennia van onderzoek naar gelijktijdige lokaliseren en kaarten,” zegt Rosinol. “Met dit werk maken we de sprong naar een nieuwe era van robotperceptie genaamd spatial-AI, die nog in zijn kinderschoenen staat maar een groot potentieel heeft in robotica en grote schaal virtuele en versterkte realiteit.”

Het onderzoek werd gepresenteerd op deRobotics: Science and Systems virtuele conferentie.