Framsteg inom “Spatial-AI” gör att robotar kan uppfatta fysiska miljöer som en människa

Ingenjörer vid MIT arbetar med att ge robotar förmågan att följa högnivåkommandon, såsom att gå till ett annat rum för att hämta en artikel åt en person. För att detta ska vara möjligt måste robotarna ha förmågan att uppfatta sina fysiska miljöer på samma sätt som vi människor gör.

Luca Carlone är biträdande professor i aerodynamik och astronautik vid MIT.

“För att fatta något beslut i världen måste du ha en mental modell av miljön runt omkring dig”, säger Carlone. “Detta är något som är så lätt för människor. Men för robotar är det ett smärtsamt svårt problem, där det handlar om att omvandla pixelvärden som de ser genom en kamera till en förståelse av världen.”

För att ta sig an denna utmaning skapade forskarna en representation av rumslig perception för robotar baserat på hur människor uppfattar och navigerar i sina fysiska miljöer.

3D Dynamiska Scengrafer

Den nya modellen kallas 3D Dynamiska Scengrafer, och den möjliggör för en robot att generera en 3D-karta över sin fysiska omgivning, inklusive objekt och deras semantiska etiketter. Roboten kan också kartlägga människor, rum, väggar och andra strukturer i miljön.

Modellen tillåter sedan roboten att extrahera information från 3D-kartan, information som kan användas för att lokalisera objekt, rum och människors rörelse.

“Denna komprimerade representation av miljön är användbar eftersom den tillåter vår robot att snabbt fatta beslut och planera sin väg”, säger Carlone. “Detta är inte så långt ifrån vad vi gör som människor. Om du behöver planera en väg från ditt hem till MIT, planerar du inte varje enskild position du behöver ta. Du tänker bara på nivån av gator och landmärken, vilket hjälper dig att planera din rutt snabbare.”

Enligt Carlone skulle robotar som förlitar sig på denna modell kunna göra mycket mer än bara hushållssysslor. De kunde också användas för högnivåfärdigheter och arbeta sida vid sida med människor i fabriker, eller hjälpa till att lokalisera överlevande på en katastrofplats.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Aktuella metoder vs Ny modell

De aktuella metoderna för robotisk syn och navigation fokuserar främst på 3D-kartläggning som tillåter robotar att rekonstruera sin miljö i tre dimensioner i realtid, eller semantisk segmentering, som sker när robotar klassificerar funktioner i miljön som semantiska objekt, som en bil versus en cykel. Semantisk segmentering sker ofta på 2D-bilder.

Den nyligen utvecklade modellen för rumslig perception är den första i sitt slag som genererar en 3D-karta över miljön i realtid och etiketterar objekt, människor och strukturer inom 3D-kartan samtidigt.

För att uppnå denna nya modell förlitade sig forskarna på Kimera, ett öppen källkods bibliotek. Kimera utvecklades tidigare av samma team för att konstruera en 3D-geometrisk modell av en miljö, samtidigt som det kodar vad objekten troligen är, som en stol versus ett skrivbord.

“Liksom den mytiska varelsen som är en blandning av olika djur, ville vi att Kimera skulle vara en blandning av kartläggning och semantisk förståelse i 3D”, säger Carlone.

Kimera använde bilder från en robots kamera och tröghetsmätningar från ombord sensorer för att rekonstruera scenen som en 3D-mesh i realtid. För att göra detta använde Kimera ett neuronnät som hade tränats på miljontals verkliga bilder. Det kunde sedan förutsäga etiketten för varje pixel och använda ray-casting för att projicera dem i 3D.

Genom att använda denna teknik kan robotens miljö kartläggas i en tredimensionell mesh där varje yta är färgkodad, vilket identifierar den som en del av objekt, strukturer eller människor i miljön.

3D Mesh till 3D Dynamiska “Scengrafer”

Eftersom den 3D-semantiska mesh-modellen kräver mycket beräkningskraft och är tidskrävande, använde forskarna Kimera för att utveckla algoritmer som resulterade i 3D-dynamiska “scengrafer”.

Den 3D-semantiska meshen bryts ner i distinkta semantiska lager, och roboten kan sedan se en scen genom ett lager. Lagren sträcker sig från objekt och människor till öppna utrymmen och strukturer, till rum, korridorer, hallar och hela byggnader.

Denna lagringsmetod tillåter roboten att fokusera snarare än att analysera miljarder punkter och ytor. Denna lagringsmetod tillåter också algoritmerna att spåra människor och deras rörelse i miljön i realtid.

Den nya modellen testades i en foto-realistisk simulator som simulerar en robot som navigerar i en kontorsmiljö med rörliga människor.

“Vi gör i princip möjligt för robotar att ha mentala modeller liknande de som människor använder”, säger Carlone. “Detta kan påverka många tillämpningar, inklusive självkörande bilar, sök- och räddningsinsatser, samarbetsmässig tillverkning och hushållsrobotik.

Carlone var tillsammans med den ledande författaren och MIT-studenten Antoni Rosinol.

“Vår metod har bara blivit möjlig tack vare de senaste framstegen inom djupinlärning och decennier av forskning om samtidig lokalisering och kartläggning”, säger Rosinol. “Med detta arbete tar vi steget mot en ny era av robotperception som kallas spatial-AI, som just nu är i sin linda men har stor potential inom robotik och stor skala virtuell och förstärkt verklighet.”

Forskningen presenterades vid Robotics: Science and Systems virtuell konferens.