Avanzamento nello “Spatial-AI” che consente ai robot di percepire gli ambienti fisici come gli esseri umani

Gli ingegneri del MIT stanno lavorando per dare ai robot la capacità di eseguire comandi di alto livello, come andare in un’altra stanza per recuperare un oggetto per un individuo. Perché ciò sia possibile, i robot dovranno avere la capacità di percepire i loro ambienti fisici in modo simile a come facciamo noi esseri umani.

Luca Carlone è un professore assistente di aeronautica e astronautica al MIT.

“Per prendere qualsiasi decisione nel mondo, è necessario avere un modello mentale dell’ambiente che ti circonda”, dice Carlone. “Questo è qualcosa di così semplice per gli esseri umani. Ma per i robot è un problema dolorosamente difficile, dove si tratta di trasformare i valori dei pixel che vedono attraverso una telecamera in una comprensione del mondo.”

Per affrontare questa sfida, i ricercatori hanno modellato una rappresentazione della percezione spaziale per i robot basata su come gli esseri umani percepiscono e navigano i loro ambienti fisici.

Grafici di scena dinamici 3D

Il nuovo modello si chiama Grafici di scena dinamici 3D e consente a un robot di generare una mappa 3D dell’ambiente circostante, compresi oggetti e etichette semantiche. Il robot può anche mappare le persone, le stanze, le pareti e altre strutture nell’ambiente.

Il modello consente quindi al robot di estrarre informazioni dalla mappa 3D, informazioni che possono essere utilizzate per localizzare oggetti, stanze e il movimento delle persone.

“Questa rappresentazione compressa dell’ambiente è utile perché consente al nostro robot di prendere decisioni rapide e pianificare il suo percorso”, dice Carlone. “Non è molto diverso da ciò che facciamo noi esseri umani. Se hai bisogno di pianificare un percorso da casa al MIT, non pianifichi ogni singola posizione che devi prendere. Pensi solo a livello di strade e punti di riferimento, il che ti aiuta a pianificare il tuo percorso più velocemente.”

Secondo Carlone, i robot che si affidano a questo modello saranno in grado di fare molto più che semplici compiti domestici. Potrebbero anche essere utilizzati per abilità di alto livello e lavorare insieme alle persone nelle fabbriche, o aiutare a localizzare i superstiti di un disastro.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Metodi attuali vs Nuovo modello

I metodi attuali per la visione e la navigazione robotica si concentrano principalmente sulla mappatura 3D che consente ai robot di ricostruire il loro ambiente in tre dimensioni in tempo reale, o sulla segmentazione semantica, che si verifica quando i robot classificano le caratteristiche dell’ambiente come oggetti semantici, come un’auto versus una bicicletta. La segmentazione semantica viene spesso eseguita su immagini 2D.

Il nuovo modello di percezione spaziale è il primo del suo genere a generare una mappa 3D dell’ambiente in tempo reale e a etichettare oggetti, persone e strutture all’interno della mappa 3D contemporaneamente.

Per raggiungere questo nuovo modello, i ricercatori si sono affidati a Kimera, una libreria open-source. Kimera era stata precedentemente sviluppata dallo stesso team per costruire un modello geometrico 3D di un ambiente, mentre allo stesso tempo codificava cosa probabilmente era l’oggetto, come una sedia versus una scrivania.

“Come la creatura mitologica che è un mix di diversi animali, abbiamo voluto che Kimera fosse un mix di mappatura e comprensione semantica in 3D”, dice Carlone.

Kimera ha utilizzato immagini dalla telecamera di un robot e misurazioni inerziali da sensori a bordo per ricostruire la scena come una mesh 3D in tempo reale. Per farlo, Kimera ha utilizzato una rete neurale che era stata addestrata su milioni di immagini del mondo reale. Poteva quindi prevedere l’etichetta di ogni pixel e utilizzare il ray-casting per proiettarli in 3D.

Attraverso l’utilizzo di questa tecnica, l’ambiente del robot può essere mappato in una mesh 3D dove ogni faccia è codificata a colori, identificandola come parte di oggetti, strutture o persone nell’ambiente.

Mesh 3D a Grafici di scena dinamici 3D

Poiché il modello di mesh semantica 3D richiede molti calcoli e tempo, i ricercatori hanno utilizzato Kimera per sviluppare algoritmi che hanno portato a grafici di scena dinamici 3D.

La mesh semantica 3D viene suddivisa in strati semantici distinti e il robot può quindi visualizzare una scena attraverso uno strato. Gli strati vanno da oggetti e persone, a spazi aperti e strutture, a stanze, corridoi, sale e interi edifici.

Questo metodo di stratificazione consente al robot di restringere la sua attenzione piuttosto che analizzare miliardi di punti e facce. Questo metodo di stratificazione consente anche agli algoritmi di tracciare gli esseri umani e il loro movimento all’interno dell’ambiente in tempo reale.

Il nuovo modello è stato testato in un simulatore foto-realista che simula un robot che naviga in un ambiente di ufficio con persone in movimento.

“Stiamo essenzialmente abilitando i robot ad avere modelli mentali simili a quelli che utilizziamo noi esseri umani”, dice Carlone. “Ciò può avere un impatto su molte applicazioni, tra cui auto a guida autonoma, ricerca e salvataggio, produzione collaborativa e robotica domestica.

Carlone è stato raggiunto dall’autore principale e studente di laurea del MIT Antoni Rosinol.

“Il nostro approccio è stato reso possibile grazie ai recenti progressi nell’apprendimento profondo e decenni di ricerca sulla localizzazione e mappatura simultanee”, dice Rosinol. “Con questo lavoro, stiamo facendo il salto verso una nuova era di percezione robotica chiamata spatial-AI, che è ancora nella sua infanzia ma ha un grande potenziale nella robotica e nella realtà virtuale e aumentata su larga scala.”

La ricerca è stata presentata alla conferenza virtuale Robotics: Science and Systems.