Progrès dans le « Spatial-AI » qui permet aux robots de percevoir les environnements physiques comme les humains

Les ingénieurs du MIT travaillent à donner aux robots la capacité de suivre des commandes de haut niveau, telles que se rendre dans une autre pièce pour récupérer un objet pour un individu. Pour que cela soit possible, les robots devront avoir la capacité de percevoir leurs environnements physiques de manière similaire à celle des humains.

Luca Carlone est professeur adjoint d’aéronautique et d’astronautique au MIT.

« Pour prendre toute décision dans le monde, vous devez avoir un modèle mental de l’environnement qui vous entoure », déclare Carlone. « C’est quelque chose de si naturel pour les humains. Mais pour les robots, c’est un problème extrêmement difficile, où il s’agit de transformer les valeurs de pixels qu’ils voient à travers une caméra en une compréhension du monde. »

Pour relever ce défi, les chercheurs ont modélisé une représentation de la perception spatiale pour les robots basée sur la façon dont les humains perçoivent et naviguent dans leurs environnements physiques.

Graphes de scène dynamiques 3D

Le nouveau modèle s’appelle Graphes de scène dynamiques 3D, et il permet à un robot de générer une carte 3D de son environnement physique, y compris les objets et leurs étiquettes sémantiques. Le robot peut également cartographier les personnes, les pièces, les murs et d’autres structures dans l’environnement.

Le modèle permet ensuite au robot d’extraire des informations de la carte 3D, informations qui peuvent être utilisées pour localiser les objets, les pièces et les mouvements des personnes.

« Cette représentation compressée de l’environnement est utile car elle permet à notre robot de prendre rapidement des décisions et de planifier son chemin », déclare Carlone. « Ce n’est pas très éloigné de ce que nous faisons en tant qu’humains. Si vous devez planifier un chemin de votre maison au MIT, vous ne planifiez pas chaque position que vous devez prendre. Vous pensez simplement au niveau des rues et des repères, ce qui vous aide à planifier votre route plus rapidement. »

Selon Carlone, les robots qui s’appuient sur ce modèle pourraient faire beaucoup plus que des tâches ménagères. Ils pourraient également être utilisés pour des compétences de haut niveau et travailler aux côtés des humains dans les usines, ou aider à localiser les survivants d’un site de catastrophe.

https://www.youtube.com/watch?time_continue=39&v=SWbofjhyPzI&feature=emb_logo

Méthodes actuelles vs Nouveau modèle

Les méthodes actuelles pour la vision et la navigation robotiques se concentrent principalement sur la cartographie 3D qui permet aux robots de reconstruire leur environnement en trois dimensions en temps réel, ou la segmentation sémantique, qui se produit lorsque les robots classifient les caractéristiques de l’environnement en objets sémantiques, comme une voiture par opposition à un vélo. La segmentation sémantique est souvent effectuée sur des images 2D.

Le modèle de perception spatiale nouvellement développé est le premier de son kind à générer une carte 3D de l’environnement en temps réel et à étiqueter les objets, les personnes et les structures dans la carte 3D en même temps.

Pour atteindre ce nouveau modèle, les chercheurs ont compté sur Kimera, une bibliothèque open-source. Kimera a été précédemment développé par la même équipe pour construire un modèle géométrique 3D d’un environnement, tout en encodant ce que l’objet est susceptible d’être, comme une chaise par opposition à un bureau.

« Comme la créature mythique qui est un mélange d’animaux différents, nous voulions que Kimera soit un mélange de cartographie et de compréhension sémantique en 3D », déclare Carlone.

Kimera a utilisé des images de la caméra d’un robot et des mesures inertielle de capteurs embarqués pour reconstruire la scène en tant que maillage 3D en temps réel. Pour ce faire, Kimera a utilisé un réseau neuronal qui a été formé sur des millions d’images du monde réel. Il pouvait alors prédire l’étiquette de chaque pixel et utiliser le ray-casting pour les projeter en 3D.

Grâce à cette technique, l’environnement d’un robot peut être cartographié dans un maillage 3D où chaque face est codée par couleur, l’identifiant comme faisant partie d’objets, de structures ou de personnes dans l’environnement.

Maillage 3D à graphes de scène dynamiques 3D

Puisque le modèle de maillage sémantique 3D nécessite beaucoup de puissance de calcul et est chronophage, les chercheurs ont utilisé Kimera pour développer des algorithmes qui ont abouti à des graphes de scène dynamiques 3D.

Le maillage sémantique 3D est décomposé en couches sémantiques distinctes, et le robot peut alors voir une scène à travers une couche. Les couches vont des objets et des personnes aux espaces ouverts et aux structures, aux pièces, aux corridors, aux halls et aux bâtiments entiers.

Cette méthode de couchage permet au robot de se concentrer plutôt que d’avoir à analyser des milliards de points et de faces. Cette méthode de couchage permet également aux algorithmes de suivre les humains et leurs mouvements dans l’environnement en temps réel.

Le nouveau modèle a été testé dans un simulateur photo-réaliste qui simule un robot naviguant dans un environnement de bureau avec des personnes en mouvement.

« Nous permettons essentiellement aux robots d’avoir des modèles mentaux similaires à ceux que les humains utilisent », déclare Carlone. « Cela peut avoir un impact sur de nombreuses applications, notamment les voitures autonomes, la recherche et le sauvetage, la fabrication collaborative et la robotique domestique.

Carlone a été rejoint par l’auteur principal et l’étudiant diplômé du MIT Antoni Rosinol.

« Notre approche n’a été rendue possible que grâce aux progrès récents de l’apprentissage profond et à des décennies de recherche sur la localisation et la cartographie simultanées », déclare Rosinol. « Avec ce travail, nous faisons le saut vers une nouvelle ère de perception robotique appelée spatial-AI, qui est encore dans son enfance mais a un grand potentiel dans la robotique et la réalité virtuelle et augmentée à grande échelle. »

La recherche a été présentée à la conférence virtuelle Robotics: Science and Systems.