Nouvelle technique pour aider l’IA à identifier les objets 3D

Une nouvelle technique développée par des chercheurs de l’Université d’État de Caroline du Nord améliore la capacité des programmes d’intelligence artificielle (IA) à identifier les objets 3D. Appelée MonoCon, la technique aide également l’IA à apprendre comment les objets 3D sont liés les uns aux autres dans l’espace en utilisant des images 2D.

MonoCon pourrait potentiellement avoir un large éventail d’applications, notamment aider les véhicules autonomes à naviguer autour d’autres véhicules en utilisant des images 2D reçues d’une caméra embarquée. Elle pourrait également jouer un rôle dans la fabrication et la robotique.

Tianfu Wu est l’auteur principal de l’article de recherche et un professeur adjoint en génie électrique et informatique à l’Université d’État de Caroline du Nord.

“Nous vivons dans un monde 3D, mais lorsque vous prenez une photo, elle enregistre ce monde dans une image 2D”, déclare Wu.

“Les programmes d’IA reçoivent des entrées visuelles à partir de caméras. Donc, si nous voulons que l’IA interagisse avec le monde, nous devons nous assurer qu’elle est capable d’interpréter ce que les images 2D peuvent lui dire sur l’espace 3D. Dans cette recherche, nous nous concentrons sur une partie de ce défi : comment pouvons-nous obtenir que l’IA reconnaisse avec précision les objets 3D – tels que les personnes ou les voitures – dans des images 2D, et place ces objets dans l’espace”, poursuit Wu.

Véhicules autonomes

Les véhicules autonomes s’appuient souvent sur le lidar pour naviguer dans l’espace 3D. Le lidar, qui utilise des lasers pour mesurer la distance, est coûteux, ce qui signifie que les systèmes autonomes n’incluent pas beaucoup de redondance. Mettre des dizaines de capteurs lidar sur une voiture sans conducteur produite en masse serait incroyablement coûteux.

“Mais si un véhicule autonome pouvait utiliser des entrées visuelles pour naviguer dans l’espace, vous pourriez intégrer de la redondance”, déclare Wu. “Puisque les caméras sont nettement moins coûteuses que le lidar, il serait économiquement réalisable d’inclure des caméras supplémentaires – en intégrant de la redondance dans le système et en le rendant à la fois plus sûr et plus robuste.

“C’est une application pratique. Cependant, nous sommes également enthousiastes à l’idée de l’avancée fondamentale de ce travail : il est possible d’obtenir des données 3D à partir d’objets 2D.”

Formation de l’IA

MonoCon peut identifier les objets 3D dans des images 2D avant de les placer dans une “boîte de délimitation”, qui indique à l’IA les limites extérieures de l’objet.

“Ce qui distingue notre travail, c’est la façon dont nous formons l’IA, qui s’appuie sur des techniques de formation précédentes”, déclare Wu. “Comme les efforts précédents, nous plaçons des objets dans des boîtes de délimitation 3D pendant la formation de l’IA. Cependant, en plus de demander à l’IA de prédire la distance entre la caméra et l’objet et les dimensions de la boîte de délimitation, nous demandons également à l’IA de prédire les emplacements de chacun des huit points de la boîte et sa distance par rapport au centre de la boîte de délimitation dans deux dimensions. Nous appelons cela ‘contexte auxiliaire’, et nous avons constaté qu’il aide l’IA à identifier et à prédire plus précisément les objets 3D en fonction d’images 2D.

“La méthode proposée est motivée par un théorème bien connu en théorie de la mesure, le théorème de Cramér-Wold. Elle est également potentiellement applicable à d’autres tâches de prédiction de sortie structurée en vision par ordinateur.”

MonoCon a été testé avec un ensemble de données de référence largement utilisé appelé KITTI.

“Au moment où nous avons soumis cet article, MonoCon a performé mieux que n’importe lequel des dizaines d’autres programmes d’IA visant à extraire des données 3D sur les véhicules à partir d’images 2D”, déclare Wu.

L’équipe va maintenant essayer d’augmenter l’échelle du processus avec des ensembles de données plus importants.

“En avançant, nous allons augmenter l’échelle et travailler avec des ensembles de données plus importants pour évaluer et affiner MonoCon pour une utilisation dans la conduite autonome”, déclare Wu. “Nous voulons également explorer les applications dans la fabrication, pour voir si nous pouvons améliorer les performances de tâches telles que l’utilisation de bras robotiques.”