Nouvelle méthode permettant aux voitures autonomes de créer des « mémoires »

Une équipe de chercheurs de l’Université Cornell a développé une nouvelle méthode permettant aux véhicules autonomes de créer des « mémoires » d’expériences passées, qui peuvent ensuite être utilisées pour la navigation future. Cela sera particulièrement utile lorsque ces voitures autonomes ne pourront pas compter sur les capteurs dans des environnements météorologiques difficiles.

Apprendre du passé

Les voitures autonomes actuelles qui utilisent des réseaux de neurones artificiels n’ont pas de mémoire du passé, ce qui signifie qu’elles « voient » constamment les choses pour la première fois. Et cela est vrai, quel que soit le nombre de fois qu’elles ont parcouru la même route.

Killian Weinberger est l’auteur principal de la recherche et professeur de sciences informatiques.

“La question fondamentale est de savoir si nous pouvons apprendre de traversées répétées ?” a déclaré Weinberger. “Par exemple, une voiture peut confondre un arbre de forme étrange avec un piéton la première fois que son scanner laser le perçoit à distance, mais une fois qu’elle est suffisamment proche, la catégorie d’objet deviendra claire. Donc, la deuxième fois que vous passez devant le même arbre, même dans la brume ou la neige, vous espéreriez que la voiture a maintenant appris à le reconnaître correctement.”

Dirigée par l’étudiant en doctorat Carlos Diaz-Ruiz, l’équipe a créé un ensemble de données en conduisant une voiture équipée de capteurs LiDAR. Elle a été conduite autour d’une boucle de 15 kilomètres au total 40 fois sur une période de 18 mois. Les différentes séances de conduite ont capturé différents environnements, conditions météorologiques et heures de la journée. Tout cela a créé un ensemble de données avec plus de 600 000 scènes.

“Cela expose délibérément l’un des défis clés des voitures autonomes : les mauvaises conditions météorologiques”, a déclaré Diaz-Ruiz. “Si la rue est recouverte de neige, les humains peuvent compter sur les mémoires, mais sans mémoires, un réseau de neurones est lourdement désavantagé.”

HINDSIGHT et MODEST

L’une des approches, appelée HINDSIGHT, utilise des réseaux de neurones pour calculer des descripteurs d’objets lorsque la voiture les passe. Ces descriptions, appelées SQuaSH, sont ensuite compressées et stockées sur une carte virtuelle, créant une sorte de « mémoire » similaire à la façon dont nous stockons nos propres mémoires dans le cerveau.

Lorsque la voiture autonome parcourt à nouveau le même endroit dans le futur, elle interroge la base de données SQuaSH locale de chaque point LiDAR le long de la route, « se souvenant » de ce qu’elle a appris. La base de données mise à jour en continu est partagée entre les véhicules, aidant à améliorer la reconnaissance en fournissant plus d’informations.

Yurong You est un étudiant en doctorat.

“Ces informations peuvent être ajoutées en tant que fonctionnalités à tout détecteur d’objets 3D basé sur LiDAR”, a déclaré You. “À la fois le détecteur et la représentation SQuaSH peuvent être formés conjointement sans aucune supervision ou annotation humaine supplémentaire, ce qui est fastidieux et prend du temps.

HINDSIGHT va aider l’équipe avec d’autres recherches qu’ils mènent, appelées MODEST (Détection d’objets mobiles avec éphémérité et auto-formation). MODEST va avancer ce processus et permettre à la voiture d’apprendre l’ensemble du pipeline de perception.

HINDSIGHT suppose que le réseau de neurones artificiel est déjà formé pour détecter les objets et augmente la capacité de créer des mémoires, tandis que MODEST suppose que le réseau de neurones artificiel n’a jamais été exposé à des objets ou des rues. Après plusieurs traversées de la même route, il apprend quelles parties de l’environnement sont des objets stationnaires ou mobiles. Ce processus permet au système de s’enseigner ce à quoi il devrait prêter attention en tant qu’autres participants au trafic.

L’algorithme a démontré la capacité de détecter de manière fiable les objets même sur des routes qui ne faisaient pas partie des traversées initiales.

L’équipe croit que ces nouvelles approches pourraient réduire le coût de développement des véhicules autonomes, ainsi que les rendre plus efficaces.