La technologie de conduite autonome de Waymo devient plus intelligente, reconnaît des milliards d’objets grâce à la recherche de contenu

Les véhicules autonomes développés par Waymo utilisent des techniques de vision par ordinateur et d’intelligence artificielle pour percevoir l’environnement qui les entoure et prendre des décisions en temps réel sur la façon dont le véhicule doit réagir et se déplacer. Lorsque des objets sont perçus par la caméra et les capteurs à l’intérieur du véhicule, ils sont comparés à une grande base de données compilée par Alphabet (GOOG ) (GOOGL ) afin d’être reconnus.

Les ensembles de données massifs sont d’une grande importance pour l’entraînement des véhicules autonomes, car ils permettent à l’IA à l’intérieur des véhicules de s’améliorer et d’accroître leurs performances. Cependant, les ingénieurs ont besoin d’un moyen efficace de faire correspondre les éléments dans l’ensemble de données aux requêtes afin qu’ils puissent étudier la façon dont l’IA se comporte sur des types d’images spécifiques. Pour résoudre ce problème, selon VentureBeat, Waymo a récemment développé un outil appelé « Recherche de contenu », qui fonctionne de manière similaire à celle de Google Image Search et Google Photos. Ces systèmes font correspondre les requêtes avec le contenu sémantique des images, générant des représentations des objets qui facilitent la récupération d’images en fonction de requêtes en langage naturel.

Avant l’avènement de la Recherche de contenu, si les chercheurs de Waymo voulaient récupérer des échantillons spécifiques des journaux, ils devaient décrire l’objet en utilisant des heuristiques. Les journaux de Waymo devaient être recherchés à l’aide de commandes qui recherchaient des objets en fonction de règles, ce qui signifiait exécuter des recherches d’objets qui étaient « sous X hauteur » ou des objets qui « se déplaçaient à y miles par heure ». Les résultats de ces recherches basées sur des règles pouvaient souvent être très larges et les chercheurs devaient ensuite parcourir les résultats renvoyés manuellement.

La Recherche de contenu résout ce problème en créant des catalogues de données et en effectuant des recherches de similarité sur les différents catalogues afin de trouver les catégories les plus similaires lorsqu’un objet est présenté. Si la Recherche de contenu est présentée avec un camion ou un arbre, elle renvoie d’autres camions ou arbres que les véhicules autonomes de Waymo ont rencontrés. Lorsqu’un véhicule Waymo roule, il enregistre des images d’objets qui l’entourent, puis stocke ces objets sous forme d’incrustations/représentations mathématiques. Cela signifie que l’outil peut comparer des catégories d’objets et classer les réponses par similarité avec l’objet fourni. Cela fonctionne de manière similaire à celle du service de correspondance de similarité d’incrustation exploité par Google.

Les objets que les véhicules de Waymo rencontrent peuvent avoir toutes sortes de formes et de tailles, mais ils doivent tous être distillés en leurs composants essentiels et catégorisés afin que la Recherche de contenu fonctionne. Pour que cela se produise, Waymo utilise plusieurs modèles d’IA formés sur une grande variété d’objets. Les différents modèles apprennent à reconnaître une variété d’objets et sont pris en charge par la Recherche de contenu, qui permet aux modèles de comprendre si des éléments appartenant à une catégorie spécifique se trouvent dans une image donnée. Un modèle de reconnaissance optique de caractères supplémentaire est utilisé aux côtés du modèle principal, permettant aux véhicules Waymo d’ajouter des informations d’identification supplémentaires aux objets dans les images, en fonction du texte trouvé dans l’image. Par exemple, un camion équipé de panneaux de signalisation aurait le texte du panneau inclus dans sa description de Recherche de contenu.

Grâce aux modèles ci-dessus qui fonctionnent en concert, les chercheurs et les ingénieurs de Waymo sont capables de rechercher les journaux de données d’image pour des objets très spécifiques, tels que des espèces d’arbres et des marques de voitures spécifiques.

Selon Waymo, cité par VentureBeat:

« Avec la Recherche de contenu, nous pouvons annoter automatiquement les objets de notre historique de conduite, ce qui a exponentiellement augmenté la vitesse et la qualité des données que nous envoyons pour étiquetage. La capacité à accélérer l’étiquetage a contribué à de nombreuses améliorations dans notre système, allant de la détection des autobus scolaires avec des enfants sur le point de descendre sur le trottoir ou des personnes qui font du scooter électrique à un chat ou un chien qui traverse la rue. À mesure que Waymo s’étend à d’autres villes, nous allons continuer à rencontrer de nouveaux objets et scénarios. »

Ceci n’est pas la première fois que Waymo utilise plusieurs modèles d’apprentissage automatique pour améliorer la fiabilité et la précision de leurs véhicules. Waymo a collaboré avec Alphabet/Google dans le passé, aidant à développer une technique d’IA aux côtés de DeepMind. Le système d’IA s’inspire de la biologie évolutionniste. Pour commencer, une variété de modèles d’apprentissage automatique sont créés et, une fois formés, les modèles qui sous-performent sont éliminés et remplacés par des modèles descendants. Cette technique a réussi à réduire considérablement les faux positifs tout en réduisant les ressources computationnelles et le temps de formation nécessaires.

https://venturebeat.com/2020/02/06/waymos-ai-content-search-tool-lets-engineers-find-objects-within-its-driving-records/