Andrew Stein, Ingénieur Logiciel Waymo – Série d’entretiens

Andrew Stein est un ingénieur logiciel qui dirige l’équipe de perception de Waymo Via, les efforts de livraison autonomes de Waymo. Waymo est une entreprise de développement de technologie de conduite autonome qui est une filiale d’Alphabet Inc (GOOG ), la société mère de Google.

Qu’est-ce qui vous a initialement attiré vers l’IA et la robotique ?

J’ai toujours aimé créer des choses qui “font quelque chose” depuis que j’étais très jeune. Les arts et les métiers pouvaient être amusants, mais ma plus grande passion était de travailler sur des créations qui étaient également fonctionnelles d’une certaine manière. Mes parties préférées de Mister Rogers’ Neighborhood étaient les séquences de convoyeurs et d’actionneurs dans les usines automatisées, voyant des bouteilles et d’autres produits remplis ou assemblés, étiquetés et transportés. J’étais un grand fan de Legos et d’autres jouets de construction. Ensuite, grâce à quelques succès dans des concours de conception assistée par ordinateur (CAO) à travers l’Association des étudiants en technologie au collège et au lycée, j’ai fini par obtenir un emploi après l’école pour faire de la CAO pour une petite entreprise de démarrage, Clipper Manufacturing. Là-bas, j’ai conçu des plans d’usine pour un énorme trieur robotique et des équipements de convoyeur associés pour le lavage et l’organisation de vêtements sur cintres pour l’industrie de la confection de détail. De là, c’était parti pour la Georgia Tech pour étudier en ingénierie électrique, où j’ai participé au club de robotique IEEE et suivi des cours en vision par ordinateur. Ceux-ci m’ont finalement mené à l’Institut de robotique de l’Université Carnegie Mellon pour mon doctorat. Beaucoup de mes collègues diplômés de CMU sont devenus des collègues proches depuis, à la fois chez Anki et maintenant chez Waymo.

Vous avez précédemment travaillé en tant qu’ingénieur principal chez Anki, une entreprise de robotique. Quels sont quelques-uns des projets sur lesquels vous avez eu l’occasion de travailler chez Anki ?

J’étais le premier employé à plein temps sur le projet Cozmo chez Anki, où j’ai eu le privilège de démarrer le référentiel de code à partir de zéro et de voir le produit jusqu’à plus d’un million de robots mignons et réalistes expédiés dans les foyers des gens. Ce travail s’est transformé dans notre prochain produit, Vector, qui était une autre version, plus avancée et autonome, de Cozmo. J’ai pu travailler sur de nombreuses parties de ces produits, mais j’étais principalement responsable de la vision par ordinateur pour la détection de visages, la reconnaissance de visages, l’estimation de la pose 3D, la localisation et d’autres aspects de la perception. J’ai également porté TensorFlow Lite pour exécuter sur le système d’exploitation intégré de Vector et aidé à déployer des modèles d’apprentissage automatique pour exécuter à bord du robot pour la détection de mains et de personnes.

J’ai également construit les systèmes de rendu des yeux de Cozmo et de Vector, ce qui m’a donné l’occasion de travailler particulièrement étroitement avec une grande partie de l’équipe d’animation très talentueuse et créative d’Anki, ce qui a également été très amusant.

En 2019, Waymo vous a embauché, ainsi que douze autres experts en robotique d’Anki, pour adapter sa technologie de conduite autonome à d’autres plateformes, notamment les camions commerciaux. Quelle a été votre réaction initiale à la perspective de travailler chez Waymo ?

Je connaissais de nombreux ingénieurs actuels et anciens de Waymo et j’étais certainement conscient de la réputation de l’entreprise en tant que leader dans le domaine des véhicules autonomes. J’ai beaucoup apprécié la créativité de travailler sur des jouets et des produits éducatifs pour les enfants chez Anki, mais j’étais également ravi de rejoindre une entreprise plus grande travaillant dans un espace aussi impactant pour la société, pour voir comment le développement logiciel et la sécurité sont effectués à cette échelle organisationnelle et à ce niveau de complexité technique.

Pouvez-vous discuter de ce que ressemble une journée de travail chez Waymo pour vous ?

La majeure partie de mon rôle est actuellement axée sur la direction et la croissance de mon équipe alors que nous identifions et résolvons des défis spécifiques au camionnage en collaboration étroite avec d’autres équipes d’ingénieurs chez Waymo. Cela signifie que mes journées sont passées à rencontrer mon équipe, d’autres responsables techniques et des gestionnaires de produits et de programmes alors que nous planifions des approches techniques et organisationnelles pour développer et déployer notre système de conduite autonome, appelé Waymo Driver, et étendre ses capacités à notre flotte de camions en croissance. En plus de cela, étant donné que nous sommes actuellement en train de recruter, je passe également beaucoup de temps à interviewer des candidats.

Quels sont quelques-uns des défis uniques de la vision par ordinateur et de l’IA auxquels sont confrontés les camions autonomes par rapport aux véhicules autonomes ?

Alors que nous utilisons la même pile technologique de base sur tous nos véhicules, il y a certaines considérations nouvelles spécifiques au camionnage que nous devons prendre en compte. Tout d’abord et avant tout, le domaine est différent : par rapport aux voitures particulières, les camions passent beaucoup plus de temps sur les autoroutes, qui sont des environnements à haute vitesse. En raison d’une masse beaucoup plus importante, les camions sont plus lents à accélérer et à freiner que les voitures, ce qui signifie que le Waymo Driver doit percevoir les choses de très loin. De plus, la construction des autoroutes utilise des repères et des panneaux différents et peut même impliquer des passages de médiane vers le “mauvais” côté de la route ; il y a des lois spécifiques aux autoroutes comme changer de voie pour les véhicules arrêtés sur les accotements ; et il peut y avoir de nombreuses voies de circulation dense à naviguer. Avoir un angle mort potentiellement plus grand causé par un remorque est un autre défi que nous devons surmonter.

Waymo a récemment commencé à tester une flotte de camions lourds autonomes au Texas avec des conducteurs formés à bord. À ce stade du jeu, qu’est-ce que Waymo espère apprendre de ces tests ?

Nos camions testent dans les zones dans lesquelles nous opérons (AZ / CA / TX / NM) pour acquérir une expérience et des données significatives dans tous les types de situations que nous pourrions rencontrer en conduisant sur l’autoroute. Ce processus exerce notre logiciel et notre matériel, nous permettant d’apprendre comment nous pouvons continuer à améliorer et à adapter notre Waymo Driver pour le domaine du camionnage.

En regardant le Texas en particulier : Dallas et Houston sont connus pour être partie des plus grands hubs de fret des États-Unis. En opérant dans cet environnement, nous pouvons tester notre Waymo Driver sur des autoroutes très denses et des voies de transporteurs, mieux comprendre comment les autres conducteurs de camions et de voitures particulières se comportent sur ces routes, et continuer à affiner la façon dont notre Waymo Driver réagit et répond dans ces régions de conduite très fréquentées. De plus, cela nous permet également de tester dans un endroit avec des conditions météorologiques uniques qui peuvent nous aider à faire progresser nos capacités dans ce domaine.

Pouvez-vous discuter du Waymo Open Dataset qui comprend à la fois des données de capteurs et des données étiquetées, et des avantages pour Waymo de partager ce jeu de données précieux ?

Chez Waymo, nous abordons certains des problèmes les plus difficiles qui existent dans l’apprentissage automatique. Pour aider la communauté de recherche à faire des progrès dans la perception par ordinateur et la technologie de conduite autonome, nous avons publié le Waymo Open Dataset, qui est l’un des plus grands et des plus divers jeux de données de conduite autonome entièrement publics. Disponible gratuitement pour les chercheurs à waymo.com/open, le jeu de données se compose de 1 950 segments de données de capteurs haute résolution et couvre une grande variété d’environnements, des centres-villes denses aux paysages suburbains, ainsi que des données collectées pendant la journée et la nuit, à l’aube et au crépuscule, sous la pluie et le soleil. En mars 2020, nous avons également lancé les défis du Waymo Open Dataset pour fournir à la communauté de recherche un moyen de tester leur expertise et de voir ce que les autres font.

À votre avis personnel, combien de temps faudra-t-il à l’industrie pour atteindre un véritable niveau 5 d’autonomie ?

Nous travaillons sur cela depuis plus de dix ans maintenant et nous avons donc le bénéfice de cette expérience pour savoir que cette technologie arrivera dans le monde étape par étape. La technologie de conduite autonome est si complexe et nous sommes arrivés où nous sommes aujourd’hui grâce aux progrès dans de nombreux domaines, de la détection matérielle à l’apprentissage automatique. C’est pourquoi nous avons adopté une approche progressive pour introduire cette technologie dans le monde. Nous croyons qu’il s’agit de la façon la plus sûre et la plus responsable de procéder, et nous avons également entendu de nos passagers et de nos partenaires qu’ils apprécient cette approche réfléchie et mesurée que nous prenons pour déployer cette technologie de manière sûre dans leurs communautés.

Merci pour cette grande entrevue, les lecteurs qui souhaitent en savoir plus peuvent visiter Waymo Via.