Andrew Stein, Software-Ingenieur Waymo – Interview-Serie

Andrew Stein ist ein Software-Ingenieur, der das Wahrnehmungsteam für Waymo Via leitet, Waymos autonome Lieferbemühungen. Waymo ist ein Unternehmen für die Entwicklung von autonomen Fahrtechnologien und eine Tochtergesellschaft von Alphabet Inc. (GOOG ) (GOOGL ), der Muttergesellschaft von Google.

Was hat Sie ursprünglich zur KI und Robotik hingezogen?

Ich habe immer gerne Dinge gemacht, die “etwas taten”, seit ich sehr jung war. Kunst und Handwerk konnten Spaß machen, aber meine größte Leidenschaft war es, Dinge zu bauen, die auch funktional waren. Meine Lieblingsmomente in der Fernsehsendung “Mister Rogers’ Neighborhood” waren die Aufnahmen von Förderbändern und Aktuatoren in automatisierten Fabriken, bei denen Flaschen und andere Produkte gefüllt, etikettiert und transportiert wurden. Ich war ein großer Fan von Legos und anderen Bauzeugen. Dann, dank einiger Erfolge bei Computer-Aided-Design-(CAD)-Wettbewerben durch die Technology Student Association in der Mittel- und Hochschule, bekam ich einen Nachmittagsjob bei einem kleinen Start-up-Unternehmen, Clipper Manufacturing, wo ich Fabriklayouts für einen enormen Roboter-Sortierer und zugehörige Förderanlagen für die Wäsche und Organisation von Kleidungsstücken für die Einzelhandelsbranche entwarf. Von dort aus ging es an die Georgia Tech, um Elektrotechnik zu studieren, wo ich am IEEE-Robotics-Club teilnahm und einige Kurse in Computer-Vision belegte. Diese führten mich schließlich zum Robotics Institute an der Carnegie Mellon University für meinen PhD. Viele meiner Kommilitonen von der CMU sind seitdem enge Kollegen, sowohl bei Anki als auch bei Waymo.

Sie haben zuvor als leitender Ingenieur bei Anki, einem Robotik-Start-up, gearbeitet. Welche Projekte hatten Sie die Gelegenheit, bei Anki zu bearbeiten?

Ich war der erste Vollzeit-Mitarbeiter im Cozmo-Projekt bei Anki, wo ich das Privileg hatte, das Code-Repository von Grund auf zu erstellen und das Produkt bis zu über einer Million ausgelieferten, niedlicher, lebensechter Roboter in die Häuser der Menschen zu bringen. Diese Arbeit ging in unser nächstes Produkt, Vector, über, das eine weitere, fortschrittlichere und selbstständigere Version von Cozmo war. Ich arbeitete an vielen Teilen dieser Produkte, war aber hauptsächlich für die Computer-Vision für Gesichtserkennung, Gesichtsverfolgung, 3D-Pose-Schätzung, Lokalisierung und andere Aspekte der Wahrnehmung verantwortlich. Ich portierte auch TensorFlow Lite, um es auf Vectors eingebettetem Betriebssystem zu verwenden, und half dabei, Deep-Learning-Modelle auf dem Roboter für Hand- und Personenerkennung zu deployen.

Ich baute auch die Augen-Renderingsysteme für Cozmo und Vector, was mir die Gelegenheit gab, sehr eng mit vielen von Ankis sehr talentierten und kreativen Animations-Teams zusammenzuarbeiten, was auch viel Spaß machte.

2019 stellte Waymo Sie und zwölf andere Robotics-Experten von Anki ein, um seine selbstfahrende Technologie auf andere Plattformen, einschließlich kommerzieller Lkw, anzupassen. Wie war Ihre erste Reaktion auf die Aussicht, bei Waymo zu arbeiten?

Ich kannte viele aktuelle und ehemalige Ingenieure bei Waymo und war mir der Reputation des Unternehmens als Leader im Bereich der autonomen Fahrzeuge bewusst. Ich genoss die Kreativität, an Spielzeugen und Bildungsprodukten für Kinder bei Anki zu arbeiten, aber ich war auch aufgeregt, einem größeren Unternehmen beizutreten, das in einem so bedeutenden Bereich für die Gesellschaft arbeitet, um zu sehen, wie Software-Entwicklung und Sicherheit auf dieser organisatorischen Ebene und diesem technischen Komplexitätsgrad durchgeführt werden.

Können Sie uns erzählen, wie ein Tag bei Waymo für Sie aussieht?

Mein Hauptaugenmerk liegt derzeit darauf, mein Team zu leiten und zu vergrößern, während wir lkw-spezifische Herausforderungen in enger Zusammenarbeit mit anderen Ingenieur-Teams bei Waymo identifizieren und lösen. Das bedeutet, dass meine Tage damit verbracht werden, mit meinem Team, anderen technischen Leitern und Produkt- und Programm-Managern zu treffen, um technische und organisatorische Ansätze zu planen, um unser selbstfahrendes System, den Waymo-Treiber, zu entwickeln und zu deployen und seine Fähigkeiten auf unsere wachsende Flotte von Lkw auszubauen. Außerdem verbringe ich aufgrund der laufenden Einstellungen viel Zeit damit, Bewerber zu interviewen.

Welche einzigartigen Herausforderungen im Bereich Computer-Vision und KI gibt es bei autonomen Lkw im Vergleich zu autonomen Fahrzeugen?

Obwohl wir das gleiche technologische Grundgerüst für alle unsere Fahrzeuge verwenden, gibt es einige neue Überlegungen, die speziell für den Lkw-Verkehr gelten. Zunächst ist das Einsatzgebiet anders: Im Vergleich zu Personenkraftwagen verbringen Lkw viel mehr Zeit auf Autobahnen, die höhere Geschwindigkeiten aufweisen. Aufgrund ihrer größeren Masse sind Lkw langsamer beim Beschleunigen und Bremsen als Autos, was bedeutet, dass der Waymo-Treiber Dinge aus großer Entfernung wahrnehmen muss. Darüber hinaus verwenden Autobahnen andere Markierungen und Beschilderungen und können sogar Mittelstreifenüberquerungen auf die “falsche” Seite der Straße beinhalten; es gibt autobahn-spezifische Gesetze wie das Überholen von Fahrzeugen, die auf den Seitenstreifen stehen; und es kann viele Spuren von dichtem Verkehr geben, die zu navigieren sind. Ein potenziell größerer toter Winkel, verursacht durch einen Anhänger, ist eine weitere Herausforderung, die wir überwinden müssen.

Waymo hat kürzlich damit begonnen, eine flottenweise autonome schwere Lkw in Texas mit an Bord befindlichen, ausgebildeten Fahrern zu testen. Was sind einige der Dinge, die Waymo von diesen Tests lernen möchte?

Unsere Lkw testen in den Gebieten, in denen wir operieren (AZ / CA / TX / NM), um bedeutungsvolle Erfahrungen und Daten in allen verschiedenen Situationen zu sammeln, die wir beim Fahren auf der Autobahn antreffen könnten. Dieser Prozess trainiert unsere Software und Hardware, sodass wir lernen können, wie wir unser Waymo-System für den Lkw-Bereich weiter verbessern und anpassen können.

Wenn man sich Texas speziell ansieht: Dallas und Houston sind bekannt als Teil der größten Fracht-Hubs in den USA. Durch den Betrieb in dieser Umgebung können wir unseren Waymo-Treiber auf dicht befahrenen Autobahnen und Schiffahrtslinien testen, um besser zu verstehen, wie andere Lkw- und Personenkraftwagen-Fahrer auf diesen Routen verhalten, und weiterhin die Reaktionen und Antworten unseres Waymo-Treibers in diesen verkehrsreichen Regionen verfeinern. Darüber hinaus ermöglicht es uns auch, in einem Ort mit einzigartigen Wetterbedingungen zu testen, die uns helfen können, unsere Fähigkeiten in diesem Bereich voranzutreiben.

Können Sie uns über das Waymo Open Dataset sprechen, das sowohl Sensordaten als auch gelabelte Daten enthält, und über die Vorteile für Waymo, diese wertvolle Datenmenge zu teilen?

Bei Waymo bearbeiten wir einige der schwierigsten Probleme, die es im Bereich des maschinellen Lernens gibt. Um der Forschungsgemeinschaft zu helfen, Fortschritte im Bereich der maschinellen Wahrnehmung und der selbstfahrenden Technologie zu machen, haben wir das Waymo Open Dataset veröffentlicht, das eines der größten und vielfältigsten öffentlich verfügbaren, vollständig selbstfahrenden Datensätze ist. Dieser Datensatz ist kostenlos für Forscher auf waymo.com/open verfügbar und besteht aus 1.950 Segmenten von hochauflösenden Sensordaten und deckt eine breite Palette von Umgebungen ab, von dichten städtischen Zentren bis hin zu suburbanen Landschaften, sowie Daten, die tagsüber, nachts, bei Sonnenaufgang und Sonnenuntergang, bei Sonnenschein und Regen gesammelt wurden. Im März 2020 starteten wir auch die Waymo Open Dataset Challenges, um der Forschungsgemeinschaft eine Möglichkeit zu geben, ihre Expertise zu testen und zu sehen, was andere tun.

Wie lange wird es Ihrer Meinung nach dauern, bis die Branche ein wahres Level-5-Autonomie erreicht?

Wir arbeiten bereits seit über zehn Jahren daran und haben daher den Vorteil, dass wir durch diese Erfahrung wissen, dass diese Technologie schrittweise in die Welt kommen wird. Selbstfahrende Technologie ist so komplex, und wir sind nur deshalb so weit gekommen, weil es Fortschritte in so vielen Bereichen von der Sensortechnik bis zum maschinellen Lernen gegeben hat. Deshalb haben wir einen schrittweisen Ansatz gewählt, um diese Technologie in die Welt einzuführen. Wir glauben, dass dies der sicherste und verantwortungsvollste Weg ist, und wir haben auch von unseren Fahrgästen und Partnern gehört, dass sie diese bedachte und gemessene Herangehensweise schätzen, die wir verfolgen, um diese Technologie sicher in ihre Gemeinschaften einzuführen.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten Waymo Via besuchen.