Andrew Stein, Software Engineer Waymo – Interviewreeks

Andrew Stein is een software engineer die het perceptieteam leidt voor Waymo Via, de autonome bezorginspanningen van Waymo. Waymo is een bedrijf dat autonome rijtechnologie ontwikkelt en een dochteronderneming is van Alphabet (GOOG ) (GOOGL ) Inc, het moederbedrijf van Google.

Wat trok je aanvankelijk aan bij AI en robotica?

Ik vond het altijd leuk om dingen te maken die “iets deden” sinds ik heel jong was. Kunst en ambacht konden leuk zijn, maar mijn grootste passie was werken aan creaties die ook functioneel waren op de een of andere manier. Mijn favoriete onderdelen van Mister Rogers’ Neighborhood waren de beelden van transportbanden en actuatoren in geautomatiseerde fabrieken, waar flessen en andere producten werden gevuld of gemonteerd, gelabeld en vervoerd. Ik was een enorme fan van Lego en andere bouwspeelgoed. Toen, dankzij enig succes in Computer Aided Design (CAD)-wedstrijden via de Technology Student Association op de middelbare school en de high school, kreeg ik een baan buiten schooltijd om CAD te doen voor een klein startupbedrijf, Clipper Manufacturing. Daar ontwierp ik fabrieksopstellingen voor een enorm robot-sorteerapparaat en aanverwante transportapparatuur voor het wassen en organiseren van kleding voor de detailhandel. Van daaruit ging het naar Georgia Tech om elektrotechniek te studeren, waar ik deelnam aan de IEEE Robotics Club en enkele cursussen volgde in Computer Vision. Die leidden me uiteindelijk naar het Robotics Institute at Carnegie Mellon University voor mijn PhD. Veel van mijn mede-promovendi van CMU zijn sindsdien nauwe collega’s geweest, zowel bij Anki als nu bij Waymo.

Je werkte eerder als leidinggevend ingenieur bij Anki, een robotica-startup. Wat waren enkele van de projecten waar je de kans kreeg om aan te werken bij Anki?

Ik was de eerste fulltime medewerker op het Cozmo-project bij Anki, waar ik het privilege had om de code-repository van scratch te beginnen en het product te zien groeien tot meer dan een miljoen schattige, levensgelijkende robots die naar mensen thuis werden gestuurd. Dat werk ging over in ons volgende product, Vector, dat een meer geavanceerde en zelfstandige versie van Cozmo was. Ik kreeg de kans om aan veel onderdelen van die producten te werken, maar was voornamelijk verantwoordelijk voor computer vision voor gezichtsdetectie, gezichtsherkenning, 3D-pose-estimatie, lokaliseren en andere aspecten van perceptie. Ik portte ook TensorFlow Lite om te draaien op Vectors ingebedde besturingssysteem en hielp bij het implementeren van diepe leermodellen om onboard de robot te draaien voor hand- en persoonherkenning.

Ik bouwde ook de ogenweergavesystemen voor Cozmo en Vector, wat me de kans gaf om heel nauw samen te werken met veel van Anki’s zeer getalenteerde en creatieve animatieteam, wat ook heel veel plezier was.

In 2019 nam Waymo jou en twaalf andere robotica-experts van Anki aan om de zelfrijtechnologie van het bedrijf aan te passen aan andere platforms, waaronder commerciële vrachtwagens. Wat was je eerste reactie op het vooruitzicht om bij Waymo te werken?

Ik kende veel huidige en voormalige ingenieurs bij Waymo en was me ervan bewust dat het bedrijf een leidende positie had in het veld van autonome voertuigen. Ik genoot heel veel van de creativiteit van het werken aan speelgoed en educatieve producten voor kinderen bij Anki, maar ik was ook enthousiast om deel te nemen aan een groter bedrijf dat werkte in zo’n impactvolle ruimte voor de samenleving, om te zien hoe softwareontwikkeling en veiligheid op deze organisatieschaal en technische complexiteit werden gedaan.

Kun je beschrijven wat een werkdag bij Waymo voor jou is?

Het grootste deel van mijn rol is momenteel gericht op het leiden en laten groeien van mijn team terwijl we truckspecifieke uitdagingen identificeren en oplossen in nauwe samenwerking met andere technische teams bij Waymo. Dat betekent dat mijn dagen worden doorgebracht met vergaderingen met mijn team, andere technische leiders en product- en programmaleiders terwijl we technische en organisatorische benaderingen plannen voor de ontwikkeling en implementatie van ons zelfrij-systeem, de Waymo Driver, en de uitbreiding van zijn mogelijkheden naar onze groeiende vloot van vrachtwagens. Bovendien, aangezien we actief mensen aannemen, besteed ik ook veel tijd aan het interviewen van kandidaten.

Wat zijn enkele van de unieke computer vision- en AI-uitdagingen die worden geconfronteerd met autonome vrachtwagens in vergelijking met autonome voertuigen?

Hoewel we dezelfde kern technologie stack gebruiken over alle onze voertuigen, zijn er enkele nieuwe overwegingen specifiek voor trucking die we moeten meenemen. Ten eerste is het domein anders: in vergelijking met personenauto’s brengen vrachtwagens veel meer tijd door op snelwegen, die hogesnelheidsomgevingen zijn. Vanwege een veel grotere massa zijn vrachtwagens langzamer om te accelereren en te remmen dan auto’s, wat betekent dat de Waymo Driver dingen van heel ver weg moet waarnemen. Bovendien gebruikt snelwegconstructie andere markers en borden en kan zelfs mediane kruisingen naar de “verkeerde” kant van de weg omvatten; er zijn snelwegspecifieke wetten zoals het opzij gaan voor voertuigen die aan de kant van de weg staan; en er kunnen veel rijstroken met fileverkeer zijn om door te navigeren. Een potentieel grotere dode hoek veroorzaakt door een aanhanger is een andere uitdaging die we moeten overwinnen.

Waymo is onlangs begonnen met het testen van een vloot van zwaarbeladen autonome vrachtwagens in Texas met getrainde bestuurders aan boord. Op dit punt in het spel, wat zijn enkele dingen die Waymo hoopt te leren van deze tests?

Onze vrachtwagens testen in de gebieden waarin we opereren (AZ / CA / TX / NM) om waardevolle ervaring en gegevens te krijgen in alle verschillende situaties die we tegen kunnen komen tijdens het rijden op de snelweg. Dit proces oefent onze software en hardware, waardoor we kunnen leren hoe we ons Waymo Driver kunnen blijven verbeteren en aanpassen voor het domein van trucking.

Als we specifiek naar Texas kijken: Dallas en Houston zijn bekend als onderdeel van de grootste vrachthubs in de VS. Door te opereren in die omgeving kunnen we onze Waymo Driver testen op zeer dichtbezette snelwegen en vervoersroutes, beter begrijpen hoe andere vrachtwagen- en personenauto-bestuurders zich op deze routes gedragen en ons Waymo Driver verder verfijnen om te reageren en te reageren in deze drukke rijomgevingen. Bovendien stelt dit ons ook in staat om te testen in een omgeving met unieke weersomstandigheden die ons kunnen helpen onze capaciteiten op dat gebied te ontwikkelen.

Kun je de Waymo Open Dataset bespreken, die zowel sensordata als gelabelde data bevat, en de voordelen voor Waymo van het delen van deze waardevolle dataset?

Bij Waymo lossen we enkele van de moeilijkste problemen op die er bestaan in machine learning. Om de onderzoekscommunity te helpen bij het maken van vooruitgang in machineperceptie en zelfrijtechnologie, hebben we de Waymo Open Dataset uitgebracht, die een van de grootste en meest uiteenlopende openbaar beschikbare volledig zelfrijdataset is. Beschikbaar tegen geen kosten voor onderzoekers op waymo.com/open, bestaat de dataset uit 1.950 segmenten van high-resolution sensordata en dekt een breed scala aan omgevingen, van dichtbevolkte stedelijke centra tot voorstedelijke landschappen, evenals gegevens verzameld tijdens dag en nacht, bij zonsopgang en zonsondergang, in zonneschijn en regen. In maart 2020 lanceerden we ook de Waymo Open Dataset Challenges om de onderzoekscommunity een manier te geven om hun expertise te testen en te zien wat anderen doen.

Wat is uw persoonlijke mening over hoe lang het zal duren voordat de industrie echt niveau 5-autonomie bereikt?

We werken hier al meer dan tien jaar aan en hebben dus het voordeel van die ervaring om te weten dat deze technologie stap voor stap naar de wereld zal komen. Zelfrijdende technologie is zo complex en we zijn hier gekomen waar we vandaag zijn door vooruitgang in zoveel velden, van sensoren in hardware tot machine learning. Daarom hebben we een geleidelijke aanpak gevolgd om deze technologie aan de wereld voor te stellen. We geloven dat dit de veiligste en meest verantwoorde manier is om te gaan, en we hebben ook gehoord van onze passagiers en partners dat ze deze zorgvuldige en gemeten aanpak waarderen die we nemen om deze technologie veilig in hun gemeenschappen te implementeren.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Waymo Via bezoeken.