Andrew Stein, programvaruutvecklare Waymo – Intervjuerien

Andrew Stein är en programvaruutvecklare som leder perceptionsgruppen för Waymo Via, Waymos autonoma leveransinsatser. Waymo är ett företag som utvecklar autonoma körteknologier och är ett dotterbolag till Alphabet (GOOG ) (GOOGL ) Inc, moderbolaget till Google.

Vad var det som initialt drog dig till AI och robotik?

Jag har alltid gillat att skapa saker som “gör något” sedan jag var mycket ung. Konst och hantverk kunde vara roligt, men min största passion var att arbeta med skapelser som också var funktionella på något sätt. Mina favoritdelar av Mister Rogers’ Neighborhood var filmerna av transportband och aktuatorer i automatiserade fabriker, där flaskor och andra produkter fylldes, etiketterades och transporterades. Jag var en stor fan av Lego och andra byggleksaker. Sedan, tack vare vissa framgångar i Computer Aided Design (CAD)-tävlingar genom Technology Student Association i mellan- och högstadiet, hamnade jag på en eftermiddagsjobb med CAD för ett litet startupföretag, Clipper Manufacturing. Där designade jag fabrikslayouter för en enorm robot sorterare och associerad transportutrustning för tvätt och organisering av hängande uniformer för detaljhandelsklädesindustrin. Därifrån gick jag till Georgia Tech för att studera elektroteknik, där jag deltog i IEEE Robotics Club och tog några kurser i datorseende. Det ledde mig till Robotics Institute at Carnegie Mellon University för min doktorsexamen. Många av mina medstudenter från CMU har varit nära kollegor sedan dess, både på Anki och nu på Waymo.

Tidigare arbetade du som lead engineer på Anki, en robotikstartup. Vilka är några av de projekt du hade möjlighet att arbeta med på Anki?

Jag var den första heltidsanställda på Cozmo-projektet på Anki, där jag hade privilegiet att starta kodrepot från scratch och såg produkten genom till över en miljon söta, livliga robotar som skickades ut till människors hem. Det arbetet gick över till vår nästa produkt, Vector, som var en mer avancerad och självständig version av Cozmo. Jag fick arbeta med många delar av dessa produkter, men var primärt ansvarig för datorseende för ansiktsdetektering, ansiktsigenkänning, 3D-posestimation, lokaliserings- och andra aspekter av perception. Jag portade också TensorFlow Lite för att köra på Vectors inbäddade operativsystem och hjälpte till att distribuera djupinlärningsmodeller för att köra ombord på roboten för hand- och persondetektering.

Jag byggde också Cozmos och Vectors ögonrenderingssystem, som gav mig chansen att arbeta särskilt nära med mycket av Ankis mycket begåvade och kreativa animeringsteam, vilket också var mycket roligt.

2019 anställde Waymo dig och tolv andra robotikexperter från Anki för att anpassa sin självkörande teknik till andra plattformar, inklusive lastbilar. Vad var din initiala reaktion på utsikten att arbeta på Waymo?

Jag kände många nuvarande och tidigare ingenjörer på Waymo och var medveten om företagets rykte som ledare inom området autonoma fordon. Jag njöt verkligen av kreativiteten i att arbeta med leksaker och utbildningsprodukter för barn på Anki, men jag var också spänd på att gå med i ett större företag som arbetar inom ett sådant betydelsefullt område för samhället, för att se hur programvaruutveckling och säkerhet görs på den här organisatoriska skalan och tekniska komplexiteten.

Kan du diskutera vad en dag som arbetar på Waymo är som för dig?

Min roll är för närvarande fokuserad på att vägleda och växa mitt team medan vi identifierar och löser lastbilspecifika utmaningar i nära samarbete med andra ingenjörsteam på Waymo. Det betyder att mina dagar tillbringas i möten med mitt team, andra tekniska ledare och produkt- och programchefer medan vi planerar för tekniska och organisatoriska tillvägagångssätt för att utveckla och distribuera vår självkörande system, kallad Waymo Driver, och utöka dess kapaciteter till vår växande flotta av lastbilar. Utöver det, eftersom vi för närvarande aktivt rekryterar, tillbringar jag också betydande tid med att intervjua kandidater.

Vilka är några av de unika datorseende- och AI-utmaningarna som ställs inför autonoma lastbilar jämfört med autonoma fordon?

Medan vi använder samma kärnteknologistack över alla våra fordon, finns det vissa nya överväganden som är specifika för lastbilar som vi måste ta hänsyn till. Först och främst är domänen annorlunda: jämfört med personbilar tillbringar lastbilar mycket mer tid på motorvägar, som är höghastighetsmiljöer. På grund av mycket mer massa är lastbilar långsammare att accelerera och bromsa än bilar, vilket betyder att Waymo Driver måste uppfatta saker från mycket långt bort. Dessutom använder motorvägsbyggnad olika markörer och skyltar och kan even involvera mittkörfält till “fel” sida av vägen; det finns motorvägsspecifika lagar som att flytta över för fordon som stannat på axlar; och det kan finnas många filer av igensatt trafik att navigera. Att ha en potentiellt större blind fläck orsakad av en släpvagn är en annan utmaning vi måste övervinna.

Waymo har nyligen börjat testa en flotta av självkörande tunga lastbilar i Texas med utbildade förare ombord. Vad är några av de saker som Waymo hoppas lära sig från dessa tester?

Våra lastbilar testas i de områden där vi opererar (AZ / CA / TX / NM) för att få meningsfull erfarenhet och data i alla olika situationer vi kan möta när vi kör på motorvägen. Detta processen övar vår programvara och hårdvara, vilket tillåter oss att lära oss hur vi kan fortsätta att förbättra och anpassa vår Waymo Driver för lastbilsdomänen.

Att titta på Texas specifikt: Dallas och Houston är kända för att vara en del av de största frakthubbarna i USA. Genom att operera i den miljön kan vi testa vår Waymo Driver på högt täta motorvägar och fraktföretagsvägar, förstå bättre hur andra lastbils- och personbilsförare beter sig på dessa rutter och fortsätta att finslipa hur vår Waymo Driver reagerar och svarar i dessa trafikintensiva områden. Dessutom möjliggör det också för oss att testa i en plats med unika väderförhållanden som kan hjälpa oss att driva våra förmågor i den riktningen.

Kan du diskutera Waymo Open Dataset som innehåller både sensordata och märkt data, och fördelarna för Waymo med att dela denna värdefulla dataset?

På Waymo hanterar vi några av de svåraste problemen som finns inom maskinlärning. För att hjälpa forskarsamhället att göra framsteg inom maskinperception och självkörande teknik har vi släppt Waymo Open Dataset, som är en av de största och mest varierade offentligt tillgängliga helt självkörande dataset. Tillgängligt utan kostnad för forskare på waymo.com/open, består dataset av 1 950 segment av högupplöst sensordata och täcker en stor variation av miljöer, från täta urbana centra till förortslandskap, samt data som samlats in under dag och natt, vid gryning och skymning, i solsken och regn. I mars 2020 lanserade vi också Waymo Open Dataset Challenges för att ge forskarsamhället ett sätt att testa sin expertis och se vad andra gör.

I din personliga åsikt, hur lång tid kommer det att ta för branschen att uppnå sann level 5-autonomi?

Vi har arbetat med detta i över tio år nu och så vi har fördelen av den erfarenheten för att veta att denna teknik kommer till världen steg för steg. Självkörande teknik är så komplex och vi har kommit dit vi är idag tack vare framsteg inom så många områden, från sensorteknik till maskinlärning. Det är därför vi har tagit en gradvis approach för att introducera denna teknik till världen. Vi tror att det är det säkraste och mest ansvarsfulla sättet att gå, och vi har också hört från våra passagerare och partners att de uppskattar denna genomtänkta och måttfulla approach vi tar för att säkert distribuera denna teknik i deras samhällen.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Waymo Via.