Andrew Stein, Softwareingeniør Waymo – Intervieuserie

Andrew Stein er en softwareingeniør, der leder perceptionsholdet for Waymo Via, Waymos selvstændige leveringsindsats. Waymo er et selvstændigt køretøjsteknologiselskab, der er et datterselskab af Alphabet Inc. (GOOG ) (GOOGL ), moderselskabet til Google.

Hvad tiltrak dig oprindeligt til AI og robotteknologi?

Jeg har altid godt kunne lide at lave ting, der “gør noget”, lige siden jeg var meget lille. Kunst og håndværk kunne være sjovt, men min største lidenskab var at arbejde på kreationer, der også var funktionelle på en eller anden måde. Mine yndlingsdele af Mister Rogers’ Neighborhood var optagelserne af transportsystemer og aktuatorer i automatiserede fabrikker, hvor flasker og andre produkter blev fyldt eller samlet, mærket og transporteret. Jeg var en stor fan af Lego og andre byggelegetøj. Derefter, takket være en del succes i Computer Aided Design (CAD)-konkurrencer gennem Technology Student Association i mellem- og high school, endte jeg med at få en efter-skolejob med CAD for en lille startup-virksomhed, Clipper Manufacturing. Der designede jeg fabrikslayout til en enorm robot-sorteringsmaskine og tilhørende transportsystemer til vask og organisering af hængsler til detailindustrien. Derefter var det videre til Georgia Tech for at studere i elektroingeniørvidenskab, hvor jeg deltog i IEEE Robotics Club og tog nogle kurser i computerseende. Det førte mig til Robotics Institute på Carnegie Mellon University til min ph.d. Mange af mine med-studerende fra CMU har været nære kollegaer lige siden, både på Anki og nu på Waymo.

Du arbejdede tidligere som lederende ingeniør på Anki, en robotteknologivirksomhed. Hvad er nogle af de projekter, du havde mulighed for at arbejde på på Anki?

Jeg var den første fastansatte på Cozmo-projektet på Anki, hvor jeg havde æren af at starte koderepositoriet fra scratch og så produkten igennem til over en million søde, livlige robotter, der blev sendt til folks hjem. Det arbejde gik over i vores næste produkt, Vector, som var en mere avanceret og selvstændig version af Cozmo. Jeg fik mulighed for at arbejde på mange dele af disse produkter, men var primært ansvarlig for computerseende til ansigtsgenkendelse, 3D-poseestimation, lokalisation og andre aspekter af perception. Jeg porterede også TensorFlow Lite til at køre på Vectors indbyggede operativsystem og hjalp med at deployere dybtlæringmodeller til at køre på robotten til hånd- og persongenkendelse.

Jeg byggede også Cozmos og Vectors øjnerenderingssystemer, som gav mig chancen for at arbejde tæt sammen med mange af Ankis meget talentfulde og kreative animationsteam, hvilket var rigtig sjovt.

I 2019 hyrede Waymo dig og 12 andre robotteknologi-eksperter fra Anki for at tilpasse deres selvstændige køretøjsteknologi til andre platforme, herunder lastbiler. Hvad var din første reaktion på udsigten til at arbejde på Waymo?

Jeg kendte mange nuværende og tidligere ingeniører på Waymo og var godt klar over virksomhedens ry som en leder inden for selvstændige køretøjer. Jeg nød rigtig meget kreativiteten ved at arbejde på legetøj og uddannelsesprodukter til børn på Anki, men jeg var også spændt på at tilslutte mig en større virksomhed, der arbejdede inden for sådan et betydningsfuldt område for samfundet, for at se, hvordan softwareudvikling og sikkerhed håndteres på denne organisatoriske skala og niveau af teknisk kompleksitet.

Kan du diskutere, hvad en dag på Waymo er som for dig?

Det meste af min rolle er i øjeblikket fokuseret på at guide og udvikle mit team, mens vi identificerer og løser lastbil-specifikke udfordringer i tæt samarbejde med andre tekniske teams på Waymo. Det betyder, at mine dage består af møder med mit team, andre tekniske ledere og produkt- og programledere, mens vi planlægger tekniske og organisatoriske tilgange til at udvikle og deployere vores selvstændige system, kaldet Waymo Driver, og udvide dets kapaciteter til vores voksende flåde af lastbiler. Ud over det bruger jeg også en betydelig tid på at interviewe kandidater.

Hvad er nogle af de unikke computerseende- og AI-udfordringer, der mødes med selvstændige lastbiler i forhold til selvstændige køretøjer?

Selvom vi bruger den samme kerne-teknologistak på tværs af alle vores køretøjer, er der nogle nye overvejelser, der er specifikke for lastbilindustrien, som vi må tage i betragtning. Først og fremmest er domænet anderledes: i forhold til personbiler tilbringer lastbiler langt mere tid på motorveje, som er højhastigheds-miljøer. På grund af langt mere masse er lastbiler langsommere til at accelerere og bremse end biler, hvilket betyder, at Waymo Driver skal opfatte ting fra meget langt afstand. Derudover bruger motorvejskonstruktion forskellige markeringer og skilte og kan endda involvere midteroverskridelse til “forkert” side af vejen; der er motorvejsspecifikke love som at flytte over for køretøjer, der er standsede på skuldrene; og der kan være mange filer med trafikpropper at navigere. At have en potentiel større blind plet forårsaget af en trailer er en anden udfordring, vi må overvinde.

Waymo har for nylig begyndt at teste en chauffør-løs flåde af tunglastbiler i Texas med trænede chauffører om bord. I dette spil er nogle af de ting, Waymo håber at lære af disse tests?

Vore lastbiler testes i de områder, hvor vi opererer (AZ / CA / TX / NM), for at opnå meningsfuld erfaring og data i alle forskellige situationer, vi kan møde under kørsel på motorvejen. Denne proces træner vores software og hardware, så vi kan lære, hvordan vi kan fortsætte med at forbedre og tilpasse vores Waymo Driver til lastbilindustrien.

At se på Texas specifikt: Dallas og Houston er kendt for at være en del af de største fragthubs i USA. Ved at operere i den omgang kan vi teste vores Waymo Driver på højtsammenpressede motorveje og fragtruter, bedre forstå, hvordan andre lastbil- og personbilschauffører opfører sig på disse ruter, og fortsætte med at finpudse, hvordan vores Waymo Driver reagerer og responderer i disse travle kørselsområder. Derudover giver det os også mulighed for at teste i et sted med unikke vejrforhold, som kan hjælpe os med at fremme vores kapaciteter på dette område.

Kan du diskutere Waymo Open Dataset, der inkluderer både sensor-data og mærket data, og fordelene for Waymo ved at dele denne værdifulde dataset?

Hos Waymo løser vi nogle af de sværeste problemer, der findes inden for maskinlæring. For at hjælpe forskningssamfundet med at gøre fremskridt inden for maskinperception og selvstændige køretøjer har vi udgivet Waymo Open Dataset, som er en af de største og mest varierede offentligt tilgængelige fuldt selvstændige datasets. Tilgængelig uden omkostninger for forskere på waymo.com/open, består datasettet af 1.950 segmenter af højopløsnings-sensordata og dækker en bred vifte af miljøer, fra tætbyggede bycentre til forstæderlandsbyer, samt data indsamlet under dag og nat, ved daggry og skumring, i solskin og regn. I marts 2020 lancerede vi også Waymo Open Dataset-udfordringerne for at give forskningssamfundet en måde at teste deres ekspertise og se, hvad andre laver.

I din personlige mening, hvor lang tid vil det tage, før branchen opnår sand level 5-autonomi?

Vi har arbejdet på dette i over 10 år nu, og så har vi fordelene af denne erfaring for at vide, at denne teknologi vil komme til verden skridt for skridt. Selvstændig køretøjs-teknologi er så kompleks, og vi er kommet, hvor vi er i dag, på grund af fremskridt i så mange felter, fra sensorer i hardware til maskinlæring. Det er derfor, vi har valgt en gradvis tilgang til at introducere denne teknologi til verden. Vi mener, at det er den sikreste og mest ansvarlige måde at gå på, og vi har også hørt fra vores passagerer og partnere, at de værdsætter denne omhyggelige og målrette tilgang, vi tager til at sikre en sikker udvikling af denne teknologi i deres samfund.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Waymo Via.