Andrew Stein, programvareingeniør Waymo – Intervju-serie

Andrew Stein er en programvareingeniør som leder percept-teamet for Waymo Via, Waymos autonome leveringsinnsats. Waymo er et selskap som utvikler teknologi for selvkjørende kjøretøy og er et datterselskap av Alphabet (GOOG ) (GOOGL ) Inc, moderselskapet til Google.

Hva var det som først tiltalte deg til AI og robotikk?

Jeg har alltid likt å lage ting som “gjør noe” siden jeg var svært ung. Kunst og håndverk kunne være morsomt, men min største lidenskap var å arbeide med skapninger som var funksjonelle på en eller annen måte. Mine favoritt-deler av Mister Rogers’ nabolag var filmene av conveyor beltene og aktuatorer i automatiserte fabrikker, hvor flasker og andre produkter ble fylt eller montert, merket og transportert. Jeg var en stor fan av Lego og andre byggeleker. Deretter, takket være litt suksess i datamaskin-støttet design (CAD) konkurranse gjennom Technology Student Association i ungdomsskolen og videregående skole, endte jeg opp med en etter-skole jobb med å gjøre CAD for et lite startup-selskap, Clipper Manufacturing. Der designet jeg fabrikk-løsninger for en enorm robot-sorter og tilhørende conveyor-utstyr for vask og organisering av hengslede uniformer for detaljhandelen. Deretter var det av gårde til Georgia Tech for å studere elektroingeniør, hvor jeg deltok i IEEE Robotics Club og tok noen klasser i datamaskin-syn. Disse ledet meg til Robotics Institute at Carnegie Mellon University for min PhD. Mange av mine med-studenter fra CMU har vært nære kolleger siden, både på Anki og nå på Waymo.

Du arbeidet tidligere som lead-ingeniør på Anki, et robotikk-startup. Hva var noen av prosjektene du hadde mulighet til å arbeide med på Anki?

Jeg var den første fast ansatte på Cozmo-prosjektet på Anki, hvor jeg hadde privilegiet til å starte kode-repositoriet fra scratch og så produktet gjennom til over en million små, livlige roboter ble sendt til menneskers hjem. Denne arbeidet gikk over til vårt neste produkt, Vector, som var en annen, mer avansert og selv-innesluttet versjon av Cozmo. Jeg fikk arbeide med mange deler av disse produktene, men var primært ansvarlig for datamaskin-syn for ansiktsgjenkjenning, 3D-pose-estimering, lokaliserings- og andre aspekter ved percept. Jeg bygget også Cozmo og Vectors øye-renderingssystemer, som ga meg mulighet til å arbeide spesielt nært med mye av Anki’s svært talente og kreative animasjons-team, som også var veldig morsomt.

I 2019 ansatte Waymo deg og tolv andre robotikk-eksperter fra Anki for å tilpasse sin selvkjørende teknologi til andre plattformer, inkludert lastebiler. Hva var din første reaksjon på prospektet om å arbeide på Waymo?

Jeg kjente mange nåværende og tidligere ingeniører på Waymo og var godt kjent med selskapets rykte som en leder i feltet for selvkjørende kjøretøy. Jeg likte svært å arbeide med kreativitet på leker og utdanningsprodukter for barn på Anki, men jeg var også spennende å bli en del av et større selskap som arbeidet i et så viktig område for samfunnet, for å se hvordan programvare-utvikling og sikkerhet gjøres på denne organisatoriske skalaen og tekniske kompleksiteten.

Kan du diskutere hva en dag med arbeid på Waymo er som for deg?

Det meste av min rolle er nå fokusert på å guide og vokse mitt team mens vi identifiserer og løser lastebil-spesifikke utfordringer i nært samarbeid med andre tekniske team på Waymo. Det betyr at mine dager brukes til å møte med mitt team, andre tekniske ledere og produkt- og program-ledere mens vi planlegger tekniske og organisatoriske tilnærminger for å utvikle og deployere vårt selvkjørende system, kalt Waymo Driver, og utvide dens evner til vår voksende flåte av lastebiler. Foruten det, ettersom vi aktivt ansetter, bruker jeg også mye tid på å intervjue kandidater.

Hva er noen av de unike datamaskin-syn og AI-utfordringene som møtes med selvkjørende lastebiler sammenlignet med selvkjørende kjøretøy?

Mens vi bruker den samme kjernetechnologien over hele våre kjøretøy, er det noen nye overveielser som er spesifikke for lastebiler som vi må ta i betraktning. Først og fremst er domenet forskjellig: sammenlignet med passasjerbiler, tilbringer lastebiler mye mer tid på motorveier, som er høyhastighets-miljøer. På grunn av mye mer masse, er lastebiler langsommere å akselerere og bremse enn biler, hvilket betyr at Waymo Driver må oppdage ting fra svært langt avstand. Videre, motorvei-konstruksjon bruker forskjellige markører og skilt og kan sogar involvere median-kryssinger til “feil” side av veien; det er motorvei-spesifikke lover som å flytte over for kjøretøy som stopper på skuldrene; og det kan være mange filer med trafikk å navigere. Å ha en potensielt større blindsonen forårsaket av en trailer er en annen utfordring vi må overvinne.

Waymo har nylig begynt å teste en flåte av selvkjørende lastebiler i Texas med trente sjåfører om bord. På dette tidspunktet, hva er noen av tingene Waymo håper å lære fra disse testene?

Våre lastebiler tester i områdene hvor vi opererer (AZ / CA / TX / NM) for å få meningsfulle erfaringer og data i alle forskjellige situasjoner vi kan møte på motorveien. Denne prosessen øver vårt programvare og maskinvare, og lar oss lære hvordan vi kan fortsette å forbedre og tilpasse vår Waymo Driver for lastebil-domenet.

Vi ser på Texas spesifikt: Dallas og Houston er kjent for å være en del av de største frakt-hubene i USA. Ved å operere i denne omgangen, kan vi teste vår Waymo Driver på svært tette motorveier og fraktskjema, og videre forstå hvordan andre lastebil- og passasjerbilsjåfører oppfører seg på disse ruter, og fortsette å finjustere måten vår Waymo Driver reagerer og responderer i disse travle kjøremiljøene. I tillegg lar det oss også teste i et sted med unike vær-forhold som kan hjelpe oss å drive våre evner i den retningen fremover.

Kan du diskutere Waymo Open Dataset, som inkluderer både sensor-data og merket data, og fordelene for Waymo ved å dele denne verdifulle datasetten?

Ved Waymo, løser vi noen av de hardeste problemene som finnes i maskinlæring. For å hjelpe forsknings-samfunnet med å gjøre fremskritt i maskin-persepsjon og selvkjørende teknologi, har vi lansert Waymo Open Dataset, som er en av de største og mest diverse offentlig tilgjengelige selvkjørende datasettene. Tilgjengelig uten kostnad for forskere på waymo.com/open, består datasettene av 1 950 segmenter av høyoppløselige sensor-data og dekker et bredt spekter av miljøer, fra tette urbane sentre til forstedlige landskap, samt data samlet under dag og natt, ved daggry og skumring, i solskinn og regn. I mars 2020 lanserte vi også Waymo Open Dataset-utfordringene for å gi forsknings-samfunnet en måte å teste sin ekspertise og se hva andre gjør.

I din personlige mening, hvor lenge vil det ta før industrien oppnår sant nivå 5-autonomi?

Vi har arbeidet med dette i over ti år nå, og så har vi fordelene av denne erfaringen til å vite at denne teknologien vil komme til verden skritt for skritt. Selvkjørende teknologi er så kompleks, og vi har kommet til hvor vi er i dag på grunn av fremgang i så mange felt, fra sensing i maskinvare til maskinlæring. Derfor har vi tatt en gradvis tilnærming til å introdusere denne teknologien til verden. Vi tror det er den sikreste og mest ansvarlige måten å gå frem, og vi har også hørt fra våre passasjerer og partnere at de setter pris på denne tankefulle og målte tilnærmingen vi tar for å trygt deployere denne teknologien i deres samfunn.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke Waymo Via.