Andrew Stein, Inginer Software Waymo – Seria de Interviuri

Andrew Stein este un inginer software care conduce echipa de percepție pentru Waymo Via, eforturile de livrare autonome ale Waymo. Waymo este o companie de tehnologie de conducere autonomă, care este o filială a Alphabet (GOOG ) (GOOGL ) Inc, compania mamă a Google.

Ce v-a atras inițial la AI și robotică?

Am întotdeauna plăcut să creez lucruri care “făceau ceva” de când eram foarte tânăr. Arte și meșteșuguri puteau fi amuzante, dar pasiunea mea cea mai mare a fost să lucrez la creații care erau și funcționale într-un anumit fel. Părțile mele favorite din Mister Rogers’ Neighborhood erau filmările cu benzi transportoare și actuatori în fabrici automate, văzând sticle și alte produse umplute sau asamblate, etichetate și transportate. Eram un mare fan al Lego și al altor jucării de construcție. Apoi, datorită unui succes în competiții de proiectare asistată de calculator (CAD) prin Asociația Studenților în Tehnologie în școala gimnazială și liceu, am ajuns să obțin un loc de muncă după școală, făcând CAD pentru o mică companie de start-up, Clipper Manufacturing. Acolo, am proiectat layout-uri de fabrică pentru un sortator robotic enorm și echipamente de transportoare asociate pentru spălarea și organizarea uniformelor pentru industria îmbrăcămintei. De acolo, am ajuns la Georgia Tech pentru a studia inginerie electrică, unde am participat la Clubul de Robotică IEEE și am urmat câteva cursuri de Viziune Computațională. Acestea m-au condus în cele din urmă la Institutul de Robotică de la Universitatea Carnegie Mellon pentru doctoratul meu. Mulți dintre colegii mei de doctorat de la CMU au fost colegi apropiați de atunci, atât la Anki, cât și acum la Waymo.

Ați lucrat anterior ca inginer principal la Anki, o companie de robotică de start-up. Care sunt unele dintre proiectele la care ați avut ocazia să lucrați la Anki?

Am fost primul angajat cu normă întreagă pe proiectul Cozmo la Anki, unde am avut privilegiul de a începe depozitul de cod de la zero și am văzut produsul până la peste un milion de roboți cu aspect viu, livrați în casele oamenilor. Acea muncă s-a transformat în următorul nostru produs, Vector, care a fost o versiune și mai avansată și autoconținută a lui Cozmo. Am lucrat la multe părți ale acestor produse, dar am fost în primul rând responsabil pentru viziunea computerizată pentru detectarea feței, recunoașterea feței, estimarea poziției 3D, localizarea și alte aspecte ale percepției. Am portat, de asemenea, TensorFlow Lite pentru a rula pe sistemul de operare încorporat al lui Vector și am ajutat la implementarea modelului de învățare profundă pentru a rula la bordul robotului pentru detectarea mâinii și a persoanei.

Am construit, de asemenea, sistemele de randare a ochilor pentru Cozmo și Vector, ceea ce mi-a dat ocazia de a lucra în special îndeaproape cu multă parte din echipa de animație foarte talentată și creativă a Anki, ceea ce a fost și foarte amuzant.

În 2019, Waymo v-a angajat pe dumneavoastră și pe alți doisprezece experți în robotică de la Anki pentru a adapta tehnologia de conducere autonomă la alte platforme, inclusiv camioane comerciale. Care a fost reacția dumneavoastră inițială la perspectiva de a lucra la Waymo?

Știam mulți ingineri actuali și foști de la Waymo și, desigur, eram conștient de reputația companiei ca lider în domeniul vehiculelor autonome. Am savurat foarte mult creativitatea de a lucra la jucării și produse educaționale pentru copii la Anki, dar eram și entuziasmat să ader la o companie mai mare care lucrează într-un spațiu atât de impactant pentru societate, pentru a vedea cum se fac dezvoltarea software-ului și siguranța la această scară organizațională și nivel de complexitate tehnică.

Puteți discuta despre ce este o zi de muncă la Waymo pentru dumneavoastră?

Cea mai mare parte a rolului meu se concentrează în prezent pe ghidarea și creșterea echipei mele, pe măsură ce identificăm și rezolvăm provocări specifice camioanelor în colaborare strânsă cu alte echipe de ingineri de la Waymo. Acest lucru înseamnă că zilele mele sunt petrecute în întâlniri cu echipa mea, alți lideri tehnici și manageri de produs și de program, pe măsură ce planificăm abordări tehnice și organizatorice pentru a dezvolta și a implementa sistemul nostru de conducere autonomă, numit Waymo Driver, și pentru a extinde capacitățile sale la flota noastră în creștere de camioane. Pe lângă aceasta, având în vedere că suntem activi în procesul de angajare, petrec și o cantitate semnificativă de timp intervievând candidați.

Care sunt unele dintre provocările unice de viziune computerizată și AI cu care se confruntă camioanele autonome, comparativ cu vehiculele autonome?

Deși utilizăm același stivă tehnologică de bază în toate vehiculele noastre, există unele considerații noi specifice transportului de marfă, pe care trebuie să le luăm în considerare. În primul rând, domeniul este diferit: comparativ cu mașinile de pasageri, camioanele petrec mult mai mult timp pe autostrăzi, care sunt medii cu viteză mai mare. Din cauza masei mult mai mari, camioanele sunt mai lente la accelerare și frânare decât mașinile, ceea ce înseamnă că Waymo Driver trebuie să perceapă lucrurile de la o distanță foarte mare. Mai mult, construcția autostrăzilor utilizează marcaje și semne diferite și poate implica chiar și treceri mediane pe partea “greșită” a drumului; există legi specifice autostrăzilor, cum ar fi mutarea pentru vehiculele oprite pe umeri; și pot exista multe benzi de trafic încetinite de navigat. Având un punct orb potențial mai mare, cauzat de un remorcă, este o altă provocare pe care trebuie să o depășim.

Waymo a început recent testarea unei flote de camioane grele fără șofer în Texas, cu șoferi instruiți la bord. La acest punct, ce sunt unele dintre lucrurile pe care Waymo speră să le învețe din aceste teste?

Camioanele noastre testează în zonele în care operăm (AZ / CA / TX / NM) pentru a obține experiență și date semnificative în toate tipurile de situații pe care le putem întâlni conducând pe autostradă. Acest proces exercită software-ul și hardware-ul nostru, permițându-ne să învățăm cum putem continua să îmbunătățim și să adaptăm Waymo Driver pentru domeniul transportului de marfă.

Privind Texas în mod specific: Dallas și Houston sunt cunoscute pentru a fi parte din cele mai mari hub-uri de marfă din SUA. Operând în acest mediu, putem testa Waymo Driver pe autostrăzi foarte dense și rute de transport, pentru a înțelege mai bine cum se comportă și altor șoferi de camion și mașini pe aceste rute și pentru a continua să rafinăm modul în care Waymo Driver reacționează și răspunde în aceste regiuni de conducere aglomerate. De asemenea, ne permite să testăm într-un loc cu condiții meteo unice, care ne pot ajuta să ne dezvoltăm capacitățile în acea zonă.

Puteți discuta despre Waymo Open Dataset, care include atât date de senzor, cât și date etichetate, și despre beneficiile pentru Waymo de a partaja această bază de date valoroasă?

La Waymo, abordăm unele dintre cele mai grele probleme care există în învățarea mașinilor. Pentru a ajuta comunitatea de cercetare să facă progrese în percepția mașinilor și tehnologia de conducere autonomă, am lansat Waymo Open Dataset, care este una dintre cele mai mari și mai diverse baze de date publice disponibile pentru conducerea autonomă. Disponibil gratuit pentru cercetători la waymo.com/open, baza de date constă în 1.950 de segmente de date de senzor de înaltă rezoluție și acoperă o gamă largă de medii, de la centrele urbane dense la peisaje suburbane, precum și date colectate ziua și noaptea, la răsărit și apus, în soare și ploaie. În martie 2020, am lansat, de asemenea, Waymo Open Dataset Challenges pentru a oferi comunității de cercetare o modalitate de a testa expertiza și de a vedea ce fac alții.

În opinia dumneavoastră personală, cât timp va dura până când industria va atinge adevărata autonomie de nivel 5?

Am lucrat la acest lucru de peste zece ani și, prin urmare, avem beneficiul acestei experiențe pentru a ști că această tehnologie va veni în lume treptat. Tehnologia de conducere autonomă este atât de complexă și am ajuns unde suntem astăzi datorită progreselor în atâtea domenii, de la senzori în hardware la învățarea mașinilor. De aceea, am adoptat o abordare graduală pentru a introduce această tehnologie în lume. Credem că este cel mai sigur și mai responsabil mod de a proceda, și am auzit de la pasagerii și partenerii noștri că apreciază această abordare gândită și măsurată pe care o luăm pentru a implementa în siguranță această tehnologie în comunitățile lor.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe despre Waymo Via ar trebui să viziteze site-ul nostru.