Andrew Stein, Software Engineer Waymo – Intervista alla serie

Andrew Stein è un ingegnere software che guida il team di percezione per Waymo Via, gli sforzi di consegna autonomi di Waymo. Waymo è una società di sviluppo di tecnologie di guida autonoma che è una consociata di Alphabet (GOOG ) (GOOGL ) Inc, la società madre di Google.

Cosa ti ha inizialmente attratto verso l’AI e la robotica?

Ho sempre amato creare cose che “facevano qualcosa” fin da quando ero molto giovane. Le arti e i mestieri potevano essere divertenti, ma la mia più grande passione era lavorare su creazioni che erano anche funzionali in qualche modo. Le mie parti preferite di Mister Rogers’ Neighborhood erano le riprese di nastri trasportatori e attuatori in fabbriche automatizzate, vedere bottiglie e altri prodotti riempiti o assemblati, etichettati e trasportati. Ero un grande fan di Lego e altri giocattoli da costruzione. Poi, grazie a qualche successo in concorsi di progettazione assistita da computer (CAD) attraverso l’Technology Student Association nel liceo e nelle scuole medie, ho finito per ottenere un lavoro dopo la scuola facendo CAD per una piccola startup, Clipper Manufacturing. Lì, stavo progettando layout di fabbrica per un enorme sorter robotico e attrezzature di trasporto associate per il lavaggio e l’organizzazione di uniformi appese per l’industria della confezione al dettaglio. Da lì, sono andato alla Georgia Tech per studiare ingegneria elettrica, dove ho partecipato al club di robotica IEEE e ho seguito alcune lezioni di visione artificiale. Quelli mi hanno portato all’Istituto di robotica di Carnegie Mellon University per il mio dottorato. Molti dei miei compagni di studi di CMU sono stati colleghi stretti da allora, sia ad Anki che adesso a Waymo.

Prima lavoravi come ingegnere capo ad Anki, una startup di robotica. Quali sono alcuni dei progetti su cui hai avuto l’opportunità di lavorare ad Anki?

Ero il primo assunto a tempo pieno nel progetto Cozmo ad Anki, dove ho avuto il privilegio di iniziare il repository di codice da zero e ho visto il prodotto fino a oltre un milione di robot simili a quelli viventi spediti nelle case delle persone. Quel lavoro si è trasformato nel nostro prossimo prodotto, Vector, che era un’altra versione più avanzata e autonoma di Cozmo. Ho lavorato su molte parti di quei prodotti, ma ero principalmente responsabile della visione artificiale per la rilevazione dei volti, il riconoscimento dei volti, la stima della posizione 3D, la localizzazione e altri aspetti della percezione. Ho anche portato TensorFlow Lite per eseguirlo sul sistema operativo integrato di Vector e ho aiutato a distribuire modelli di apprendimento automatico per eseguirli a bordo del robot per la rilevazione delle mani e delle persone.

Ho anche costruito i sistemi di rendering degli occhi di Cozmo e Vector, che mi ha dato l’opportunità di lavorare particolarmente a stretto contatto con gran parte del team di animazione molto talentuoso e creativo di Anki, il che è stato anche molto divertente.

Nel 2019, Waymo ti ha assunto insieme ad altri 12 esperti di robotica da Anki per adattare la tecnologia di guida autonoma ad altre piattaforme, tra cui i camion commerciali. Qual è stata la tua reazione iniziale alla prospettiva di lavorare a Waymo?

Conoscevo molti ingegneri attuali e passati di Waymo e certamente ero a conoscenza della reputazione della società come leader nel campo dei veicoli autonomi. Ho molto apprezzato la creatività del lavoro sui giocattoli e prodotti educativi per bambini ad Anki, ma ero anche emozionato di unirmi a una società più grande che lavorava in uno spazio così impattante per la società, per vedere come lo sviluppo del software e la sicurezza sono gestiti a questa scala organizzativa e livello di complessità tecnica.

Puoi discutere cosa significa lavorare a Waymo per te?

La maggior parte del mio ruolo è attualmente focalizzato sul guidare e far crescere il mio team mentre identifichiamo e risolviamo sfide specifiche per il settore dei camion in stretta collaborazione con altri team di ingegneria di Waymo. Ciò significa che le mie giornate sono trascorse in riunioni con il mio team, altri capi tecnici e manager di prodotto e programmi mentre pianifichiamo approcci tecnici e organizzativi per sviluppare e distribuire il nostro sistema di guida autonoma, chiamato Waymo Driver, e estendere le sue capacità alla nostra flotta di camion in crescita. Oltre a ciò, dato che stiamo attivamente assumendo, spendo anche molto tempo a intervistare candidati.

Quali sono alcune delle sfide uniche di visione artificiale e intelligenza artificiale che si affrontano con i camion autonomi rispetto ai veicoli autonomi?

Mentre utilizziamo lo stesso stack tecnologico di base su tutti i nostri veicoli, ci sono alcune considerazioni nuove specifiche per il settore dei camion che dobbiamo prendere in considerazione. In primo luogo, il dominio è diverso: rispetto alle auto passeggeri, i camion trascorrono molto più tempo sulle autostrade, che sono ambienti ad alta velocità. A causa della massa molto maggiore, i camion sono più lenti nell’accelerare e frenare rispetto alle auto, il che significa che il Waymo Driver deve percepire le cose da molto lontano. Inoltre, la costruzione delle autostrade utilizza marcatori e segnaletica diversi e può anche coinvolgere passaggi mediani sul “lato sbagliato” della strada; ci sono leggi autostradali specifiche come spostarsi per i veicoli fermi sulle spalle; e ci possono essere molte corsie di traffico intasato da navigare. Avere un punto cieco potenzialmente più grande causato da un rimorchio è un’altra sfida che dobbiamo superare.

Waymo ha recentemente iniziato a testare una flotta di camion pesanti senza conducente in Texas con conducenti addestrati a bordo. A questo punto del gioco, cosa spera di imparare Waymo da questi test?

I nostri camion testano nelle aree in cui operiamo (AZ / CA / TX / NM) per ottenere esperienze e dati significativi in tutti i tipi di situazioni che potremmo incontrare guidando sull’autostrada. Questo processo esercita il nostro software e hardware, permettendoci di imparare come possiamo continuare a migliorare e adattare il nostro Waymo Driver per il dominio dei camion.

Guardando il Texas in particolare: Dallas e Houston sono noti per essere parte dei più grandi hub di merci degli Stati Uniti. Operando in quell’ambiente, possiamo testare il nostro Waymo Driver su autostrade ad alta densità e corsie di spedizione, capire meglio come gli altri conducenti di camion e auto passeggeri si comportano su queste rotte e continuare a raffinare il modo in cui il nostro Waymo Driver reagisce e risponde in queste aree di guida trafficate. Inoltre, ciò ci consente anche di testare in un luogo con condizioni meteorologiche uniche che possono aiutare a spingere le nostre capacità in quella zona.

Puoi discutere il Waymo Open Dataset, che include sia dati dei sensori che dati etichettati, e i benefici per Waymo nel condividere questo set di dati prezioso?

Waymo sta affrontando alcuni dei problemi più difficili che esistono nel machine learning. Per aiutare la comunità di ricerca a fare progressi nella percezione delle macchine e nella tecnologia di guida autonoma, abbiamo rilasciato il Waymo Open Dataset, che è uno dei set di dati più grandi e diversificati disponibili pubblicamente per la guida autonoma. Disponibile gratuitamente per i ricercatori su waymo.com/open, il set di dati consiste di 1.950 segmenti di dati dei sensori ad alta risoluzione e copre una vasta gamma di ambienti, dalle aree urbane densamente popolate ai paesaggi suburbani, nonché dati raccolti durante il giorno e la notte, all’alba e al tramonto, al sole e alla pioggia. Nel marzo 2020, abbiamo anche lanciato le sfide del Waymo Open Dataset per fornire alla comunità di ricerca un modo per testare la loro esperienza e vedere cosa stanno facendo gli altri.

Secondo la tua opinione personale, quanto tempo ci vorrà perché l’industria raggiunga la vera autonomia di livello 5?

Stiamo lavorando a questo per oltre dieci anni e quindi abbiamo il beneficio di quell’esperienza per sapere che questa tecnologia arriverà nel mondo passo dopo passo. La tecnologia di guida autonoma è così complessa e siamo arrivati dove siamo oggi grazie ai progressi in così tanti campi, dalla sensazione dell’hardware all’apprendimento automatico. È per questo che abbiamo adottato un approccio graduale per introdurre questa tecnologia nel mondo. Crediamo che sia il modo più sicuro e responsabile per andare avanti, e abbiamo anche sentito dai nostri passeggeri e partner che apprezzano questo approccio pensato e misurato che stiamo prendendo per distribuire in modo sicuro questa tecnologia nelle loro comunità.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Waymo Via.