Andrew Stein, Engenheiro de Software Waymo – Série de Entrevistas

Andrew Stein é um Engenheiro de Software que lidera a equipe de percepção para Waymo Via, os esforços de entrega autônoma da Waymo. A Waymo é uma empresa de desenvolvimento de tecnologia de direção autônoma que é uma subsidiária da Alphabet (GOOG ) (GOOGL ) Inc, a empresa-mãe do Google.

O que o atraiu inicialmente para a IA e a robótica?

Eu sempre gostei de criar coisas que “faziam algo” desde muito jovem. Artes e ofícios podiam ser divertidos, mas minha maior paixão era trabalhar em criações que também eram funcionais de alguma forma. Minhas partes favoritas do programa Mister Rogers’ Neighborhood eram as filmagens de correias transportadoras e atuadores em fábricas automatizadas, vendo garrafas e outros produtos sendo preenchidos ou montados, etiquetados e transportados. Eu era um grande fã de Legos e outros brinquedos de construção. Em seguida, graças ao sucesso em competições de Desenho Assistido por Computador (CAD) através da Technology Student Association no ensino fundamental e médio, eu acabei conseguindo um emprego após a aula fazendo CAD para uma pequena empresa startup, Clipper Manufacturing. Lá, eu projetava layouts de fábrica para um enorme classificador robótico e equipamentos de correia associados para lavanderia e organização de uniformes pendurados para a indústria de vestuário varejista. A partir daí, fui para a Georgia Tech para estudar engenharia elétrica, onde participei do IEEE Robotics Club e fiz algumas aulas em Visão Computacional. Essas eventualmente me levaram ao Robotics Institute da Carnegie Mellon University para meu PhD. Muitos dos meus colegas de pós-graduação da CMU têm sido colegas de trabalho próximos desde então, tanto na Anki quanto na Waymo.

Você trabalhou anteriormente como engenheiro líder na Anki, uma startup de robótica. Quais são alguns dos projetos que você teve a oportunidade de trabalhar na Anki?

Eu fui a primeira contratação em tempo integral no projeto Cozmo na Anki, onde tive o privilégio de iniciar o repositório de código do zero e vi o produto até mais de um milhão de robôs fofos e realistas serem enviados para as casas das pessoas. Esse trabalho se transformou em nosso próximo produto, Vector, que era outra versão mais avançada e autônoma do Cozmo. Eu tive a chance de trabalhar em muitas partes desses produtos, mas fui principalmente responsável pela visão computacional para detecção de faces, reconhecimento de faces, estimação de pose 3D, localização e outros aspectos da percepção. Eu também portei o TensorFlow Lite para executar no sistema operacional embarcado do Vector e ajudei a implantar modelos de aprendizado profundo para executar a bordo do robô para detecção de mãos e pessoas.

Eu também construí os sistemas de renderização de olhos do Cozmo e do Vector, o que me deu a chance de trabalhar particularmente próximo de grande parte da equipe de animação muito talentosa e criativa da Anki, o que também foi muito divertido.

Em 2019, a Waymo o contratou, junto com outros 12 especialistas em robótica da Anki, para adaptar sua tecnologia de direção autônoma para outras plataformas, incluindo caminhões comerciais. Qual foi sua reação inicial à perspectiva de trabalhar na Waymo?

Eu conhecia muitos engenheiros atuais e passados da Waymo e certamente estava ciente da reputação da empresa como líder no campo de veículos autônomos. Eu muito gostava da criatividade de trabalhar em brinquedos e produtos educacionais para crianças na Anki, mas também estava animado para ingressar em uma empresa maior que trabalhava em um espaço tão impactante para a sociedade, para ver como o desenvolvimento de software e a segurança são feitos nessa escala organizacional e nível de complexidade técnica.

Pode discutir como é um dia de trabalho na Waymo para você?

A maior parte do meu papel está atualmente focada em orientar e crescer minha equipe à medida que identificamos e resolvemos desafios específicos de caminhões em colaboração estreita com outras equipes de engenharia da Waymo. Isso significa que meus dias são passados em reuniões com minha equipe, outros líderes técnicos e gerentes de produto e programa, enquanto planejamos abordagens técnicas e organizacionais para desenvolver e implantar nosso sistema de direção autônoma, chamado Waymo Driver, e estender suas capacidades para nossa frota crescente de caminhões. Além disso, dado que estamos ativamente contratando, eu também passo um tempo significativo entrevistando candidatos.

Quais são alguns dos desafios únicos de visão computacional e IA que são enfrentados com caminhões autônomos em comparação com veículos autônomos?

Embora utilizemos a mesma pilha de tecnologia básica em todos os nossos veículos, há algumas considerações novas específicas do setor de caminhões que devemos levar em conta. Em primeiro lugar e principalmente, o domínio é diferente: em comparação com carros de passageiros, os caminhões passam muito mais tempo em rodovias, que são ambientes de alta velocidade. Devido à sua grande massa, os caminhões são mais lentos para acelerar e frear do que os carros, o que significa que o Waymo Driver precisa perceber coisas de muito longe. Além disso, a construção de rodovias usa marcadores e sinalização diferentes e pode até envolver cruzamentos de medianas para o “lado errado” da estrada; existem leis específicas de rodovia, como mudar de faixa para veículos parados nas shoulders; e pode haver muitas faixas de tráfego congestionado para navegar. Ter um ponto cego potencialmente maior causado por um reboque é outro desafio que precisamos superar.

A Waymo recentemente começou a testar uma frota de caminhões pesados autônomos no Texas com motoristas treinados a bordo. Neste ponto do jogo, quais são algumas das coisas que a Waymo espera aprender com esses testes?

Nossos caminhões testam nas áreas em que operamos (AZ / CA / TX / NM) para ganhar experiência e dados significativos em todos os diferentes tipos de situações que podemos enfrentar dirigindo na rodovia. Esse processo exercita nosso software e hardware, permitindo que aprendamos como podemos continuar a melhorar e adaptar nosso Waymo Driver para o domínio do caminhão.

Olhando para o Texas especificamente: Dallas e Houston são conhecidos por serem parte dos principais hubs de carga dos EUA. Operando nesse ambiente, podemos testar nosso Waymo Driver em rodovias altamente densas e linhas de remessa, entender melhor como outros motoristas de caminhão e carros de passageiros se comportam nessas rotas e continuar a refinar a forma como nosso Waymo Driver reage e responde nessas regiões de condução movimentada. Além disso, também nos permite testar em um local com condições climáticas únicas que podem nos ajudar a impulsionar nossas capacidades nessa área.

Pode discutir o Conjunto de Dados Aberto da Waymo, que inclui dados de sensores e dados rotulados, e os benefícios para a Waymo de compartilhar esse conjunto de dados valioso?

Na Waymo, estamos lidando com alguns dos problemas mais difíceis que existem em aprendizado de máquina. Para ajudar a comunidade de pesquisa a fazer avanços em percepção de máquina e tecnologia de direção autônoma, lançamos o Conjunto de Dados Aberto da Waymo, que é um dos conjuntos de dados mais grandes e diversificados disponíveis publicamente para direção autônoma. Disponível sem custo para pesquisadores em waymo.com/open, o conjunto de dados consiste em 1.950 segmentos de dados de sensores de alta resolução e cobre uma ampla variedade de ambientes, desde centros urbanos densos até paisagens suburbanas, bem como dados coletados durante o dia e a noite, ao amanhecer e ao entardecer, em sol e chuva. Em março de 2020, também lançamos os Desafios do Conjunto de Dados Aberto da Waymo para fornecer à comunidade de pesquisa uma maneira de testar sua expertise e ver o que os outros estão fazendo.

Em sua opinião pessoal, quanto tempo levará para a indústria alcançar a verdadeira autonomia de nível 5?

Vimos trabalhando nisso por mais de dez anos agora e, portanto, temos a vantagem de saber que essa tecnologia virá ao mundo passo a passo. A tecnologia de direção autônoma é tão complexa e chegamos ao ponto em que estamos hoje porque dos avanços em tantos campos, desde hardware de sensoriamento até aprendizado de máquina. É por isso que estamos adotando uma abordagem gradual para introduzir essa tecnologia ao mundo. Acreditamos que é a forma mais segura e responsável de proceder, e também ouvimos de nossos passageiros e parceiros que eles apreciam essa abordagem pensada e medida que estamos tomando para implantar essa tecnologia de forma segura em suas comunidades.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Waymo Via.