Andrew Stein, Inżynier Oprogramowania Waymo – Seria Wywiadów

Andrew Stein jest inżynierem oprogramowania, który kieruje zespołem postrzegania dla Waymo Via, autonomicznych wysiłków dostawczych Waymo. Waymo jest firmą zajmującą się rozwojem technologii jazdy autonomicznej i jest spółką zależną Alphabet (GOOG ) (GOOGL ) Inc, firmy macierzystej Google.

Czym pierwotnie zainteresował Cię się AI i robotyka?

Zawsze lubiłem tworzyć rzeczy, które “robiły coś” od bardzo młodego wieku. Sztuka i rzemiosło mogły być zabawne, ale moją największą pasją było pracowanie nad tworami, które były również funkcjonalne w jakiś sposób. Moje ulubione części programu Mister Rogers’ Neighborhood były fragmenty taśm przenośnikowych i siłowników w fabrykach zautomatyzowanych, widząc butelki i inne produkty wypełniane, etykietowane i transportowane. Byłem wielkim fanem klocków Lego i innych zabawek budowlanych. Następnie, dzięki sukcesowi w konkursach projektowania wspomaganego komputerowo (CAD) przez Stowarzyszenie Studentów Technologii w szkole średniej i liceum, dostałem pracę pozaszkolną jako projektant CAD dla małej firmy startupowej, Clipper Manufacturing. Tam projektowałem układy fabryczne dla ogromnego robota sortującego i powiązanego sprzętu przenośnikowego do prania i organizacji ubrań wiszących dla przemysłu odzieżowego detalicznego. Stamtąd, udałem się na Georgia Tech, aby studiować inżynierię elektryczną, gdzie uczestniczyłem w klubie robotyki IEEE i brałem niektóre zajęcia z widzenia komputerowego. To ostatecznie doprowadziło mnie do Instytutu Robotyki na Uniwersytecie Carnegie Mellon na moje studia doktoranckie. Wielu moich kolegów ze studiów doktoranckich z CMU jest moimi bliskimi współpracownikami od tego czasu, zarówno w Anki, jak i teraz w Waymo.

Wcześniej pracowałeś jako inżynier wiodący w Anki, startupie robotycznym. Jakie projekty miałeś okazję pracować nad nimi w Anki?

Byłem pierwszym pełnoetatowym pracownikiem projektu Cozmo w Anki, gdzie miałem przywilej rozpoczęcia repozytorium kodu od zera i zobaczenia produktu aż do ponad miliona uroczych, podobnych do życia robotów wysłanych do domów ludzi. Praca ta przerodziła się w nasz następny produkt, Vector, który był kolejną, bardziej zaawansowaną i samowystarczalną wersją Cozmo. Pracowałem nad wieloma częściami tych produktów, ale byłem głównie odpowiedzialny za widzenie komputerowe do wykrywania twarzy, rozpoznawania twarzy, estymacji pozy 3D, lokalizacji i innych aspektów postrzegania. Ponadto przeniosłem TensorFlow Lite, aby działał na systemie operacyjnym Vector i pomogłem wdrożyć modele głębokiego uczenia, aby działały na pokładzie robota do wykrywania rąk i osób.

Także zbudowałem systemy renderowania oczu Cozmo i Vector, co dało mi okazję do pracy szczególnie blisko z bardzo utalentowanym i kreatywnym zespołem animacji Anki, co było również bardzo zabawne.

W 2019 roku Waymo zatrudnił Ciebie i dwunastu innych ekspertów robotyki z Anki, aby dostosować swoją technologię jazdy autonomicznej do innych platform, w tym ciężarówek. Jaki był Twój początkowy odczucie na temat pracy w Waymo?

Znałem wielu obecnych i byłych inżynierów w Waymo i był świadomy reputacji firmy jako lidera w dziedzinie pojazdów autonomicznych. Bardzo lubiłem kreatywność pracy nad zabawkami i produktami edukacyjnymi dla dzieci w Anki, ale był również podekscytowany dołączeniem do większej firmy pracującej w tak wpływowym obszarze dla społeczeństwa, aby zobaczyć, jak rozwija się rozwój oprogramowania i bezpieczeństwo na tej skali organizacyjnej i poziomie złożoności technicznej.

Czy możesz omówić, jak wygląda Twój dzień pracy w Waymo?

Większość mojej roli jest obecnie skupiona na kierowaniu i rozwoju mojego zespołu, gdy identyfikujemy i rozwiązujemy wyzwania specyficzne dla ciężarówek we współpracy z innymi zespołami inżynierskimi w Waymo. Oznacza to, że moje dni są spędzane na spotkaniach z moim zespołem, innymi liderami technicznymi i menedżerami produktów i programów, gdy planujemy podejścia techniczne i organizacyjne do rozwoju i wdrożenia naszego systemu jazdy autonomicznej, zwanego Waymo Driver, i rozszerzania jego możliwości na nasze rosnące floty ciężarówek. Poza tym, ponieważ aktywnie rekrutujemy, spędzam również znaczną ilość czasu na rozmowach z kandydatami.

Jakie są niektóre unikalne wyzwania związane z widzeniem komputerowym i AI, które są napotykane w przypadku autonomicznych ciężarówek w porównaniu z autonomicznymi pojazdami?

Chociaż wykorzystujemy ten sam podstawowy stos technologiczny we wszystkich naszych pojazdach, istnieją pewne nowe rozważania specyficzne dla transportu drogowego, które musimy wziąć pod uwagę. Po pierwsze, domena jest inna: w porównaniu z samochodami osobowymi, ciężarówki spędzają znacznie więcej czasu na autostradach, które są środowiskami o wyższych prędkościach. Ze względu na znacznie większą masę, ciężarówki są wolniejsze w przyspieszaniu i hamowaniu niż samochody, co oznacza, że Waymo Driver musi postrzegać rzeczy z bardzo dużej odległości. Ponadto, konstrukcja autostrady używa innych znaków i oznaczeń i może nawet obejmować przejścia średnie na “złą” stronę drogi; istnieją przepisy drogowe, takie jak zmiana pasa ruchu dla pojazdów zatrzymanych na poboczu; i może być wiele pasów zatłoczonego ruchu do nawigacji. Potencjalnie większy punkt ślepy spowodowany przez przyczepę jest kolejnym wyzwaniem, które musimy pokonać.

Waymo niedawno rozpoczęło testowanie floty ciężarówek bez kierowcy w Teksasie z przeszkolonymi kierowcami na pokładzie. W tym momencie, co Waymo chce się nauczyć z tych testów?

Nasze ciężarówki testowane są w obszarach, w których operujemy (AZ / CA / TX / NM), aby uzyskać znaczące doświadczenie i dane we wszystkich różnych sytuacjach, które możemy napotkać podczas jazdy na autostradzie. Ten proces ćwiczy nasze oprogramowanie i sprzęt, pozwalając nam nauczyć się, jak możemy kontynuować udoskonalanie i adaptację naszego Waymo Driver do domeny transportu drogowego.

Patrząc na Teksas konkretnie: Dallas i Houston są znane jako część największych węzłów transportowych w USA. Działając w tym środowisku, możemy przetestować naszego Waymo Driver na bardzo gęstych autostradach i trasach dostawczych, lepiej zrozumieć, jak inni kierowcy ciężarówek i samochodów osobowych zachowują się na tych trasach, i kontynuować doskonalenie sposobu, w jaki nasz Waymo Driver reaguje i odpowiada w tych zajętych obszarach ruchu. Ponadto, umożliwia nam to również przetestowanie w miejscu z unikalnymi warunkami pogodowymi, co pomoże nam rozwinąć nasze możliwości w tym obszarze.

Czy możesz omówić Waymo Open Dataset, który zawiera dane sensoryczne i danych z etykietami, oraz korzyści dla Waymo z udostępnienia tego cennego zestawu danych?

W Waymo zajmujemy się niektórymi z najtrudniejszych problemów, które istnieją w uczeniu maszynowym. Aby pomóc społeczności badawczej w osiągnięciu postępów w percepcji maszynowej i technologiach jazdy autonomicznej, udostępniliśmy Waymo Open Dataset, który jest jednym z największych i najbardziej zróżnicowanych publicznie dostępnych, w pełni autonomicznych zestawów danych. Dostępny bezpłatnie dla badaczy na waymo.com/open, zestaw danych składa się z 1950 segmentów danych sensorycznych o wysokiej rozdzielczości i obejmuje szeroki zakres środowisk, od gęstych centrów miejskich po krajobrazy podmiejskie, a także dane zebrane podczas dnia i nocy, o świcie i zmierzchu, w słońcu i deszczu. W marcu 2020 roku uruchomiliśmy również wyzwania Waymo Open Dataset, aby dać społeczności badawczej możliwość przetestowania swojej wiedzy i zobaczenia, co robią inni.

Twoim zdaniem, jak długo potrwa, zanim branża osiągnie prawdziwą autonomię poziomu 5?

Pracujemy nad tym przez ponad dziesięć lat i mamy korzyść z tego doświadczenia, aby wiedzieć, że ta technologia przyjdzie na świat stopniowo. Technologia jazdy autonomicznej jest tak złożona i doszliśmy do tego, gdzie jesteśmy dzisiaj, dzięki postępom w wielu dziedzinach, od sensoryki sprzętowej do uczenia maszynowego. Dlatego też przyjęliśmy stopniowe podejście do wprowadzenia tej technologii na świat. Uważamy, że jest to najbezpieczniejszy i najbardziej odpowiedzialny sposób, i słyszeliśmy od naszych pasażerów i partnerów, że doceniają to przemyślane i stopniowe podejście, które przyjmujemy do bezpiecznego wdrożenia tej technologii w ich społecznościach.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Waymo Via.