Andrew Stein, softwarový inženýr Waymo – Interview Series

Andrew Stein je softwarový inženýr, který vede týmem vnímání pro Waymo Via, autonomní doručovací úsilí Waymo. Waymo je společnost pro vývoj autonomní jízdy, která je dceřinou společností Alphabet (GOOG ) (GOOGL ) Inc, mateřskou společností Google.

Co vás původně přitáhlo k umělé inteligenci a robotice?

Vždy jsem se líbil vytvářet věci, které “dělaly něco” už od velmi mladého věku. Umění a řemesla mohla být zábavná, ale moje největší vášeň byla pracovat na tvorbách, které byly také funkční nějakým způsobem. Moje nejoblíbenější části Mister Rogers’ Neighborhood byly záběry z dopravních pásů a aktuatorů v automatizovaných továrnách, kde se láhve a další produkty plnily nebo sestavovaly, označovaly a dopravovaly. Byl jsem obrovským fanouškem Lego a dalších stavebních hraček. Poté, díky úspěchu v soutěžích Computer Aided Design (CAD) prostřednictvím Technology Student Association na střední a vysoké škole, jsem skončil s prací na CAD pro malou startup společnost, Clipper Manufacturing. Tam jsem navrhoval tovární layouty pro obrovský robotický sorter a související dopravní zařízení pro praní a organizování oblečení na ramínkách pro maloobchodní oděvní průmysl. Odtud to bylo na Georgia Tech studovat elektrotechniku, kde jsem se zúčastnil IEEE Robotics Club a absolvoval einige třídy v Computer Vision. Ty mě nakonec vedly na Robotics Institute at Carnegie Mellon University pro můj PhD. Mnozí z mých kolegů z CMU jsou od té doby blízkými kolegy, jak na Anki, tak na Waymo.

Předtím jste pracoval jako hlavní inženýr v Anki, startupu pro robotiku. Na jakých projektech jste měl možnost pracovat na Anki?

Byl jsem prvním plnohodnotným zaměstnancem projektu Cozmo na Anki, kde jsem měl tu čest zahájit repozitář kódu od začátku a viděl produkt až do více než milionu roztomilých, životných robotů dodaných do domácností lidí. Ta práce přešla do našeho dalšího produktu, Vector, který byl další, pokročilejší a samostatnější verzí Cozma. Pracoval jsem na mnoha částech těchto produktů, ale byl jsem primárně zodpovědný za počítačové vidění pro detekci obličeje, rozpoznání obličeje, 3D odhad polohy, lokalizaci a další aspekty vnímání. Také jsem portoval TensorFlow Lite pro běh na Vectorově vestavěném operačním systému a pomohl nasadit hluboké učení modely pro běh na robota pro detekci ruky a osoby.

Také jsem postavil systém renderování očí pro Cozma a Vectora, který mi dal šanci pracovat besonders úzce s mnoha talentovanými a kreativními animačními týmy Anki, což byla také spousta zábavy.

V roce 2019 Waymo najal vás a dalších dvanáct expertů na robotiku z Anki, aby přizpůsobili svou technologii samořídících vozidel pro další platformy, včetně nákladních vozidel. Jaká byla vaše prvotní reakce na možnost pracovat na Waymo?

ZNal jsem mnoho současných a bývalých inženýrů na Waymo a samozřejmě jsem byl vědom pověsti společnosti jako lídra v oblasti autonomních vozidel. Velmi jsem si užíval kreativitu práce na hračkách a vzdělávacích produktech pro děti na Anki, ale také jsem byl nadšený připojit se k větší společnosti pracující v takovém dopadovém prostoru pro společnost, vidět, jak se softwarový vývoj a bezpečnost dělají na této organizační úrovni a technické složitosti.

Můžete diskutovat, jaký je váš typický den na Waymo?

Velká část mé role je目前 zaměřena na vedení a růst mého týmu, zatímco identifikujeme a řešíme výzvy specifické pro nákladní vozy v blízké spolupráci s jinými inženýrskými týmy na Waymo. To znamená, že můj den je stráven setkáním se svým týmem, dalšími technickými lídry a produktovými a programovými manažery, zatímco plánujeme technické a organizační přístupy k vývoji a nasazení našeho samořídícího systému, nazvaného Waymo Driver, a rozšíření jeho schopností na naší rostoucí flotile nákladních vozidel. Kromě toho, protože aktivně náborujeme, také trávím značnou dobu pohovory s kandidáty.

Jaké jsou některé jedinečné výzvy počítačového vidění a umělé inteligence, kterým čelí autonomní nákladní vozy ve srovnání s autonomními vozidly?

Zatímco využíváme stejnou základní technologickou sadu napříč všemi našimi vozidly, existují některé nové úvahy specifické pro nákladní vozy, které musíme vzít v úvahu. Především je doména jiná: ve srovnání s cestovními vozy stráví nákladní vozy mnohem více času na dálnicích, které jsou vyššími rychlostními prostředími. Díky mnohem větší hmotnosti jsou nákladní vozy pomalejší při zrychlování a brzdění než vozy, což znamená, že Waymo Driver musí vnímat věci z velmi velké vzdálenosti. Kromě toho je freeway construction používá různé značky a značení a může dokonce zahrnovat median crossovers na “špatnou” stranu silnice; existují freeway-specifické zákony, jako je přesunutí se pro vozidla zastavující se na ramenech; a může být mnoho jízdních pruhů, které je třeba navigovat. Potenciálně větší slepá skvrna způsobená přívěsem je další výzvou, kterou musíme překonat.

Waymo nedávno začal testovat flotilu samořídících nákladních vozidel v Texasu s cvičenými řidiči na palubě. V této fázi hry, co jsou některé věci, které Waymo doufá, že se dozví z těchto testů?

Naše nákladní vozy testují v oblastech, ve kterých operujeme (AZ / CA / TX / NM), aby získaly smysluplné zkušenosti a data ve všech různých typech situací, se kterými se můžeme setkat při jízdě na dálnici. Tento proces cvičí naše software a hardware, což nám umožňuje dozvědět se, jak můžeme pokračovat v zlepšování a přizpůsobování našeho Waymo Driver pro nákladní vozidla.

Pohled na Texas konkrétně: Dallas a Houston jsou známy jako součást největších nákladních center v USA. Provoz v tomto prostředí, můžeme otestovat našeho Waymo Drivera na vysoce hustých dálnicích a lodních lanech, dále pochopit, jak se ostatní řidiči nákladních vozidel a cestujících chovají na těchto trasách, a pokračovat v jemném ladění našeho Waymo Drivera, aby reagoval a odpovídal v těchto rušných jízdních oblastech. Kromě toho to také umožňuje testovat v místě s jedinečnými povětrnostními podmínkami, které mohou pomoci našim schopnostem v této oblasti.

Můžete diskutovat o Waymo Open Dataset, který zahrnuje jak senzorová data, tak označená data, a výhody pro Waymo při sdílení tohoto cenného datasetu?

Na Waymo řešíme některé z nejtěžších problémů, které existují v oblasti strojového učení. Abychom pomohli výzkumné komunitě dosáhnout pokroku v oblasti strojového vnímání a samořídících vozidel, jsme vydali Waymo Open Dataset, který je jedním z největších a nejrozmanitějších veřejně dostupných plně samořídících datasetů. K dispozici zdarma pro výzkumníky na waymo.com/open, dataset se skládá z 1 950 segmentů high-resolution senzorových dat a pokrývá širokou škálu prostředí, od hustých městských center po předměstské krajiny, stejně jako data shromážděná během dne a noci, na úsvitu a soumraku, ve slunečním světle a dešti. V březnu 2020 jsme také spustili Waymo Open Dataset Challenges, aby poskytli výzkumné komunitě způsob, jak otestovat své znalosti a vidět, co dělají ostatní.

Vaším osobním názorem, jak dlouho bude trvat, než průmysl dosáhne skutečné úrovně 5 autonomie?

Pracujeme na tom již více než deset let a máme tu výhodu této zkušenosti, abychom věděli, že tato technologie přijdou do světa krok za krokem. Technologie samořídících vozidel je tak složitá a jsme se dostali tam, kde jsme dnes, díky pokrokům v mnoha oblastech od senzorů v hardwaru po strojové učení. Proto jsme postupovali постепým přístupem k zavedení této technologie do světa. Věříme, že je to nejbezpečnější a nejzodpovědnější způsob, jak jít, a také jsme slyšeli od našich cestujících a partnerů, že oceňují tento uvážlivý a měřený přístup, který přijímáme k bezpečnému nasazení této technologie v jejich komunitách.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Waymo Via.