Эндрю Стейн, Инженер-программист Waymo – Серия Интервью

Эндрю Стейн – инженер-программист, который возглавляет команду восприятия для Waymo Via, автономных усилий по доставке Waymo. Waymo – компания, занимающаяся разработкой технологий автономного вождения, являющаяся дочерней компанией Alphabet (GOOG ) (GOOGL ) Inc, материнской компании Google.

Что изначально привлекло вас к ИИ и робототехнике?

Я всегда любил создавать вещи, которые “делали что-то” с тех пор, как был очень молодым. Искусство и ремесла могли быть интересными, но моя большая страсть была работать над творениями, которые были также функциональными каким-то образом. Мои любимые части программы “Соседство мистера Роджерса” были кадрами конвейерных лент и актуаторов на автоматизированных заводах, где видел, как бутылки и другие продукты наполнялись или собирались, маркировались и транспортировались. Я был огромным поклонником Lego и других строительных игрушек. Затем, благодаря некоторым успехам в конкурсах по компьютерному проектированию (CAD) через Ассоциацию технологических студентов в средней и старшей школе, я в итоге получил послешкольную работу по CAD для крошечной стартап-компании Clipper Manufacturing. Там я проектировал заводские планировки для огромного роботизированного сортировщика и связанного с ним конвейерного оборудования для стирки и организации одежды на вешалках для розничной одежды. Оттуда я отправился в Технологический институт Джорджии, чтобы изучать электротехнику, где я участвовал в клубе робототехники IEEE и посещал некоторые курсы по компьютерному зрению. Это в конечном итоге привело меня к Роботическому институту в Университете Карнеги-Меллона для моего PhD. Многие из моих коллег-студентов из CMU были близкими коллегами с тех пор, как в Anki, так и в Waymo.

Ранее вы работали в качестве ведущего инженера в Anki, стартапе по робототехнике. Какие проекты вы имели возможность работать над в Anki?

Я был первым полноценным сотрудником проекта Cozmo в Anki, где я имел привилегию начать репозиторий кода с нуля и увидел продукт до более чем одного миллиона милых, похожих на жизнь роботов, отправленных в дома людей. Эта работа перешла в наш следующий продукт, Vector, который был другой, более продвинутой и самодостаточной версией Cozmo. Я работал над многими частями этих продуктов, но был в основном ответственным за компьютерное зрение для обнаружения лиц, распознавания лиц, оценки 3D-позы, локализации и других аспектов восприятия. Я также портировал TensorFlow Lite для запуска на встроенной ОС Vector и помог развернуть модели глубокого обучения для запуска на борту робота для обнаружения рук и людей.

Я также построил системы рендеринга глаз Cozmo и Vector, что дало мне возможность работать особенно близко с большей частью очень талантливой и креативной анимационной команды Anki, что также было очень весело.

В 2019 году Waymo нанял вас и еще 12 экспертов по робототехнике из Anki, чтобы адаптировать свою технологию автономного вождения к другим платформам, включая коммерческие грузовики. Какова была ваша первоначальная реакция на перспективу работы в Waymo?

Я знал многих текущих и бывших инженеров в Waymo и, конечно, был осведомлен о репутации компании как лидера в области автономных транспортных средств. Я очень много наслаждался творчеством работы над игрушками и образовательными продуктами для детей в Anki, но я также был взволнован присоединиться к более крупной компании, работающей в таком значимом пространстве для общества, чтобы увидеть, как разработка программного обеспечения и безопасность осуществляются на этом организационном масштабе и уровне технической сложности.

Можете ли вы рассказать о том, как проходит ваш рабочий день в Waymo?

Большая часть моей роли в настоящее время сосредоточена на руководстве и росте моей команды, когда мы выявляем и решаем проблемы, специфичные для грузоперевозок, в тесном сотрудничестве с другими инженерными командами в Waymo. Это означает, что мои дни проводятся в совещаниях с моей командой, другими техническими руководителями и менеджерами продукта и программ, когда мы планируем технические и организационные подходы к разработке и развертыванию нашей системы автономного вождения, называемой Waymo Driver, и расширению ее возможностей для нашего растущего флота грузовиков. Кроме того, учитывая, что мы активно набираем сотрудников, я также трачу значительное время на интервью с кандидатами.

Какие уникальные проблемы компьютерного зрения и ИИ существуют при работе с автономными грузовиками по сравнению с автономными транспортными средствами?

Хотя мы используем один и тот же основной технологический стек во всех наших транспортных средствах, есть некоторые новые соображения, специфичные для грузоперевозок, которые мы должны учитывать. Прежде всего, домен отличается: по сравнению с легковыми автомобилями грузовики проводят гораздо больше времени на автомагистралях, которые являются высокоскоростными средами. Из-за гораздо большей массы грузовики замедляются и тормозят медленнее, чем автомобили, что означает, что Waymo Driver должен воспринимать вещи с очень远него расстояния. Кроме того, строительство автомагистралей использует разные маркеры и знаки и может даже включать обгон на “неправильной” стороне дороги; есть автомагистральные законы, такие как обгон транспортных средств, остановившихся на обочине; и могут быть многие полосы забитого трафика, которые необходимо проехать. Потенциально больший слепой участок, вызванный прицепом, является еще одной проблемой, которую нам необходимо преодолеть.

Waymo недавно начала тестирование флота беспилотных грузовиков в Техасе с обученными водителями на борту. На этом этапе игры, что Waymo надеется узнать из этих тестов?

Наши грузовики проходят тестирование в районах, в которых мы работаем (Аризона / Калифорния / Техас / Нью-Мексико), чтобы получить значимый опыт и данные во всех различных ситуациях, с которыми мы можем столкнуться при движении по автомагистрали. Этот процесс тренирует наше программное и аппаратное обеспечение, позволяя нам узнать, как мы можем продолжать улучшать и адаптировать наш Waymo Driver для домена грузоперевозок.

Смотрите на Техас в частности: Даллас и Хьюстон известны как часть крупнейших грузовых хабов в США. Работая в этой среде, мы можем протестировать наш Waymo Driver на высоко плотных автомагистралях и маршрутах отправителей, лучше понять, как другие водители грузовиков и легковых автомобилей ведут себя на этих маршрутах, и продолжить совершенствовать реакцию и ответ нашего Waymo Driver в этих загруженных регионах вождения. Кроме того, это также позволяет нам протестировать в месте с уникальными погодными условиями, которые могут помочь нам продвинуть наши возможности в этой области.

Можете ли вы обсудить Waymo Open Dataset, который включает в себя как данные датчиков, так и помеченные данные, и выгоды для Waymo от обмена этим ценным набором данных?

В Waymo мы решаем некоторые из самых сложных проблем, которые существуют в машинном обучении. Чтобы помочь исследовательскому сообществу в достижении прогресса в машинном восприятии и технологии автономного вождения, мы выпустили Waymo Open Dataset, который является одним из крупнейших и наиболее разнообразных публично доступных полностью автономных наборов данных. Доступно бесплатно для исследователей на waymo.com/open, набор данных состоит из 1950 сегментов высокоразрешающих данных датчиков и охватывает широкий спектр сред, от густых городских центров до пригородных ландшафтов, а также данные, собранные днем и ночью, на рассвете и закате, в солнечную и дождливую погоду. В марте 2020 года мы также запустили вызовы Waymo Open Dataset, чтобы предоставить исследовательскому сообществу способ проверить свои знания и увидеть, что делают другие.

По вашему личному мнению, как долго будет длиться достижение истинного уровня 5 автономии?

Мы работаем над этим более десяти лет, и поэтому мы имеем преимущество этого опыта, чтобы знать, что эта технология придет в мир шаг за шагом. Технология автономного вождения так сложна, и мы достигли того, где мы сейчас, благодаря достижениям в стольких областях, от аппаратного обеспечения датчиков до машинного обучения. Вот почему мы принимаем постепенный подход к введению этой технологии в мир. Мы считаем, что это самый безопасный и ответственный способ действий, и мы также услышали от наших пассажиров и партнеров, что они ценят этот вдумчивый и взвешенный подход, который мы применяем к безопасному развертыванию этой технологии в их сообществах.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Waymo Via.