Ендрю Стейн, інженер-програміст Waymo – Інтерв’ю Серія

Ендрю Стейн – інженер-програміст, який очолює команду сприйняття для Waymo Via, автономних зусиль компанії Waymo з доставки. Waymo – компанія, що розробляє технології автономного руху, яка є дочірньою компанією Alphabet (GOOG ) (GOOGL ) Inc, батьківської компанії Google.

Що спочатку привернуло вашу увагу до штучного інтелекту та робототехніки?

Я завжди любив створювати речі, які “робили щось” з дуже раннього віку. Мистецтво та ремесла могли бути цікавими, але моя найбільша пристрасть була працювати над творами, які були також функціональними якимсь чином. Мої улюблені частини програми “Сусідство містера Роджерса” були кадрами конвеєрних стрічок та актуаторів на автоматизованих заводах, де бачив, як пляшки та інші продукти наповнювалися, складалися, маркувалися та транспортувалися. Я був великим шанувальником Лего та інших будівельних іграшок. Потім, завдяки успіху в конкурсах з комп’ютерного проектування (CAD) через Технологічне студентське товариство в середній та старшій школі, я отримав післяшкільну роботу з проектування для маленької стартап-компанії Clipper Manufacturing. Там я проектував заводські плани для величезного роботизованого сортувальника та пов’язаного з ним конвеєрного обладнання для прання та організації одягу для роздрібної торгівлі. Звідти я перейшов до Технологічного інституту Джорджії для вивчення електротехніки, де брав участь у клубі робототехніки IEEE та відвідував деякі курси з комп’ютерного зору. Це врешті привело мене до Інституту робототехніки в Університеті Карнегі-Меллона для отримання ступеня доктора філософії. Багато моїх колег-студентів з Університету Карнегі-Меллона стали близькими колегами з тих пір, як і в Anki, так і в Waymo.

Ви раніше працювали інженером-лідером у робототехнічному стартапі Anki. Які проекти ви мали можливість працювати над ними в Anki?

Я був першим повноцінним працівником проекту Cozmo в Anki, де мені було надано привілей створити репозиторій коду з нуля та бачити продукт до понад одного мільйона милих, схожих на живих роботів, відправлених до людей у їхні домівки. Ця робота перейшла до нашого наступного продукту, Vector, який був ще однією, більш просунутою та самодостатньою версією Cozmo. Я працював над багатьма частинами цих продуктів, але був головним чином відповідальним за комп’ютерний зір для виявлення обличчя, розпізнавання обличчя, оцінки 3D-позиції, локалізації та інших аспектів сприйняття. Я також переніс TensorFlow Lite для запуску на операційній системі Vector та допоміг розгорнути глибокі моделі навчання для запуску на борту робота для виявлення рук та людей.

Я також побудував систему візуалізації очей Cozmo та Vector, яка дала мені можливість працювати особливо близько з багатьма талановитими та креативними аніматорами Anki, що було також дуже весело.

У 2019 році Waymo прийняв вас та ще дванадцять робототехнічних експертів з Anki, щоб адаптувати свою технологію автономного руху до інших платформ, включаючи вантажівки. Яка була ваша перша реакція на перспективу роботи в Waymo?

Я знав багатьох поточних та колишніх інженерів у Waymo та, безумовно, був знайомий з репутацією компанії як лідера в галузі автономних транспортних засобів. Я дуже любив творчість роботи над іграшками та освітніми продуктами для дітей в Anki, але я також був схвильований можливістю приєднатися до великої компанії, яка працює в такому впливовому просторі для суспільства, щоб побачити, як розробка програмного забезпечення та безпека здійснюються на цьому організаційному рівні та рівні технічної складності.

Чи можете ви розповісти про свій робочий день у Waymo?

Більшість моєї ролі зараз зосереджена на керівництві та зростанні моєї команди, коли ми ідентифікуємо та вирішуємо проблеми, пов’язані з вантажівками, у тісній співпраці з іншими інженерними командами в Waymo. Це означає, що мої дні проводяться на зустрічах з моєю командою, іншими технічними керівниками та менеджерами продукту та програм, коли ми плануємо технічні та організаційні підходи для розробки та розгортання нашої системи автономного руху, званої Waymo Driver, та розширення її можливостей для нашого зростаючого флоту вантажівок. Окрім цього, оскільки ми активно приймаємо на роботу, я також витрачаю значну кількість часу на проведення інтерв’ю з кандидатами.

Які унікальні завдання комп’ютерного зору та штучного інтелекту існують для автономних вантажівок порівняно з автономними транспортними засобами?

Хоча ми використовуємо той же технологічний стек на всіх наших транспортних засобах, існують деякі нові фактори, пов’язані конкретно з вантажівками, які ми повинні враховувати. По-перше, домен відрізняється: порівняно з пасажирськими автомобілями, вантажівки проводять значно більше часу на автомагістралях, які є середовищем з вищою швидкістю. Через значно більшу масу вантажівки повільніше прискорюються та гальмують, ніж автомобілі, що означає, що Waymo Driver повинен сприймати речі з дуже великої відстані. Крім того, будівництво автомагістралей використовує інші маркери та знаки та може навіть включати перетини медіани на “неправильну” сторону дороги; існують законами, пов’язані з автомагістралями, наприклад, переміщення для транспортних засобів, що зупинилися на узбіччі; і можуть бути багато смуг забитого руху, які потрібно переміщувати. Потенційно більша сліпа зона, викликана причепом, – ще одна проблема, яку нам потрібно подолати.

Waymo нещодавно почав тестування флоту безпілотних вантажівок у Техасі з навченими водіями на борту. На цьому етапі гри які речі Waymo сподівається вивчити з цих тестів?

Наші вантажівки проходять тести в районах, де ми працюємо (Аризона / Каліфорнія / Техас / Нью-Мексико), щоб отримати значний досвід та дані у всіх різних ситуаціях, з якими ми можемо зіткнутися під час руху на автомагістралях. Цей процес тренує наше програмне забезпечення та апаратне забезпечення, що дозволяє нам вивчити, як ми можемо продовжувати покращувати та адаптувати наш Waymo Driver для домену вантажівок.

Оглядаючи Техас конкретно: Даллас і Х’юстон відомі як частина найбільших центрів фрахту в США. Працюючи в цьому середовищі, ми можемо протестувати наш Waymo Driver на густо заселених автомагістралях та лініях фрахту, краще зрозуміти, як інші водії вантажівок та пасажирських автомобілів поводяться на цих маршрутах, та продовжувати удосконалювати реакцію та відповідь нашого Waymo Driver у цих зайнятих регіонах руху. Крім того, це також дозволяє нам протестувати в місці з унікальними погодними умовами, які можуть допомогти нам просунути наші можливості в цьому напрямку.

Чи можете ви обговорити Waymo Open Dataset, який включає як дані датчиків, так і позначені дані, та переваги для Waymo з分享ння цього цінного набору даних?

У Waymo ми займаємося деякими з найскладніших завдань, які існують у машинному навчанні. Щоб допомогти дослідницькій спільноті зробити прорив у машинному сприйнятті та технології автономного руху, ми випустили Waymo Open Dataset, який є одним з найбільших та найрізноманітніших публічно доступних наборів даних для повністю автономного руху. Доступний безкоштовно для дослідників на waymo.com/open, набір даних складається з 1 950 сегментів високорозрібної даних датчиків та охоплює широкий спектр середовищ, від густонаселених міських центрів до приміських ландшафтів, а також дані, зібрані під час дня та ночі, на світанку та заході сонця, у сонячну та дощову погоду. У березні 2020 року ми також запустили Waymo Open Dataset Challenges, щоб надати дослідницькій спільноті можливість протестувати свою експертизу та побачити, що роблять інші.

На вашу особисту думку, як довго буде тривати досягнення справжньої автономності рівня 5?

Ми працюємо над цим уже понад десять років, тому ми маємо досвід, щоб знати, що ця технологія прийде до світу крок за кроком. Технологія автономного руху така складна, і ми прийшли до того, де ми зараз є, завдяки прогресу в багатьох галузях, від апаратного забезпечення до машинного навчання. Тому ми прийняли поступальний підхід до введення цієї технології у світ. Ми вважаємо, що це найбезпечніший та найвідповідальніший спосіб дій, і ми також чули від наших пасажирів та партнерів, що вони цінують цей вдумливий та вимірений підхід, який ми приймаємо до безпечного розгортання цієї технології у їхніх громадах.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Waymo Via.