Andrew Stein, Insinyur Perangkat Lunak Waymo – Seri Wawancara

Andrew Stein adalah Insinyur Perangkat Lunak yang memimpin tim persepsi untuk Waymo Via, upaya pengiriman otonom Waymo. Waymo adalah perusahaan pengembangan teknologi mengemudi otonom yang merupakan anak perusahaan Alphabet (GOOG ) (GOOGL ) Inc, perusahaan induk Google.

Apa yang awalnya menarik Anda ke AI dan robotika?

Saya selalu menyukai membuat sesuatu yang “melakukan sesuatu” sejak saya sangat muda. Seni dan kerajinan bisa menyenangkan, tetapi passion saya terbesar adalah bekerja pada kreasi yang juga fungsional dalam beberapa cara. Bagian favorit saya dari Mister Rogers’ Neighborhood adalah footage dari sabuk pengaman dan aktuator di pabrik otomatis, melihat botol dan produk lainnya diisi atau dirakit, diberi label, dan diangkut. Saya adalah penggemar besar Lego dan mainan bangunan lainnya. Kemudian, berkat beberapa kesuksesan dalam kompetisi Desain Berbantu Komputer (CAD) melalui Asosiasi Siswa Teknologi di sekolah menengah dan sekolah tinggi, saya akhirnya mendapatkan pekerjaan setelah sekolah melakukan CAD untuk sebuah perusahaan startup kecil, Clipper Manufacturing. Di sana, saya merancang tata letak pabrik untuk sorter robotik besar dan peralatan konveyor terkait untuk mencuci dan mengatur seragam gantung untuk industri pakaian ritel. Dari sana, saya pergi ke Georgia Tech untuk belajar di bidang teknik elektro, di mana saya berpartisipasi dalam Klub Robotika IEEE dan mengambil beberapa kelas dalam Penglihatan Komputer. Itu akhirnya membawa saya ke Institut Robotika di Carnegie Mellon University untuk gelar PhD saya. Banyak rekan mahasiswa pasca sarjana saya dari CMU telah menjadi rekan kerja dekat sejak itu, baik di Anki dan sekarang di Waymo.

Sebelumnya Anda bekerja sebagai insinyur utama di Anki, sebuah startup robotika. Apa beberapa proyek yang Anda miliki kesempatan untuk bekerja di Anki?

Saya adalah karyawan penuh waktu pertama di proyek Cozmo di Anki, di mana saya memiliki kehormatan memulai repositori kode dari awal dan melihat produk tersebut hingga lebih dari satu juta robot yang mirip dengan kehidupan yang dikirim ke rumah-rumah orang. Pekerjaan itu berubah menjadi produk kami berikutnya, Vector, yang merupakan versi lain, lebih maju dan mandiri dari Cozmo. Saya bekerja pada banyak bagian dari produk tersebut, tetapi terutama bertanggung jawab atas penglihatan komputer untuk deteksi wajah, pengenalan wajah, estimasi pose 3D, lokalasi, dan aspek persepsi lainnya. Saya juga memindahkan TensorFlow Lite untuk berjalan di sistem operasi terbenam Vector dan membantu mengirimkan model pembelajaran dalam untuk berjalan di atas robot untuk deteksi tangan dan orang.

Saya juga membangun sistem rendering mata Cozmo dan Vector, yang memberi saya kesempatan untuk bekerja sangat dekat dengan tim animasi yang sangat berbakat dan kreatif dari Anki, yang juga sangat menyenangkan.

Pada 2019, Waymo merekrut Anda dan dua belas ahli robotika lain dari Anki untuk menyesuaikan teknologi mengemudi otonomnya dengan platform lain, termasuk truk komersial. Apa reaksi awal Anda terhadap prospek bekerja di Waymo?

Saya mengenal banyak insinyur saat ini dan sebelumnya di Waymo dan tentu saja menyadari reputasi perusahaan sebagai pemimpin di bidang kendaraan otonom. Saya sangat menikmati kreativitas bekerja pada mainan dan produk pendidikan untuk anak-anak di Anki, tetapi saya juga bersemangat untuk bergabung dengan perusahaan yang lebih besar yang bekerja di ruang yang sangat berdampak bagi masyarakat, untuk melihat bagaimana pengembangan perangkat lunak dan keamanan dilakukan pada skala organisasi dan tingkat kompleksitas teknis ini.

Apakah Anda bisa membahas apa yang menjadi hari kerja di Waymo bagi Anda?

Sebagian besar peran saya saat ini berfokus pada memimpin dan mengembangkan tim saya saat kami mengidentifikasi dan memecahkan tantangan khusus truk dalam kolaborasi erat dengan tim teknik lainnya di Waymo. Itu berarti hari-hari saya dihabiskan untuk bertemu dengan tim saya, pemimpin teknis lainnya, dan manajer produk dan program saat kami merencanakan pendekatan teknis dan organisasi untuk mengembangkan dan mengirimkan sistem mengemudi otonom kami, yang disebut Waymo Driver, dan memperluas kemampuannya ke armada truk yang berkembang. Selain itu, karena kami secara aktif merekrut, saya juga menghabiskan waktu yang cukup untuk mewawancarai kandidat.

Apa beberapa tantangan unik penglihatan komputer dan AI yang dihadapi dengan truk otonom dibandingkan dengan kendaraan otonom?

Meskipun kami menggunakan tumpukan teknologi inti yang sama di semua kendaraan kami, ada beberapa pertimbangan baru yang spesifik untuk truk yang harus kami pertimbangkan. Pertama dan terutama, domainnya berbeda: dibandingkan dengan mobil penumpang, truk menghabiskan lebih banyak waktu di jalan tol, yang merupakan lingkungan kecepatan tinggi. Karena massa yang jauh lebih besar, truk lebih lambat untuk percepatan dan pengereman daripada mobil, yang berarti Waymo Driver perlu memahami hal-hal dari jarak yang sangat jauh. Selain itu, konstruksi jalan tol menggunakan penanda dan tanda yang berbeda dan bahkan dapat melibatkan persimpangan median ke “sisi yang salah” dari jalan; ada hukum jalan tol khusus seperti pindah ke kiri untuk kendaraan yang berhenti di bahu; dan ada banyak jalur lalu lintas yang padat untuk dinavigasi. Memiliki bunga buta yang potensial lebih besar yang disebabkan oleh trailer adalah tantangan lain yang harus kami atasi.

Waymo baru-baru ini mulai menguji armada truk berat otonom di Texas dengan pengemudi terlatih di dalamnya. Pada titik ini, apa yang diharapkan Waymo pelajari dari pengujian ini?

Kendaraan truk kami diuji di daerah di mana kami beroperasi (AZ / CA / TX / NM) untuk mendapatkan pengalaman dan data yang bermakna dalam semua situasi yang mungkin kami temui saat mengemudi di jalan tol. Proses ini melatih perangkat lunak dan perangkat keras kami, memungkinkan kami untuk memahami bagaimana kami dapat terus memperbaiki dan menyesuaikan Waymo Driver kami untuk domain truk.

Melihat Texas secara khusus: Dallas dan Houston dikenal sebagai bagian dari pusat pengiriman terbesar di AS. Beroperasi di lingkungan tersebut, kami dapat menguji Waymo Driver kami di jalan raya yang sangat padat dan jalur pengiriman, lebih memahami bagaimana pengemudi truk dan mobil penumpang lainnya berperilaku di rute tersebut, dan terus memperbaiki cara Waymo Driver kami bereaksi dan merespons di wilayah mengemudi yang sibuk ini. Selain itu, ini juga memungkinkan kami untuk menguji di tempat dengan kondisi cuaca unik yang dapat membantu kami mengembangkan kemampuan kami di area tersebut.

Apakah Anda bisa membahas Waymo Open Dataset yang mencakup data sensor dan data yang diberi label, serta manfaat bagi Waymo untuk membagikan dataset yang sangat berharga ini?

Di Waymo, kami menangani beberapa masalah terberat yang ada dalam pembelajaran mesin. Untuk membantu komunitas penelitian dalam membuat kemajuan dalam persepsi mesin dan teknologi mengemudi otonom, kami telah merilis Waymo Open Dataset, yang merupakan salah satu dataset mengemudi otonom paling lengkap dan beragam yang tersedia secara publik. Tersedia secara gratis untuk peneliti di waymo.com/open, dataset ini terdiri dari 1.950 segmen data sensor resolusi tinggi dan mencakup berbagai lingkungan, dari pusat kota yang padat hingga lanskap suburban, serta data yang dikumpulkan selama siang dan malam, pada pagi dan senja, dalam sinar matahari dan hujan. Pada Maret 2020, kami juga meluncurkan Waymo Open Dataset Challenges untuk memberikan komunitas penelitian cara untuk menguji keahlian mereka dan melihat apa yang dilakukan orang lain.

Menurut pendapat pribadi Anda, berapa lama waktu yang dibutuhkan industri untuk mencapai tingkat otonomi yang sebenarnya?

Kami telah mengerjakan ini selama lebih dari sepuluh tahun sekarang dan jadi kami memiliki keuntungan dari pengalaman itu untuk tahu bahwa teknologi ini akan datang ke dunia langkah demi langkah. Teknologi mengemudi otonom sangat kompleks dan kami telah mencapai titik ini hari ini karena kemajuan di banyak bidang, dari penginderaan perangkat keras hingga pembelajaran mesin. Itulah mengapa kami telah mengambil pendekatan bertahap untuk memperkenalkan teknologi ini ke dunia. Kami percaya itu adalah cara yang paling aman dan bertanggung jawab untuk melakukannya, dan kami juga telah mendengar dari penumpang dan mitra kami bahwa mereka menghargai pendekatan yang hati-hati dan terukur ini yang kami ambil untuk mengirimkan teknologi ini dengan aman di komunitas mereka.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Waymo Via.