Gil Elbaz, Co-founder & CTO of Datagen – Interview Series

Gil Elbaz adalah CTO dan Co-founder Datagen, berbasis di Tel Aviv. Ia menerima gelar B.Sc dan M.Sc dari Technion. Penelitian tesis Gil berfokus pada 3D Computer Vision dan telah dipublikasikan di CVPR, konferensi penelitian computer vision terkemuka di dunia. Datagen adalah pelopor di bidang baru Simulated Data, subset dari synthetic data, yang berkonsentrasi pada merekam ulang dunia di sekitar kita dengan foto-realistik. Perusahaan ini diluncurkan dari stealth dengan lebih dari $18M dalam pendanaan pada Maret 2021 dan sekarang bekerja dengan sejumlah perusahaan Fortune 100 di augmented/virtual reality, robotika, dan otomotif, termasuk sebagian besar raksasa teknologi terkemuka di AS.

Apa yang awalnya menarik Anda ke robotika dan machine learning?

Buku-buku Sci-Fi, seperti seri Foundation karya Isaac Asimov dan iRobot selalu membuat saya berpikir tentang masa depan di mana robot merupakan bagian integral dari kehidupan sehari-hari kita. Ada banyak tugas yang membosankan dan berulang yang dilakukan orang; saya tahu bahwa saya tidak ingin melakukannya, dan saya tidak bisa membayangkan orang lain ingin melakukannya. Mengingat robotika adalah kemajuan teknologi yang tak terhindarkan, saya pikir bahwa pergi ke arah itu akan menjadi keputusan karir yang cerdas dan “tahan lama”.

Jadi, saya awalnya mendekati bidang ini dengan fokus pada aspek fisik subjek, dan mendapatkan gelar saya di Teknik Mesin dari Technion di Haifa, Israel. Menuju akhir gelar saya, saya mulai menyelami dunia alat CAD dan kemampuan. Ini adalah alat yang memungkinkan insinyur mesin merancang struktur dan perangkat mesin (apa pun dari jembatan hingga mobil). Saya melihat kesempatan besar untuk membuat dampak besar tanpa harus berurusan dengan iterasi lambat dunia fisik. Dalam prakteknya, program-program ini memiliki kemampuan machine learning / computer vision yang sangat terbatas, jika ada, yang membantu insinyur menciptakan sistem mesin yang lebih sederhana, lebih murah, dan lebih stabil (ini sekitar tahun 2015). Saya memulai dalam arah Computer Vision pada data 3D dengan deep learning (sangat baru pada saat itu) dengan tujuan membuat program CAD yang lebih pintar. Bekerja di hari-hari awal deep learning modern, terasa seperti menjadi bagian dari sesuatu yang bisa sangat besar — seperti internet.

Dalam prakteknya, penelitian saya adalah yang pertama membawa revolusi Deep Learning ke fakultas kami di Technion. Ini kemudian berubah menjadi makalah yang diterima di konferensi Computer Vision terkemuka di dunia, CVPR, dan saya terbang ke Hawaii di CVPR 2017. Presentasi makalah saya dan bertemu dengan orang-orang tersebut benar-benar membuka mata saya tentang skala komunitas computer vision (yang sekarang setidaknya 10 kali lebih besar), ribuan peserta yang semua bekerja dengan giat pada penelitian di bidang tersebut. Acara itu hampir memastikan arah saya, menunjukkan kekuatan computer vision dan potensi yang menunggu untuk dibuka.

Apakah Anda bisa berbagi cerita asal-usul di balik Datagen?

Datagen didirikan pada tahun 2018 dengan misi untuk mengubah cara tim mendapatkan data untuk pelatihan jaringan computer vision. Tahun sebelumnya, kami melihat demo Oculus Rift, yang terdiri dari headset VR dan perangkat remote control tangan. Setelah demo, kami menemukan diri kami bertanya-tanya, “dengan kamera canggih yang tertanam di headset, mengapa perangkat tangan diperlukan untuk menghubungkan ruang virtual ke ruang fisik (yaitu melacak gerakan tangan)?” Jaringan neural sudah cukup canggih untuk menanganinya, jadi apa masalahnya?” Dan itu saat lampu menyala — Data! Kami segera melihat kesempatan besar untuk memecahkan tantangan kehadiran spasial 3D menggunakan computer vision dan metadata 3D yang canggih. Daripada fokus hanya pada VR/AR, kami mengambil pendekatan yang lebih holistik, berkonsentrasi pada masalah yang tampaknya tidak terpecahkan untuk menghasilkan data pelatihan yang cukup (dan akurat) untuk memungkinkan aplikasi AI 3D dunia nyata.

Dengan fokus pada manusia dan interaksi manusia dengan lingkungan, Datagen adalah pelopor di bidang baru Simulated Data, subset dari synthetic data, yang berkonsentrasi pada merekam ulang dunia di sekitar kita dengan foto-realistik. Hari ini, kami bekerja dengan perusahaan paling inovatif di dunia untuk mempercepat dan mengakselerasi pengembangan computer vision mereka dan didukung oleh beberapa investor paling dihormati di ruang ini.

Bagi pembaca yang tidak familiar, apakah Anda bisa menjelaskan apa itu synthetic data?

Synthetic data adalah data pelatihan yang – bukan dikumpulkan melalui pengukuran langsung atau observasi dunia nyata – dihasilkan melalui algoritma atau simulasi. Dalam konteks computer vision, synthetic data adalah gambar komputer yang dihasilkan dengan metadata yang diperlukan untuk melatih kecerdasan buatan. Dengan masalah privasi, dan keterbatasan fisik dan ekonomi yang sangat nyata dari data gambar dunia nyata, sulit untuk melebih-lebihkan pentingnya synthetic data bagi machine learning dan AI. Dalam laporan terbaru, Gartner memprediksi bahwa, pada tahun 2024, sebagian besar data yang digunakan dalam bidang AI akan dihasilkan secara sintetis untuk alasan tersebut.

Apa saja manfaat dari synthetic data dibandingkan dengan pengumpulan data manual?

Jawaban singkatnya adalah, pikirkan setiap aspek pengumpulan data manual yang tidak diinginkan dan hapus dari proses — itu adalah manfaat dari synthetic data.

Menghasilkan dataset yang beragam dalam skala besar untuk pelatihan computer vision adalah proses yang mahal, memakan waktu, dan variannya sangat terbatas oleh kenyataan bahwa menempatkan manusia di lokasi tertentu dan memotret mereka adalah proses yang rumit — jauh lebih rumit dan mahal daripada melakukannya di lingkungan simulasi. Manfaat lainnya adalah menghilangkan kebutuhan akan anotasi manual, yang membosankan, memakan waktu, dan rentan terhadap kesalahan manusia.

Datagen mengacu pada simulated data sebagai subset dari synthetic data. Apakah Anda bisa menjelaskan apa itu simulated data?

Simulated data adalah synthetic data yang dihasilkan melalui simulasi. Kami menggunakan GANs (serta beberapa metode machine learning canggih lainnya) untuk menghasilkan objek 3-D dan meletakkannya dalam simulasi 3-D yang sangat realistis dari dunia nyata. Apa yang terlihat seperti itu adalah proses “pemotretan virtual” dari sudut pandang pertama, tetapi beroperasi dalam sistem yang realistis dan berbasis fisika. Simulasi ini menghasilkan data visual (seolah-olah dikumpulkan di dunia nyata), bersama dengan berbagai anotasi (fisika, pencahayaan, dll.). Jadi, Simulated Data adalah synthetic data yang foto-realistik, kontekstual, dan citra 3-D yang dihasilkan dalam lingkungan simulasi.

Bagaimana Datagen menghasilkan simulated data yang disesuaikan?

Teknologi Datagen menghasilkan simulated data yang skalabel dan disesuaikan untuk memenuhi kebutuhan unik setiap pelanggan. Kami melakukan ini dengan mempertimbangkan setiap aspek setiap proyek — dari sistem computer vision yang digunakan hingga komposisi demografi wilayah di mana akan dioperasikan. Apakah bekerja langsung dengan pelanggan kami, atau hanya memungkinkan insinyur mereka, proses Datagen dimulai dengan menetapkan parameter kunci untuk setiap kasus penggunaan yang spesifik, seperti spesifikasi lensa, pencahayaan, lingkungan, distribusi demografi, dan sebagainya. Datagen menggunakan GANs dan alat serta teknik canggih lainnya untuk menghasilkan berbagai aset, termasuk segala sesuatu dari kepala manusia dengan ekspresi wajah dinamis untuk melatih AI dalam analisis emosi, hingga interior kendaraan untuk pemantauan penumpang dalam kabin, dan lingkungan rumah untuk aplikasi konferensi video, hanya untuk menyebutkan beberapa. Untuk setiap jenis aset, Datagen memperkenalkan varians di sepanjang sumbu diskrit yang tak terhitung (dari warna kulit dan tinggi alis, hingga ukuran, warna, dan bentuk perabotan rumah), menggunakan parameter yang disesuaikan dengan baik untuk mencerminkan aplikasi yang spesifik.

Berkat kemampuan ini, dataset Datagen tidak hanya besar dan sangat bervariasi, tetapi juga dioptimalkan untuk tujuan melatih sistem unik untuk melakukan tugas unik (atau set tugas) di lingkungan atau pengaturan unik di mana akan digunakan — semua tanpa mengorbankan kemampuan untuk skalabilitas. Kami juga mempertimbangkan kebutuhan anotasi/metadata yang spesifik untuk setiap aplikasi.

Apa saja contoh solusi di robotika di mana synthetic dan/atau simulated data digunakan?

Salah satu kelebihan terbesar menggunakan simulated data di robotika adalah kemampuan untuk menghasilkan gambar perangkat keras yang masih dalam pengembangan. Dengan cara ini, “otak” robot (AI) dan “tubuh” (perangkat keras) dapat dikembangkan secara paralel. Sekarang, pelatihan dapat berkembang seiring dengan perkembangan spesifikasi, bukan menunggu sampai produk akhir sepenuhnya diprototipe sebelum Anda dapat mengambil foto dan memulai pengembangan AI.

Juga, karena simulated data dihasilkan dalam konteks, Anda dapat mempertimbangkan interaksi antara robot dan lingkungannya dengan lebih mudah. Jadi, jika Anda membayangkan robot yang mengambil dan menghapus produk cacat dari jalur perakitan, simulated data akan memungkinkan Anda untuk tidak hanya menghasilkan data untuk setiap cacat fisik yang dapat dibayangkan dalam produk, tetapi juga dari perspektif robot untuk menangkap gerakan penuh lengan robot, interaksinya dengan objek yang diambil. Apa lagi, metadata 3D berarti tidak perlu lagi melakukan anotasi yang melelahkan untuk memastikan robot dapat mengidentifikasi produk, cacat, lengan, atau apa pun di dalam bidang pandangnya.

Apa saja contoh kasus penggunaan simulated data di mobil pintar?

Simulated data di pengembangan mobil pintar membuatnya jauh lebih mudah untuk mengembangkan dataset untuk model mobil tertentu saat mereka dirancang, beriterasi bersamaan dengan mobil itu sendiri saat melalui berbagai fase desain dan produksi. Dengan simulated image data, insinyur juga dapat menggunakan visi dalam kabin lebih efektif untuk mengidentifikasi pengemudi yang mengantuk atau terganggu, jika pengemudi melepas tangannya dari setir, atau berbagai kasus ujung untuk mempertimbangkan keamanan pengemudi. Ini juga memungkinkan insinyur untuk mempertimbangkan keragaman yang lebih besar dalam pengemudi dan penumpang, dan memperkenalkan varians dalam bentuk sudut gambar dan pencahayaan — semua tanpa melanggar privasi orang nyata.

Baru-baru ini, Datagen mengumumkan sejumlah besar pengangkatan baru yang menarik, apa yang ini berarti untuk masa depan perusahaan?

Penambahan baru ke dewan penasihat dan kepemimpinan eksekutif kami termasuk beberapa profesional paling brilian dan berprestasi di bidang AI dan Computer Vision. Pengetahuan, wawasan, dan pengalaman mereka akan membantu mengarahkan dan mengakselerasi pertumbuhan Datagen saat kami menavigasi industri yang masih muda dan penuh dengan peluang. Dalam bidang dengan begitu banyak ketidakpastian, tidak ada yang lebih berharga daripada pengetahuan.

Apakah ada yang lain yang Anda ingin bagikan tentang Datagen?

Berbasis di Tel Aviv, Datagen adalah bagian dari pergeseran ekonomi dan budaya yang lebih besar yang telah terjadi di Israel, dan kami bangga menjadi bagian dari itu. Dalam waktu yang singkat, Israel (Tel Aviv khususnya) telah tumbuh menjadi pusat teknologi global, dengan ekosistem startup yang berkembang dan komunitas investasi yang berenergi. Meskipun Israel sering dianggap sebagai pusat teknologi keamanan siber, AI dan teknologi data-sentris telah tumbuh secara eksponensial dalam beberapa tahun terakhir di sini. Hari ini, ada lebih dari 680 perusahaan kecerdasan buatan di Israel, yang secara kolektif telah mengumpulkan $4,5 miliar. Ledakan pertumbuhan ini selama beberapa tahun terakhir sebagian besar disebabkan oleh konsentrasi tinggi insinyur dan universitas-universitas terkemuka di dunia Israel. Lembaga-lembaga akademis ini menyediakan akses ke bakat dan pengembangan teknologi baru yang canggih di ruang ini. Dalam dua bulan terakhir, Datagen telah merekrut lebih dari 20 karyawan dan berencana untuk menambahkan anggota tim tambahan di penjualan dan pemasaran, perangkat lunak dan DevOps, dan departemen produk.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Datagen.