Гіл Ельбаз, співзасновник та технічний директор Datagen – Серія інтерв’ю

Гіл Ельбаз є технічним директором та співзасновником Datagen, базується в Тель-Авіві. Він отримав ступінь бакалавра та магістра в Техніоні. Дисертаційна робота Гіла була зосереджена на 3D комп’ютерному баченні та була опублікована на CVPR, найвищій конференції з комп’ютерного бачення у світі. Datagen є піонером у новій галузі Симульованої Даних, підмножини синтетичних даних, яка зосереджується на фотореалістичному відтворенні світу навколо нас. Компанія вийшла зі стартапу з понад 18 мільйонами доларів фінансування у березні 2021 року та зараз працює з рядом компаній Fortune 100 у сфері доповненої/віртуальної реальності, робототехніки та автомобільної промисловості, включаючи більшість найбільших технологічних гігантів США.

Що спочатку привернуло вашу увагу до робототехніки та машинного навчання?

Книги наукової фантастики, як серія “Фонд” Айзека Азімова та “Я, робот”, завжди заставляли мене думати про майбутнє, в якому робототехніка буде невід’ємною частиною нашого щоденного життя. Є так багато нудних, повторюваних завдань, які виконують люди; я знав, що не хочу їх робити, і не міг уявити, щоб хтось інший хотів би це робити. Враховуючи, що робототехніка є технологічною неминучістю, я подумав, що рух у цьому напрямку буде розумним, “захищеним від майбутнього” кар’єрним рішенням.

Отже, спочатку я підійшов до галузі, зосередившись на фізичних аспектах предмета, і отримав ступінь у галузі механічної інженерії в Техніоні в Хайфі, Ізраїль. До кінця свого навчання я почав глибоко вивчати світ інструментів CAD та їх можливостей. Це інструменти, які дозволяють інженерам-механікам проектувати конструкції та механічні пристрої (все, від мосту до машини). Я бачив величезну можливість зробити великий вплив без пов’язаних з повільними ітераціями фізичного світу. На практиці ці програми мали дуже мало, якщо взагалі мали, можливості машинного навчання/комп’ютерного бачення, інтегровані в них, які допомогли б інженерам створювати простіші, дешевші та більш стабільні механічні системи (це було у 2015 році). Я пішов у напрямку комп’ютерного бачення на 3D-даних з глибоким навчання (що було дуже новим на той час) з метою створення розумніших програм CAD. Робота в перші дні сучасного глибокого навчання була схожа на те, що ви були частиною чогось, що міг би бути справді великим – подібно до інтернету.

На практиці моя робота була першою, яка привела революцію глибокого навчання до нашого факультету в Техніоні. Це пізніше перетворилося на статтю, прийняту до найвищої конференції з комп’ютерного бачення у світі, CVPR, і я полетів на Гавайї на CVPR 2017. Презентація моєї статті та зустріч з людьми відкрили мені очі на масштаб спільноти комп’ютерного бачення (яка сьогодні є至少 в 10 разів більша), тисячі учасників, які працюють з пасією над дослідженнями в галузі. Ця подія майже закріпила мій напрямок, показавши мені силу комп’ютерного бачення та потенціал, який чекає на розблокування.

Чи можете ви поділитися історією походження Datagen?

Datagen був заснований у 2018 році з місією перетворити спосіб, у який команди отримують дані для навчання мереж комп’ютерного бачення. Рік перед тим, ми побачили демонстрацію Oculus Rift, який складався з шолома віртуальної реальності та ручного пульта дистанційного керування. Після демонстрації ми почали задаватися питаннями: “з такими складними камерами, вбудованими в шолом, чому був потрібен ручний пристрій для підключення віртуального простору до фізичного простору (тобто для відстеження руху руки)?” Нейронні мережі вже були досить складними, щоб впоратися з цим, тому що була проблема?” І тоді у нас запалася лампочка — Дані! Ми відразу побачили величезну можливість вирішити проблеми 3D-просторової присутності за допомогою передових комп’ютерних бачень та 3D-метаданих. Замість того, щоб зосередитися лише на VR/AR, ми підійшли до цього більш цілісно, зосередившись на схоже непереможній проблемі генерації достатніх (і точних) навчальних даних для реалізації реальних 3D- застосунків штучного інтелекту.

З фокусом на людях та взаємодії людини з середовищем, Datagen є піонером у новій галузі Симульованих Даних, підмножини синтетичних даних, яка зосереджується на фотореалістичному відтворенні світу навколо нас. Сьогодні ми працюємо з найбільш інноваційними компаніями у світі, щоб прискорити та розширити їх розвиток комп’ютерного бачення, і підтримуємося деякими з найбільш шанованих інвесторів у цій сфері.

Для читачів, які незнайомі, можете ви пояснити, що саме є синтетичними даними?

Синтетичні дані — це будь-які навчальні дані, які замість збору через пряме вимірювання або спостереження реального світу генеруються алгоритмічно або за допомогою симуляції. У контексті комп’ютерного бачення синтетичні дані — це комп’ютерно-генеровані зображення з необхідними метаданими для навчання штучних інтелектів. З урахуванням питань конфіденційності та дуже реальних фізичних та економічних обмежень реальних даних, важко переоцінити значення синтетичних даних для машинного навчання та штучного інтелекту. У недавньому звіті Gartner передбачили, що до 2024 року більшість даних, використовуваних у сфері штучного інтелекту, будуть штучно генерованими з цих причин.

Які є деякі переваги синтетичних даних порівняно з ручним збором даних?

Коротка відповідь така: подумайте про кожен аспект ручного збору даних, який є нежаданим, і видаліть їх з процесу — це переваги синтетичних даних.

Генерація різноманітних наборів даних у великому масштабі для навчання комп’ютерного бачення — це дорогий, трудомісткий процес, і варіативність дуже обмежена самим фактом, що розміщення людей у певних місцях та фотографування їх — це складний процес — ще більш складний і дорогий, ніж зробити це у симульованому середовищі. Іншою великою перевагою є ефективне усунення потреби у ручній анотації, яка є нудною, трудомісткою та схильною до помилок людини.

Datagen відноситься до симульованих даних як до підмножини синтетичних даних. Чи можете ви роз’яснити, що таке симульовані дані?

Симульовані дані — це синтетичні дані, які генеруються за допомогою симуляції. Ми використовуємо GANs (а також деякі інші передові методи машинного навчання) для генерації 3D-об’єктів та розміщення їх у високореалістичних 3D-симуляціях реального світу. Це виглядає як процес “віртуальної фотозйомки” з першої особи, але працює в фотореалістичній, фізично-основаній системі. Ці симуляції генерують візуальні дані (якби вони були зібрані у реальному світі), разом з повним рядом анотацій (фізика, освітлення тощо). Отже, Симульовані Дані — це синтетичні дані, які є фотореалістичними, контекстно-генерованими, 3D-образами, зібраними у симульованому середовищі.

Як Datagen генерує симульовані дані, адаптовані до конкретних потреб?

Технологія Datagen генерує симульовані дані, які є як масштабованими, так і адаптованими до конкретних потреб кожного клієнта. Ми робимо це, враховуючи кожний аспект кожного проекту — від системи комп’ютерного бачення, яка використовується, до демографічного складу регіону, в якому вона буде працювати. Чи працюємо ми напряму з клієнтами, чи просто дозволяємо їхнім інженерам, процес Datagen починається з встановлення ключових параметрів для кожного конкретного випадку використання, таких як специфікації об’єктива, освітлення, середовище, демографічний розподіл тощо. Datagen використовує GANs та інші передові інструменти та техніки для генерації величезної різноманітності активів, включаючи все, від людських голів з динамічними виразами обличчя для навчання штучного інтелекту в аналізі емоцій, до інтер’єрів транспортних засобів для моніторингу пасажирів у кабіні, та домашніх середовищ для застосунків відеоконференцій, лише для назви декілька.

Завдяки цим можливостям, набори даних Datagen не тільки великі та різноманітні, але й оптимізовані для цілей навчання унікальної системи виконання унікальної задачі (або набору задач) у унікальному середовищі або місці, де вона буде використовуватися — все це без компромісу щодо масштабованості. Ми також враховуємо конкретні вимоги до анотації/метаданих для кожного застосування.

Які є деякі приклади рішень у робототехніці, де використовуються синтетичні та/або симульовані дані?

Однією з найбільших переваг використання симульованих даних у робототехніці є можливість генерації зображень апаратного забезпечення, яке ще знаходиться у стадії розробки. Таким чином, “мозок” робота (штучний інтелект) та “тіло” робота (апаратне забезпечення) можуть бути розроблені паралельно. Тепер навчання може розвиватися разом з еволюцією специфікацій, а не чекати, поки остаточний продукт буде повністю прототипований, перш ніж можна буде зробити фотографії та почати розробку штучного інтелекту.

Крім того, оскільки симульовані дані генеруються у контексті, ви можете легше врахувати взаємодію між роботом та його середовищем. Отже, якщо ви уявляєте собі робота, який бере та видаляє дефектні продукти з конвеєра, симульовані дані дозволять вам не тільки генерувати дані для кожного фізичного дефекту, який можна уявити, але й з перспективи робота захопити повний діапазон руху його руки, взаємодію з об’єктом, який він бере. Що більше, 3D-метадані означають, що немає потреби у ручній анотації зображень, щоб забезпечити можливість робота правильно ідентифікувати продукт, дефекти, свою руку або будь-що інше у полі зору.

Які є деякі випадки використання симульованих даних у розумних автомобілях?

Симульовані дані у розробці розумних автомобілів роблять нескладним розвиток наборів даних для конкретних моделей автомобілів, коли вони розробляються, ітеруючи разом з автомобілем самим під час різних фаз проекту. З симульованими зображеннями інженери можуть також використовувати бачення у кабіні більш ефективно для ідентифікації сонних чи відволіканих водіїв, якщо водій зняв руку з керма, або будь-яких інших крайніх випадків для забезпечення безпеки водіїв. Це також дозволяє інженерам враховувати більшу різноманітність водіїв та пасажирів та вводити варіативність у вигляді кута зображення та освітлення — все це без порушення конфіденційності реальних людей.

Нещодавно Datagen оголосив про велику кількість цікавих нових прийомів, що це означає для майбутнього компанії?

Нещодавні доповнення до нашої ради директорів та виконавчого керівництва включають деяких з найбільш талановитих та досвідчених професіоналів у сфері штучного інтелекту та комп’ютерного бачення. Їхні знання, огляд та досвід допоможуть орієнтувати та прискорити зростання Datagen, коли ми навігаємо у галузі, яка ще молода та повна можливостей. У галузі з такою кількістю невідомих нічого не є більш цінним, ніж знання.

Чи є щось інше, що ви хотіли б поділитися про Datagen?

Базуючись у Тель-Авіві, Datagen є частиною великої економічної та культурної зміни, яка відбулася в Ізраїлі, і ми пишаємося бути частиною цього. За короткий період часу Ізраїль (Тель-Авів зокрема) перетворився на великий глобальний технологічний хаб, з розвиненою екосистемою стартапів та енергійною інвестиційною спільнотою. Хоча Ізраїль часто вважається центром кібербезпеки, технології, пов’язані з штучним інтелектом та даними, виросли експоненціально за останні роки. Сьогодні в Ізраїлі існує понад 680 компаній штучного інтелекту, які разом зібрали $4,5 млрд. Цей вибуховий зростання за останні роки відбувається переважно через високу концентрацію інженерів та світовому рівню університетів Ізраїлю. Ці академічні установи забезпечують доступ до талантів та передових технологічних розробок у цій сфері. За останні два місяці Datagen прийняв на роботу понад 20 співробітників та планує прийняти додаткових членів команди у сфері продажів та маркетингу, програмного забезпечення та DevOps, а також продуктів.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Datagen.