Gil Elbaz, co-fondateur et CTO de Datagen – Série d’entretiens

Gil Elbaz est le CTO et co-fondateur de Datagen, basé à Tel Aviv. Il a obtenu son B.Sc et son M.Sc à l’Institut de technologie de Haifa. Les recherches de thèse de Gil portaient sur la vision par ordinateur 3D et ont été publiées à CVPR, la principale conférence de recherche en vision par ordinateur au monde. Datagen est un pionnier dans le nouveau domaine des données simulées, un sous-ensemble de données synthétiques, qui se concentre sur la recréation photo-réaliste du monde qui nous entoure. L’entreprise a lancé son activité avec plus de 18 millions de dollars de financement en mars 2021 et travaille désormais avec un certain nombre de sociétés du Fortune 100 dans les domaines de la réalité augmentée/virtuelle, de la robotique et de l’automobile, y compris la majorité des géants de la technologie américains.

Qu’est-ce qui vous a initialement attiré vers la robotique et l’apprentissage automatique ?

Les livres de science-fiction, comme la série Fondation d’Isaac Asimov et iRobot, m’ont toujours fait réfléchir à un avenir où les robots faisaient partie intégrante de notre vie quotidienne. Il y a tellement de tâches ennuyeuses et répétitives que les gens effectuent ; je savais que je ne voulais pas les faire, et je ne pouvais pas imaginer que quelqu’un d’autre voulait les faire. Étant donné que la robotique est une nécessité technologique, j’ai pensé que s’orienter dans cette direction serait une décision de carrière intelligente et « future-proof ».

Ainsi, j’ai abordé le domaine en me concentrant sur les aspects physiques de l’objet, et j’ai obtenu mon diplôme en ingénierie mécanique à l’Institut de technologie de Haifa, en Israël. Vers la fin de mon diplôme, j’ai commencé à plonger dans le monde des outils et des capacités de conception assistée par ordinateur (CAD). Ce sont les outils qui permettent aux ingénieurs mécaniques de concevoir des structures et des dispositifs mécaniques (tout, des ponts aux voitures). J’ai vu une énorme opportunité d’avoir un impact important sans avoir à faire face aux lentes itérations du monde physique. En pratique, ces programmes avaient très peu, voire pas du tout, de capacités d’apprentissage automatique et de vision par ordinateur intégrées, qui aidaient les ingénieurs à créer des systèmes mécaniques plus simples, moins chers et plus stables (c’était en 2015). J’ai décidé de poursuivre la voie de la vision par ordinateur sur des données 3D avec l’apprentissage profond (très nouveau à l’époque) dans le but de créer des programmes de conception assistée par ordinateur plus intelligents. Travailler dans les premiers jours de l’apprentissage automatique moderne, c’était comme faire partie de quelque chose qui pourrait être vraiment grand — similaire à Internet.

En pratique, mes recherches ont été les premières à apporter la révolution de l’apprentissage profond à notre faculté à l’Institut de technologie de Haifa. Cela s’est ensuite transformé en un article accepté dans la principale conférence de vision par ordinateur au monde, CVPR, et j’ai présenté mon article à Hawaï à CVPR 2017. Présenter mon article et rencontrer les gens m’a ouvert les yeux sur l’ampleur de la communauté de la vision par ordinateur (qui compte aujourd’hui au moins 10 fois plus de participants), des milliers de participants qui travaillent avec passion sur la recherche dans le domaine. Cet événement a pratiquement scellé ma direction, me montrant le pouvoir de la vision par ordinateur et le potentiel qui attend d’être débloqué.

Pouvez-vous partager l’histoire de la création de Datagen ?

Datagen a été fondé en 2018 avec pour mission de transformer la façon dont les équipes obtiennent leurs données pour l’entraînement des réseaux de vision par ordinateur. L’année précédente, nous avions vu une démonstration de l’Oculus Rift, qui consistait en un casque de réalité virtuelle et un dispositif de contrôle à distance. Après la démonstration, nous nous sommes demandé : « Avec des caméras sophistiquées intégrées dans le casque, pourquoi un dispositif de contrôle à distance était-il nécessaire pour relier l’espace virtuel à l’espace physique (c’est-à-dire suivre le mouvement de la main) ? » Les réseaux de neurones étaient déjà suffisamment sophistiqués pour gérer cela, donc quel était le problème ? » Et c’est là que la lumière s’est allumée — les données ! Nous avons immédiatement vu l’énorme opportunité de résoudre les défis de présence spatiale 3D en utilisant la vision par ordinateur et les métadonnées 3D avancées. Plutôt que de se concentrer uniquement sur la réalité virtuelle/augmentée, nous avons adopté une approche plus holistique, en nous concentrant sur le problème apparemment inextricable de la génération de données de formation suffisantes (et précises) pour permettre des applications d’IA 3D dans le monde réel.

Avec un accent sur les humains et l’interaction avec leur environnement, Datagen est un pionnier dans le nouveau domaine des données simulées, un sous-ensemble de données synthétiques, qui se concentre sur la recréation photo-réaliste du monde qui nous entoure. Aujourd’hui, nous travaillons avec les sociétés les plus innovantes du monde pour alimenter et accélérer leur développement de la vision par ordinateur et sommes soutenus par certains des investisseurs les plus respectés dans le domaine.

Pour les lecteurs qui ne sont pas familiers, pourriez-vous expliquer ce que sont spécifiquement les données synthétiques ?

Les données synthétiques sont des données de formation qui, au lieu d’être collectées par mesure directe ou observation du monde réel, sont générées par des algorithmes ou par simulation. Dans le contexte de la vision par ordinateur, les données synthétiques sont des images générées par ordinateur avec des métadonnées associées nécessaires pour l’entraînement des intelligences artificielles. Avec les problèmes de confidentialité et les limitations physiques et économiques réelles des données d’image du monde réel, il est difficile de surestimer l’importance des données synthétiques pour l’apprentissage automatique et l’IA. Dans un rapport récent, Gartner a prédit que, d’ici 2024, la plupart des données utilisées dans le domaine de l’IA seront générées de manière synthétique pour ces raisons.

Quels sont les avantages des données synthétiques par rapport à l’acquisition manuelle de données ?

La réponse courte est : pensez à chaque aspect de l’acquisition manuelle de données qui est indésirable et supprimez-les du processus — ce sont les avantages des données synthétiques.

La génération de jeux de données diversifiés à grande échelle pour l’entraînement de la vision par ordinateur est un processus coûteux et chronophage, et la variance est très limitée par le simple fait que la mise en place d’humains dans des emplacements spécifiques et la prise de photos est un processus compliqué — bien plus compliqué et coûteux que de le faire dans un environnement simulé. Un autre avantage majeur est l’élimination effective du besoin d’annotation manuelle, qui est fastidieuse, chronophage et sujette à des erreurs humaines.

Datagen fait référence aux données simulées comme à un sous-ensemble de données synthétiques. Pouvez-vous élaborer sur ce que sont les données simulées ?

Les données simulées sont des données synthétiques générées par simulation. Nous utilisons des GAN (ainsi que d’autres méthodes d’apprentissage automatique de pointe) pour générer des objets 3D et les placer dans des simulations 3D hautement réalistes du monde réel. Cela ressemble à un processus de prise de photo virtuelle en première personne, mais fonctionnant dans un système photo-réaliste et basé sur la physique. Ces simulations produisent des données visuelles (comme si elles avaient été collectées dans le monde réel), ainsi que des métadonnées complètes (physique, éclairage, etc.). Les données simulées sont donc des données synthétiques photo-réalistes, générées contextuellement, des images 3D, collectées dans un environnement simulé.

Comment Datagen génère-t-il des données simulées personnalisées ?

La technologie de Datagen génère des données simulées qui sont à la fois facilement escalables et personnalisées pour répondre aux besoins uniques de chaque application client. Nous le faisons en prenant en compte tous les aspects de chaque projet — depuis le système de vision par ordinateur utilisé jusqu’à la composition démographique de la région dans laquelle il sera utilisé. Que nous travaillions directement avec nos clients ou que nous permettions simplement à leurs ingénieurs de travailler, le processus de Datagen commence par l’établissement de paramètres clés pour chaque cas d’utilisation spécifique, tels que les spécifications de l’objectif, l’éclairage, l’environnement, la répartition démographique, etc. Datagen utilise des GAN et d’autres outils et techniques de pointe pour générer une immense variété d’actifs, allant de têtes humaines avec des expressions faciales dynamiques pour l’entraînement de l’IA à l’analyse des émotions, à des intérieurs de véhicules pour la surveillance des passagers à l’intérieur, et des environnements domestiques pour les applications de vidéoconférence, pour n’en citer que quelques-uns. Pour chaque type d’actif, Datagen introduit une variance le long d’axes discrets (de la teinte de peau et de la hauteur des sourcils, à la taille, à la couleur et à la forme des meubles de maison), en utilisant des paramètres qui sont finement ajustés pour refléter l’application spécifique en question.

Grâce à ces capacités, les jeux de données de Datagen ne sont pas seulement grands et très variés, mais également optimisés pour les besoins de l’entraînement d’un système unique à effectuer une tâche unique (ou un ensemble de tâches) dans l’environnement unique dans lequel il sera utilisé — tout en ne compromettant pas la capacité à évoluer. Nous prenons également en compte les exigences spécifiques d’annotation/métadonnées de chaque application.

Quels sont les exemples de solutions en robotique où des données synthétiques et/ou simulées sont utilisées ?

L’un des plus grands avantages de l’utilisation de données simulées en robotique est la capacité de générer des images de matériel encore en développement. Cela permet à votre cerveau de robot (IA) et à votre corps (matériel) d’être développés côte à côte. Maintenant, la formation peut évoluer à mesure que les spécifications évoluent, plutôt que d’attendre que votre produit final soit entièrement prototypé avant de pouvoir prendre des photos et commencer à développer l’IA.

De plus, parce que les données simulées sont générées dans le contexte, vous pouvez tenir compte de l’interaction entre votre robot et son environnement beaucoup plus facilement. Ainsi, si vous imaginez un robot qui attrape et retire des produits défectueux d’une ligne d’assemblage, les données simulées vous permettraient non seulement de générer des données pour chaque défaut physique imaginable dans le produit, mais également de capturer la pleine gamme de mouvement du bras robotique, son interaction avec l’objet qu’il attrape. De plus, les métadonnées 3D signifient qu’il n’y a pas besoin d’annoter soigneusement image après image pour s’assurer que le robot peut correctement identifier le produit, les défauts, son bras ou tout autre élément dans son champ de vision.

Quels sont les cas d’utilisation des données simulées dans les voitures intelligentes ?

Les données simulées dans le développement de voitures intelligentes rendent beaucoup plus facile le développement de jeux de données pour des modèles de voitures spécifiques lorsqu’ils sont conçus, en itérant en parallèle avec la voiture elle-même à mesure qu’elle progresse à travers les différentes phases de conception et de production. Avec des données d’image simulées, les ingénieurs peuvent également utiliser la vision à l’intérieur de la voiture plus efficacement pour identifier les conducteurs somnolents ou distraits, si un conducteur a retiré sa main du volant ou tout autre cas de figure pour tenir compte de la sécurité du conducteur. Cela permet également aux ingénieurs de tenir compte d’une plus grande diversité de conducteurs et de passagers et d’introduire une variance sous la forme d’angle d’image et d’éclairage — tout en ne portant pas atteinte à la vie privée des personnes réelles.

Récemment, Datagen a annoncé un grand nombre de nouveaux embauches excitantes, qu’est-ce que cela signifie pour l’avenir de l’entreprise ?

Les récents ajouts à notre conseil d’administration et à notre direction exécutive comprennent certains des professionnels les plus brillants et les plus accomplis dans le domaine de l’IA et de la vision par ordinateur. Leurs connaissances, leur perspicacité et leur expérience aideront à orienter et à accélérer la croissance de Datagen à mesure que nous naviguons dans une industrie qui est encore jeune et regorge d’opportunités. Dans un domaine avec autant d’inconnues, rien n’est plus précieux que la connaissance.

Y a-t-il autre chose que vous aimeriez partager sur Datagen ?

Basé à Tel Aviv, Datagen fait partie d’un mouvement économique et culturel plus large qui a eu lieu en Israël, et nous sommes fiers d’en faire partie. En un court laps de temps, Israël (Tel Aviv en particulier) est devenu un grand centre technologique mondial, avec un écosystème de démarrage prospère et une communauté d’investissement dynamique. Bien que Israël soit souvent considéré comme un centre technologique axé sur la cybersécurité, la technologie axée sur l’IA et les données a connu une croissance exponentielle ces dernières années. Aujourd’hui, il y a plus de 680 sociétés d’intelligence artificielle en Israël, qui ont collectivement levé 4,5 milliards de dollars. Cette explosion de croissance au cours des dernières années est due en grande partie à la forte concentration d’ingénieurs et aux universités israéliennes de renom mondial. Ces établissements d’enseignement supérieur fournissent un accès au talent et à la nouvelle technologie de pointe dans le domaine. Au cours des deux derniers mois, Datagen a embauché plus de 20 employés et prévoit de recruter davantage de membres d’équipe dans les départements ventes et marketing, logiciels et DevOps, et produits.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Datagen.