Radu Rusu, PDG et co-fondateur de Fyusion – Série d’entretiens

Radu Rusu, est le PDG et co-fondateur de Fyusion, une entreprise qui a pour objectif de développer de nouvelles technologies 3D visuellement époustouflantes qui permettraient de résoudre des problèmes visuels complexes avec l’intelligence artificielle. Ensemble, ils ont développé et breveté un nouveau format de fichier, appelé .fyuse, qui permet aux gens de capturer des images 3D époustouflantes à partir de leurs smartphones, provoquant une sensation sur les réseaux sociaux et attirant plus de 100 millions d’utilisateurs via des applications mobiles grand public.

Vous travaillez sur la 3D depuis 2012, vous êtes actuellement le président et PDG d’Open Perception, Inc. Pouvez-vous partager la déclaration de mission de cette organisation à but non lucratif ?

J’ai commencé ma carrière dans le traitement de données 3D en 2000, pendant mes études supérieures, avec l’idée de faire voir et comprendre le monde aux robots d’un point de vue visuel. Cela m’a mené à une décennie de recherche en vision par ordinateur et en robotique, et au début des années 2010, j’ai réalisé que ce sur quoi je travaillais pouvait être appliqué à un ensemble plus large de problèmes. Open Perception a été créé comme une spin-off de Willow Garage, et a pris l’une de nos initiatives open source sous licence BSD – le projet Point Cloud Library (PCL) – et a continué à favoriser sa croissance. Open Perception, Inc. a été incorporé en Californie en avril 2012 en tant qu’organisation indépendante créée dans le but de soutenir le développement, la distribution et l’adoption de logiciels open source pour le traitement de données sensorielles 2D/3D, avec des applications dans la recherche, l’éducation et le développement de produits.

En 2014, vous êtes devenu co-fondateur et PDG de Fyusion, Inc. Pouvez-vous partager l’histoire de la création de Fyusion, Inc ?

Pendant que nous étions engagés dans la recherche en robotique, les co-fondateurs de Fyusion et moi avons réalisé que les goulets d’étranglement n’étaient plus les algorithmes, mais les formats de données. L’apprentissage automatique avait atteint un sommet de précision à cette époque dans de nombreux domaines, car le type de données que nous utilisions, en particulier les formats visuels, était bidimensionnel (comme les photographies et les vidéos), tandis que le monde est tridimensionnel. Nous avons senti que le potentiel existait pour transformer la façon dont les gens comprennent le monde en exploitant les données 3D dans les plateformes d’apprentissage automatique.

En 2014, nous avons décidé de créer un nouveau type de données 3D, générées par des logiciels de vision par ordinateur et d’apprentissage automatique, en fusionnant plusieurs sources de données et en utilisant du matériel grand public très évolutif disponible dans nos poches, c’est-à-dire nos smartphones.

Nous avons fondé Fyusion avec pour objectif de développer de nouvelles technologies 3D visuellement époustouflantes qui permettraient à tous de résoudre des problèmes visuels complexes avec l’intelligence artificielle.

Ensemble, nous avons développé et breveté un nouveau format de fichier, appelé .fyuse, qui permet aux gens de capturer des images 3D époustouflantes à partir de leurs smartphones. Cela a immédiatement provoqué une sensation sur les réseaux sociaux et a attiré plus de 100 millions d’utilisateurs via des applications mobiles grand public.

Qu’est-ce qui vous a initialement attiré dans l’idée de réinventer le sens de la 3D pour les applications grand public ?

Nous avons simplement réalisé que personne n’avait abordé cela à grande échelle. C’était un problème non résolu. Comme dans nos programmes de doctorat, les choses qui nous excitent intellectuellement sont vraiment des problèmes compliqués que quelqu’un a dit qu’ils ne pouvaient pas être résolus.

Dans ce cas, dans une certaine mesure, ils avaient raison. Les algorithmes nécessaires pour résoudre ce problème n’avaient été que partiellement pensés et le matériel nécessaire pour les exécuter n’existait pas, en particulier sur les appareils de bord tels que les smartphones. Nous avons dû attendre que l’iPhone 4S sorte pour que nous puissions exécuter du code de vision par ordinateur 3D en temps réel sur un smartphone, car avant cela, les iPhones n’avaient qu’un seul cœur de processeur. Une fois que nous avons vu ce que le matériel des smartphones pouvait faire, nous sommes devenus très intéressés par l’utilisation de notre expertise en vision par ordinateur et en robotique pour voir ce que nous pouvions intégrer dans ces petites caméras et processeurs/CPU. Cela a pris un certain temps pour revenir au tableau de bord et repenser comment imaginer et mettre en œuvre la capture et le traitement de champ de lumière uniquement par logiciel. Une fois que nous avons vu que cela fonctionnait, Fyusion était lancé.

Nous avions auparavant des photos 2D sous forme analogique, et puis elles ont été numérisées avec tout le reste. La seule instance que nous avions dans le monde 3D à grande échelle était un « maillage de triangles avec une texture » (par exemple, des formats de fichiers OBJ) qui provenaient de jeux vidéo et de graphiques informatiques et qui étaient destinés à représenter des objets artificiellement créés dans un jeu. Ils dépendent fortement de la géométrie parfaite, ce qui est impossible à obtenir – comment capturer et représenter de l’eau sous la forme d’un maillage de triangles avec une caméra ? Qu’en est-il des objets transparents ? De la végétation ? Des choses qui sont loin ? Et ainsi de suite…

Il était clair que quelqu’un devait aborder le besoin de formats 3D conviviaux pour les consommateurs. Cela devait être basé sur un paradigme complètement différent et résolu d’une manière de « rendu d’image 3D » (c’est-à-dire des champs de lumière), et incorporer des informations disponibles au moment de la capture (comme l’orientation de la caméra via un capteur de gyroscope) qui sont généralement supprimées lors de la capture d’une image 2D. Et puis, bien sûr, nous essayons de ré-inférer ces informations supprimées via l’apprentissage automatique.

C’était notre opportunité, et c’est ce dont les startups devraient rêver : trouver un problème vraiment difficile dont ils sont passionnés, attendre le bon moment et l’ouverture, et essayer de le résoudre à tout prix.

Le cœur de la technologie permet à n’importe qui de créer des images 3D immersives et interactives appelées .fyuses en déplaçant n’importe quelle caméra autour d’une personne, d’un objet ou d’une scène. Pouvez-vous discuter du processus pour quelqu’un qui souhaite créer des .fyuses à l’aide d’une application mobile ?

Nous sommes encore dans l’enfance de cette technologie, mais l’essentiel est : vous prenez un smartphone qui a une application écrite par Fyusion ou une application partenaire qui utilise notre SDK ALIS Fyusion en dessous, et vous ouvrez l’appareil photo. Vous obtenez des instructions sur ce que vous devez faire, et si vous les suivez, vous obtenez un .fyuse sur l’appareil qui est un objet de fichier traité par vision par ordinateur et apprentissage automatique que vous pouvez afficher sur l’appareil, sur le Web ou sur n’importe quel casque AR/VR/MR.

Quelles sont certaines des technologies de vision par ordinateur et d’apprentissage automatique utilisées pour rendre cela possible ?

Il n’y a vraiment pas de solution miracle ici, mais un vaste cocktail d’outils de vision par ordinateur 3D et d’apprentissage automatique que nous avons créés pour résoudre ce problème. Il y a des idées issues de la photogrammétrie (car nous créons essentiellement un réseau de caméras virtuel en déplaçant une seule caméra dans l’espace), de la robotique (énorme problème de fusion de capteurs puisque nous n’avons plus une seule caméra, mais plutôt une multitude de capteurs dont nous pouvons extraire des données pour aider à résoudre ce problème), de l’informatique graphique (vous pouvez regarder notre travail Siggraph 2019 pour comprendre comment nous représentons certaines structures sous-jacentes), et bien plus encore. Tout cela devait être fait sur l’appareil et exécutable en temps réel, ce qui signifie que nous utilisons des shaders de calcul et écrivons du code en assembleur. Comme mentionné, ce n’est que le début, et plus les capteurs et la puissance de calcul qui nous sont disponibles, plus nous allons utiliser notre accélérateur ALIS pour améliorer plusieurs aspects de la technologie. C’est une vision à long terme, et nous avons encore plus d’une décennie de travail devant nous pour être pleinement satisfaits de la façon dont les scènes du monde réel complexes sont numérisées.

Il est facile de visualiser comment les .fyuses seront perturbateurs pour les applications VR. Pouvez-vous discuter des types d’applications VR actuelles pour lesquelles les .fyuses peuvent être utilisés ?

Nous pensons que TOUTE application VR où la numérisation d’un objet du monde réel et son affichage est importante devrait bénéficier de l’utilisation de notre moteur ALIS et des .fyuses. Il n’y a vraiment pas de pénurie de secteurs et d’applications dans le commerce électronique, les soins de santé, l’automobile, l’éducation et au-delà, et nous sommes très excités à l’idée de cet avenir.

Qu’est-ce que vous prévoyez comme avenir des applications VR pour les .fyuses ?

Nous ne voyons pas de limites à la technologie actuelle, même si notre focus actuel est plus sur les scènes et les objets de petite à moyenne taille, et non sur les paysages urbains étendus.

Je peux facilement visualiser les .fyuses étant utilisés dans les applications de réalité augmentée (AR) et de réalité mixte (MR) futures. Quelle est votre vision pour l’avenir des .fyuses dans un contexte AR et MR ?

Nous traitons toutes les applications AR/VR/MR exactement de la même manière : une fois que l’objet 3D a été numérisé à l’aide de notre technologie, il peut être extrait de la scène et placé n’importe où.

Avez-vous discuté avec votre équipe de l’idée de créer des .fyuses avec un assistant virtuel ou un IA ?

Nous n’avons pas exploré l’opportunité de créer des avatars virtuels interactifs pour les gens. C’est une possibilité intéressante, bien sûr, mais nous essayons de rester concentrés sur la résolution de l’ensemble de problèmes sur lesquels nous travaillons actuellement.

Y a-t-il autre chose que vous aimeriez partager sur les .fyuses ou Fyusion, Inc ?

Cela peut ressembler à un pitch, mais… nous sommes un groupe de roboticistes et de scientifiques en vision par ordinateur 3D, mélangés avec des physiciens du CERN, des hackers incroyables et des ingénieurs, et ce n’est que la description des membres de l’équipe technique de base. Nous aimons la diversité de toutes sortes, car cela nous rend plus intelligents et plus forts en tant qu’équipe. Si quelque chose que nous travaillons est d’intérêt pour quiconque lit ceci, n’hésitez pas à nous contacter. Nous faisons de notre mieux pour répondre à tout le monde, et vous pourriez vous retrouver dans une situation où vous venez boire un café et restez pour une décennie.

Merci pour les grandes interviews, les lecteurs qui souhaitent en savoir plus peuvent visiter Fyusion.