Stephen Miller, Co-fondateur et Vice-président de l’ingénierie chez Fyusion – Série d’entretiens

Stephen Miller est le co-fondateur et vice-président de l’ingénierie chez Fyusion, une entreprise de vision par ordinateur et d’imagerie 3D, faisant partie du groupe Cox Automotive. Avant de co-fonder Fyusion, il était étudiant en doctorat à l’Université de Stanford, où il étudiait l’informatique, et a travaillé sur la robotique personnelle, comme le pliage du linge et le nouage chirurgical, pendant ses études de premier cycle à l’UC Berkeley. Il est un ancien boursier Google (GOOGL ) Hertz, boursier SAP Stanford Graduate et boursier NSF.

Pouvez-vous expliquer ce qu’est Fyusion et comment il permet la capture et la visualisation faciles de données 3D ?

Fyusion est une entreprise de vision par ordinateur qui propose des expériences client 3D alimentées par l’IA. Nous permettons aux gens de capturer des images 3D via une application smartphone simple qui fonctionne sur la plupart des appareils Android et iOS. L’application comporte des instructions étape par étape et est conçue pour être utilisée par tous, quel que soit leur niveau de compétence technique. Il faut environ une ou deux minutes pour capturer l’image. Ensuite, notre moteur d’IA, ALIS, peut analyser les images 3D et transformer les données visuelles en informations exploitables. Pour le moment, nous nous concentrons sur l’utilisation d’images 3D pour diagnostiquer les dommages extérieurs aux voitures.

Pouvez-vous expliquer comment les algorithmes utilisent le format de fichier .fyuse pour permettre à une caméra unique d’un smartphone de créer des images 3D ?

Je trouve utile de considérer le format .fyuse aux côtés des photos et des vidéos. Une photo capture un moment dans le temps à partir d’un angle fixe, et une vidéo capture une série de ces moments dans une chronologie linéaire. En revanche, une image .fyuse capture ce que nous aimons appeler « un moment dans l’espace ». Un spectateur n’est pas limité à un seul angle ou à une chronologie linéaire : il peut voir non seulement un côté de quelque chose, mais aussi autour de lui.

Pour créer une image .fyuse, le photographe fait le tour de son sujet dans une direction avec une caméra de téléphone portable. Alternativement, la technologie Fyusion est également compatible avec des solutions d’imagerie fixes et des solutions d’imagerie non traditionnelles, telles que les drones.

Notre format de fichier .fyuse est ce qui donne vie à ces images. Il est léger et permet une interactivité complexe et multifacette. Il est également entièrement compatible avec les ordinateurs portables, les tablettes et les smartphones que l’utilisateur moyen possède déjà dans son arsenal.

Pouvez-vous discuter de certaines des données qui sont capturées et analysées avec Fyusion ?

Avec les voitures, ALIS reconnaît chaque partie du véhicule, puis peut déterminer où se trouvent les dommages, la taille et la gravité des dommages, et éliminer les faux positifs potentiels, tels que la saleté soulevée par la route. La technologie que nous avons développée et brevetée peut résoudre d’autres problèmes, mais c’est celui sur lequel nous nous concentrons actuellement.

Pouvez-vous discuter de ce qu’est le kit d’informations basées sur la lumière (ALIS) alimenté par l’IA ?

ALIS est le moteur derrière chaque produit Fyusion. Il permet l’imagerie 3D légère et la compréhension visuelle approfondie. Il y a trois parties qui composent ALIS : Capture, Moteur et Visionneuse. Dans le module Capture, l’application mobile contient des didacticiels intégrés et des flux de travail personnalisables qui permettent aux utilisateurs de capturer des images 3D de haute qualité à l’aide de la plupart des smartphones sur le marché. La capture d’images Fyusion prend également en charge les appareils photo numériques, les drones et une multitude d’autres appareils.

Dans la deuxième étape, Moteur, ALIS analyse ces images 3D et les transforme en informations exploitables, telles que les types de dommages requis par nos clients. Il peut également fournir des preuves à l’appui de ses constatations en créant des images 2D haute résolution des dommages qu’il détecte.

Enfin, la Visionneuse affiche le format de fichier .fyuse. Le .fyuse est breveté et léger, et offre une expérience 3D immersive avec des temps de chargement rapides. Nous pouvons ajouter toutes sortes d’expériences à un .fyuse, y compris de l’audio, de la vidéo et, bien sûr, des images 2D.

Fyusion est prêt pour la réalité augmentée et la réalité virtuelle, combien pensez-vous que ces applications seront importantes à l’avenir ?

La réalité augmentée est une industrie d’un milliard de dollars qui devient de plus en plus mainstream, et il est encore plus facile de capturer les environnements en 3D grâce à des appareils mobiles puissants et à des réseaux à faible latence. À mesure que ces technologies se généralisent, les attentes des clients en matière d’expériences en ligne seront renforcées aussi vite que les créateurs de contenu pourront suivre.

En particulier dans l’industrie automobile, avec l’achat de voitures de plus en plus en ligne, nous anticipons une vague d’intérêt pour les listages AR, VR et 3D dans les quelques années à venir. L’objectif est de transformer une simple page de détails de véhicule (VDP) en une page d’expérience de véhicule (VEP), aidant ainsi les grands et les petits concessionnaires automobiles à continuer à prospérer. Cela peut aller de l’ajout de logos 3D et de balises de médias riches sur les listages, ou permettre aux acheteurs de placer virtuellement un ensemble de clubs de golf dans le coffre d’une voiture pour voir comment ils s’y adaptent.

Ce sera excitant de voir comment ces types d’applications commenceront à être utilisés de manière courante. Je ne pense pas que nous devrons attendre longtemps.

Pouvez-vous discuter de l’amélioration du taux de clic et du revenu que l’on voit dans le commerce électronique en utilisant des images 3D par rapport aux images 2D ?

Je suis le plus familier avec les ventes de détail et de gros de l’industrie automobile. Les images 3D ont créé un nouveau niveau de confiance pour les acheteurs en ligne, ce qui est particulièrement critique pour les articles coûteux comme les voitures.

Nos données internes indiquent que les images 3D augmentent l’engagement de l’utilisateur et le temps passé sur les pages de détails des véhicules, ce qui à son tour a été démontré pour augmenter les ventes de voitures. Fournir une expérience 3D réaliste du véhicule renforce également la confiance positive envers le vendeur en augmentant la confiance.

L’une des options avec Fyusion est de traiter les données localement ou dans le cloud, pouvez-vous discuter des avantages de chacune ?

Localement, l’IA de pointe oblige les développeurs à travailler dans des contraintes considérables, en particulier pour l’utilisation des téléphones mobiles. Outre les préoccupations standard pour tout développeur d’IA – Quelle est l’optimisation du réseau ? Quelle est la fiabilité des résultats ? – certaines préoccupations pratiques fixent des plafonds clairs. La pression sur la mémoire, la consommation de batterie, la possibilité que votre processus soit mis en arrière-plan par l’utilisateur ou le système d’exploitation, etc. Et c’est en supposant que des CPU et des GPU comparables sont disponibles sur le pointe. Même pour les appareils phares, ce n’est rarement le cas.

Vous devez planifier chaque cas de figure possible ; alors que, dans le cloud, toute solution peut être surveillée et affinée.

Mais collectivement, l’IA de pointe pourrait être considérée comme la solution d’« autoscaling » parfaite : pour chaque nouvel utilisateur, vous avez une machine entièrement nouvelle à votre disposition. Si vous avez optimisé votre réseau pour fonctionner entièrement sur le pointe, vous pouvez tout aussi facilement servir deux, ou deux millions, de clients.

Alors que le matériel le plus puissant existera toujours dans le cloud, il est généralement admis que les données sont roi. Plus il y a de données, et plus elles sont proches de la source, mieux c’est. L’IA de pointe a accès à des données brutes non traitées, sans restrictions. Alors que pour une solution d’IA cloud, les données d’entrée doivent être traitées (compressées, partielles) ou énormes, auquel point la bande passante devient une préoccupation sérieuse.

Parce qu’il est le plus proche de l’utilisateur, l’IA de pointe ouvre une gamme de possibilités que l’IA cloud ne peut pas. Si elle est optimisée pour fonctionner en temps réel, elle peut fournir des commentaires en temps réel. Ce qui signifie que vous pouvez construire des solutions qui ne consomment pas seulement des données, mais encouragent les utilisateurs à fournir de meilleures données.

Comment la 5G permettra-t-elle une croissance rapide des applications de technologie de vision par ordinateur ?

À des vitesses de connexion plus rapides, vous pouvez déplacer davantage de traitement vers le cloud, ce qui ouvre des possibilités pour toutes sortes de nouvelles applications de vision par ordinateur. Cependant, cela dépend vraiment de l’application et de la manière dont elle sera adoptée.

La 5G pourrait avoir un impact fragmenté et aggraver le fossé numérique, car certaines parties du monde auront des connexions de plus en plus rapides, tandis que d’autres régions continueront à avoir des connexions lentes. Les applications axées sur les personnes ayant accès à la 5G bénéficieront évidemment. Mais plus largement adoptées, les applications devront peut-être choisir entre passer du temps et de l’argent pour ce qui sera essentiellement deux versions de la même application, ou s’en tenir à une version moins robuste mais qui peut fonctionner sur presque n’importe quelle connexion.

Quelles mesures Fyusion prend-elle pour profiter du déploiement futur de la 5G ?

Je veux préfacer cela en disant que Fyusion a passé beaucoup de temps à s’assurer que les clients peuvent accéder à nos applications même sur les anciens téléphones avec une bande passante limitée. Avec Manheim seul, notre technologie a imprimé plus d’un million de voitures, et nous n’aurions pas pu le faire autrement.

Ceci étant dit, nous sommes très excités par ce que nous voyons actuellement – c’est un trio d’augmentation de la vitesse de traitement, de connectivité 5G et de révolution dans les caméras de téléphone. Mettez-les tous ensemble et vous obtenez quelques nouveaux développements que je ne peux malheureusement pas partager avec vous pour le moment.

Y a-t-il autre chose que vous aimeriez partager sur Fyusion ?

C’est un moment très excitant pour travailler dans la vision par ordinateur – en tant que discipline, nous entrons dans le mainstream après de nombreuses années d’avoir été discuté comme une technologie future. Fyusion grandit rapidement et nous embauchons des scientifiques en vision par ordinateur du monde entier. Nos membres de l’équipe peuvent travailler de n’importe où, mais ils sont toujours les bienvenus dans nos bureaux de Potrero Hill.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter Fyusion.