Stephen Miller, Co-Fondateur & SVP de l’Ingénierie chez Fyusion – Série d’Entretiens

Stephen Miller est le co-fondateur et SVP de l’Ingénierie chez Fyusion, une entreprise d’imagerie 3D et de vision par ordinateur, faisant partie du groupe Cox Automotive. Avant de co-fonder Fyusion, il était étudiant en doctorat à l’Université de Stanford, où il étudiait l’informatique, et avait travaillé sur la robotique personnelle, comme le pliage du linge et le nouage chirurgical, lors de ses études de premier cycle à l’UC Berkeley. Il est un ancien boursier Google Hertz, boursier SAP Stanford Graduate et boursier NSF.

Pouvez-vous expliquer ce qu’est Fyusion et comment il permet la capture et la visualisation faciles des données 3D ?

Fyusion est une entreprise de vision par ordinateur qui propose des expériences client 3D alimentées par l’IA. Nous permettons aux gens de capturer des images 3D via une application smartphone simple qui fonctionne sur la plupart des appareils Android et iOS. L’application comporte des conseils étape par étape et est conçue pour être utilisée par tous, quel que soit leur niveau technique. Cela prend une minute ou deux pour capturer l’image. À partir de là, notre moteur IA, ALIS, peut analyser les images 3D et transformer les données visuelles en informations exploitables. Actuellement, nous nous concentrons sur l’utilisation d’images 3D pour diagnostiquer les dommages extérieurs aux voitures.

Pouvez-vous expliquer comment les algorithmes utilisent le format de fichier .fyuse pour permettre à un appareil photo smartphone unique de créer des images 3D ?

Je trouve cela utile de considérer le format .fyuse aux côtés des photos et des vidéos. Une photo capture un moment dans le temps à partir d’un angle fixe, et une vidéo capture une série de ces moments dans une chronologie linéaire. En revanche, une image .fyuse capture ce que nous aimons appeler “un moment dans l’espace”. Un spectateur n’est pas limité à un seul angle ou à une chronologie linéaire : il peut voir non seulement un côté de quelque chose, mais aussi autour.

Pour créer une image .fyuse, le photographe fait cercle autour de son sujet dans une direction avec un appareil photo de téléphone portable. Alternativement, la technologie Fyusion est également compatible avec des solutions d’imagerie fixes et des solutions d’imagerie non traditionnelles telles que les drones.

Notre format de fichier .fyuse est ce qui donne vie à ces images. Il est léger et permet une interaction complexe et multifacette. Il est également entièrement compatible avec les ordinateurs portables, les tablettes et les smartphones que l’utilisateur moyen possède déjà.

Pouvez-vous discuter de certains des données qui sont capturées et analysées avec Fyusion ?

Avec les voitures, ALIS reconnaît chaque partie du véhicule, puis peut déterminer où il y a des dommages, la taille et la gravité des dommages, et éliminer les faux positifs potentiels, tels que la saleté soulevée par la route. La technologie que nous avons développée et brevetée peut résoudre d’autres problèmes, mais c’est celui sur lequel nous nous concentrons actuellement.

Pouvez-vous discuter de ce qu’est le Kit d’Informations de Champs de Lumière basé sur l’IA (ALIS) ?

ALIS est le moteur derrière chaque produit Fyusion. Il permet l’imagerie 3D légère et la compréhension visuelle profonde. Il y a trois parties qui composent ALIS : Capture, Moteur et Visionneuse. Dans le module Capture, l’application mobile contient des didacticiels intégrés et des flux de travail personnalisables qui permettent aux utilisateurs de capturer des images 3D de haute qualité à l’aide de la plupart des smartphones sur le marché. La capture d’images Fyusion prend également en charge les appareils photo numériques, les drones et une multitude d’autres appareils.

Dans la deuxième étape, Moteur, ALIS analyse ces images 3D et les transforme en informations exploitables, telles que les types de dommages requis par nos clients. Il peut également fournir des preuves à l’appui de ses conclusions en créant des images 2D de haute résolution des dommages qu’il trouve.

Enfin, la Visionneuse affiche le format de fichier .fyuse. Le .fyuse est breveté et léger, et fournit une expérience 3D immersive avec des temps de chargement rapides. Nous pouvons ajouter toutes sortes d’expériences à un .fyuse, y compris de l’audio, de la vidéo et, bien sûr, des images 2D.

Fyusion est prêt pour la réalité augmentée et la réalité virtuelle, combien pensez-vous que ces applications seront importantes à l’avenir ?

La réalité augmentée est une industrie d’un milliard de dollars qui devient de plus en plus mainstream, et il est encore plus facile de capturer les environnements en 3D grâce à des appareils mobiles puissants et à des réseaux à faible latence. À mesure que ces technologies se généralisent, les attentes des clients en matière d’expériences en ligne augmenteront aussi vite que les créateurs de contenu pourront suivre.

En particulier dans l’industrie automobile, avec l’achat de voitures de plus en plus en ligne, nous anticipons une vague d’intérêt pour la réalité augmentée, la réalité virtuelle et les listes 3D dans les prochaines années. L’objectif est de transformer une simple page de détails de véhicule (VDP) en une page d’expérience de véhicule (VEP), aidant ainsi les grands et les petits concessionnaires automobiles à continuer à prospérer. Cela peut être n’importe quoi, desde l’ajout de logos 3D et de balises de médias riches sur les listes, ou en permettant aux acheteurs de placer virtuellement un ensemble de clubs de golf dans le coffre d’une voiture pour voir comment ils s’y adaptent.

Il sera excitant de voir comment ces types d’applications commenceront à être utilisés de manière généralisée. Je ne pense pas que cela prendra longtemps.

Pouvez-vous discuter de l’amélioration du taux de clics et des revenus que l’on observe dans le commerce électronique en utilisant des images 3D par rapport aux images 2D ?

Je suis le plus familier avec les ventes de voitures de gros et de détail. Les images 3D ont créé un nouveau niveau de confiance pour les acheteurs en ligne, ce qui est particulièrement critique pour les articles coûteux comme les voitures.

Nos données internes indiquent que les images 3D augmentent l’engagement de l’utilisateur et le temps passé sur les pages de détails des véhicules, ce qui à son tour a été démontré pour augmenter les ventes de voitures. Fournir une expérience 3D réaliste du véhicule renforce également les sentiments positifs envers le vendeur en augmentant la confiance.

L’une des options avec Fyusion est de traiter les données localement ou dans le cloud, pouvez-vous discuter des avantages de chacun ?

Localement, l’IA de bord oblige les développeurs à travailler dans des contraintes considérables, en particulier pour l’utilisation des téléphones mobiles. En plus des préoccupations standard pour tout développeur d’IA – Quelle est l’optimisation du réseau ? Quelle est la fiabilité des résultats ? – certaines préoccupations pratiques fixent des plafonds clairs. Pression de mémoire, épuisement de la batterie, possibilité que votre processus soit mis en arrière-plan par l’utilisateur ou le système d’exploitation, etc. Et c’est en supposant que des processeurs et des GPU comparables étaient disponibles sur le bord. Même pour les appareils phares, ce n’est rarement le cas.

Vous devez planifier chaque cas de figure possible ; alors que, dans le cloud, toute solution peut être surveillée et affinée.

Mais collectivement parlant, l’IA de bord pourrait être considérée comme la solution d'”autoscaling” parfaite : pour chaque nouvel utilisateur, vous avez une machine entièrement nouvelle à votre disposition. Si vous avez optimisé votre réseau pour fonctionner entièrement sur le bord, vous pouvez tout aussi facilement servir deux, ou deux millions, de clients.

Alors que le matériel le plus puissant existe toujours dans le cloud, il est généralement admis que les données sont roi. Plus il y a de données, et plus elles sont proches de l’état brut, mieux c’est. L’IA de bord a accès à des données brutes non traitées, sans restrictions. Alors que pour une solution d’IA cloud, les données d’entrée doivent être traitées (compressées, partielles) ou énormes, auquel point la bande passante devient une préoccupation sérieuse.

Puisqu’il est le plus proche de l’utilisateur, l’IA de bord ouvre des possibilités que l’IA cloud ne propose pas. Si elle est optimisée pour fonctionner en temps réel, elle peut fournir des commentaires en temps réel. Ce qui signifie que vous pouvez construire des solutions qui non seulement ingèrent des données, mais encouragent les utilisateurs à fournir de meilleures données.

Comment le 5G permettra-t-il une croissance rapide des applications de technologie de vision par ordinateur ?

À des vitesses de connexion plus rapides, vous pouvez déplacer plus de traitement vers le cloud, ce qui ouvre des possibilités pour toutes sortes de nouvelles applications de vision par ordinateur. Cependant, cela dépend vraiment de l’application et de la manière dont elle sera adoptée.

Le 5G pourrait avoir un impact fragmenté et accroître la fracture numérique, car certaines parties du monde ont des connexions de plus en plus rapides, tandis que d’autres régions continueront à avoir des connexions lentes. Les applications axées sur les personnes ayant accès au 5G bénéficieront évidemment. Mais plus largement adoptées, les applications peuvent devoir choisir entre passer du temps et de l’argent pour ce qui sera essentiellement deux versions de la même application, ou rester avec une version qui est moins robuste mais peut fonctionner sur presque n’importe quelle connexion.

Quelles sont les mesures que Fyusion prend pour profiter du déploiement futur du 5G ?

Je veux préciser que Fyusion a passé beaucoup de temps à garantir que les clients puissent accéder à nos applications même sur les anciens téléphones avec une bande passante limitée. Avec Manheim seul, notre technologie a imprimé plus d’un million de voitures, et nous n’aurions pas pu y arriver autrement.

Cela étant dit, nous sommes très excités par ce que nous voyons actuellement – c’est un trio de vitesses de traitement croissantes, de connectivité 5G et de rien de moins qu’une révolution dans les appareils photo de téléphone portable. Mettez-le tout ensemble et vous obtenez de nouveaux développements que malheureusement je ne peux pas partager avec vous pour le moment.

Y a-t-il autre chose que vous aimeriez partager sur Fyusion ?

C’est un moment très excitant pour travailler dans la vision par ordinateur – en tant que discipline, nous entrons dans le mainstream après de nombreuses années à en parler comme d’une technologie future. Fyusion grandit rapidement et nous embauchons des scientifiques en vision par ordinateur du monde entier. Nos membres de l’équipe peuvent travailler de n’importe où, mais ils sont toujours les bienvenus dans nos bureaux de Potrero Hill.

Je vous remercie pour cette excellente interview, les lecteurs qui souhaitent en savoir plus doivent visiter Fyusion.