Stephen Miller, mede-oprichter en SVP van Engineering bij Fyusion – Interview Series

Stephen Miller is de mede-oprichter en SVP van Engineering bij Fyusion, een 3D-beeldvorming- en computer vision-bedrijf, onderdeel van de Cox Automotive-groep. Voordat hij Fyusion oprichtte, was hij een PhD-student aan de Stanford University waar hij Computer Science studeerde, en werkte hij aan persoonlijke robots zoals het vouwen van was en het leggen van chirurgische knopen tijdens zijn undergraduate-studie aan UC Berkeley. Hij is een Google Hertz Fellow, SAP Stanford Graduate Fellow en NSF Fellow-alumnus.

Kunt u uitleggen wat Fyusion is en hoe het de eenvoudige vastlegging en visualisatie van 3D-gegevens mogelijk maakt?

Fyusion is een computer vision-bedrijf dat AI-gedreven, 3D-klantervaringen biedt. We maken het mogelijk voor mensen om 3D-afbeeldingen vast te leggen via een eenvoudige smartphone-app die op de meeste Android- en iOS-apparaten werkt. De app heeft stap-voor-stap-instructies en is ontworpen om door iedereen te worden gebruikt, ongeacht de technische vaardigheden. Het duurt een minuut of twee om de afbeelding vast te leggen. Vanaf daar kan onze AI-engine, ALIS, 3D-afbeeldingen analyseren en de visuele gegevens omzetten in actiegerichte informatie. Op dit moment zijn we gefocust op het gebruik van 3D-afbeeldingen om externe schade aan auto’s te diagnosticeren.

Kunt u uitleggen hoe de algoritmen het bestandsformaat .fyuse gebruiken om een smartphone met één camera in staat te stellen 3D-afbeeldingen te maken?

Ik vind het behulpzaam om het .fyuse-formaat naast foto’s en video’s te beschouwen. Een foto legt een moment in de tijd vast vanuit een vaste hoek, en een video legt een reeks van die momenten vast in een lineaire tijdslijn. In tegenstelling tot een .fyuse-afbeelding, die wat we een “moment in de ruimte” noemen. Een kijker is niet beperkt tot één hoek of lineaire tijdslijn: hij kan niet alleen één kant van iets zien, maar ook eromheen.

Om een .fyuse-afbeelding te maken, cirkelt de fotograaf om het onderwerp heen in één richting met een camera van een mobiele telefoon. Als alternatief is Fyusion-technologie ook compatibel met vaste beeldvormende oplossingen en niet-traditionele beeldvormende oplossingen zoals drones.

Ons .fyuse-bestandsformaat is wat deze afbeeldingen tot leven brengt. Het is lichtgewicht en maakt complexe, multifacette-interactiviteit mogelijk. Het is ook volledig compatibel met laptops, tablets en smartphones die de gewone gebruiker al in zijn arsenal heeft.

Kunt u enkele van de gegevens bespreken die met Fyusion worden vastgelegd en geanalyseerd?

Bij auto’s herkent ALIS elk onderdeel van het voertuig en kan dan bepalen waar schade is, de grootte en ernst van de schade, en potentieel valse positieven elimineren, zoals vuil dat van de weg is opgepikt. De technologie die we hebben ontwikkeld en gepatenteerd kan andere problemen oplossen, maar dit is waar we ons op dit moment op focussen.

Kunt u bespreken wat de AI-gebaseerde Lightfield Information Suite (ALIS) is?

ALIS is de motor achter elk Fyusion-product. Het maakt lichtgewicht 3D-beeldvorming en diepe visuele begrip mogelijk. Er zijn drie onderdelen die ALIS vormen: Capture, Engine en Viewer. In het Capture-module bevat de mobiele toepassing ingebouwde tutorials en aanpasbare workflows die gebruikers in staat stellen om hoge kwaliteit 3D-afbeeldingen vast te leggen met de meeste smartphones op de markt. Fyusion’s beeldvorming ondersteunt ook DSLR’s, drones en een heleboel andere apparaten.

In de tweede stap, Engine, analyseert ALIS de 3D-afbeeldingen en zet ze om in actiegerichte informatie, zoals de soorten schade die door onze klanten worden vereist. Het kan ook ondersteuning voor zijn bevindingen bieden door het maken van hoge resolutie 2D-afbeeldingen van de schade die het vindt.

Ten slotte toont de Viewer het .fyuse-bestandsformaat. De .fyuse is gepatenteerd en lichtgewicht, en biedt een immersieve 3D-ervaring met snelle laadtijden. We kunnen allerlei soorten ervaringen toevoegen aan een .fyuse, inclusief audio, video en natuurlijk 2D-afbeeldingen.

Fyusion is zowel AR- als VR-klaar, hoe groot denkt u dat deze toepassingen in de toekomst zullen zijn?

Augmented reality is een miljardenindustrie die steeds mainstream wordt, en het is nog gemakkelijker om de omgeving in 3D vast te leggen dankzij krachtige nieuwe mobiele apparaten en lage latentie-netwerken. Naarmate deze technologieën de mainstream bereiken, zullen de verwachtingen van klanten van online-ervaringen zo snel stijgen als content-creators kunnen bijhouden.

Vooral in de auto-industrie, waar auto-kopen steeds vaker online gebeurt, verwachten we in de komende jaren een golf van interesse in AR, VR en 3D-lijsten. Het doel is om een eenvoudige voertuigdetail-pagina (VDP) om te zetten in een voertuig-ervaring-pagina (VEP), waardoor zowel grote als kleine auto-dealers kunnen blijven floreren. Dit kan alles zijn, van het toevoegen van 3D-logos en rijke media-tags aan lijsten, tot het laten plaatsen van een set golfclubs in de kofferbak van een auto om te zien hoe ze erin passen.

Het zal interessant zijn om te zien hoe deze soorten toepassingen beginnen te werken in het mainstream-gebruik. Ik denk niet dat het lang zal duren.

Kunt u bespreken wat de verbetering is in klikfrequentie en omzet die wordt gezien in e-commerce van het gebruik van 3D- in plaats van 2D-afbeeldingen?

Ik ben het meest vertrouwd met groothandel- en detailhandel in auto’s. 3D-afbeeldingen hebben een nieuw niveau van vertrouwen gecreëerd voor online-shoppers, wat vooral kritiek is bij grote aankopen zoals auto’s.

Onze interne gegevens geven aan dat 3D-afbeeldingen de gebruikersbetrokkenheid en de tijd die op voertuigdetail-pagina’s wordt doorgebracht, verhogen, wat op zijn beurt de auto-verkopen verhoogt. Het bieden van een levendige 3D-ervaring van het voertuig bouwt ook een positieve houding ten opzichte van de verkoper op door vertrouwen te vergroten.

Een van de opties met Fyusion is om gegevens lokaal of in de cloud te verwerken, kunt u bespreken wat de voordelen van elk zijn?

Lokaal, edge AI dwingt ontwikkelaars om binnen aanzienlijke beperkingen te werken, vooral voor het gebruik van mobiele telefoons. Naast de standaardzorgen voor elke AI-ontwikkelaar – Hoe geoptimaliseerd is het netwerk? Hoe betrouwbaar zijn de resultaten? – zijn er bepaalde praktische zorgen die duidelijke plafonds creëren. Geheugendruk, batterijverlies, de mogelijkheid dat uw proces op de achtergrond wordt gezet door de gebruiker of het besturingssysteem, enz. En dat gaat ervan uit dat vergelijkbare CPU’s en GPU’s beschikbaar zijn op de edge. Zelfs voor vlaggenschip-apparaten is dit zelden het geval.

U moet plannen voor elke mogelijke hoekcase; terwijl, in de cloud, elke oplossing kan worden bewaakt en fijn afgesteld.

Maar collectief gesproken, kan edge AI worden beschouwd als de perfecte “autoscaling”-oplossing: voor elke nieuwe gebruiker hebt u een geheel nieuwe machine tot uw beschikking. Als u uw netwerk hebt geoptimaliseerd om volledig op de edge te draaien, kunt u net zo gemakkelijk twee, of twee miljoen, klanten bedienen.

Terwijl de krachtigste hardware altijd in de cloud bestaat, is het algemeen aanvaard dat gegevens de koning zijn. Hoe meer gegevens, en hoe dichter ze bij de rauwe gegevens liggen, hoe beter. AI op de edge heeft toegang tot onverwerkte, rauwe invoer-gegevens, zonder beperkingen. Terwijl voor een cloud AI-oplossing, invoer-gegevens moeten worden verwerkt (gecomprimeerd, gedeeltelijk) of enorm, op het moment waarop bandbreedte een ernstige zorg wordt.

Omdat het het dichtst bij de gebruiker is, opent edge AI een reeks mogelijkheden die cloud AI niet heeft. Als het is geoptimaliseerd om in real-time te draaien, kan het real-time feedback bieden. Wat betekent dat u oplossingen kunt bouwen die niet alleen gegevens verwerken, maar gebruikers ook aanmoedigen om betere gegevens te verstrekken.

Hoe zal 5G een snelle groei in computer vision-technologie-toepassingen mogelijk maken?

Bij snellere verbindingssnelheden kunt u meer verwerking naar de cloud verplaatsen, wat nieuwe mogelijkheden opent voor allerlei soorten computer vision-toepassingen. Echter, het hangt echt af van de toepassing en hoe breed deze zal worden geadopteerd.

5G kan een gefragmenteerde impact hebben en de digitale kloof verder vergroten, aangezien sommige delen van de wereld snellere en snellere connectiviteit hebben, terwijl andere gebieden blijven worstelen met langzame connectiviteit. Toepassingen die zich richten op mensen met toegang tot 5G zullen duidelijk profiteren. Maar meer algemeen geadopteerde toepassingen moeten mogelijk kiezen tussen tijd en geld besteden aan wat in wezen twee versies van dezelfde toepassing zullen worden, of blijven bij één versie die minder robuust is, maar kan draaien op bijna elke verbinding.

Wat zijn de stappen die Fyusion onderneemt om te profiteren van de toekomstige 5G-uitrol?

Ik wil dit voorafgaand zeggen door te zeggen dat Fyusion veel tijd heeft besteed aan het ervoor zorgen dat klanten toegang hebben tot onze toepassingen, zelfs op oude telefoons met slechte bandbreedte-beschikbaarheid. Met Manheim alleen al heeft onze technologie meer dan een miljoen auto’s geïmaged, en we zouden dat niet hebben bereikt zonder dat.

Dat gezegd hebbende, zijn we erg enthousiast over wat we op dit moment zien – het is een trifecta van toenemende verwerkingssnelheden, 5G-connectiviteit en niets minder dan een revolutie in camera-telefoons. Als je het allemaal bij elkaar optelt, krijg je enkele nieuwe ontwikkelingen die ik helaas nog niet met je kan delen.

Is er nog iets anders dat u zou willen delen over Fyusion?

Het is een spannende tijd om in computer vision te werken – als discipline komen we in de mainstream terecht na vele jaren waarin we werden besproken als een toekomstige technologie. Fyusion groeit snel en we nemen computer vision-wetenschappers aan van over de hele wereld. Onze teamleden kunnen overal vandaan werken, maar ze zijn altijd welkom in onze kantoren in Potrero Hill.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Fyusion bezoeken.