Stephen Miller, medeoprichter en SVP van Engineering bij Fyusion – Interviewreeks

Stephen Miller is de medeoprichter en SVP van Engineering bij Fyusion, een bedrijf dat zich bezighoudt met 3D-beeldvorming en computer vision, onderdeel van de Cox Automotive-groep. Voordat hij Fyusion oprichtte, was hij een PhD-student aan de Stanford University waar hij computerwetenschappen studeerde, en werkte hij aan persoonlijke robots zoals het vouwen van was en het knopen van chirurgische knopen tijdens zijn undergraduate-studie aan de UC Berkeley. Hij is een Google (GOOGL ) Hertz Fellow, SAP Stanford Graduate Fellow en NSF Fellow-alumnus.

Kunt u uitleggen wat Fyusion is en hoe het de eenvoudige opname en visualisatie van 3D-gegevens mogelijk maakt?

Fyusion is een computer vision-bedrijf dat AI-gedreven, 3D-klantervaringen biedt. We maken het mogelijk voor mensen om 3D-afbeeldingen op te nemen via een eenvoudige smartphone-app die werkt op de meeste Android- en iOS-apparaten. De app heeft stap-voor-stap-instructies en is ontworpen om door iedereen te worden gebruikt, ongeacht technische vaardigheden. Het duurt ongeveer een minuut of twee om de afbeelding op te nemen. Vanaf daar kan onze AI-engine, ALIS, 3D-afbeeldingen analyseren en deze visuele gegevens omzetten in actiegerichte informatie. Op dit moment zijn we gericht op het gebruik van 3D-afbeeldingen om externe schade aan auto’s te diagnosticeren.

Kunt u uitleggen hoe de algoritmes het bestandformaat .fyuse gebruiken om een 3D-afbeelding te maken met een enkele camera op een smartphone?

Ik vind het nuttig om het .fyuse-formaat te beschouwen naast foto’s en video’s. Een foto vat een moment in de tijd vanuit een vaste hoek, en een video vat een reeks van die momenten in een lineaire tijdslijn. In tegenstelling tot een .fyuse-afbeelding, die we een “moment in de ruimte” noemen. Een kijker is niet beperkt tot één hoek of lineaire tijdslijn: hij kan niet alleen één kant van iets zien, maar ook eromheen.

Om een .fyuse-afbeelding te maken, cirkelt de fotograaf rond zijn onderwerp in één richting met een cameratelefoon. Alternatief is Fyusion-technologie ook compatibel met vaste beeldvormingsoplossingen en niet-traditionele beeldvormingsoplossingen zoals drones.

Ons .fyuse-bestandsformaat is wat deze afbeeldingen tot leven brengt. Het is lichtgewicht en maakt complexe, multifacette-interactiviteit mogelijk. Het is ook volledig compatibel met laptops, tablets en smartphones die de gewone gebruiker al in zijn arsenaal heeft.

Kunt u enkele van de gegevens bespreken die met Fyusion worden vastgelegd en geanalyseerd?

Met auto’s herkent ALIS elk onderdeel van het voertuig en kan dan bepalen waar schade is, de omvang en ernst van de schade, en potentieel valse positieven elimineren, zoals vuil dat van de weg is opgepakt. De technologie die we hebben ontwikkeld en gepatenteerd kan andere problemen oplossen, maar dit is de ene waar we ons op dit moment op richten.

Kunt u de AI-gebaseerde Lightfield Information Suite (ALIS) bespreken?

ALIS is de motor achter elk Fyusion-product. Het maakt lichtgewicht 3D-beeldvorming en diepe visuele begrip mogelijk. Er zijn drie onderdelen die ALIS vormen: Capture, Engine en Viewer. In het Capture-module bevat de mobiele applicatie ingebouwde tutorials en aanpasbare workflows die gebruikers in staat stellen om hoge kwaliteit 3D-afbeeldingen te maken met de meeste smartphones op de markt. Fyusion’s beeldvorming ondersteunt ook DSLR’s, drones en een heleboel andere apparaten.

In de tweede stap, Engine, analyseert ALIS deze 3D-afbeeldingen en zet ze om in actiegerichte informatie, zoals de soorten schade die onze klanten nodig hebben. Het kan ook ondersteuning voor zijn bevindingen bieden door het maken van hoge resolutie 2D-afbeeldingen van de schade die het vindt.

Tenslotte toont de Viewer het .fyuse-bestandsformaat. De .fyuse is gepatenteerd en lichtgewicht, en biedt een immersieve 3D-ervaring met snelle laadtijden. We kunnen allerlei soorten ervaringen toevoegen aan een .fyuse, waaronder audio, video en natuurlijk 2D-afbeeldingen.

Fyusion is zowel AR- als VR-klaar, hoe groot denkt u dat deze toepassingen in de toekomst zullen zijn?

Augmented reality is een miljardenindustrie die mainstream wordt, en het is nog gemakkelijker om omgevingen in 3D vast te leggen dankzij krachtige nieuwe mobiele apparaten en lage latentie-netwerken. Naarmate deze technologieën mainstream worden, zullen de verwachtingen van klanten van online-ervaringen zo snel mogelijk worden verhoogd.

Vooral in de auto-industrie, waar autoverkoop steeds vaker online gebeurt, verwachten we in de komende jaren een golf van interesse in AR, VR en 3D-lijsten. Het doel is om een eenvoudige voertuigdetailpagina (VDP) om te zetten in een voertuigervaringspagina (VEP), waardoor zowel grote als kleine autobedrijven kunnen blijven floreren. Dit kan alles zijn, van het toevoegen van 3D-logos en rijke mediatags aan lijsten, tot het mogelijk maken voor kopers om virtueel een set golfclubs in de kofferbak van een auto te plaatsen om te zien hoe ze erin passen.

Het zal spannend zijn om te zien hoe deze soort toepassingen hun weg vinden naar mainstream-gebruik. Ik denk niet dat het lang zal duren.

Kunt u de verbetering in klikfrequentie en omzet bespreken die in e-commerce wordt gezien bij het gebruik van 3D-afbeeldingen in plaats van 2D-afbeeldingen?

Ik ben het meest vertrouwd met groothandel- en detailhandelsautoverkoop. 3D-beeldvorming heeft een nieuw niveau van vertrouwen gecreëerd voor online-kopers, wat vooral kritiek is bij grote artikelen zoals auto’s.

Onze interne gegevens geven aan dat 3D-afbeeldingen de gebruikersbetrokkenheid en de tijd die op voertuigdetailpagina’s wordt doorgebracht, verhogen, wat op zijn beurt de autoverkoop kan verhogen. Het bieden van een realistische 3D-ervaring van het voertuig bouwt ook een positieve houding ten opzichte van de verkoper op door het vertrouwen te vergroten.

Een van de opties met Fyusion is om gegevens lokaal of in de cloud te verwerken, kunt u de voordelen van elk bespreken?

Lokaal, dwingt edge-AI ontwikkelaars om binnen aanzienlijke beperkingen te werken, vooral voor het gebruik van mobiele telefoons. Naast de standaardzorgen voor elke AI-ontwikkelaar – Hoe geoptimaliseerd is het netwerk? Hoe betrouwbaar zijn de resultaten? – zijn er bepaalde praktische zorgen die duidelijke plafonds creëren. Geheugendruk, batterijverbruik, de mogelijkheid dat uw proces op de achtergrond wordt gezet door de gebruiker of het besturingssysteem, enz. En dat is ervan uitgaand dat vergelijkbare CPU’s en GPU’s beschikbaar zijn op de edge. Zelfs voor vlaggenschipapparaten is dit zelden het geval.

U moet plannen voor elke mogelijke hoekcase; terwijl in de cloud elke oplossing kan worden bewaakt en fijn afgesteld.

Maar collectief gesproken, kan edge-AI worden beschouwd als de perfecte “autoscaling”-oplossing: voor elke nieuwe gebruiker hebt u een geheel nieuwe machine tot uw beschikking. Als u uw netwerk hebt geoptimaliseerd om volledig op de edge te draaien, kunt u net zo gemakkelijk twee, of twee miljoen, klanten bedienen.

Terwijl de krachtigste hardware altijd in de cloud zal bestaan, wordt algemeen aanvaard dat gegevens de koning zijn. Hoe meer gegevens, en hoe dichter ze bij de bron liggen, hoe beter. AI op de edge heeft toegang tot onbewerkte, ruwe invoergegevens, zonder beperkingen. Terwijl voor een cloud-AI-oplossing invoergegevens moeten worden verwerkt (gecomprimeerd, gedeeltelijk) of enorm, waardoor bandbreedte een ernstige zorg wordt.

Omdat het het dichtst bij de gebruiker ligt, opent edge-AI een reeks mogelijkheden die cloud-AI niet heeft. Als het is geoptimaliseerd om in real-time te draaien, kan het real-time feedback bieden. Wat betekent dat u oplossingen kunt bouwen die niet alleen gegevens verwerken, maar gebruikers ook aanmoedigen om betere gegevens te verstrekken.

Hoe zal 5G een snelle groei in computer vision-technologie-toepassingen mogelijk maken?

Bij snellere verbindingssnelheden kunt u meer verwerking naar de cloud verplaatsen, wat nieuwe mogelijkheden voor allerlei computer vision-toepassingen opent. Echter, het hangt echt af van de toepassing en hoe breed deze zal worden geadopteerd.

5G kan een gefragmenteerde impact hebben en de digitale kloof vergroten, aangezien sommige delen van de wereld snellere en snellere connectiviteit hebben, terwijl andere gebieden langzame connectiviteit zullen blijven houden. Toepassingen die zich richten op mensen met toegang tot 5G zullen duidelijk profiteren. Maar bredere toepassingen moeten mogelijk kiezen tussen tijd en geld besteden aan wat in wezen twee versies van dezelfde toepassing zullen worden, of blijven bij één versie die minder robuust is, maar op bijna elke verbinding kan draaien.

Welke stappen onderneemt Fyusion om te profiteren van de toekomstige 5G-uitrol?

Ik wil dit voorafgaand aan de toespraak zeggen dat Fyusion veel tijd heeft besteed aan het waarborgen dat klanten toegang hebben tot onze toepassingen, zelfs op oude telefoons met slechte bandbreedtebeschikbaarheid. Met Manheim alleen al heeft onze technologie meer dan een miljoen auto’s geïmaged, en we zouden dat niet hebben bereikt zonder dit.

Maar we zijn erg enthousiast over wat we nu zien – het is een trifecta van toenemende verwerkingsnelheden, 5G-connectiviteit en niets minder dan een revolutie in cameratelefoons. Alles bij elkaar en je krijgt enkele nieuwe ontwikkelingen die ik helaas nog niet met je kan delen.

Is er nog iets anders dat u over Fyusion wilt delen?

Het is een spannende tijd om in computer vision te werken – als discipline bewegen we ons naar de mainstream na vele jaren waarin het werd besproken als een toekomstige technologie. Fyusion groeit snel en we nemen computer vision-wetenschappers in dienst van over de hele wereld. Onze teamleden kunnen overal werken, maar ze zijn altijd welkom in onze kantoren in Potrero Hill.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Fyusion bezoeken.