Stephen Miller, medgrundare och SVP för teknik på Fyusion – Intervjuserie

Stephen Miller är medgrundare och SVP för teknik på Fyusion, ett företag som arbetar med 3D-avbildning och datorseende, som är en del av Cox Automotive-gruppen. Innan han grundade Fyusion var han doktorand vid Stanford University och studerade datavetenskap, och arbetade med personliga robotar som tvättfolding och kirurgisk knutning under sin grundutbildning vid UC Berkeley. Han är en Google (GOOGL ) Hertz-stipendiat, SAP Stanford Graduate Fellow och NSF-stipendiat.

Kan du förklara vad Fyusion är och hur det möjliggör enkel insamling och visualisering av 3D-data?

Fyusion är ett företag som arbetar med datorseende och tillhandahåller AI-drivna 3D-kundupplevelser. Vi möjliggör för människor att ta 3D-bilder via en enkel smartphone-app som körs på de flesta Android- och iOS-enheter. Appen har steg-för-steg-guidning och är utformad för att användas av vem som helst, oavsett teknisk kunskap. Det tar en minut eller två att ta bilden. Därefter kan vår AI-motor, ALIS, analysera 3D-bilder och omvandla visuell data till användbar information. Just nu fokuserar vi på att använda 3D-bilder för att diagnostisera yttre skador på bilar.

Kan du förklara hur algoritmerna använder filformatet .fyuse för att möjliggöra för en smartphone med en enda kamera att skapa 3D-bilder?

Jag tycker det är hjälpsamt att betrakta .fyuse-formatet bredvid foton och videor. En foto fångar ett ögonblick i tiden från ett fast perspektiv, och en video fångar en serie av dessa ögonblick i en linjär tidsaxel. I kontrast till detta fångar en .fyuse-bild det som vi kallar “ett ögonblick i rummet”. En tittare är inte begränsad till ett enda perspektiv eller en linjär tidsaxel: de kan se inte bara en sida av något, utan också runt det.

För att skapa en .fyuse-bild cirkulerar fotografen runt sitt motiv i en riktning med en mobilkamera. Alternativt är Fyusion-tekniken också kompatibel med fasta bildlösningar och icke-traditionella bildlösningar som drönare.

Vårt .fyuse-filformat är det som ger dessa bilder liv. Det är lätt och möjliggör komplex, multifacetterad interaktivitet. Det är också helt kompatibelt med bärbara datorer, surfplattor och smartphones som den vanliga användaren redan har i sin arsenal.

Kan du diskutera några av de data som samlas in och analyseras med Fyusion?

Med bilar känner ALIS igen varje del av fordonet och kan sedan bestämma var det finns skador, skadans storlek och allvarlighetsgrad, och eliminera potentiella falska positiva, såsom smuts som sparkats upp från vägen. Den teknik vi har utvecklat och patenterat kan lösa andra problem, men det här är det vi fokuserar på just nu.

Kan du diskutera vad AI-baserade Lightfield Information Suite (ALIS) är?

ALIS är motorn bakom varje Fyusion-produkt. Det möjliggör lätt 3D-avbildning och djup visuell förståelse. Det finns tre delar som utgör ALIS: Insamling, Motor och Visare. I insamlingsmodulen innehåller den mobila applikationen inbyggda guider och anpassningsbara arbetsflöden som tillåter användare att samla in högkvalitativa 3D-bilder med de flesta smartphones på marknaden. Fyusions bildinsamling stöder också DSLR-kameror, drönare och en mängd andra enheter.

I det andra steget analyserar ALIS dessa 3D-bilder och omvandlar dem till användbar information, såsom typer av skador som krävs av våra kunder. Det kan också ge bakgrund för sina fynd genom att skapa högupplösta 2D-bilder av de skador det hittar.

Till sist visar Visaren .fyuse-filformatet. .fyuse är patenterat och lätt och ger en immersiv 3D-upplevelse med snabba laddningstider. Vi kan lägga till alla sorters upplevelser med en .fyuse, inklusive ljud, video och naturligtvis 2D-bilder.

Fyusion är både AR- och VR-klar, hur stor tror du att dessa tillämpningar kommer att vara i framtiden?

Förstärkt verklighet är en miljardindustri som blir alltmer mainstream, och det är ännu lättare att fånga omgivningen i 3D tack vare kraftfulla nya mobila enheter och låglatensnätverk. När dessa tekniker kommer in i mainstream kommer kundernas förväntningar på onlineupplevelser att öka lika snabbt som innehållsskapare kan hålla jämna steg.

Särskilt inom bilindustrin, där bilköp alltmer sker online, förväntar vi oss en våg av intresse för AR, VR och 3D-listor under de närmaste åren. Målet är att omvandla en enkel fordonssida (VDP) till en fordonserfarenhetssida (VEP), som hjälper både stora och små bilåterförsäljare att fortsätta blomstra. Det kan vara allt från att lägga till 3D-logotyper och rika medietaggar på listor, eller att låta köpare virtuellt placera en uppsättning golfklubbor i bagageutrymmet på en bil för att se hur de passar inuti.

Det kommer att vara spännande att se hur dessa typer av tillämpningar börjar fungera sig in i mainstreamanvändning. Jag tror inte att det kommer att dröja länge.

Kan du diskutera förbättringen av klickfrekvens och intäkt som ses i e-handel från att använda 3D-bilder jämfört med 2D-bilder?

Jag är mest bekant med grossist- och detaljhandelsförsäljning av bilar. 3D-avbildning har skapat en ny nivå av förtroende för online-shoppers, vilket är särskilt viktigt för stora artiklar som bilar.

Våra interna data visar att 3D-bilder ökar användarengagemanget och tiden som tillbringas på fordonssidor, vilket i sin tur har visat sig öka bilförsäljningen. Att tillhandahålla en realistisk 3D-upplevelse av fordonet bygger också positivt förtroende för säljaren genom att öka förtroendet.

En av alternativen med Fyusion är att bearbeta data lokalt eller i molnet, kan du diskutera fördelarna med var och en?

Lokalt tvingar edge-AI utvecklare att arbeta inom betydande begränsningar, särskilt för användningsfallet med mobiltelefoner. Utöver de standardproblem som alla AI-utvecklare har – Hur optimerad är nätverket? Hur tillförlitliga är resultaten? – finns det vissa praktiska problem som sätter tydliga tak. Minnetryck, batteridrift, möjligheten att din process bakgrunds körs av användaren eller operativsystemet etc. Och det antar att jämförbara CPU:er och GPU:er finns tillgängliga på kanten. Även för flaggskeppsenheter är detta sällan fallet.

Man måste planera för varje möjligt hörnfall; medan i molnet kan varje lösning övervakas och finjusteras.

Men kollektivt sett kan edge-AI anses vara den perfekta “autoskalningslösningen”: för varje ny användare har du en helt ny maskin till din förfogande. Om du har optimerat ditt nätverk för att köras helt på kanten kan du lika lätt serva två eller två miljoner kunder.

Medan den kraftfullaste hårdvaran alltid kommer att finnas i molnet, är det allmänt accepterat att data är kungen. Ju mer data, och ju närmare den är rå, desto bättre. AI på kanten har tillgång till obearbetad, rå insamlingsdata, utan begränsningar. Medan för en molnbaserad AI-lösning måste insamlingsdata antingen bearbetas (komprimerad, partiell) eller enorm, vid vilken punkt bandbredd blir ett allvarligt problem.

Eftersom det är närmast användaren öppnar edge-AI upp en rad möjligheter som molnbaserad AI inte gör. Om den optimeras för att köras i realtid kan den ge återkoppling i realtid. Vilket innebär att du kan bygga lösningar som inte bara tar in data, utan också uppmuntrar användare att tillhandahålla bättre data.

Hur kommer 5G att möjliggöra snabb tillväxt i datorseende-teknikapplikationer?

Med snabbare anslutningshastigheter kan du flytta mer bearbetning till molnet, vilket öppnar upp möjligheter för alla sorters nya datorseende-applikationer. Men det beror verkligen på applikationen och hur bredt den kommer att antas.

5G kan ha en fragmenterad effekt och ytterligare förstärka den digitala klyftan, eftersom vissa delar av världen har snabbare och snabbare anslutningar medan andra områden kommer att fortsätta ha långsamma anslutningar. Applikationer som fokuserar på människor med tillgång till 5G kommer uppenbarligen att dra nytta av det. Men mer allmänt antagna applikationer kan behöva välja mellan att lägga tid och pengar på vad som i princip kommer att bli två versioner av samma applikation, eller att hålla fast vid en version som är mindre robust men kan köras på nästan alla anslutningar.

Vilka steg tar Fyusion för att dra nytta av den framtida 5G-utrullningen?

Jag vill förtydliga att Fyusion har lagt ned betydande tid på att säkerställa att kunder kan komma åt våra applikationer även på gamla telefoner med dålig bandbreddstillgänglighet. Med Manheim ensam har vår teknik avbildat över en miljon bilar, och vi skulle inte ha uppnått det annars.

Sagt detta är vi mycket entusiastiska över vad vi ser just nu – det är en trifecta av ökade processhastigheter, 5G-anslutning och inte mindre än en revolution i kameramobiler. Sätt allt detta samman och du får några nya utvecklingar som jag tyvärr inte kan dela med er ännu.

Finns det något annat du vill dela om Fyusion?

Det är en mycket spännande tid att arbeta med datorseende – som disciplin rör vi oss in i mainstream efter många år av att ha talats om som en framtida teknik. Fyusion växer snabbt och vi anställer datorseende-vetare från hela världen. Våra teammedlemmar kan arbeta från var som helst, men de är alltid välkomna på våra kontor i Potrero Hill.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Fyusion.