Stephen Miller, medstifter og SVP for Engineering hos Fyusion – Interviewserie

Stephen Miller er medstifter og SVP for Engineering hos Fyusion, et 3D-billede- og computer vision-selskab, der er en del af Cox Automotive-gruppen. Før han stiftede Fyusion, var han PhD-student på Stanford University, hvor han studerede datalogi, og arbejdede med personlige robotter som vask af tøj og kirurgisk knudebinding under sin bacheloruddannelse på UC Berkeley. Han er en Google (GOOGL ) Hertz Fellow, SAP Stanford Graduate Fellow og NSF Fellow-alumnus.

Kan du forklare, hvad Fyusion er, og hvordan det muliggør let optagelse og visualisering af 3D-data?

Fyusion er et computer vision-selskab, der tilbyder AI-drevne 3D-kundeserfaringer. Vi muliggør, at mennesker kan optage 3D-billeder via en simpel smartphone-app, der kan køre på de fleste Android- og iOS-enheder. Appen har trin-for-trin-vejledning og er designet til at være brugt af alle, uanset teknisk kunnen. Det tager et minut eller to at optage billedet. Derefter kan vores AI-motor, ALIS, analysere 3D-billeder og omdanne visuel data til handlebar information. Lige nu fokuserer vi på at bruge 3D-billeder til at diagnostisere ydre skader på biler.

Kan du forklare, hvordan algoritmernes brug af filformatet .fyuse muliggør, at en smartphonekamera kan oprette 3D-billeder?

Jeg finder det nyttigt at betragte .fyuse-formatet sammen med billeder og videoer. Et billede fanger et øjeblik i tiden fra en fast vinkel, og en video fanger en række af disse øjeblikke i en lineær tidslinje. Til gengæld fanger et .fyuse-billede, hvad vi kalder “et øjeblik i rummet”. En beskuer er ikke begrænset til en enkelt vinkel eller lineær tidslinje: De kan se ikke kun en side af noget, men også rundt om det.

For at oprette et .fyuse-billede cirkler fotografen rundt om sit emne i én retning med en mobilkamera. Alternativt er Fyusion-teknologien også kompatibel med faste billedløsninger og ikke-traditionelle billedløsninger som droner.

Vores .fyuse-filformat er, hvad der bringer disse billeder til live. Det er letvægts- og muliggør kompleks, multifacetteret interaktivitet. Det er også fuldstændigt kompatibelt med bærbare computere, tabletter og smartphones, som den gennemsnitlige bruger allerede har i sin arsenal.

Kan du diskutere nogle af de data, der indsamles og analyseres med Fyusion?

Med biler genkender ALIS hver del af køretøjet og kan derefter bestemme, hvor der er skader, størrelsen og alvoren af skaderne, og eliminere potentielle falske positive, såsom snavs, der er sparket op fra vejen. Teknologien, vi har udviklet og patenteret, kan løse andre problemer, men dette er det, vi fokuserer på lige nu.

Kan du diskutere, hvad AI-baseret Lightfield Information Suite (ALIS) er?

ALIS er motoren bag hver Fyusion-produkt. Det muliggør letvægts-3D-billeder og dyb visuel forståelse. Der er tre dele, der udgør ALIS: Capture, Engine og Viewer. I Capture-modulen indeholder den mobile applikation indbyggede vejledninger og tilpassede arbejdsgange, der tillader brugere at optage højkvalitets-3D-billeder med de fleste smartphones på markedet. Fyusions billedoptagelse understøtter også DSLR-kameraer, droner og en række andre enheder.

I det andet trin analyserer Engine ALIS disse 3D-billeder og omdanner dem til handlebar information, såsom skadetyperne, der kræves af vores kunder. Det kan også give baggrund for sine fund ved at oprette højopløsnings-2D-billeder af skaderne, det finder.

Til sidst viser Viewer .fyuse-filformatet. .fyuse er patenteret og letvægts- og giver en immersiv 3D-oplevelse med hurtige indlæsningstider. Vi kan appende alle slags oplevelser med en .fyuse, herunder lyd, video og selvfølgelig 2D-billeder.

Fyusion er både AR- og VR-klar, hvor stort tror du, disse anvendelser vil være i fremtiden?

Forstærket virkelighed er en milliardindustri, der bliver mere mainstream, og det er endnu lettere at optage omgivelser i 3D takket være kraftfulde nye mobile enheder og lav-forsinkede netværk. Da disse teknologier bevæger sig ind i mainstream, vil kundernes forventninger til online-oplevelser stige lige så hurtigt, som indholdsskabere kan holde trit.

Især i bilindustrien, hvor bilkøb i stigende grad sker online, forventer vi i de næste få år en stor interesse for AR, VR og 3D-listinger. Målet er at omdanne en simpel køretøjsdetaljeside (VDP) til en køretøjsoplevelseside (VEP), der hjælper både store og små bilforhandlere med at fortsætte med at trives. Dette kan være alt fra at tilføje 3D-logoer og rigtige medietags til lister eller tillade købere at placere en sæt golfkøller i bagagerummet på en bil for at se, hvordan de passer indeni.

Det vil være spændende at se, hvordan disse typer af anvendelser begynder at arbejde sig ind i mainstream-brug. Jeg tror ikke, det vil tage lang tid.

Kan du diskutere forbedringen i klik-raten og omsætningen, der ses i e-handel fra brug af 3D-billeder i stedet for 2D-billeder?

Jeg er mest fortrolig med engros- og detailhandel med biler. 3D-billeder har skabt et nyt niveau af tillid hos online-købere, hvilket er særligt kritisk med store artikelpriser som biler.

Vores interne data viser, at 3D-billeder øger brugerengagement og tid tilbragt på køretøjsdetaljesider, hvilket igen er blevet vist at øge bilsalget. At give en realistisk 3D-oplevelse af køretøjet bygger også positivt sentiment over for sælgeren ved at øge tilliden.

En af mulighederne med Fyusion er at behandle data lokalt eller i skyen, kan du diskutere fordelene ved hver?

Lokalt tvinger edge-AI udviklere til at arbejde inden for betydelige begrænsninger, især for brugen af mobiltelefoner. Ud over de standardbekymringer for enhver AI-udvikler – Hvordan optimeret er netværket? Hvordan pålidelige er resultaterne? – sætter visse praktiske bekymringer klare lofter. Hukommelsespres, batteriafdrain, muligheden for, at processen bliver baggrundet af brugeren eller operativsystemet osv. Og det antager, at sammenlignelige CPU’er og GPU’er var tilgængelige på kanten. Selv for topmodeller er dette sjældent tilfældet.

Man skal planlægge for hver mulig hjørnefald; hvorimod i skyen kan enhver løsning overvåges og finjusteres.

Men kollektivt set kan edge-AI betragtes som den perfekte “autoskalering”-løsning: for hver ny bruger har man en helt ny maskine til rådighed. Hvis man har optimeret sit netværk til at køre helt på kanten, kan man lige så let betjene to eller to millioner kunder.

mens den kraftfuldeste hardware altid vil eksistere i skyen, er det generelt accepteret, at data er kongen. Jo mere data, og jo tættere det er på rå, desto bedre. AI på kanten har adgang til ubearbejdet, rå inputdata, uden begrænsninger. hvorimod for en sky-AI-løsning skal inputdata enten bearbejdes (komprimeret, delvis) eller enormt, hvorefter bandwidth bliver en alvorlig bekymring.

Fordi det er tættest på brugeren, åbner Edge-AI op for en række muligheder, som Cloud-AI ikke gør. Hvis det er optimeret til at køre i realtid, kan det give feedback i realtid. Hvortil man kan bygge løsninger, der ikke kun indtager data, men opmuntrer brugere til at give bedre data.

Hvordan vil 5G muliggøre hurtig vækst i computer vision-teknologi-applikationer?

Ved hurtigere forbindelseshastigheder kan man flytte mere behandling til skyen, hvilket åbner muligheder for alle slags nye computer vision-applikationer. Men det afhænger af applikationen og hvor bredt den vil blive antaget.

5G kan have en fragmenteret impact og yderligere den digitale kløft, da nogle dele af verden har hurtigere og hurtigere forbindelser, mens andre områder vil fortsætte med at have langsomme forbindelser. Applikationer, der er fokuseret på personer med adgang til 5G, vil naturligvis profiterer. Men mere bredt antaget applikationer kan være nødt til at vælge mellem at bruge tid og penge på, hvad der i virkeligheden bliver to versioner af samme applikation, eller holde fast ved en version, der er mindre robust, men kan køre på næsten enhver forbindelse.

Hvad træder Fyusion for at udnytte den fremtidige 5G-udrulning?

Jeg vil forordne dette ved at sige, at Fyusion har brugt betydelig tid på at sikre, at kunder kan få adgang til vores applikationer, selv på gamle telefoner med dårlig båndbredde. Med Manheim alene har vores teknologi billedoptaget over en million biler, og vi ville ikke have opnået det andet.

Det sagde, er vi meget begejstrede for, hvad vi ser lige nu – det er en trifekt af øgede behandlingshastigheder, 5G-forbindelser og intet mindre end en revolution i kamera-telefoner. Sæt det hele sammen, og du får nogle nye udviklinger, som jeg desværre ikke kan dele med dig endnu.

Er der noget andet, du gerne vil dele om Fyusion?

Det er en meget spændende tid at arbejde med computer vision – som disciplin bevæger vi os ind i mainstream efter mange år med at blive talt om som en fremtidig teknologi. Fyusion vokser hurtigt, og vi rekrutterer computer vision-videnskabsmænd fra hele verden. Vores teammedlemmer kan arbejde fra hvor som helst, men de er altid velkommen i vores kontorer i Potrero Hill.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Fyusion.