Stephen Miller, medgrunnlegger og SVP for ingeniørarbeid i Fyusion – Intervju-serie

Stephen Miller er medgrunnlegger og SVP for ingeniørarbeid i Fyusion, et selskap for 3D-bildebehandling og datamaskinsyn som er en del av Cox Automotive-gruppen. Før han grunnla Fyusion, var han en PhD-student ved Stanford University hvor han studerte datavitenskap, og arbeidet med personlige roboter som vaskfolding og kirurgisk knutebinding under sin bachelorstudie ved UC Berkeley. Han er en Google Hertz Fellow, SAP Stanford Graduate Fellow og NSF Fellow-alumnus.

Kunne du forklare hva Fyusion er og hvordan det muliggjør enkelt innhenting og visualisering av 3D-data?

Fyusion er et selskap for datamaskinsyn som tilbyr AI-drevne, 3D-kundeeffekter. Vi muliggjør at mennesker kan ta 3D-bilder via en enkel smartphone-app som kjører på de fleste Android- og iOS-enheter. Appen har steg-for-steg-veiledning og er designet for å være brukt av alle, uavhengig av teknisk kunnskap. Det tar ett eller to minutter for å ta bildet. Deretter kan vår AI-motor, ALIS, analysere 3D-bilder og omdanne visuell data til handlebare opplysninger. For øyeblikket fokuserer vi på å bruke 3D-bilder til å diagnostisere ytre skader på biler.

Kunne du forklare hvordan algoritmene bruker filformatet .fyuse for å muliggjøre at en smartphone med en enkelt kamera kan lage 3D-bilder?

Jeg finner det nyttig å vurdere .fyuse-formatet sammen med bilder og videoer. Et bilde fanger et øyeblikk i tid fra en fast vinkel, og en video fanger en rekke av disse øyeblikkene i en lineær tidslinje. I motsetning til dette fanger et .fyuse-bilde hva vi liker å kalle “et øyeblikk i rommet”. En seer er ikke begrenset til en enkelt vinkel eller lineær tidslinje: De kan se ikke bare en side av noe, men også rundt det.

For å lage et .fyuse-bilde, sirkler fotografen rundt motivet i én retning med et mobilkamera. Alternativt er Fyusion-teknologi også kompatibel med faste bildeløsninger og ikke-tradisjonelle bildeløsninger som droner.

Vårt .fyuse-filformat er det som bringer disse bildene til live. Det er lettvekt og muliggjør kompleks, flerflatet interaktivitet. Det er også fullstendig kompatibelt med bærbare datamaskiner, nettbrett og smarttelefoner som den vanlige brukeren allerede har i sin arsenal.

Kunne du diskutere noen av de dataene som innhentes og analyseres med Fyusion?

Med biler, gjenkjenner ALIS hver del av kjøretøyet og kan deretter bestemme hvor det er skader, størrelsen og alvorlighetsgraden av skadene og eliminere potensielle feilpositive, som for eksempel skitt fra veien. Teknologien vi har utviklet og patentert kan løse andre problemer, men dette er det vi fokuserer på for øyeblikket.

Kunne du diskutere hva AI-basert Lightfield Information Suite (ALIS) er?

ALIS er motoren bak hver Fyusion-produkt. Det muliggjør lett 3D-bildebehandling og dyp visuell forståelse. Det finnes tre deler som utgjør ALIS: Innhenting, Motor og Viser. I Innhentingsmodulen inneholder mobilapplikasjonen innebygde veiledninger og tilpassbare arbeidsflyter som tillater brukerne å innhente høykvalitets 3D-bilder med de fleste smarttelefoner på markedet. Fyusions bildeinnhenting støtter også DSLR, droner og en rekke andre enheter.

I det andre steget, Motor, analyserer ALIS 3D-bildene og omdanner dem til handlebare opplysninger, som for eksempel typene skader som våre kunder krever. Det kan også gi støtte for funnene sine ved å lage høyoppløselige 2D-bilder av skadene det finner.

Til slutt viser Viseren .fyuse-filformatet. .fyuse er patentert og lettvekt og gir en immersiv 3D-oplevelse med rask lastetid. Vi kan appende alle slags opplevelser med en .fyuse, inkludert lyd, video og selvfølgelig 2D-bilder.

Fyusion er både AR- og VR-klar, hvor stor tror du disse applikasjonene vil være i fremtiden?

Forbedret virkelighet er en milliardindustri som blir mer mainstream, og det er enda lettere å innhente omgivelser i 3D takket være kraftfulle nye mobile enheter og lavforsinkede nettverk. Etterhvert som disse teknologiene kommer inn i mainstream, vil kundenes forventninger til online-oplevelser øke like raskt som innholdsskapere kan holde tritt.

Spesielt i bilindustrien, hvor bilkjøp stadig går over til nettet, forventer vi i de kommende årene en økning i interessen for AR, VR og 3D-listinger. Målet er å transformere en enkel bilinformasjonsside (VDP) til en bil-oplevelsesside (VEP), som hjelper både store og små bilforhandlere til å trives. Dette kan være alt fra å legge til 3D-logoer og rike medietegn på listinger eller å la kjøpere virtuelt plassere en sett golfklubber i bagasjerommet på en bil for å se hvordan de passer inni.

Det vil være spennende å se hvordan disse typene applikasjoner begynner å arbeide seg inn i mainstream-bruk. Jeg tror ikke det vil være en lang ventetid.

Kunne du diskutere forbedringen i klikk-gjennom-rate og inntekt som sees i e-handel fra å bruke 3D-bilder i stedet for 2D-bilder?

Jeg er mest kjent med engros- og detaljhandelssalg. 3D-bilder har skapt et nytt nivå av tillit for nettbutikkere, noe som er spesielt kritisk med store varer som biler.

Våre interne data indikerer at 3D-bilder øker brukerengasjement og tid brukt på bilinformasjonssider, noe som igjen har vist seg å øke bilsalg. Å gi en realistisk 3D-oplevelse av kjøretøyet bygger også positivt sentiment mot selgeren ved å øke tillit.

En av valgene med Fyusion er å prosessere data lokalt eller i skyen, kunne du diskutere fordelen av hver?

Lokalt, tvinger kant-AI utviklere til å arbeide innenfor betydelige begrensninger, spesielt for bruksområdet mobiltelefoner. I tillegg til de vanlige bekymringene for alle AI-utviklere – Hvor optimerer er nettverket? Hvor pålitelige er resultatene? – setter bestemte praktiske bekymringer klare tak. Minne-trykk, batteri-utladning, muligheten for at prosessen din blir bakgrunnsprosessert av brukeren eller operativsystemet osv. Og det er med antagelse av sammenlignbare CPU-er og GPU-er som er tilgjengelige på kanten. Selv for toppmodeller er dette sjelden tilfelle.

Du må planlegge for hver mulig hjørnefall; mens i skyen kan hver løsning overvåkes og finjusteres.

Men kollektivt sett kan kant-AI betraktes som den perfekte “autoskalering”-løsningen: for hver ny bruker har du en helt ny maskin til din disposisjon. Hvis du har optimert ditt nettverk til å kjøre helt på kanten, kan du like lett betjene to eller to millioner klienter.

Mens den tyngste maskinvaren alltid vil eksistere i skyen, er det generelt akseptert at data er kongen. Jo mer data, og jo nærmere det er rått, jo bedre. AI på kanten har tilgang til ubehandlet, rå innputtdata, uten begrensninger. Mens for en sky-AI-løsning må innputtdata enten behandles (komprimert, delvis) eller enormt, på det punktet blir båndbredde en alvorlig bekymring.

Fordi det er nærmest brukeren, åpner kant-AI opp en rekke muligheter som sky-AI ikke gjør. Hvis det er optimert for å kjøre i sanntid, kan det gi tilbakemelding i sanntid. Hvilket betyr at du kan bygge løsninger som ikke bare inntar data, men oppmuntre brukerne til å gi better data.

Hvordan vil 5G muliggjøre rask vekst i datamaskinsynsteknologi-applikasjoner?

Ved raskere tilkoblingshastigheter kan du flytte mer prosessering til skyen, noe åpner opp muligheter for alle slags nye datamaskinsyn-applikasjoner. Imidlertid avhenger det av applikasjonen og hvor bredt den vil bli adoptert.

5G kan ha en fragmentert innvirkning og videre fordype den digitale kløften, da noen deler av verden har raskere og raskere tilkobling, mens andre områder vil fortsette å ha langsom tilkobling. Applikasjoner som fokuserer på mennesker med tilgang til 5G vil åpenbart dra nytte.

Men mer bredt adopterte applikasjoner kan måtte velge mellom å bruke tid og penger på hva som i realiteten vil bli to versjoner av samme applikasjon, eller holde fast ved en versjon som er mindre robust, men kan kjøre på nesten alle tilkoblinger.

Hva trinn tar Fyusion for å dra nytte av fremtidig 5G-utbredelse?

Jeg vil forordne dette ved å si at Fyusion har brukt betydelig tid på å sikre at kundene våre kan få tilgang til våre applikasjoner, selv på gamle telefoner med dårlig båndbredde. Med Manheim alene har vår teknologi bildet over en million biler, og vi ville ikke ha oppnådd det uten det.

Det sagt, er vi svært spente på hva vi ser nå – det er en trekant av økende prosesseringshastigheter, 5G-tilkobling og ikke mindre enn en revolusjon i kamera-telefoner. Sett det hele sammen og du får noen nye utviklinger som dessverre ikke kan deles med deg enda.

Er det noe annet du ønsker å dele om Fyusion?

Det er en svært spennende tid å jobbe i datamaskinsyn – som en disiplin er vi i ferd med å gå over i mainstream etter mange år med å bli snakket om som en fremtidig teknologi. Fyusion vokser raskt og vi rekrutterer datamaskinsynsvitenskapsmenn fra hele verden. Våre teammedlemmer kan jobbe fra hvor som helst, men de er alltid velkommen i våre kontorer i Potrero Hill.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Fyusion.