Stephen Miller, medgrunnlegger og SVP for ingeniørarbeid i Fyusion – Intervju-serie

Stephen Miller er medgrunnlegger og SVP for ingeniørarbeid i Fyusion, et 3D-bilde- og datavisjonsselskap som er en del av Cox Automotive-gruppen. Før han grunnla Fyusion, var han PhD-student ved Stanford University og studerte datavitenskap, og arbeidet med personlige roboter som vask og kirurgisk knutebinding under sin bachelor-utdanning ved UC Berkeley. Han er en Google (GOOGL ) Hertz-stipendiat, SAP Stanford Graduate Fellow og NSF Fellow-alumnus.

Kunne du forklare hva Fyusion er og hvordan det muliggjør enkelt innhenting og visualisering av 3D-data?

Fyusion er et datavisjonsselskap som tilbyr AI-drevne, 3D-kundesensorer. Vi muliggjør at mennesker kan ta 3D-bilder via en enkel smartphone-app som kjører på de fleste Android- og iOS-enheter. Appen har steg-for-steg-veiledning og er designet for å brukes av alle, uavhengig av teknisk kompetanse. Det tar ett minutt eller to å ta bildet. Deretter kan vår AI-motor, ALIS, analysere 3D-bilder og omdanne visuell data til handlinger. For øyeblikket fokuserer vi på å bruke 3D-bilder til å diagnostisere ytre skader på biler.

Kunne du forklare hvordan algoritmene bruker filformatet .fyuse for å muliggjøre at en smartphone-enkeltkamera kan lage 3D-bilder?

Jeg finner det nyttig å vurdere .fyuse-formatet sammen med bilder og videoer. Et bilde fanger et øyeblikk i tid fra en fast vinkel, og en video fanger en rekke av slike øyeblikk i en lineær tidsplan. I motsetning til dette fanger et .fyuse-bilde det vi liker å kalle “et øyeblikk i rommet”. En seer er ikke begrenset til en enkelt vinkel eller lineær tidsplan: De kan se ikke bare en side av noe, men også rundt det.

For å lage et .fyuse-bilde, sirkler fotografen rundt motivet i én retning med en mobilkamera. Alternativt er Fyusion-teknologi også kompatibel med faste bildesensorer og ikke-tradisjonelle bildesensorer som droner.

Vårt .fyuse-filformat er det som bringer disse bildene til live. Det er lett og muliggjør kompleks, multifaset interaktivitet. Det er også fullstendig kompatibelt med bærbare datamaskiner, nettbrett og smarttelefoner som den vanlige brukeren allerede har i sin arsenal.

Kunne du diskutere noen av dataene som innhentes og analyseres med Fyusion?

Med biler, gjenkjenner ALIS hver del av kjøretøyet og kan deretter bestemme hvor det er skader, størrelsen og alvorlighetsgraden av skadene og eliminere potensielle feilpositive, som f.eks. jord som er sparket opp fra veien. Teknologien vi har utviklet og patentert kan løse andre problemer, men dette er det vi fokuserer på for øyeblikket.

Kunne du diskutere hva AI-basert Lightfield Information Suite (ALIS) er?

ALIS er motoren bak hver Fyusion-produkt. Det muliggjør lett 3D-bilde- og dypt visuell forståelse. Det finnes tre deler som utgjør ALIS: Innhenting, Motor og Viser. I Innhentingsmodulen inneholder mobilapplikasjonen innebygde veiledninger og tilpassbare arbeidsflyter som tillater brukerne å innhente høykvalitets 3D-bilder med de fleste smarttelefoner på markedet. Fyusions bilde-innhenting støtter også DSLR, droner og en rekke andre enheter.

I det andre steget, Motor, analyserer ALIS disse 3D-bildene og omdanner dem til handlinger, som f.eks. typen skader som våre kunder krever. Det kan også gi støtte for sine funn ved å lage høyoppløselige 2D-bilder av skadene det finner.

Til slutt viser Viseren .fyuse-filformatet. .fyuse er patentert og lett og gir en immersiv 3D-erfaring med rask lastingstid. Vi kan legge til alle slags erfaringer med en .fyuse, inkludert lyd, video og selvsagt 2D-bilder.

Fyusion er både AR- og VR-klar, hvor stor tror du disse applikasjonene vil være i fremtiden?

Augmented reality er en milliardindustri som blir mer mainstream, og det er enda enklere å innhente omgivelser i 3D takket være kraftige nye mobile enheter og lav-forsinkelsesnettverk. Etterhvert som disse teknologiene kommer inn i mainstream, vil kundenes forventninger til online-erfaringer øke like raskt som innholdsskapere kan holde pace.

Spesielt i bilindustrien, hvor bilkjøp stadig mer går over til nettet, forventer vi en økning i interesse for AR, VR og 3D-lister i de neste årene. Målet er å transformere en enkel bilinformasjonsside (VDP) til en bil-erfaringsside (VEP), som hjelper både store og små bilforhandlere å fortsatt trives. Dette kan være alt fra å legge til 3D-logoer og rike medietegn på lister, eller å tillate kjøpere å plassere en sett golfklubber i bagasjerommet på en bil for å se hvordan de passer inni.

Det vil være spennende å se hvordan disse typene applikasjoner begynner å arbeide seg inn i mainstream-bruk. Jeg tror ikke det vil være lang tid før det skjer.

Kunne du diskutere forbedringen i klikk-gjennom-rate og omsetning som sees i e-handel fra bruk av 3D-bilder i stedet for 2D-bilder?

Jeg er mest kjent med grossist- og detaljhandelsbilsalg. 3D-bilder har skapt et nytt nivå av tillit for nettbutikkere, noe som er spesielt kritisk med store varer som biler.

Våre interne data indikerer at 3D-bilder øker brukerengasjement og tid brukt på bilinformasjonssider, noe som igjen har vist seg å øke bilsalg. Å gi en realistisk 3D-erfaring av kjøretøyet bygger også positivt inntrykk hos selgeren ved å øke tillit.

En av valgene med Fyusion er å prosessere data lokalt eller i skyen, kunne du diskutere fordelen med hver?

Lokalt, kant-AI tvinger utviklere til å arbeide innenfor betydelige begrensninger, spesielt for bruksscenariet med mobiltelefoner. I tillegg til de vanlige bekymringene for alle AI-utviklere – Hvor optimerer nettverket? Hvor pålitelige er resultatene? – finnes det praktiske bekymringer som setter klare tak. Minne-trykk, batteridrain, muligheten for at prosessen din blir bakgrunnsprosessert av brukeren eller operativsystemet osv. Og det er hvis sammenlignbare CPU-er og GPU-er er tilgjengelige på kanten. Selv for toppmodeller er dette sjelden tilfelle.

Man må planlegge for hver mulig hjørnefall; mens i skyen kan hver løsning overvåkes og finjusteres.

Men kollektivt talt kan kant-AI betraktes som den perfekte “autoskalering”-løsningen: for hver ny bruker har du en helt ny maskin til din disposisjon. Hvis du har optimert nettverket ditt for å kjøre helt på kanten, kan du like lett betjene to eller to millioner klienter.

Mens den kraftigste maskinvaren alltid vil eksistere i skyen, er det generelt akseptert at data er kongen. Jo mer data, og jo nærmere det er rått, jo bedre. AI på kanten har tilgang til ubehandlet, rå inndata, uten begrensninger. Mens for en sky-AI-løsning må inndata enten behandles (kompimert, delvis) eller enormt, på det punkt hvor båndbredde blir en alvorlig bekymring.

Fordi det er nærmest brukeren, åpner kant-AI opp en rekke muligheter som sky-AI ikke gjør. Hvis det er optimert for å kjøre i sanntid, kan det gi tilbakemelding i sanntid. Det betyr at du kan bygge løsninger som ikke bare inntar data, men også oppmuntre brukerne til å gi bettere data.

Hvordan vil 5G muliggjøre rask vekst i datavisjonsteknologi-applikasjoner?

Ved raskere tilkoblingshastigheter kan du flytte mer prosessering til skyen, noe åpner opp muligheter for alle slags nye datavisjonsteknologi-applikasjoner. Imidlertid avhenger det virkelig av applikasjonen og hvor bredt den vil bli adoptert.

5G kan ha en fragmentert innvirkning og videre utvide den digitale kløften, da noen deler av verden har raskere og raskere tilkobling, mens andre områder vil fortsette å ha langsom tilkobling. Applikasjoner som fokuserer på mennesker med tilgang til 5G vil åpenbart dra nytte. Men mer bredt adopterte applikasjoner må kanskje velge mellom å bruke tid og penger på hva som i realiteten blir to versjoner av samme applikasjon, eller holde seg til en versjon som er mindre robust, men kan kjøres på nesten alle tilkoblinger.

Hva slags skritt tar Fyusion for å dra nytte av fremtidig 5G-utrulling?

Jeg ønsker å forklare at Fyusion har brukt betraktelig tid på å sikre at kundene kan få tilgang til våre applikasjoner, selv på gamle telefoner med dårlig båndbredde. Med Manheim alene har vår teknologi avbildet over en million biler, og vi ville ikke ha klart det ellers.

Det sagt, er vi svært spente på hva vi ser nå – det er en trifekt av økende prosesseringshastigheter, 5G-tilkobling og ikke mindre enn en revolusjon i kamera-telefoner. Sett det hele sammen og du får noen nye utviklinger som jeg dessverre ikke kan dele med deg ennå.

Er det noe annet du ønsker å dele om Fyusion?

Det er en svært spennende tid å jobbe med datavisjon – som en disiplin er vi i ferd med å gå inn i mainstream etter mange år med å bli snakket om som en fremtidig teknologi. Fyusion vokser raskt og vi rekrutterer datavisjon-vitenskapsmenn fra hele verden. Våre teammedlemmer kan jobbe fra hvor som helst, men de er alltid velkommen i våre kontorer i Potrero Hill.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke Fyusion.