Radu Rusu, CEO & Co-Founder of Fyusion – Intervju-serie

Radu Rusu, er CEO & Co-Founder av Fyusion, et selskap som har målet om å bygge nye, visuelt slående 3D-teknologier som vil kunne løse komplekse visuelle problemer med kunstig intelligens. Sammen utviklet og patenterte de en ny filformat, kalt .fyuse, som lar folk ta slående 3D-bilder fra sine smarttelefoner, noe som førte til en sosial mediasensasjon og trakk over 100 millioner brukere gjennom forbruker-mobilapplikasjoner.

Du har arbeidet med 3D siden 2012, og du er nå president og CEO av Open Perception, Inc. Kan du dele hva misjonsuttalelsen for denne non-profit-organisasjonen er?

Jeg begynte min karriere innen 3D-data prosessering tidlig i 2000-årene mens jeg gjorde mine postgradstudier, med denne ideen i hodet at jeg ville gjøre roboter se og forstå verden bedre fra et visuelt perspektiv. Dette ledet meg gjennom omtrent et tiår med robot-relatert 3D dataprogrammering og forskning, og tidlig i 2010-årene innsett jeg at det jeg arbeidet med kunne brukes på et mye bredere sett av problemer. Open Perception ble skapt som en avlegger fra Willow Garage, og tok en av våre BSD-lisensiert, åpne kildekode-initiativer – Point Cloud Library (PCL) prosjektet – og fortsatte å fremme dens vekst. Open Perception, Inc. ble innlemmet i California i april 2012 som en uavhengig organisasjon skapt med formålet å støtte utviklingen, distribusjonen og tilpasningen av åpen kildekode-programvare for 2D/3D-prosessering av sanntidsdata, med anvendelser i forskning, utdanning og produktutvikling.

I 2014 ble du Co-Founder og CEO av Fyusion, Inc. Kan du dele opphavshistorien til Fyusion, Inc?

Mens jeg var engasjert i robotforskning, innsett medgrunnleggerne av Fyusion og jeg at flaskeneckene ikke lenger var algoritmer, men dataformater. Maskinlæring hadde nådd et toppnivå i nøyaktighet rundt den tiden i mange domener fordi typen data vi brukte, spesielt i visuelle formater, var todimensjonale (slik som fotografier og videoer), mens verden er tredimensjonal. Vi følte at potensialet eksisterte for å transformere måten mennesker forstår verden ved å utnytte 3D-data i maskinlæringsplattformer.

I 2014 bestemte vi oss for å skape en ny type 3D-data, generert gjennom dataprogrammering og maskinlæringsprogramvare, ved å fusjonere sammen flere datakilder og bruke ekstremt skalerbar kommodity-hardware tilgjengelig i våre lommer – dvs. våre smarttelefoner.

Vi grunnla Fyusion med målet om å bygge nye, visuelt slående 3D-teknologier som ville kunne løse komplekse visuelle problemer med kunstig intelligens.

Sammen utviklet og patenterte vi en ny filformat, kalt .fyuse, som lar folk ta slående 3D-bilder fra sine smarttelefoner. Det førte umiddelbart til en sosial mediasensasjon og trakk over 100 millioner brukere gjennom forbruker-mobilapplikasjoner.

Hva var det som først tiltalte deg til å gjenoppfinne betydningen av 3D for forbrukerapplikasjoner?

Vi innsett bare at ingen hadde tatt tak i dette i skala. Det var et uløst problem. Akkurat som i våre PhD-programmer, er det ting som exciterer oss intellektuelt virkelig kompliserte problemer som noen sa ikke kunne løses.

I dette tilfelle var det til en viss grad riktig. Typen algoritmer som var nødvendig for å løse dette var kun delvis tenkt gjennom, og hårdwaren som var nødvendig for å kjøre dem eksisterte ikke, spesielt på kanter som smarttelefoner. Vi måtte faktisk vente til iPhone 4S kom ut så vi kunne kjøre sanntids 3D dataprogrammering på en smarttelefon, fordi før det hadde iPhone bare en CPU-kjerne. Når vi først så hva smarttelefon-hårdware kunne gjøre, ble vi meget interessert i å ta vår dataprogrammering og robotforskningsekspertise og se hva vi kunne pakke inn i disse små kameraene og CPU/GPU-ene. Det tok en stund å gå tilbake til tegnebrettet og tenke om hvordan vi kunne forestille og implementere lysfeltfangst og prosessering gjennom programvare. Når vi først så det fungerte, var Fyusion i gang.

Vi hadde tidligere 2D-foto i analog form, og så ble de bare digitalisert med alt annet. Den eneste instansiasjonen vi hadde i 3D-verden i skala var en “triangel-mesh med tekstur” (f.eks. OBJ-lignende filformater) som kom fra dataspill og datagrafikk og var ment å representere kunstig skapte objekter i et spill. De avhenger tungt av perfekt geometri, som er umulig å oppnå – hvordan fanger og representerer man vann som en triangel-mesh med en kamera? Hva med gjennomsiktige objekter? Løvverk? Ting som er langt unna? Og så videre…

Det var klart at noen måtte møte behovet for forbruker-vennlige 3D-formater. Det måtte baseres på en helt annen paradigm, og løst på en “3D-bilde-rendering”-måte (dvs. lysfelt), og inkorporere informasjon som er tilgjengelig på tidspunktet for fangst (slik som kamera-orientering gjennom en gyroskopsensor) som vanligvis kastes bort når du fanger en 2D-bilde. Og så selvfølgelig prøver vi å gjeninnføre denne kastede informasjonen gjennom maskinlæring.

Dette var vår mulighet, og det er hva startups skal drømme om: finn et virkelig hardt problem du er lidenskapelig om, vent på riktig tid og åpning, og gå galskapende for å løse det.

Kjernen av teknologien lar noen skape immersive, interaktive 3D-bilder kalt .fyuses ved å flytte noen kamera rundt en person, objekt eller scene. Kan du diskutere prosessen for noen som ønsker å skape en .fyuse ved hjelp av en mobilapplikasjon?

Vi er fortsatt i barndommen av denne teknologien, men hovedpoenget er: Du tar en smarttelefon som har en applikasjon skrevet av Fyusion eller en partner-applikasjon som utnytter vår Fyusion ALIS SDK under, og du åpner kameraet. Du får instruksjoner på hva du skal gjøre, og hvis du følger dem, får du en .fyuse på enheten som er en dataprogrammering og maskinlærings-prosesser “fil-objekt” som du kan rendre på enheten, på nettet eller på noen AR/VR/MR-hodeenheter.

Hva er noen av de dataprogrammerings- og maskinlærings-teknologiene som brukes for å gjøre dette til virkelighet?

Det finnes virkelig ikke en sølvkule her, men en stor cocktail av 3D dataprogrammering og maskinlærings-verktøy som vi skapte for å løse dette problemet. Det er ideer fra fotogrammetri (fordi vi effektivt skaper en virtuell kamera-array ved å flytte en enkelt kamera i rommet), robotikk (en enorm sensor-fusjonsproblem siden vi ikke lenger har en enkelt kamera, men heller en mengde sensorer som du kan trekke data fra for å hjelpe med å løse problemet), datagrafikk (du kan se på vår Siggraph 2019-arbeid for å forstå hvordan vi representerer noen av de underliggende strukturene), og mange flere. Alt dette måtte gjøres på enheten og kunne kjøres i sanntid, noe som betyr at vi utnytter compute-shaders og skriver kode i assembly. Som nevnt, er dette bare begynnelsen, og jo flere sensorer og beregningskraft som blir tilgjengelig for oss, jo mer vil vi bruke vår ALIS-gass til å forbedre flere aspekter av teknologien. Dette er en langtidsvisjon, og vi har et tiår eller mer av arbeid foran oss for å være fullstendig tilfreds med måten digitale komplekse sanntids-scener ser ut.

Det er lett å visualisere hvordan .fyuses vil være disruptiv for VR-applikasjoner. Kan du diskutere typen nåværende VR-applikasjoner .fyuses kan brukes i?

Vi tror at ENHVER VR-applikasjon hvor digitisering av en sanntids-objekt og deretter visning er viktig, bør dra nytte av å utnytte vår ALIS-motor og .fyuses. Det finnes virkelig ikke noen mangel på vertikaler og applikasjoner i e-handel, helse, bil, utdanning og utover, og vi er meget spente på denne fremtiden.

Hva ser du for seg som fremtiden for VR-applikasjoner for Fyuses?

Vi ser ingen begrensninger for den nåværende teknologien, selv om vår nåværende fokus er mer på små- til mellomstore scener og objekter, og ikke store bylandskap.

Jeg kan lett visualisere Fyuses blir brukt i fremtidige augmented reality (AR) og Mixed reality (MR) applikasjoner. Hva er din visjon for fremtiden av Fyuses i både en AR og MR-innstilling?

Vi behandler alle AR/VR/MR-applikasjoner eksakt likt: Når det 3D-objektet har blitt digitisert ved hjelp av vår teknologi, kan det trekkes ut fra scenen og plasseres hvor som helst.

Har ditt team diskutert ideen om å skape Fyuses med en virtuell assistent eller AI?

Vi har ikke utforsket muligheten til å skape interaktive virtuelle avatarer for mennesker. Dette er en interessant mulighet, men vi prøver å holde fokus på å løse den nåværende settet av problemer vi arbeider med.

Er det noe annet du ønsker å dele om Fyuses eller Fyusion, Inc?

Dette kan høres ut som en salgsprat, men… vi er en gjeng gale robotikere og 3D dataprogrammerings-vitenskapsmenn, blandet med CERN-fysikere, fantastiske hackere og ingeniører, og det er bare å beskrive medlemmene av det tekniske kjernekurs. Vi liker mangfold av alle slag, fordi det gjør oss smartere og sterkere som et team. Hvis noe vi jobber med er av interesse for noen som leser dette, så vær ikke sky og ta kontakt med oss. Vi gjør vårt beste for å svare alle, og du kan finne deg selv i en situasjon hvor du kommer for kaffe og deretter blir i et tiår.

Takk for de flotte intervjuene, lesere som ønsker å lære mer bør besøke Fyusion.