Radu Rusu, CEO & Co-Founder al Fyusion – Seria de Interviuri

Radu Rusu, este CEO & Co-Founder al Fyusion, o companie care are ca scop construirea unor tehnologii 3D noi, vizual stunning, care să permită oamenilor să rezolve probleme vizuale complexe cu inteligență artificială. Împreună au dezvoltat și brevetat un nou format de fișier, numit .fyuse, care permite oamenilor să captureze imagini 3D uimitoare de pe smartphone-urile lor, ceea ce a cauzat o senzație în mediul social și a atras peste 100 de milioane de utilizatori prin aplicații mobile pentru consumatori.

Ați lucrat la 3D din 2012, sunteți în prezent Președinte și CEO al Open Perception, Inc. Puteți împărtăși declarația de misiune a acestei organizații non-profit?

Am început cariera mea în procesarea datelor 3D în anii 2000, în timp ce făceam studii postuniversitare, cu ideea în minte că voi face roboți să vadă și să înțeleagă lumea mai bine din punct de vedere vizual. Acest lucru m-a condus printr-o decadă de cercetare în domeniul robotic și al viziunii calculate, și la începutul anilor 2010 am realizat că ceea ce lucram putea fi aplicat unor probleme mult mai largi. Open Perception a fost creată ca o ramură a Willow Garage și a preluat una dintre inițiativele noastre cu sursă deschisă, licențiate BSD – proiectul Point Cloud Library (PCL) – și a continuat să sprijine creșterea sa. Open Perception, Inc. a fost înființată în California în aprilie 2012 ca o organizație independentă creată cu scopul de a sprijini dezvoltarea, distribuția și adoptarea software-ului cu sursă deschisă pentru prelucrarea datelor senzoriale 2D/3D, cu aplicații în cercetare, educație și dezvoltare de produse.

În 2014, ați devenit Co-Fondator și CEO al Fyusion, Inc. Puteți împărtăși povestea de origine a Fyusion, Inc?

În timp ce eram implicat în cercetarea robotică, fondatorii Fyusion și eu am realizat că blocajele nu mai erau algoritmii, ci formatele de date. Învățarea automată a atins un vârf de acuratețe în multe domenii în acea perioadă, deoarece tipul de date pe care le foloseam, în special în formate vizuale, era bidimensional (cum ar fi fotografii și videoclipuri), în timp ce lumea este tridimensională. Am simțit că există potențialul de a transforma modul în care oamenii înțeleg lumea prin utilizarea datelor 3D în platformele de învățare automată.

În 2014, am decis să creăm un nou tip de date 3D, generate prin software de viziune și învățare automată, prin fuzionarea mai multor surse de date și utilizarea unor harduri foarte scalabile și disponibile în buzunarele noastre – adică smartphone-urile noastre.

Am fondat Fyusion cu scopul de a construi tehnologii 3D noi, vizual stunning, care să permită oamenilor să rezolve probleme vizuale complexe cu inteligență artificială.

Împreună am dezvoltat și brevetat un nou format de fișier, numit .fyuse, care permite oamenilor să captureze imagini 3D uimitoare de pe smartphone-urile lor. Acest lucru a cauzat imediat o senzație în mediul social și a atras peste 100 de milioane de utilizatori prin aplicații mobile pentru consumatori.

Ce v-a atras inițial la ideea de a reinventa sensul 3D pentru aplicații de consum?

Am realizat pur și simplu că nimeni nu a abordat această problemă la scară largă. A fost o problemă nerezolvată. La fel ca în programele noastre de doctorat, lucrurile care ne entuziasmează intelectual sunt probleme foarte complicate pe care cineva a spus că nu pot fi rezolvate.

În acest caz, până la un anumit punct, au avut dreptate. Algoritmii necesari pentru a rezolva această problemă au fost doar parțial gândiți și hardware-ul necesar pentru a-i rula nu a existat, în special pe dispozitive de margine cum ar fi smartphone-urile. Am trebuit să așteptăm până când iPhone 4S a fost lansat, astfel încât am putut rula codul de viziune și învățare automată 3D în timp real pe un smartphone, deoarece înainte de aceasta, iPhone-urile aveau doar un singur nucleu CPU. Odată ce am văzut ce putea face hardware-ul smartphone-ului, am devenit foarte interesați să luăm expertiza noastră în viziune și robotică și să vedem ce puteam încărca în aceste camere și procesoare mici. A durat ceva timp să ne întoarcem la tablă și să reimaginăm captura și prelucrarea câmpului luminos prin software. Odată ce am văzut că funcționează, Fyusion a decolat.

Obișnuiam să avem fotografii 2D în formă analogă și apoi s-au digitalizat odată cu tot restul. Singura instanțiere pe care am avut-o în lumea 3D la scară largă a fost un “triunghi cu textură” (de exemplu, formate de fișiere OBJ) care a provenit din jocuri și grafică computerizată și a fost menit să reprezinte obiecte create artificial într-un joc. Acestea depind foarte mult de geometrie perfectă, ceea ce este imposibil de obținut – cum puteți captura și reprezenta apa ca un triunghi cu textură cu o cameră? Ce despre obiecte transparente? Frunziș? Lucruri care sunt departe? Și așa mai departe…

A fost clar că cineva trebuia să abordeze nevoia de formate 3D prietenoase cu consumatorii. Acesta trebuia să se bazeze pe un paradigma complet diferită și să fie rezolvat într-un mod “de randare a imaginilor 3D” (adică câmpuri de lumină), și să incorporeze informații disponibile la momentul capturii (cum ar fi orientarea camerei prin senzorul giroscop) care de obicei se aruncă atunci când capturați o imagine 2D. Și apoi, bineînțeles, încercăm să reinferăm aceste informații aruncate prin învățare automată.

Acesta a fost oportunitatea noastră, și este ceea ce ar trebui să viseze startup-urile: găsiți o problemă foarte grea pe care sunteți pasionați, așteptați momentul și deschiderea potrivită și încercați să o rezolvați.

Procesul de bază permite oricui să creeze imagini 3D imersive și interactive, numite .fyuses, prin mișcarea oricărei camere în jurul unei persoane, obiect sau scenă. Puteți discuta despre procesul pentru cineva care dorește să creeze un .fyuse folosind o aplicație mobilă?

Încă suntem în copilăria acestei tehnologii, dar esența este: luați un smartphone care are o aplicație scrisă de Fyusion sau o aplicație partener care utilizează SDK-ul nostru Fyusion ALIS subiacent, și deschideți camera. Veți primi instrucțiuni despre ce să faceți, și dacă le urmați, veți obține un .fyuse pe dispozitiv care este un obiect de fișier procesat prin viziune și învățare automată, pe care îl puteți reda pe dispozitiv, pe web sau pe orice cască AR/VR/MR.

Care sunt unele dintre tehnologiile de viziune și învățare automată utilizate pentru a face această realitate?

Nu există o soluție magică aici, ci mai degrabă un cocktail vast de unelte de viziune și învățare automată 3D pe care le-am creat pentru a rezolva această problemă. Există idei din fotogrammetrie (deoarece, în esență, creăm o matrice de cameră virtuală prin mișcarea unei singure camere în spațiu), robotică (o problemă uriașă de fuziune a senzorilor, deoarece nu mai avem o singură cameră, ci mai degrabă o mulțime de senzori de la care putem extrage date pentru a ajuta la rezolvarea acestei probleme), grafică computerizată (puteți căuta lucrarea noastră Siggraph 2019 pentru a înțelege cum reprezentăm unele dintre structurile subiacente), și multe altele. Toate acestea trebuiau făcute pe dispozitiv și rulate în timp real, ceea ce înseamnă că utilizăm shader-i de calcul și scriem cod în limbaj de asamblare. Așa cum am menționat, acesta este doar începutul, și cu cât vor fi disponibile mai multe senzori și putere de calcul, cu atât vom utiliza mai mult ALIS pentru a îmbunătăți mai multe aspecte ale tehnologiei. Aceasta este o viziune pe termen lung, și avem în față încă un deceniu de muncă pentru a fi pe deplin mulțumiți de modul în care arată scenele complexe din lumea reală digitalizate.

Este ușor de înțeles cum .fyuses vor fi perturbatoare pentru aplicațiile VR. Puteți discuta despre tipul de aplicații VR actuale în care .fyuses pot fi utilizate?

Credem că ORICE aplicație VR în care digitalizarea unui obiect din lumea reală și afișarea lui este importantă, ar trebui să beneficieze de utilizarea motorului nostru ALIS și a .fyuses. Nu există lipsă de verticale și aplicații în comerț electronic, sănătate, automotive, educație și dincolo, și suntem foarte entuziasmați de acest viitor.

Ce prevedeți ca fiind viitorul aplicațiilor VR pentru Fyuses?

Nu vedem nicio limitare a tehnologiei actuale, deși focusul nostru actual este mai mult pe scene și obiecte mici și medii, și nu pe peisaje urbane mari.

Îmi pot imagina ușor Fyuses fiind utilizate în viitoarele aplicații de realitate augmentată (AR) și realitate mixtă (MR). Care este viziunea dvs. asupra viitorului Fyuses într-un mediu AR și MR?

Tratăm toate aplicațiile AR/VR/MR exact la fel: odată ce obiectul 3D a fost digitalizat folosind tehnologia noastră, poate fi extras din scenă și plasat oriunde.

Ați discutat vreodată ideea de a avea Fyuses create cu un asistent virtual sau AI?

Nu am explorat oportunitatea de a crea avatare virtuale interactive pentru oameni. Acesta este un posibil interesant, dar încercăm să ne concentrăm pe rezolvarea problemelor actuale pe care le abordăm.

Există altceva pe care ați dori să-l împărtășiți despre Fyuses sau Fyusion, Inc?

Acesta ar putea suna ca o prezentare, dar… suntem o echipă de roboți și oameni de știință în viziune și robotică, amestecați cu fizicieni de la CERN, hackeri și ingineri extraordinari, și aceasta descrie doar membrii echipei noastre tehnice de bază. Ne plac diversitatea de orice fel, deoarece aceasta ne face mai deștepți și mai puternici ca echipă. Dacă orice dintre lucrurile pe care le facem este de interes pentru cineva care citește acest articol, vă rugăm să nu fiți timizi și să ne contactați. Ne străduim să răspundem tuturor, și s-ar putea să vă găsiți într-o situație în care veniți la o ceașcă de cafea și rămâneți pentru o decadă.

Mulțumim pentru interviurile excelente, cititorii care doresc să afle mai multe trebuie să viziteze Fyusion.