Radu Rusu, CEO & Co-Founder of Fyusion – Interviuri în serie

Radu Rusu, este CEO & Co-Founder al Fyusion, o companie care are ca scop construirea unor noi tehnologii 3D vizual stunning, care să le permită să rezolve probleme vizuale complexe cu inteligență artificială. Împreună au dezvoltat și brevetat un nou format de fișier, numit .fyuse, care permite oamenilor să captureze imagini 3D uimitoare de pe smartphone-urile lor, ceea ce a provocat o senzație în mediile de socializare și a atras peste 100 de milioane de utilizatori prin aplicații mobile pentru consumatori.

Ați lucrat la 3D din 2012, sunteți în prezent Președinte și CEO al Open Perception, Inc. Puteți împărtăși declarația de misiune a acestei organizații non-profit?

Am început cariera mea în procesarea datelor 3D la începutul anilor 2000, în timp ce făceam studii postuniversitare, cu ideea în minte că voi face roboți să vadă și să înțeleagă lumea mai bine din punct de vedere vizual. Acest lucru m-a condus printr-o decadă de cercetare în domeniul robotică și al viziunii calculate, și la începutul anilor 2010 am realizat că ceea ce lucram putea fi aplicat la o mulțime de alte probleme. Open Perception a fost creată ca o ramură a Willow Garage, și a preluat una dintre inițiativele noastre cu sursă deschisă, licențiate BSD—proiectul Point Cloud Library (PCL)—și a continuat să sprijine creșterea sa. Open Perception, Inc. a fost înființată în California în aprilie 2012 ca o organizație independentă creată cu scopul de a sprijini dezvoltarea, distribuția și adoptarea software-ului cu sursă deschisă pentru prelucrarea a 2D/3D a datelor senzoriale, cu aplicații în cercetare, educație și dezvoltare de produse.

În 2014, ați devenit Co-Fondator și CEO al Fyusion, Inc. Puteți împărtăși povestea de origine a Fyusion, Inc?

În timp ce eram angajat în cercetarea robotică, co-fondatorii Fyusion și eu am realizat că blocajele nu mai erau algoritmii, ci formatele de date. Învățarea automată a atins un vârf de acuratețe în multe domenii în jurul acelei perioade, deoarece tipul de date pe care le foloseam, în special în formate vizuale, era bidimensional (cum ar fi fotografii și videoclipuri), în timp ce lumea este tridimensională. Am simțit că există potențialul de a transforma modul în care oamenii înțeleg lumea prin exploatarea datelor 3D în platformele de învățare automată.

În 2014, am decis să creăm un nou tip de date 3D, generate prin software de viziune calculată și învățare automată, prin fuzionarea mai multor surse de date și utilizarea unor harduri extrem de scalabile disponibile în buzunarele noastre—adică, smartphone-urile noastre.

Am fondat Fyusion cu scopul de a construi noi tehnologii 3D vizual stunning, care să permită tuturor să rezolve probleme vizuale complexe cu inteligență artificială.

Împreună am dezvoltat și brevetat un nou format de fișier, numit .fyuse, care permite oamenilor să captureze imagini 3D uimitoare de pe smartphone-urile lor. Acest lucru a provocat imediat o senzație în mediile de socializare și a atras peste 100 de milioane de utilizatori prin aplicații mobile pentru consumatori.

Ce v-a atras inițial la ideea de a reinventa înțelesul de 3D pentru aplicații de consum?

Am realizat pur și simplu că nimeni nu a abordat acest lucru la scară. A fost o problemă nerezolvată. La fel ca în programele noastre de doctorat, lucrurile care ne entuziasmează intelectual sunt probleme foarte complicate pe care cineva a spus că nu pot fi rezolvate.

În acest caz, până la un anumit punct, ei aveau dreptate. Algoritmii necesari pentru a rezolva această problemă au fost doar parțial gândiți și hardul necesar pentru a-i rula nu a existat, în special pe dispozitive de margine cum ar fi smartphone-urile. Am trebuit să așteptăm până când iPhone 4S a apărut, astfel încât să putem rula codul de viziune calculată 3D în timp real pe un smartphone, deoarece înainte de aceasta, iPhone-urile aveau doar un singur nucleu CPU. Odată ce am văzut ce putea face hardul smartphone-urilor, am devenit foarte interesați să luăm expertiza noastră în viziune calculată și robotică și să vedem ce puteam să o introducem în aceste camere mici și procesoare CPU/GPU. A durat ceva timp să ne întoarcem la tablă și să reimaginăm și să reimplementăm captura și prelucrarea câmpului de lumină prin software. Odată ce am văzut că funcționează, Fyusion a decolat.

Obișnuiam să avem fotografii 2D în formă analogă, și apoi au fost digitizate odată cu toate celelalte. Singura instanțiere pe care am avut-o în lumea 3D la scară a fost un “triunghi de plasă cu textură” (de exemplu, formate de fișiere similare cu OBJ) care a provenit din jocuri pe computer și grafică pe computer și a fost menit să reprezinte obiecte create artificial într-un joc. Acestea depind foarte mult de geometrie perfectă, ceea ce este imposibil de obținut—cum puteți captura și reprezenta apa ca o plasă de triunghiuri cu o cameră? Ce despre obiecte transparente? Frunziș? Lucruri care sunt departe? Și așa mai departe…

A fost clar că cineva trebuia să abordeze nevoia de formate 3D prietenoase cu consumatorii. Acesta trebuia să se bazeze pe un paradigma complet diferită și să fie rezolvată într-un mod “de randare a imaginilor 3D” (adică, câmpuri de lumină), și să incorporeze informații disponibile la momentul capturii (cum ar fi orientarea camerei prin senzorul giroscop) care de obicei se aruncă atunci când capturați o imagine 2D. Și apoi, desigur, încercăm să reinferăm aceste informații aruncate prin învățare automată.

Acesta a fost oportunitatea noastră, și acesta este ceea ce ar trebui să viseze startup-urile: găsiți o problemă foarte grea pe care sunteți pasionați, așteptați momentul și deschiderea potrivită și încercați să o rezolvați.

Tehnologia de bază permite oricui să creeze imagini 3D imersive și interactive, numite .fyuses, prin mișcarea oricărei camere în jurul unei persoane, obiect sau scenă. Puteți discuta procesul pentru cineva care dorește să creeze un .fyuse folosind o aplicație mobilă?

Suntem încă în copilăria acestei tehnologii, dar esența este: luați un smartphone care are o aplicație scrisă de Fyusion sau o aplicație partener care utilizează Fyusion ALIS SDK subiacent, și deschideți camera. Veți primi instrucțiuni despre ce să faceți, și dacă le urmați, veți obține un .fyuse pe dispozitiv care este un obiect de fișier procesat de viziune calculată și învățare automată, pe care îl puteți renderiza pe dispozitiv, pe web sau pe orice cască AR/VR/MR.

Care sunt unele dintre tehnologiile de viziune calculată și învățare automată care sunt utilizate pentru a face această realitate?

Nu există o soluție magică aici, ci mai degrabă o cocteilă vastă de unelte de viziune calculată 3D și învățare automată pe care le-am creat pentru a rezolva această problemă. Există idei din fotogrammetrie (deoarece, în esență, creăm o matrice de cameră virtuală prin mișcarea unei singure camere în spațiu), robotică (o problemă uriașă de fuziune a senzorilor, deoarece nu mai avem o singură cameră, ci o mulțime de senzori de la care putem extrage date pentru a ajuta la rezolvarea acestei probleme), grafică pe computer (puteți căuta lucrarea noastră Siggraph 2019 pentru a înțelege cum reprezentăm unele dintre structurile subiacente), și multe altele. Toate acestea au trebuit să fie făcute pe dispozitiv și să ruleze în timp real, ceea ce înseamnă că utilizăm compute shader și scriem cod în assembly. Așa cum am menționat, aceasta este doar începutul, și cu cât vor fi disponibile mai multe senzori și putere de calcul, cu atât vom utiliza mai mult ALIS pentru a îmbunătăți mai multe aspecte ale tehnologiei. Acesta este un vis pe termen lung, și avem în fața noastră încă un deceniu de muncă pentru a fi pe deplin mulțumiți de modul în care arată scenele complexe din lumea reală digitizate.

Este ușor de imaginat cum .fyuses vor fi perturbatoare pentru aplicațiile VR. Puteți discuta tipul de aplicații VR actuale în care .fyuses pot fi utilizate?

Credem că ORICE aplicație VR în care digitizarea unui obiect din lumea reală și afișarea lui este importantă, ar trebui să beneficieze de utilizarea motorului nostru ALIS și a .fyuses. Nu există lipsă de verticale și aplicații în comerțul electronic, sănătate, automotive, educație și dincolo, și suntem foarte entuziasmați de acest viitor.

Ce anticipați ca fiind viitorul aplicațiilor VR pentru Fyuses?

Nu vedem nicio limitare a tehnologiei actuale, deși focusul nostru actual este mai mult pe scene și obiecte mici și medii, și nu pe peisaje urbane mari.

Îmi pot imagina ușor Fyuses fiind utilizate în aplicații viitoare de realitate augmentată (AR) și realitate mixtă (MR). Ce este viziunea dvs. pentru viitorul Fyuses într-un mediu AR și MR?

Tratăm toate aplicațiile AR/VR/MR exact la fel: odată ce obiectul 3D a fost digitizat folosind tehnologia noastră, el poate fi extras din scenă și plasat oriunde.

A discutat echipa dvs. ideea de a crea Fyuses împreună cu un asistent virtual sau IA?

Nu am explorat oportunitatea de a crea avatare virtuale interactive pentru oameni. Acesta este un posibil interesant, dar încercăm să ne concentrăm pe rezolvarea setului actual de probleme pe care le abordăm.

Există altceva pe care ați dori să-l împărtășiți despre Fyuses sau Fyusion, Inc?

Acesta ar putea suna ca o prezentare, dar… suntem o echipă de roboțiști și oameni de știință în viziune calculată 3D, amestecați cu fizicieni de la CERN, hackeri și ingineri extraordinari, și aceasta descrie doar membrii echipei noastre tehnice de bază. Ne place diversitatea de orice fel, deoarece aceasta ne face mai inteligenți și mai puternici ca echipă. Dacă orice dintre lucrurile pe care le facem este de interes pentru cineva care citește acest articol, vă rugăm să nu fiți timizi și să ne contactați. Ne străduim să răspundem tuturor, și s-ar putea să vă găsiți într-o situație în care veniți la o ceașcă de cafea și rămâneți pentru un deceniu.

Mulțumim pentru interviurile excelente, cititorilor care doresc să afle mai multe ar trebui să viziteze Fyusion.