Radu Rusu, Fyusionin toimitusjohtaja ja perustaja – Haastattelusarja

Radu Rusu on Fyusionin toimitusjohtaja ja perustaja, joka on kehittänyt uusia, visuaalisesti upeita 3D-teknologioita, joilla voidaan ratkaista monimutkaisia visuaalisia ongelmia tekoälyllä. He ovat kehittäneet ja patentoineet uuden tiedostomuodon, .fyuse, joka mahdollistaa ihmisten ottamaan upeita 3D-kuvia älypuhelimillaan, mikä on aiheuttanut sosiaalisen median sensaation ja houkutellut yli 100 miljoonaa käyttäjää kuluttajien mobiilisovelluksilla.

Olet työskennellyt 3D-grafiikassa vuodesta 2012, ja olet tällä hetkellä Open Perceptionin puheenjohtaja ja toimitusjohtaja. Voitko kertoa, mikä on tämän voittoa tavoittelemattoman organisaation tehtävä?

Aloin urani 3D-tietojen prosessoinnissa 2000-luvun alussa, ja silloin minulla oli ajatuksena, että teen roboteille mahdolliseksi nähdä ja ymmärtää maailmaa visuaalisesti paremmin. Tämä vei minut läpi yhden vuosikymmenen robottiin liittyvän 3D-tietojen prosessoinnin tutkimusta, ja 2010-luvun alussa tajusin, että mitä olin työskennellyt, voitiin soveltaa laajempiin ongelmiin. Open Perception perustettiin Willow Garagen spin-offina, ja se jatkoi yhtenä avoimen lähdekoodin aloituksena Point Cloud Library (PCL) -projektia. Open Perception rekisteröitiin Kaliforniassa huhtikuussa 2012 itsenäiseksi organisaatioksi, jonka tarkoituksena on tukea avoimen lähdekoodin ohjelmistojen kehittämistä, jakamista ja omaksumista 2D/3D-tietojen prosessointiin, soveltamalla niitä tutkimukseen, koulutukseen ja tuotekehitykseen.

Vuonna 2014 sinusta tuli Fyusionin perustaja ja toimitusjohtaja. Voitko kertoa Fyusionin syntytarinaa?

Robotiikkaan liittyvän tutkimuksen aikana Fyusionin perustajat ja minä tajusimme, että pullonkaulat eivät olleet enää algoritmeja vaan tiedostomuotoja. Tekoäly oli saavuttanut huippunsa useilla alueilla, koska käytimme pääasiassa kaksiulotteisia tietoja, kuten valokuvia ja videoita, kun taas maailma on kolmiulotteinen. Me uskoimme, että on olemassa mahdollisuus muuttaa tapaa, jolla ihmiset ymmärtävät maailmaa, hyödyntämällä 3D-tietoja tekoälyalustoissa.

Vuonna 2014 päättelimme luoda uudenlaisen 3D-tiedon, joka luodaan tietokoneavusteisen näkemisen ja tekoälyohjelmistojen avulla, yhdistämällä useita tietolähteitä ja käyttämällä älypuhelinten laajasti saatavilla olevaa, erittäin skaalautuvaa kommoditeettilaitteistoa.

Perustimme Fyusionin tavoitteena kehittää uusia, visuaalisesti upeita 3D-teknologioita, joilla voidaan ratkaista monimutkaisia visuaalisia ongelmia tekoälyllä.

Yhdessä kehittimme ja patentoin uuden tiedostomuodon, .fyuse, joka mahdollistaa ihmisten ottamaan upeita 3D-kuvia älypuhelimillaan. Se aiheutti sosiaalisen median sensaation ja houkutti yli 100 miljoonaa käyttäjää kuluttajien mobiilisovelluksilla.

Mikä alun perin houkutteli sinua keksimään uuden 3D-konseptin kuluttajien sovelluksiin?

Yksinkertaisesti, kukaan ei ollut ratkaissut tätä ongelmaa laajassa mittakaavassa. Se oli ratkaisematon ongelma. Juuri kuten väitöskirjatutkimuksissamme, ne asiat, jotka meitä intellektuaalisesti kiehtovat, ovat todella monimutkaisia ongelmia, joita joku on sanonut ratkaistaviksi.

Tässä tapauksessa, jossain määrin, he olivat oikein. Algoritmit, jotka vaaditaan tämän ongelman ratkaisemiseen, olivat vain osittain ajateltu, ja laitteisto, jota tarvitaan niiden suorittamiseen, ei ollut olemassa, etenkin älypuhelimissa. Meidän piti odottaa, kunnes iPhone 4S tuli markkinoille, jotta voimme suorittaa 3D-tietokonegrafiikkaa älypuhelimella, koska ennen sitä iPhoneissa oli vain yksi prosessoriydin. Kun näimme, mitä älypuhelimien laitteisto voisi tehdä, meistä tuli kiinnostuneita siirtämään tietokoneavusteisen näkemisen ja robotiikan tutkimusosaamistamme ja näkemään, mitä voimme pakata näihin pieniin kameroihin ja prosessoreihin. Se kesti jonkin aikaa palata piirustuspöydälle ja ajatella uudelleen, miten voimme toteuttaa valokentän kaappaamisen ja prosessoinnin ohjelmistojen avulla. Kun näimme sen toimivan, Fyusion lähti liikkeelle.

Aikaisemmin meillä oli 2D-valokuvia analogisessa muodossa, ja sitten ne digitalisoitiin kaiken muun kanssa. Ainoa toteutus, jonka meillä oli 3D-maailmassa laajassa mittakaavassa, oli “kolmiulotteinen verkkomalli tekstuureilla” (esim. OBJ-kaltaiset tiedostomuodot), jotka tulivat tietokonepeleistä ja tietokonegrafiikasta ja olivat tarkoitettu edustamaan keinotekoisesti luotuja objekteja pelissä. Ne riippuvat täydellisestä geometriasta, jota on mahdoton saavuttaa – miten voit kaapata ja edustaa vettä kolmiulotteisena verkkomallina kameran avulla? Mitä transparenteista objekteista? Lehtistä? Asioista, jotka ovat kaukana? Ja niin edelleen…

Se oli selvää, että joku piti ratkaista kuluttajaystävällisten 3D-muotojen tarpeen. Se piti perustua täysin erilaiseen paradigmaan ja ratkaista “3D-kuvan renderöintitavalla” (ts. valokentät), ja sisältää tietoa, joka on saatavilla kaappaushetkellä (kuten kameran suunta gyroskooppisensorin avulla), joka yleensä hukkuu, kun otat 2D-kuvan. Ja sitten tietysti me yritämme jälleen palauttaa hukatun tiedon tekoälyllä.

Tämä oli meidän mahdollisuutemme, ja se on, mihin startupit pitäisi pyrkiä: löytää todella vaikea ongelma, josta olet intohimoinen, odota oikeaa hetkeä ja tilaisuutta, ja yritä ratkaista sitä.

Voitko kertoa prosessista, jossa joku voi luoda fyuse-kuvan mobiilisovelluksella?

Olemme edelleen tämän teknologian alkuvaiheessa, mutta ydin on: Otat älypuhelimen, jossa on Fyusionin tai yhteistyökumppanin sovellus, joka hyödyntää Fyusionin ALIS SDK:ta, ja avaat kameran. Saat ohjeet siitä, miten toimia, ja jos seuraat niitä, saat .fyuse-tiedoston laitteella, joka on tietokoneavusteisen näkemisen ja tekoälyohjelmistojen prosessointi, ja voit renderöidä sen laitteella, verkossa tai millä tahansa AR/VR/MR-laitteella.

Mitkä ovat joitakin tietokoneavusteisen näkemisen ja tekoälytekniikoita, joita käytetään tämän toteuttamiseen?

Todellisuudessa ei ole yhtä hopealuotia, vaan laaja koktaili 3D-tietokoneavusteisen näkemisen ja tekoälytyökaluja, joita olemme luoneet tämän ongelman ratkaisemiseksi. Siinä on ideoita fotogrammetriasta (koska luomme virtuaalisen kameramatriisin liikuttamalla yhtä kameraa avaruudessa), roboteista (valtava anturifusio-ongelma, koska meillä ei ole enää yhtä kameraa, vaan useita antureita, joista voidaan poimia tietoa tämän ongelman ratkaisemiseksi), tietokonegrafiikasta (voit tarkastella Siggraph 2019 -työtämme ymmärtääksesi, miten edustamme joitakin perustuvia rakenteita) ja monista muista. Kaiken tämän piti tehdä laitteella ja suoritettava reaaliajassa, mikä tarkoittaa, että hyödynnämme laskentaprosessoreita ja kirjoitamme koodia assembly-kielellä. Kuten mainittu, tämä on vasta alku, ja mitä enemmän antureita ja laskentakapasiteettia on saatavilla, sitä enemmän käytämme ALIS-kiihdytintä parantamaan useita teknologian osia. Tämä on pitkän aikavälin visio, ja meillä on edessämme yli vuosikymmenen työtä, jotta voisimme olla täysin tyytyväisiä siihen, miten digitoituja monimutkaisia maailman näkymiä näytetään.

On helppo kuvitella, miten .fyuse-kuvat voivat olla mullistavia VR-sovelluksissa. Voitko kertoa, mitä nykyisiä VR-sovelluksia .fyuse-kuvat voivat hyödyntää?

Me uskomme, että KAikki VR-sovellukset, joissa digitoitujen maailmanlaajuisten objektien ja niiden näyttäminen on tärkeää, hyötyvät Fyusionin ALIS-moottorin ja .fyuse-kuvien hyödyntämisestä. On olemassa runsaasti pysty- ja sovelluksia sähkökaupassa, terveydenhuollossa, autoteollisuudessa, koulutuksessa ja muualla, ja me olemme erittäin innostuneita tulevaisuudesta.

Mitä etukäteen näet Fyusionin tulevaisuuden VR-sovelluksissa?

Me emme näe mitään rajoituksia nykyiselle teknologialle, vaikka nykyinen fokus on enemmän pieniin ja keskisuuriin kohteisiin ja esineisiin, eikä suuriin kaupunkimaisiin näkymiin.

Voitko kertoa, miten Fyusionin tulevaisuus näyttää AR- ja MR-sovelluksissa?

Käsittelemme kaikki AR/VR/MR-sovellukset täsmälleen samalla tavalla: Kun 3D-objekti on digitoitu Fyusionin teknologian avulla, se voidaan poistaa kohteesta ja asettaa minne tahansa.

Onko tiimisi keskustellut mahdollisuudesta luoda Fyusionin avulla virtuaalisia avustajia tai tekoälyä?

Emme ole tutkineet mahdollisuutta luoda interaktiivisia virtuaalihahmoja ihmisille. Tämä on kiinnostava mahdollisuus, mutta me yritämme pysyä fokusoiduina ratkaisemalla nykyistä ongelmaa, jota työskentelemme.

Onko mitään muuta, mitä haluaisit jakaa Fyusionista tai Fyusionin tulevaisuudesta?

Tämä saattaa kuulostaa myyntipuheelta, mutta… olemme joukko hulluja roboteista ja 3D-tietokoneavusteisen näkemisen tutkijoita, sekoitettuna CERNin fyysikkoja, upeita hakkeria ja insinöörejä, ja tämä kuvailee vain ydintiimimme jäseniä. Me pidämme monimuotoisuudesta, koska se tekee meistä älykkäitä ja vahvempia joukkona. Jos mikä tahansa, mitä teemme, kiinnostaa ketään, joka lukee tätä, ole rohkeasti meihin yhteydessä. Me yritämme parhaamme vastata kaikille, ja saatat löytää itsesi tilanteessa, jossa tulet kahville ja jäätyy vuosikymmeneksi.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Fyusionin sivustolla.