Radu Rusu, CEO & Co-Founder di Fyusion – Serie di Interviste

Radu Rusu, è il CEO & Co-Founder di Fyusion, un’azienda che ha l’obiettivo di costruire nuove tecnologie 3D visivamente spettacolari che consentano di risolvere problemi visivi complessi con l’intelligenza artificiale. Insieme hanno sviluppato e brevettato un nuovo formato di file, chiamato .fyuse, che consente alle persone di catturare immagini 3D spettacolari dai loro smartphone, causando una sensazione sui social media e attirando oltre 100 milioni di utenti attraverso applicazioni mobili per consumatori.

Hai iniziato a lavorare sul 3D nel 2012, attualmente sei il Presidente e CEO di Open Perception, Inc. Potresti condividere la dichiarazione di missione di questa organizzazione no-profit?

Ho iniziato la mia carriera nell’elaborazione dei dati 3D all’inizio degli anni 2000, mentre facevo gli studi post-laurea, con l’idea in testa di far vedere e capire meglio il mondo ai robot da una prospettiva visiva. Ciò mi ha portato attraverso circa un decennio di ricerca sulla visione artificiale 3D per la robotica e all’inizio degli anni 2010 ho realizzato che ciò su cui stavo lavorando poteva essere applicato a un insieme di problemi molto più ampio. Open Perception è stata creata come una costola di Willow Garage e ha preso una delle nostre iniziative open source con licenza BSD – il progetto Point Cloud Library (PCL) – e ha continuato a favorirne la crescita. Open Perception, Inc. è stata incorporata in California nel aprile 2012 come un’organizzazione indipendente creata con lo scopo di sostenere lo sviluppo, la distribuzione e l’adozione di software open source per l’elaborazione 2D/3D dei dati sensoriali, con applicazioni nella ricerca, nell’istruzione e nello sviluppo di prodotti.

Nel 2014, sei diventato il Co-Founder e CEO di Fyusion, Inc. Potresti condividere la storia di genesi di Fyusion, Inc?

Mentre ero impegnato nella ricerca sulla robotica, i co-fondatori di Fyusion e io abbiamo realizzato che gli ostacoli non erano più gli algoritmi, ma i formati dei dati. L’apprendimento automatico aveva raggiunto un picco di precisione intorno a quel periodo in molti domini perché il tipo di dati che stavamo utilizzando, in particolare nei formati visivi, era bidimensionale (come le fotografie e i video), mentre il mondo è tridimensionale. Abbiamo sentito che esisteva la possibilità di trasformare il modo in cui le persone comprendono il mondo sfruttando i dati 3D nelle piattaforme di apprendimento automatico.

Nel 2014, abbiamo deciso di creare un nuovo tipo di dati 3D, generati attraverso software di visione artificiale e apprendimento automatico, fondendo insieme molteplici fonti di dati e utilizzando hardware commodity estremamente scalabile disponibile nelle nostre tasche, ovvero i nostri smartphone.

Abbiamo fondato Fyusion con l’obiettivo di costruire nuove tecnologie 3D visivamente spettacolari che consentano a tutti di risolvere problemi visivi complessi con l’intelligenza artificiale.

Insieme abbiamo sviluppato e brevettato un nuovo formato di file, chiamato .fyuse, che consente alle persone di catturare immagini 3D spettacolari dai loro smartphone. Ciò ha immediatamente causato una sensazione sui social media e ha attirato oltre 100 milioni di utenti attraverso applicazioni mobili per consumatori.

Cosa ti ha inizialmente attirato all’idea di reinventare il significato di 3D per le applicazioni dei consumatori?

Ci siamo semplicemente resi conto che nessuno aveva affrontato questo problema a larga scala. Era un problema irrisolto. Proprio come nei nostri programmi di dottorato, le cose che ci eccitano intellettualmente sono problemi molto complessi che qualcuno ha detto non possono essere risolti.

In questo caso, fino a un certo punto, avevano ragione. Il tipo di algoritmi necessari per risolvere questo problema era solo parzialmente pensato e l’hardware necessario per eseguirli non esisteva, specialmente sui dispositivi edge come gli smartphone. Abbiamo effettivamente dovuto aspettare fino a quando non è uscito l’iPhone 4S in modo da poter eseguire codice di visione artificiale 3D in tempo reale su uno smartphone, perché prima di allora, gli iPhone avevano solo un core CPU. Una volta che abbiamo iniziato a vedere cosa poteva fare l’hardware degli smartphone, siamo diventati molto interessati a prendere la nostra esperienza di ricerca sulla visione artificiale e sulla robotica e vedere cosa potevamo fare con queste piccole fotocamere e CPU/GPU. Ci è voluto un po’ di tempo per tornare al tavolo da disegno e ripensare a come immaginare e implementare la cattura e l’elaborazione dei campi di luce interamente attraverso il software. Una volta che abbiamo visto che funzionava, Fyusion è decollata.

Avevamo fotografie 2D in forma analogica e poi sono state digitalizzate con tutto il resto. L’unica istanza che avevamo nel mondo 3D a larga scala era una “maglia triangolare con una texture” (ad esempio, formati di file come OBJ) che proveniva da giochi per computer e grafica computerizzata e erano destinati a rappresentare oggetti artificiali creati in un gioco. Dipendevano fortemente dalla geometria perfetta, che è impossibile da ottenere – come puoi catturare e rappresentare l’acqua come una maglia triangolare con una fotocamera? E gli oggetti trasparenti? La vegetazione? Le cose che sono lontane? E così via…

Era chiaro che qualcuno doveva affrontare la necessità di formati 3D amichevoli per i consumatori. Doveva essere basato su un paradigma completamente diverso e risolto in un modo di “rendering di immagini 3D” (ovvero, campi di luce), e incorporare informazioni disponibili al momento della cattura (come l’orientamento della fotocamera attraverso un sensore giroscopico) che di solito vengono scartate quando si cattura un’immagine 2D. E poi, naturalmente, stiamo cercando di ri-inferire quelle informazioni scartate attraverso l’apprendimento automatico.

Questa è stata la nostra opportunità, ed è ciò che le startup dovrebbero sognare: trovare un problema molto difficile di cui sono appassionati, aspettare il momento giusto e l’apertura giusta, e cercare di risolverlo con tutte le loro forze.

La tecnologia di base consente a chiunque di creare immagini 3D immersive e interattive chiamate .fyuses spostando qualsiasi fotocamera intorno a una persona, un oggetto o una scena. Potresti discutere il processo per creare un fyuse utilizzando un’applicazione mobile?

Siamo ancora nell’infanzia di questa tecnologia, ma l’essenza è: prendi uno smartphone che ha un’applicazione scritta da Fyusion o un’applicazione partner che utilizza il nostro SDK Fyusion ALIS sotto, e apri la fotocamera. Ricevi istruzioni su cosa fare e, se le segui, ottieni un .fyuse sul dispositivo che è un “oggetto file” elaborato da computer vision e apprendimento automatico che puoi renderizzare sul dispositivo, sul web o su qualsiasi headset AR/VR/MR.

Quali sono alcune delle tecnologie di visione artificiale e apprendimento automatico utilizzate per rendere questo una realtà?

Non c’è una soluzione universale qui, ma un vasto cocktail di strumenti di visione artificiale 3D e apprendimento automatico che abbiamo creato per risolvere questo problema. Ci sono idee dalla fotogrammetria (perché effettivamente stiamo creando una matrice di fotocamere virtuali spostando una singola fotocamera nello spazio), dalla robotica (enorme problema di fusione dei sensori poiché non abbiamo più una singola fotocamera, ma piuttosto una moltitudine di sensori dai quali possiamo estrarre dati per aiutare a risolvere questo problema), dalla grafica computerizzata (puoi esaminare il nostro lavoro Siggraph 2019 per capire come rappresentiamo alcune delle strutture sottostanti), e molti altri. Tutto ciò doveva essere fatto sul dispositivo e doveva essere eseguibile in tempo reale, il che significa che sfruttiamo i compute shader e scriviamo codice in assembly. Come menzionato, questo è solo l’inizio, e più sensori e potenza di calcolo diventano disponibili per noi, più useremo il nostro acceleratore ALIS per migliorare molti aspetti della tecnologia. Questa è una visione a lungo termine e abbiamo un altro decennio di lavoro davanti a noi per essere completamente soddisfatti di come appaiono le scene del mondo reale complesse digitalizzate.

È facile visualizzare come .fyuses saranno disruptivi per le applicazioni VR. Potresti discutere il tipo di applicazioni VR attuali che .fyuses possono essere utilizzati in?

Pensiamo che QUALSIASI applicazione VR in cui la digitalizzazione di un oggetto del mondo reale e quindi la sua visualizzazione sia importante, dovrebbe trarre beneficio dall’utilizzo del nostro motore ALIS e dei .fyuses. Non c’è carenza di settori e applicazioni nel commercio elettronico, sanità, automotive, istruzione e oltre, e siamo molto entusiasti di questo futuro.

Cosa prevedi come il futuro delle applicazioni VR per Fyuses?

Non vediamo limiti alla tecnologia attuale, anche se la nostra attuale attenzione è più focalizzata su scene e oggetti di piccole e medie dimensioni, e non su grandi paesaggi urbani.

Posso facilmente visualizzare Fyuses utilizzate in future applicazioni di realtà aumentata (AR) e realtà mista (MR). Qual è la tua visione per il futuro dei Fyuses in un contesto AR e MR?

Trattiamo tutte le applicazioni AR/VR/MR esattamente allo stesso modo: una volta che l’oggetto 3D è stato digitalizzato utilizzando la nostra tecnologia, può essere estratto dalla scena e posizionato ovunque.

Il tuo team ha discusso l’idea di creare Fyuses con un assistente virtuale o un’intelligenza artificiale?

Non abbiamo esplorato l’opportunità di creare avatar virtuali interattivi per le persone. Questa è una possibilità interessante, ma stiamo cercando di rimanere focalizzati sul risolvere l’attuale insieme di problemi su cui stiamo lavorando.

C’è qualcos’altro che ti piacerebbe condividere sui Fyuses o su Fyusion, Inc?

Questo potrebbe sembrare una presentazione, ma… siamo un gruppo di pazzi roboticisti e scienziati di visione artificiale 3D, mescolati con fisici del CERN, hacker e ingegneri incredibili, e questo descrive solo i membri del team tecnico di base. Ci piace la diversità di tutti i tipi, perché ci rende più intelligenti e forti come squadra. Se qualcosa di ciò su cui stiamo lavorando è di interesse per chi legge questo, per favore non esitare a contattarci. Stiamo facendo del nostro meglio per rispondere a tutti e potresti trovarti in una situazione in cui vieni per un caffè e poi rimani per un decennio.

Grazie per le grandi interviste, i lettori che desiderano saperne di più possono visitare Fyusion.