Radu Rusu, CEO e Co-Fondatore di Fyusion – Serie di Interviste

Radu Rusu, è il CEO e Co-Fondatore di Fyusion, un’azienda che ha l’obiettivo di costruire nuove tecnologie 3D visivamente spettacolari che consentano di risolvere problemi visuali complessi con l’intelligenza artificiale. Insieme hanno sviluppato e brevettato un nuovo formato di file, chiamato .fyuse, che consente alle persone di catturare immagini 3D spettacolari con i loro smartphone, causando una sensazione sui social media e attirando oltre 100 milioni di utenti attraverso applicazioni mobili per consumatori.

Da quando lavori sul 3D dal 2012, sei attualmente il Presidente e CEO di Open Perception, Inc. Potresti condividere la dichiarazione di missione di questa organizzazione no-profit?

Ho iniziato la mia carriera nell’elaborazione dei dati 3D alla fine degli anni ’90, mentre facevo i miei studi post-laurea, con l’idea in testa di far vedere e capire meglio ai robot il mondo da un punto di vista visivo. Ciò mi ha portato attraverso circa un decennio di ricerche sulla visione artificiale legata alla robotica, e all’inizio degli anni 2010 mi sono reso conto che ciò su cui stavo lavorando poteva essere applicato a un insieme molto più ampio di problemi. Open Perception è stata creata come una costola di Willow Garage e ha preso una delle nostre iniziative open source con licenza BSD – il progetto Point Cloud Library (PCL) – e ha continuato a favorirne la crescita. Open Perception, Inc. è stata incorporata in California nell’aprile 2012 come un’organizzazione indipendente creata con lo scopo di sostenere lo sviluppo, la distribuzione e l’adozione di software open source per l’elaborazione dei dati sensoriali 2D/3D, con applicazioni nella ricerca, nell’istruzione e nello sviluppo di prodotti.

Nel 2014, sei diventato il Co-Fondatore e CEO di Fyusion, Inc. Potresti condividere la storia di genesi di Fyusion, Inc?

Mentre ero impegnato nella ricerca sulla robotica, i co-fondatori di Fyusion e io ci siamo resi conto che gli ostacoli non erano più gli algoritmi, ma i formati dei dati. L’apprendimento automatico aveva raggiunto un picco di accuratezza intorno a quel periodo in molti domini perché il tipo di dati che stavamo utilizzando, specialmente in formati visivi, era bidimensionale (come fotografie e video), mentre il mondo è tridimensionale. Abbiamo sentito che esisteva la possibilità di trasformare il modo in cui le persone capiscono il mondo sfruttando i dati 3D nelle piattaforme di apprendimento automatico.

Nel 2014, abbiamo deciso di creare un nuovo tipo di dati 3D, generati attraverso software di visione artificiale e apprendimento automatico, fondendo insieme più fonti di dati e utilizzando hardware commodity estremamente scalabile disponibile nelle nostre tasche – cioè i nostri smartphone.

Abbiamo fondato Fyusion con l’obiettivo di costruire nuove tecnologie 3D visivamente spettacolari che consentano a tutti di risolvere problemi visuali complessi con l’intelligenza artificiale.

Insieme abbiamo sviluppato e brevettato un nuovo formato di file, chiamato .fyuse, che consente alle persone di catturare immagini 3D spettacolari con i loro smartphone. Ciò ha immediatamente causato una sensazione sui social media e ha attirato oltre 100 milioni di utenti attraverso applicazioni mobili per consumatori.

Cosa ti ha inizialmente attirato all’idea di reinventare il significato di 3D per le applicazioni dei consumatori?

Abbiamo semplicemente capito che nessuno aveva affrontato questo problema su larga scala. Era un problema irrisolto. Come nel nostro programma di dottorato, le cose che ci eccitano intellettualmente sono problemi molto complicati che qualcuno ha detto non possono essere risolti.

In questo caso, fino a un certo punto, avevano ragione. Gli algoritmi necessari per risolvere questo problema erano solo parzialmente pensati e l’hardware necessario per eseguirli non esisteva, specialmente su dispositivi edge come gli smartphone. Abbiamo effettivamente dovuto aspettare che l’iPhone 4S uscisse in modo che potessimo eseguire codice di visione artificiale 3D in tempo reale su uno smartphone, perché prima di allora gli iPhone avevano solo un core CPU. Una volta che abbiamo visto cosa poteva fare l’hardware degli smartphone, siamo diventati molto interessati a prendere la nostra esperienza di ricerca sulla visione artificiale e sulla robotica e vedere cosa potevamo fare con queste piccole telecamere e CPU/GPU. Ci è voluto un po’ di tempo per tornare al tavolo da disegno e ripensare a come immaginare e implementare la cattura e l’elaborazione dei campi di luce attraverso il software. Una volta che abbiamo visto che funzionava, Fyusion è partita.

Avevamo fotografie 2D in forma analogica e poi sono state digitalizzate con tutto il resto. L’unica istanza che avevamo nel mondo 3D su larga scala era una “maglia di triangoli con una texture” (ad esempio, formati di file come OBJ) che provenivano dai giochi per computer e dalla grafica computerizzata e erano destinati a rappresentare oggetti artificiali creati in un gioco. Essi dipendono fortemente dalla geometria perfetta, che è impossibile da ottenere – come si può catturare e rappresentare l’acqua come una maglia di triangoli con una telecamera? Cosa dire degli oggetti trasparenti? Della vegetazione? Di cose che sono lontane? E così via…

È stato chiaro che qualcuno doveva affrontare la necessità di formati 3D amichevoli per i consumatori. Doveva essere basato su un paradigma completamente diverso e risolto in un modo di “rendering di immagini 3D” (cioè campi di luce), e incorporare informazioni disponibili al momento della cattura (come l’orientamento della telecamera attraverso un sensore giroscopico) che di solito vengono scartate quando si cattura un’immagine 2D. E poi, naturalmente, stiamo cercando di ri-inferire quelle informazioni scartate attraverso l’apprendimento automatico.

Questa è stata la nostra opportunità e questo è ciò di cui le startup dovrebbero sognare: trovare un problema veramente difficile di cui sono appassionati, aspettare il momento giusto e l’apertura giusta, e cercare di risolverlo con tutte le loro forze.

La tecnologia di base consente a chiunque di creare immagini 3D immersive e interattive chiamate .fyuses spostando qualsiasi telecamera intorno a una persona, un oggetto o una scena. Potresti discutere il processo per creare un fyuse utilizzando un’app mobile?

Siamo ancora all’infanzia di questa tecnologia, ma l’essenza è la seguente: si prende uno smartphone che ha un’applicazione scritta da Fyusion o un’applicazione partner che utilizza il nostro SDK Fyusion ALIS, e si apre la telecamera. Si ricevono istruzioni su cosa fare e, se le si segue, si ottiene un .fyuse sul dispositivo che è un “oggetto file” elaborato dalla visione artificiale e dall’apprendimento automatico che può essere visualizzato sul dispositivo, sul web o su qualsiasi headset AR/VR/MR.

Quali sono alcune delle tecnologie di visione artificiale e apprendimento automatico utilizzate per rendere questo possibile?

Non c’è una soluzione unica qui, ma un vasto cocktail di strumenti di visione artificiale 3D e apprendimento automatico che abbiamo creato per risolvere questo problema. Ci sono idee provenienti dalla fotogrammetria (perché effettivamente stiamo creando una matrice di telecamere virtuali spostando una singola telecamera nello spazio), dalla robotica (enorme problema di fusione dei sensori, poiché non abbiamo più una singola telecamera, ma piuttosto una pletora di sensori dai quali possiamo estrarre dati per aiutare a risolvere questo problema), dalla grafica computerizzata (si può guardare il nostro lavoro Siggraph 2019 per capire come rappresentiamo alcune delle strutture sottostanti), e molti altri. Tutto ciò doveva essere fatto sul dispositivo e doveva essere eseguibile in tempo reale, il che significa che sfruttiamo i compute shader e scriviamo codice in assembly. Come menzionato, questo è solo l’inizio, e più sensori e potenza computazionale diventeranno disponibili per noi, più utilizzeremo il nostro throttling ALIS per migliorare diversi aspetti della tecnologia. Questa è una visione a lungo termine e abbiamo un altro decennio di lavoro davanti a noi per essere completamente soddisfatti di come appaiono le scene del mondo reale digitalizzate.

È facile visualizzare come i .fyuses saranno disruptivi per le applicazioni VR. Potresti discutere il tipo di applicazioni VR attuali che i .fyuses possono essere utilizzati?

Pensiamo che qualsiasi applicazione VR in cui la digitalizzazione di un oggetto del mondo reale e la sua visualizzazione siano importanti, dovrebbe trarre vantaggio dall’utilizzo del nostro motore ALIS e dei .fyuses. Non c’è carenza di settori e applicazioni nel commercio elettronico, sanità, automotive, istruzione e oltre, e siamo molto entusiasti di questo futuro.

Cosa ti aspetti come futuro per le applicazioni VR dei Fyuses?

Non vediamo limiti alla tecnologia attuale, anche se la nostra attuale attenzione è più concentrata su scene e oggetti di piccole e medie dimensioni e non su grandi paesaggi urbani.

Posso facilmente visualizzare i Fyuses utilizzati in future applicazioni di realtà aumentata (AR) e realtà mista (MR). Qual è la tua visione per il futuro dei Fyuses in un contesto AR e MR?

Trattiamo tutte le applicazioni AR/VR/MR esattamente allo stesso modo: una volta che l’oggetto 3D è stato digitalizzato utilizzando la nostra tecnologia, può essere estratto dalla scena e posizionato ovunque.

Il tuo team ha discusso l’idea di creare Fyuses con un assistente virtuale o un’intelligenza artificiale?

Non abbiamo esplorato l’opportunità di creare avatar virtuali interattivi per le persone. Questa è una possibilità interessante, ma stiamo cercando di rimanere concentrati sul risolvere l’attuale insieme di problemi su cui stiamo lavorando.

C’è qualcos’altro che ti piacerebbe condividere sui Fyuses o su Fyusion, Inc?

Questo potrebbe sembrare una presentazione, ma… siamo un gruppo di roboticisti e scienziati di visione artificiale 3D pazzi, mescolati con fisici del CERN, hacker incredibili e ingegneri, e questo descrive solo i membri del team tecnico di base. Ci piace la diversità di tutti i tipi, perché ci rende più intelligenti e più forti come team. Se qualcosa di ciò che stiamo lavorando è di interesse per chi legge questo, per favore non esitare a contattarci. Stiamo facendo del nostro meglio per rispondere a tutti e potresti trovarti in una situazione in cui vieni per un caffè e poi rimani per un decennio.

Grazie per le grandi interviste, i lettori che desiderano saperne di più possono visitare Fyusion.