Radu Rusu, CEO & Co-Founder de Fyusion – Serie de Entrevistas

Radu Rusu, es el CEO y Co-Fundador de Fyusion, una empresa que tiene como objetivo construir nuevas tecnologías 3D visualmente impresionantes que les permitan resolver problemas visuales complejos con inteligencia artificial. Juntos desarrollaron y patentaron un nuevo formato de archivo, llamado .fyuse, que permite a las personas capturar imágenes 3D impresionantes desde sus smartphones, causando una sensación en las redes sociales y atraendo a más de 100 millones de usuarios a través de aplicaciones móviles de consumo.

Ha estado trabajando en 3D desde 2012, actualmente es el Presidente y CEO de Open Perception, Inc. ¿Podría compartir la declaración de misión de esta organización sin fines de lucro?

Comencé mi carrera en procesamiento de datos 3D a principios de la década de 2000 mientras realizaba mis estudios de posgrado, con la idea en mi cabeza de que haría que los robots vieran y entendieran el mundo mejor desde una perspectiva visual. Eso me llevó a través de aproximadamente una década de investigación de visión por computadora 3D relacionada con la robótica, y a principios de la década de 2010 me di cuenta de que lo que estaba trabajando podía aplicarse a un conjunto mucho más amplio de problemas. Open Perception se creó como una escisión de Willow Garage, y tomó una de nuestras iniciativas de código abierto con licencia BSD, el proyecto Point Cloud Library (PCL), y continuó fomentando su crecimiento. Open Perception, Inc. se incorporó en California en abril de 2012 como una organización independiente creada con el propósito de apoyar el desarrollo, distribución y adopción de software de código abierto para el procesamiento 2D/3D de datos sensoriales, con aplicaciones en investigación, educación y desarrollo de productos.

En 2014, se convirtió en Co-Fundador y CEO de Fyusion, Inc. ¿Podría compartir la historia de génesis de Fyusion, Inc?

Mientras estaba involucrado en la investigación de robótica, los co-fundadores de Fyusion y yo nos dimos cuenta de que los cuellos de botella ya no eran algoritmos, sino formatos de datos. El aprendizaje automático había alcanzado un pico de precisión en muchos dominios en ese momento, porque el tipo de datos que estábamos utilizando, especialmente en formatos visuales, era bidimensional (como fotografías y videos), mientras que el mundo es tridimensional. Sentimos que existía el potencial de transformar la forma en que las personas entienden el mundo mediante el aprovechamiento de datos 3D en plataformas de aprendizaje automático.

En 2014, decidimos crear un nuevo tipo de datos 3D, generado a través de software de visión por computadora y aprendizaje automático, fusionando múltiples fuentes de datos y utilizando hardware de commodity extremadamente escalable disponible en nuestros bolsillos, es decir, nuestros smartphones.

Fundamos Fyusion con el objetivo de construir nuevas tecnologías 3D visualmente impresionantes que permitan a todos resolver problemas visuales complejos con inteligencia artificial.

Juntos desarrollamos y patentamos un nuevo formato de archivo, llamado .fyuse, que permite a las personas capturar imágenes 3D impresionantes desde sus smartphones. Inmediatamente causó una sensación en las redes sociales y atrajo a más de 100 millones de usuarios a través de aplicaciones móviles de consumo.

¿Qué lo atrajo inicialmente a la idea de reinventar el significado de 3D para aplicaciones de consumo?

Simplemente nos dimos cuenta de que nadie había abordado esto a escala. Era un problema sin resolver. Al igual que en nuestros programas de doctorado, las cosas que nos emocionan intelectualmente son problemas realmente complicados que alguien dijo que no se podían resolver.

En este caso, hasta cierto punto, tenían razón. Los algoritmos necesarios para resolver esto solo se habían pensado parcialmente y el hardware necesario para ejecutarlos no existía, especialmente en dispositivos de borde como los smartphones. En realidad, tuvimos que esperar a que saliera el iPhone 4S para que pudiéramos ejecutar código de visión por computadora 3D en tiempo real en un smartphone, porque antes de eso, los iPhones solo tenían un núcleo de CPU. Una vez que comenzamos a ver lo que el hardware de smartphone podía hacer, nos interesamos mucho en tomar nuestra experiencia en investigación de visión por computadora y robótica y ver qué podíamos meter en estas pequeñas cámaras y CPUs/GPUs. Tomó un tiempo regresar al tablero de dibujo y repensar cómo imaginar y implementar la captura y procesamiento de campos de luz a través de software. Una vez que lo vimos funcionando, Fyusion estaba en marcha.

Solíamos tener fotos 2D en forma analógica, y luego se digitalizaron con todo lo demás. La única instancia que teníamos en el mundo 3D a escala era un “triángulo de malla con textura” (por ejemplo, formatos de archivo como OBJ) que provino de juegos de computadora y gráficos por computadora y estaban destinados a representar objetos artificialmente creados en un juego. Dependen mucho de la geometría perfecta, lo cual es imposible de obtener, ¿cómo capturar y representar el agua como una malla de triángulos con una cámara? ¿Qué hay de los objetos transparentes? ¿Follaje? ¿Cosas que están lejos? Y así sucesivamente…

Estaba claro que alguien tenía que abordar la necesidad de formatos 3D amigables para el consumidor. Tenía que basarse en un paradigma completamente diferente y resolverse de una manera de “representación de imagen 3D” (es decir, campos de luz), e incorporar información que esté disponible en el momento de la captura (como la orientación de la cámara a través de un sensor giroscópico) que normalmente se descarta cuando se captura una imagen 2D. Y luego, por supuesto, estamos tratando de re-inferir esa información descartada a través del aprendizaje automático.

Esta era nuestra oportunidad, y es lo que las startups deberían soñar: encontrar un problema realmente difícil que les apasione, esperar el momento y la apertura adecuados, y tratar de resolverlo como locos.

La tecnología central permite que cualquier persona cree imágenes 3D inmersivas e interactivas llamadas .fyuses moviendo cualquier cámara alrededor de una persona, objeto o escena. ¿Podría discutir el proceso para alguien que desee crear un .fyuse utilizando una aplicación móvil?

Todavía estamos en la infancia de esta tecnología, pero lo esencial es: toma un smartphone que tiene una aplicación escrita por Fyusion o una aplicación de socio que utiliza nuestro SDK ALIS de Fyusion debajo, y abres la cámara. Obtienes instrucciones sobre qué hacer, y si las sigues, obtienes un .fyuse en el dispositivo que es un “objeto de archivo” procesado por visión por computadora y aprendizaje automático que puedes renderizar en el dispositivo, en la web o en cualquier casco de AR/VR/MR.

¿Cuáles son algunas de las tecnologías de visión por computadora y aprendizaje automático que se utilizan para hacer que esto sea una realidad?

Realmente no hay una bala de plata aquí, sino un vasto cóctel de herramientas de visión por computadora 3D y aprendizaje automático que creamos para resolver este problema. Hay ideas de fotogrametría (porque efectivamente estamos creando una matriz de cámara virtual moviendo una sola cámara en el espacio), robótica (enorme problema de fusión de sensores ya que no tenemos una sola cámara, sino una multitud de sensores que puedes extraer datos para ayudar a resolver este problema), gráficos por computadora (puedes mirar nuestro trabajo en Siggraph 2019 para entender cómo representamos algunas de las estructuras subyacentes), y muchos más. Todo esto tuvo que hacerse en el dispositivo y ejecutarse en tiempo real, lo que significa que aprovechamos shaders de computación y escribimos código en ensamblador. Como se mencionó, esto es solo el comienzo, y cuanto más sensores y potencia computacional estén disponibles para nosotros, más utilizaremos nuestro acelerador ALIS para mejorar varios aspectos de la tecnología. Esta es una visión a largo plazo, y tenemos otra década de trabajo por delante para estar completamente satisfechos de la forma en que se ven las escenas del mundo real complejas digitalizadas.

Es fácil visualizar cómo los .fyuses serán disruptivos para las aplicaciones de VR. ¿Podría discutir el tipo de aplicaciones de VR actuales que los .fyuses pueden ser utilizados en?

Pensamos que CUALQUIER aplicación de VR donde la digitalización de un objeto del mundo real y luego su visualización sea importante, debería beneficiarse del uso de nuestro motor ALIS y .fyuses. No hay escasez de verticales y aplicaciones en comercio electrónico, atención médica, automotriz, educación y más allá, y estamos muy emocionados con este futuro.

¿Qué vislumbra como el futuro de las aplicaciones de VR para Fyuses?

No vemos límites para la tecnología actual, aunque nuestro enfoque actual es más en escenas y objetos pequeños a medianos, y no en paisajes urbanos grandes.

Puedo visualizar fácilmente los Fyuses siendo utilizados en aplicaciones de realidad aumentada (AR) y realidad mixta (MR) futuras. ¿Cuál es su visión para el futuro de los Fyuses en un entorno de AR y MR?

Tratamos todas las aplicaciones de AR/VR/MR exactamente de la misma manera: una vez que el objeto 3D ha sido digitalizado utilizando nuestra tecnología, se puede extraer de la escena y colocar en cualquier lugar.

¿Ha discutido su equipo la idea de tener Fyuses creados con un asistente virtual o IA?

No hemos explorado la oportunidad de crear avatares virtuales interactivos para personas. Esta es una posibilidad interesante, sin duda, pero estamos tratando de mantenernos enfocados en resolver el conjunto actual de problemas en los que estamos trabajando.

¿Hay algo más que le gustaría compartir sobre Fyuses o Fyusion, Inc?

Esto puede sonar como una presentación, pero… somos un grupo de roboticistas y científicos de visión por computadora 3D locos, mezclados con físicos del CERN, hackers y ingenieros increíbles, y eso solo describe a los miembros del equipo técnico central. Nos gusta la diversidad de todos los tipos, porque eso nos hace más inteligentes y fuertes como equipo. Si algo en lo que estamos trabajando es de interés para alguien que lee esto, por favor no sea tímido y comuníquese con nosotros. Estamos haciendo nuestro mejor esfuerzo para responder a todos, y es posible que se encuentre en una situación en la que venga por café y luego se quede durante una década.

Gracias por las grandes entrevistas, los lectores que deseen aprender más deben visitar Fyusion.