Radu Rusu, CEO y Co-Fundador de Fyusion – Serie de Entrevistas

Radu Rusu, es el CEO y Co-Fundador de Fyusion, una empresa que tiene como objetivo construir nuevas tecnologías 3D visualmente impresionantes que les permitan resolver problemas visuales complejos con inteligencia artificial. Juntos desarrollaron y patentaron un nuevo formato de archivo, llamado .fyuse, que permite a las personas capturar imágenes 3D impresionantes desde sus smartphones, lo que causó una sensación en las redes sociales y atrajo a más de 100 millones de usuarios a través de aplicaciones móviles para consumidores.

Ha estado trabajando en 3D desde 2012, actualmente es el Presidente y CEO de Open Perception, Inc. ¿Podría compartir la misión de esta organización sin fines de lucro?

Comencé mi carrera en procesamiento de datos 3D en los primeros 2000, mientras realizaba mis estudios de posgrado, con la idea en mi cabeza de que haría que los robots vieran y entendieran el mundo mejor desde una perspectiva visual. Eso me llevó a través de una década de investigación en visión por computadora relacionada con la robótica, y a principios de la década de 2010 me di cuenta de que lo que estaba trabajando podía aplicarse a un conjunto más amplio de problemas. Open Perception se creó como una escisión de Willow Garage, y tomó una de nuestras iniciativas de código abierto con licencia BSD, el proyecto Point Cloud Library (PCL), y continuó fomentando su crecimiento. Open Perception, Inc. se incorporó en California en abril de 2012 como una organización independiente creada con el propósito de apoyar el desarrollo, distribución y adopción de software de código abierto para el procesamiento de datos sensoriales 2D/3D, con aplicaciones en investigación, educación y desarrollo de productos.

En 2014, se convirtió en Co-Fundador y CEO de Fyusion, Inc. ¿Podría compartir la historia de la génesis de Fyusion, Inc?

Mientras estaba involucrado en la investigación de robótica, los co-fundadores de Fyusion y yo nos dimos cuenta de que los cuellos de botella ya no eran algoritmos, sino formatos de datos. El aprendizaje automático había alcanzado un pico de precisión en muchos dominios en ese momento, porque el tipo de datos que estábamos utilizando, especialmente en formatos visuales, era bidimensional (como fotografías y videos), mientras que el mundo es tridimensional. Sentimos que existía el potencial de transformar la forma en que las personas entienden el mundo aprovechando los datos 3D en las plataformas de aprendizaje automático.

En 2014, decidimos crear un nuevo tipo de datos 3D, generado a través de software de visión por computadora y aprendizaje automático, fusionando múltiples fuentes de datos y utilizando hardware de commodity extremadamente escalable disponible en nuestros bolsillos, es decir, nuestros smartphones.

Fundamos Fyusion con el objetivo de construir nuevas tecnologías 3D visualmente impresionantes que les permitan a todos resolver problemas visuales complejos con inteligencia artificial.

Juntos desarrollamos y patentamos un nuevo formato de archivo, llamado .fyuse, que permite a las personas capturar imágenes 3D impresionantes desde sus smartphones. Inmediatamente causó una sensación en las redes sociales y atrajo a más de 100 millones de usuarios a través de aplicaciones móviles para consumidores.

¿Qué lo atrajo inicialmente a la idea de reinventar el significado de 3D para aplicaciones de consumidor?

Nos dimos cuenta de que nadie había abordado esto a gran escala. Era un problema sin resolver. Al igual que en nuestros programas de doctorado, las cosas que nos emocionan intelectualmente son problemas realmente complicados que alguien dijo que no se pueden resolver.

En este caso, hasta cierto punto, tenían razón. Los algoritmos necesarios para resolver esto solo se habían pensado parcialmente y el hardware necesario para ejecutarlos no existía, especialmente en dispositivos de borde como los smartphones. En realidad, tuvimos que esperar a que saliera el iPhone 4S para que pudiéramos ejecutar código de visión por computadora 3D en tiempo real en un smartphone, porque antes de eso, los iPhones solo tenían un núcleo de CPU. Una vez que vimos lo que el hardware de los smartphones podía hacer, nos interesamos mucho en tomar nuestra experiencia en investigación de visión por computadora y robótica y ver qué podíamos meter en estas pequeñas cámaras y CPUs/GPUs. Tomó un tiempo volver al tablero de dibujo y repensar cómo imaginar y implementar la captura y procesamiento de campos de luz a través de software. Una vez que lo vimos funcionando, Fyusion estaba en marcha.

Solíamos tener fotos 2D en forma analógica, y luego se digitalizaron con todo lo demás. La única instancia que teníamos en el mundo 3D a gran escala era un “triángulo de malla con textura” (por ejemplo, formatos de archivo como OBJ) que provenían de juegos de computadora y gráficos por computadora y estaban destinados a representar objetos creados artificialmente en un juego. Dependen mucho de la geometría perfecta, lo cual es imposible de obtener, ¿cómo capturas y representas el agua como una malla de triángulos con una cámara? ¿Qué hay de los objetos transparentes? ¿Follaje? ¿Cosas que están lejos? Y así sucesivamente…

Estaba claro que alguien tenía que abordar la necesidad de formatos 3D amigables para el consumidor. Tenía que basarse en un paradigma completamente diferente y resolverse de una manera de “renderizado de imágenes 3D” (es decir, campos de luz), e incorporar información disponible en el momento de la captura (como la orientación de la cámara a través de un sensor giroscópico) que normalmente se descarta cuando se captura una imagen 2D. Y luego, por supuesto, estamos tratando de volver a inferir esa información descartada a través del aprendizaje automático.

Esta era nuestra oportunidad, y es lo que las startups deberían soñar: encontrar un problema realmente difícil que les apasione, esperar el momento y la apertura adecuados, y tratar de resolverlo con locura.

La tecnología central permite que cualquier persona cree imágenes 3D inmersivas y interactivas llamadas .fyuses moviendo cualquier cámara alrededor de una persona, objeto o escena. ¿Podría hablar sobre el proceso para alguien que desee crear un .fyuse utilizando una aplicación móvil?

Todavía estamos en la infancia de esta tecnología, pero lo esencial es: tomas un smartphone que tiene una aplicación escrita por Fyusion o una aplicación de un socio que utiliza nuestro SDK de Fyusion ALIS debajo, y abres la cámara. Obtienes instrucciones sobre qué hacer, y si las sigues, obtienes un .fyuse en el dispositivo que es un “objeto de archivo” procesado por visión por computadora y aprendizaje automático que puedes renderizar en el dispositivo, en la web o en cualquier casco de realidad aumentada/realidad virtual/mixed reality.

¿Cuáles son algunas de las tecnologías de visión por computadora y aprendizaje automático que se utilizan para hacer que esto sea una realidad?

Realmente no hay una bala de plata aquí, sino un vasto cóctel de herramientas de visión por computadora 3D y aprendizaje automático que creamos para resolver este problema. Hay ideas de fotogrametría (porque efectivamente estamos creando una matriz de cámara virtual moviendo una cámara única en el espacio), robótica (enorme problema de fusión de sensores, ya que no tenemos una cámara sola, sino una multitud de sensores que puedes extraer datos para ayudar a resolver este problema), gráficos por computadora (puedes mirar nuestro trabajo en Siggraph 2019 para entender cómo representamos algunas de las estructuras subyacentes), y muchos más. Todo esto tuvo que hacerse en el dispositivo y ejecutarse en tiempo real, lo que significa que aprovechamos los shaders de computadora y escribimos código en ensamblador. Como se mencionó, esto es solo el comienzo, y cuanto más sensores y potencia de cálculo estén disponibles para nosotros, más utilizaremos nuestro acelerador ALIS para mejorar varios aspectos de la tecnología. Esta es una visión a largo plazo, y tenemos otra década o más de trabajo por delante para estar completamente satisfechos con la forma en que se ven las escenas del mundo real digitalizadas.

Es fácil visualizar cómo los .fyuses serán disruptivos para las aplicaciones de realidad virtual. ¿Podría hablar sobre el tipo de aplicaciones de realidad virtual actuales que los .fyuses pueden ser utilizados en?

Creamos que CUALQUIER aplicación de realidad virtual donde la digitalización de un objeto del mundo real y luego su visualización sea importante, debería beneficiarse del uso de nuestro motor ALIS y .fyuses. Realmente no hay escasez de verticales y aplicaciones en comercio electrónico, atención médica, automotriz, educación y más allá, y estamos muy emocionados con este futuro.

¿Qué vislumbra como el futuro de las aplicaciones de realidad virtual para los .fyuses?

No vemos limitaciones para la tecnología actual, aunque nuestro enfoque actual se centra más en escenas y objetos pequeños y medianos, y no en paisajes urbanos grandes.

Puedo visualizar fácilmente los .fyuses siendo utilizados en futuras aplicaciones de realidad aumentada y realidad mixta. ¿Cuál es su visión para el futuro de los .fyuses en un entorno de realidad aumentada y realidad mixta?

Tratamos todas las aplicaciones de realidad aumentada/realidad virtual/realidad mixta exactamente de la misma manera: una vez que el objeto 3D ha sido digitalizado utilizando nuestra tecnología, se puede extraer de la escena y colocar en cualquier lugar.

¿Ha discutido su equipo la idea de tener .fyuses creados con un asistente virtual o IA?

No hemos explorado la oportunidad de crear avatares virtuales interactivos para las personas. Esta es una posibilidad interesante, sin duda, pero estamos tratando de mantenernos enfocados en resolver el conjunto actual de problemas que estamos trabajando.

¿Hay algo más que le gustaría compartir sobre los .fyuses o Fyusion, Inc?

Puede sonar como una presentación, pero… somos un grupo de roboticistas y científicos de visión por computadora 3D locos, mezclados con físicos del CERN, hackers y ingenieros increíbles, y eso solo describe a los miembros del equipo técnico central. Nos gusta la diversidad de todos los tipos, porque eso nos hace más inteligentes y fuertes como equipo. Si algo en lo que estamos trabajando es de interés para alguien que lee esto, por favor no dude en ponerse en contacto con nosotros. Estamos haciendo nuestro mejor esfuerzo por responder a todos, y es posible que se encuentre en una situación en la que venga por un café y luego se quede durante una década.

Gracias por las grandes entrevistas, los lectores que deseen aprender más pueden visitar Fyusion.