Radu Rusu, CEO e Co-Fundador da Fyusion – Série de Entrevistas

Radu Rusu é o CEO e Co-Fundador da Fyusion, uma empresa que tem como objetivo criar novas tecnologias 3D visualmente impressionantes que permitam resolver problemas visuais complexos com inteligência artificial. Juntos, desenvolveram e patentearam um novo formato de arquivo, chamado .fyuse, que permite às pessoas capturar imagens 3D impressionantes a partir de seus smartphones, causando uma sensação nas redes sociais e atraindo mais de 100 milhões de usuários por meio de aplicativos móveis de consumo.

Você tem trabalhado com 3D desde 2012 e atualmente é o Presidente e CEO da Open Perception, Inc. Pode compartilhar a declaração de missão dessa organização sem fins lucrativos?

Eu comecei minha carreira no processamento de dados 3D no início dos anos 2000, enquanto fazia meus estudos de pós-graduação, com a ideia de fazer com que os robôs vissem e entendessem o mundo melhor do ponto de vista visual. Isso me levou por cerca de uma década de pesquisa em visão computacional relacionada à robótica e, no início dos anos 2010, percebi que o que eu estava trabalhando poderia ser aplicado a um conjunto muito mais amplo de problemas. A Open Perception foi criada como uma spin-off da Willow Garage e continuou a desenvolver um de nossos projetos de código aberto licenciado pela BSD – a Biblioteca de Nuvem de Pontos (PCL) – e continuou a promover seu crescimento. A Open Perception, Inc. foi incorporada na Califórnia em abril de 2012 como uma organização independente criada com o propósito de apoiar o desenvolvimento, distribuição e adoção de software de código aberto para processamento de dados sensoriais 2D/3D, com aplicações em pesquisa, educação e desenvolvimento de produtos.

Em 2014, você se tornou o Co-Fundador e CEO da Fyusion, Inc. Pode compartilhar a história de criação da Fyusion, Inc?

Enquanto estava engajado em pesquisas de robótica, os co-fundadores da Fyusion e eu percebemos que os gargalos não eram mais algoritmos, mas formatos de dados. A aprendizagem de máquina havia atingido um pico de precisão em muitos domínios porque o tipo de dados que estávamos usando, especialmente em formatos visuais, era bidimensional (como fotografias e vídeos), enquanto o mundo é tridimensional. Sentimos que havia um potencial para transformar a forma como as pessoas entendem o mundo, aproveitando dados 3D em plataformas de aprendizagem de máquina.

Em 2014, decidimos criar um novo tipo de dados 3D, gerados por meio de software de visão computacional e aprendizagem de máquina, fundindo múltiplas fontes de dados e utilizando hardware de commodity extremamente escalável disponível em nossos bolsos – ou seja, nossos smartphones.

Fundamos a Fyusion com o objetivo de criar novas tecnologias 3D visualmente impressionantes que permitam a todos resolver problemas visuais complexos com inteligência artificial.

Juntos, desenvolvemos e patenteamos um novo formato de arquivo, chamado .fyuse, que permite às pessoas capturar imagens 3D impressionantes a partir de seus smartphones. Isso imediatamente causou uma sensação nas redes sociais e atraiu mais de 100 milhões de usuários por meio de aplicativos móveis de consumo.

O que inicialmente o atraiu para a ideia de reinventar o significado de 3D para aplicações de consumo?

Nós simplesmente percebemos que ninguém havia abordado isso em escala. Era um problema não resolvido. Assim como em nossos programas de doutorado, as coisas que nos excitam intelectualmente são problemas realmente complicados que alguém disse que não podem ser resolvidos.

Nesse caso, até certo ponto, estavam certos. Os algoritmos necessários para resolver isso eram apenas parcialmente pensados e o hardware necessário para executá-los não existia, especialmente em dispositivos de borda, como smartphones. Nós realmente tivemos que esperar até que o iPhone 4S fosse lançado para que pudéssemos executar código de visão computacional 3D em tempo real em um smartphone, porque antes disso, os iPhones tinham apenas um núcleo de CPU. Uma vez que começamos a ver o que o hardware do smartphone podia fazer, nos tornamos muito interessados em levar nossa pesquisa em visão computacional e robótica e ver o que podíamos colocar nesses pequenos câmeras e CPUs/GPUs. Levou um tempo para voltar ao quadro negro e repensar como imaginar e implementar a captura e processamento de campos de luz por meio de software. Uma vez que vimos que estava funcionando, a Fyusion estava em andamento.

Costumávamos ter fotos 2D em forma analógica e, em seguida, elas foram apenas digitalizadas com tudo o mais. A única instância que tínhamos no mundo 3D em escala era uma “malha de triângulos com textura” (por exemplo, formatos de arquivo OBJ) que veio de jogos de computador e gráficos computacionais e foram projetados para representar objetos artificialmente criados em um jogo. Eles dependem fortemente de geometria perfeita, o que é impossível de obter – como capturar e representar água como uma malha de triângulos com textura com uma câmera? O que dizer sobre objetos transparentes? Folhagem? Coisas que estão longe? E assim por diante…

Estava claro que alguém tinha que abordar a necessidade de formatos 3D amigáveis ao consumidor. Tinha que ser baseado em um paradigma completamente diferente e resolvido de uma maneira de “renderização de imagem 3D” (ou seja, campos de luz), e incorporar informações disponíveis no momento da captura (como orientação da câmera por meio de um sensor giroscópio) que normalmente são descartadas quando você captura uma imagem 2D. E, claro, estamos tentando reinferir essas informações descartadas por meio de aprendizagem de máquina.

Essa foi nossa oportunidade e é o que as startups devem sonhar: encontrar um problema realmente difícil que sejam apaixonados e esperar o momento certo e a abertura certa, e ir louco tentando resolvê-lo.

A tecnologia central permite que qualquer pessoa crie imagens 3D imersivas e interativas chamadas .fyuses movendo qualquer câmera ao redor de uma pessoa, objeto ou cena. Pode discutir o processo para alguém que deseja criar um .fyuse usando um aplicativo móvel?

Ainda estamos na infância dessa tecnologia, mas a essência disso é: você pega um smartphone que tem um aplicativo escrito pela Fyusion ou um aplicativo de parceiro que está usando nossa SDK ALIS da Fyusion por baixo, e você abre a câmera. Você obtém instruções sobre o que fazer e, se você seguir, você obtém um .fyuse no dispositivo que é um “objeto de arquivo” processado por visão computacional e aprendizagem de máquina que você pode renderizar no dispositivo, na web ou em qualquer headset de realidade aumentada/realidade virtual/realidade mista.

Quais são algumas das tecnologias de visão computacional e aprendizagem de máquina usadas para tornar isso uma realidade?

Na verdade, não há uma bala de prata aqui, mas um vasto coquetel de ferramentas de visão computacional 3D e aprendizagem de máquina que criamos para resolver esse problema. Há ideias de fotogrametria (porque, efetivamente, estamos criando uma matriz de câmera virtual movendo uma câmera única no espaço), robótica (enorme problema de fusão de sensores, desde que não temos mais uma câmera, mas uma miríade de sensores que você pode extrair dados para ajudar a resolver esse problema), gráficos computacionais (você pode olhar nosso trabalho no Siggraph 2019 para entender como representamos algumas das estruturas subjacentes) e muitos mais. Tudo isso teve que ser feito no dispositivo e executado em tempo real, o que significa que usamos shaders de computação e escrevemos código em assembly. Como mencionado, isso é apenas o começo e, à medida que mais sensores e poder computacional estiverem disponíveis para nós, mais usaremos nossa aceleração ALIS para melhorar vários aspectos da tecnologia. Essa é uma visão de longo prazo e temos mais uma década de trabalho à frente para estar completamente satisfeitos com a forma como cenas do mundo real complexas são digitalizadas.

É fácil visualizar como os .fyuses serão disruptivos para aplicações de realidade virtual. Pode discutir os tipos de aplicações de realidade virtual atuais que os .fyuses podem ser usados?

Acreditamos que QUALQUER aplicação de realidade virtual em que a digitalização de um objeto do mundo real e, em seguida, a exibição seja importante, deve se beneficiar ao usar nosso motor ALIS e .fyuses. Há realmente uma falta de verticais e aplicações em comércio eletrônico, saúde, automotivo, educação e além, e estamos muito animados com esse futuro.

O que você prevê como o futuro das aplicações de realidade virtual para os .fyuses?

Não vemos limitações para a tecnologia atual, embora nosso foco atual seja mais em cenas e objetos pequenos e médios, e não em paisagens urbanas grandes.

Posso facilmente visualizar os .fyuses sendo usados em aplicações de realidade aumentada (AR) e realidade mista (MR) futuras. Qual é sua visão para o futuro dos .fyuses em um ambiente de AR e MR?

Tratamos todas as aplicações de AR/VR/MR exatamente da mesma forma: uma vez que o objeto 3D foi digitalizado usando nossa tecnologia, ele pode ser extraído da cena e colocado em qualquer lugar.

Sua equipe discutiu a ideia de ter .fyuses criados com um assistente virtual ou IA?

Não exploramos a oportunidade de criar avatares virtuais interativos para pessoas. Essa é uma possibilidade interessante, mas estamos tentando nos manter focados em resolver o conjunto atual de problemas que estamos trabalhando.

Há algo mais que você gostaria de compartilhar sobre os .fyuses ou a Fyusion, Inc?

Isso pode soar como um discurso de vendas, mas… somos um grupo de robóticos loucos e cientistas de visão computacional 3D, misturados com físicos do CERN, hackers incríveis e engenheiros, e isso está apenas descrevendo membros da equipe técnica central. Gostamos de diversidade de todos os tipos, porque isso nos torna mais inteligentes e fortes como uma equipe. Se algo que estamos trabalhando é de interesse de alguém que lê isso, por favor, não hesite em entrar em contato conosco. Estamos fazendo o nosso melhor para responder a todos e você pode se encontrar em uma situação em que você vem para tomar um café e, em seguida, fica por uma década.

Obrigado pelas grandes entrevistas, leitores que desejam aprender mais devem visitar Fyusion.