Stephen Miller, Co-Fundador e SVP de Engenharia da Fyusion – Série de Entrevistas

Stephen Miller é o co-fundador e SVP de Engenharia da Fyusion, uma empresa de imagens 3D e visão computacional, parte do grupo Cox Automotive. Antes de fundar a Fyusion, ele era um estudante de doutorado na Universidade de Stanford, estudando Ciência da Computação, e trabalhou em robótica pessoal, como dobrar roupas e amarrar nós cirúrgicos, durante seus estudos de graduação na UC Berkeley. Ele é um fellow do Google (GOOGL ) Hertz, fellow de graduação da SAP Stanford e ex-aluno da NSF Fellow.

Você pode explicar o que é a Fyusion e como ela permite a captura e visualização fácil de dados 3D?

Fyusion é uma empresa de visão computacional que fornece experiências de cliente 3D impulsionadas por IA. Nós permitimos que as pessoas capturem imagens 3D por meio de um aplicativo de smartphone simples que roda na maioria dos dispositivos Android e iOS. O aplicativo tem orientação passo a passo e é projetado para ser usado por qualquer pessoa, independentemente de sua habilidade técnica. Leva cerca de um ou dois minutos para capturar a imagem. A partir daí, nosso motor de IA, ALIS, pode analisar imagens 3D e transformar esses dados visuais em informações ações. No momento, estamos focados em usar imagens 3D para diagnosticar danos externos em carros.

Você pode explicar como os algoritmos usam o formato de arquivo .fyuse para permitir que uma câmera de smartphone único crie imagens 3D?

Acho útil considerar o formato .fyuse ao lado de fotos e vídeos. Uma foto captura um momento no tempo a partir de um ângulo fixo, e um vídeo captura uma série desses momentos em uma linha do tempo linear. Em contraste, uma imagem .fyuse captura o que gostamos de chamar de “um momento no espaço”. Um visualizador não está confinado a um único ângulo ou linha do tempo linear: ele pode ver não apenas um lado de algo, mas também ao redor.

Para criar uma imagem .fyuse, o fotógrafo circula seu assunto em uma direção com uma câmera de celular. Alternativamente, a tecnologia Fyusion também é compatível com soluções de imagem fixas e soluções de imagem não tradicionais, como drones.

Nosso formato de arquivo .fyuse é o que traz essas imagens à vida. É leve e permite interatividade complexa e multifacetada. Também é completamente compatível com laptops, tablets e smartphones que o usuário comum já tem em seu arsenal.

Você pode discutir alguns dos dados que são capturados e analisados com a Fyusion?

Com carros, o ALIS reconhece cada parte do veículo e, em seguida, pode determinar onde há danos, o tamanho e a gravidade dos danos e eliminar possíveis falsos positivos, como sujeira levantada da estrada. A tecnologia que desenvolvemos e patenteamos pode resolver outros problemas, mas este é o que estamos focados no momento.

Você pode discutir o que é o AI-based Lightfield Information Suite (ALIS)?

ALIS é o motor por trás de todos os produtos Fyusion. Ele permite imagens 3D leves e compreensão visual profunda. Há três partes que compõem o ALIS: Captura, Motor e Visualizador. No módulo de Captura, o aplicativo móvel contém tutoriais incorporados e fluxos de trabalho personalizáveis que permitem que os usuários capturem imagens 3D de alta qualidade usando a maioria dos smartphones do mercado. A captura de imagens da Fyusion também suporta DSLRs, drones e uma série de outros dispositivos.

Na segunda etapa, Motor, o ALIS analisa essas imagens 3D e as transforma em informações ações, como os tipos de danos exigidos por nossos clientes. Ele também pode fornecer suporte para suas descobertas criando imagens 2D de alta resolução dos danos que encontra.

Por fim, o Visualizador exibe o formato de arquivo .fyuse. O .fyuse é patenteado e leve e fornece uma experiência 3D imersiva com tempos de carregamento rápidos. Podemos anexar todo tipo de experiências a um .fyuse, incluindo áudio, vídeo e, claro, imagens 2D.

A Fyusion está pronta para AR e VR, quanto você acredita que essas aplicações serão grandes no futuro?

A realidade aumentada é uma indústria de bilhões de dólares que está se tornando mais mainstream, e é ainda mais fácil capturar ambientes em 3D graças a dispositivos móveis poderosos e redes de baixa latência. À medida que essas tecnologias se movem para o mainstream, as expectativas dos clientes em relação a experiências online serão elevadas tão rapidamente quanto os criadores de conteúdo podem acompanhar.

Especially no setor automotivo, com a compra de carros cada vez mais online, nos próximos anos, anticipamos um surto de interesse em AR, VR e listagens 3D. O objetivo é transformar uma página de detalhes de veículo (VDP) simples em uma página de experiência de veículo (VEP), ajudando tanto os grandes quanto os pequenos concessionários de carros a continuar a prosperar. Isso pode ser qualquer coisa, desde adicionar logotipos 3D e tags de mídia rica às listagens, ou permitir que os compradores coloquem virtualmente um conjunto de tacos de golfe no porta-malas de um carro para ver como eles cabem dentro.

Será emocionante ver como esses tipos de aplicações começarão a funcionar no uso mainstream. Não acho que será uma longa espera.

Você pode discutir a melhoria na taxa de cliques e receita que é vista no comércio eletrônico ao usar imagens 3D em vez de 2D?

Estou mais familiarizado com vendas de atacado e varejo de carros. As imagens 3D criaram um novo nível de confiança para os compradores online, o que é especialmente crítico com itens de grande valor, como carros.

Nossos dados internos indicam que as imagens 3D aumentam o engajamento do usuário e o tempo gasto nas páginas de detalhes do veículo, o que, por sua vez, tem sido mostrado para aumentar as vendas de carros. Fornecer uma experiência 3D realista do veículo também constrói sentimento positivo em relação ao vendedor, aumentando a confiança.

Uma das opções com a Fyusion é processar dados localmente ou na nuvem, você pode discutir os benefícios de cada?

Localmente, a IA de borda obriga os desenvolvedores a trabalhar dentro de consideráveis restrições, particularmente para o caso de uso de telefones celulares. Além das preocupações padrão para qualquer desenvolvedor de IA – Quão otimizada é a rede? Quão confiáveis são os resultados? – certas preocupações práticas estabelecem tetos claros. Pressão de memória, drenagem de bateria, a possibilidade de seu processo ser backgroundizado pelo usuário ou sistema operacional, etc. E isso pressupõe que CPUs e GPUs comparáveis estejam disponíveis na borda. Mesmo para dispositivos de ponta, isso raramente é o caso.

Você precisa planejar para cada possível caso de borda; enquanto, na nuvem, qualquer solução pode ser monitorada e ajustada finamente.

Mas, coletivamente falando, a IA de borda pode ser considerada a solução de “autoscaling” perfeita: para cada novo usuário, você tem uma máquina completamente nova à sua disposição. Se você otimizou sua rede para rodar inteiramente na borda, você pode servir facilmente dois, ou dois milhões, de clientes.

Embora o hardware mais potente sempre exista na nuvem, é geralmente aceito que os dados são o rei. Quanto mais dados e mais perto do bruto, melhor. A IA de borda tem acesso a dados brutos não processados, sem restrições. Enquanto que para uma solução de IA na nuvem, os dados de entrada devem ser processados (comprimidos, parciais) ou enormes, no qual ponto a largura de banda se torna uma preocupação séria.

Porque está mais perto do usuário, a IA de borda abre uma gama de possibilidades que a IA na nuvem não. Se for otimizada para rodar em tempo real, pode fornecer feedback em tempo real. O que significa que você pode construir soluções que não apenas ingerem dados, mas incentivam os usuários a fornecer melhores dados.

Como o 5G permitirá um crescimento rápido nas aplicações de tecnologia de visão computacional?

Em velocidades de conexão mais rápidas, você pode mover mais processamento para a nuvem, o que abre possibilidades para todo tipo de novas aplicações de visão computacional. No entanto, realmente depende do aplicativo e de quão amplamente ele será adotado.

O 5G pode ter um impacto fragmentado e aumentar a divisão digital, pois algumas partes do mundo terão conectividade mais rápida e mais rápida, enquanto outras áreas continuarão a ter conectividade lenta. Aplicações focadas em pessoas com acesso ao 5G obviamente se beneficiarão. Mas aplicações mais amplamente adotadas podem ter que escolher entre gastar tempo e dinheiro para o que essencialmente se tornará duas versões do mesmo aplicativo, ou ficar com uma versão que é menos robusta, mas pode rodar em quase qualquer conexão.

Quais são as etapas que a Fyusion está tomando para aproveitar o lançamento futuro do 5G?

Quero prevenir isso dizendo que a Fyusion gastou considerável tempo garantindo que os clientes possam acessar nossos aplicativos, mesmo em velhos telefones com disponibilidade de banda ruim. Com a Manheim sozinha, nossa tecnologia imagens mais de um milhão de carros, e não teríamos alcançado isso de outra forma.

Dito isso, estamos muito animados com o que estamos vendo agora – é uma tríade de velocidades de processamento crescentes, conectividade 5G e nada menos que uma revolução em câmeras de celulares. Coloque tudo junto e você obtém alguns novos desenvolvimentos que infelizmente não posso compartilhar com você ainda.

Há algo mais que você gostaria de compartilhar sobre a Fyusion?

É um momento emocionante para trabalhar em visão computacional – como disciplina, estamos nos movendo para o mainstream após muitos anos de sermos falados como uma tecnologia do futuro. A Fyusion está crescendo rapidamente e estamos contratando cientistas de visão computacional de todo o mundo. Nossos membros da equipe podem trabalhar de qualquer lugar, mas são sempre bem-vindos em nossos escritórios em Potrero Hill.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Fyusion.