Stephen Miller, cofundador y vicepresidente sénior de ingeniería en Fyusion – Serie de entrevistas

Stephen Miller es cofundador y vicepresidente sénior de Ingeniería en Fusión, una empresa de visión por computadora y imágenes 3D, parte del grupo Cox Automotive. Antes de fundar Fyusion, era estudiante de doctorado en la Universidad de Stanford, donde estudiaba Ciencias de la Computación, y trabajó en robótica personal, como doblar ropa y hacer nudos quirúrgicos, durante sus estudios universitarios en UC Berkeley. Es miembro de Google Hertz, miembro graduado de SAP Stanford y ex alumno de NSF Fellow.

¿Podría explicar qué es Fyusion y cómo permite la fácil captura y visualización de datos en 3D?

Fusión es una empresa de visión artificial que proporciona experiencias de cliente en 3D impulsadas por IA. Permitimos que las personas capturen imágenes en 3D a través de una aplicación de teléfono inteligente simple que se ejecuta en la mayoría de los dispositivos Android e iOS. La aplicación tiene una guía paso a paso y está diseñada para ser utilizada por cualquier persona, independientemente de su destreza técnica. Toma uno o dos minutos capturar la imagen. A partir de ahí, nuestro motor de IA, ALIS, puede analizar imágenes en 3D y convertir esos datos visuales en información procesable. En este momento, estamos enfocados en usar imágenes en 3D para diagnosticar daños en el exterior de los automóviles.

¿Podría explicar cómo los algoritmos usan el formato de archivo .fyuse para permitir que la cámara de un teléfono inteligente cree imágenes en 3D?

Me resulta útil considerar el formato .fyuse junto con fotos y videos. Una foto captura un momento en el tiempo desde un ángulo fijo y un video captura una serie de esos momentos en una línea de tiempo lineal. Por el contrario, una imagen .fyuse captura lo que nos gusta llamar "un momento en el espacio". Un espectador no está confinado a un solo ángulo o línea de tiempo lineal: puede ver no solo un lado de algo, sino también alrededor.

Para crear una imagen .fyuse, el fotógrafo rodea al sujeto en una dirección con la cámara de un teléfono celular. Alternativamente, la tecnología Fyusion también es compatible con soluciones de imágenes fijas y soluciones de imágenes no tradicionales, como drones.

Nuestro formato de archivo .fyuse es lo que da vida a estas imágenes. Es liviano y permite una interactividad compleja y multifacética. También es completamente compatible con computadoras portátiles, tabletas y teléfonos inteligentes que el usuario cotidiano ya tiene en su arsenal.

¿Podría hablar sobre algunos de los datos que se capturan y analizan con Fyusion?

Con los automóviles, ALIS reconoce cada parte del vehículo y luego puede determinar dónde hay daños, el tamaño y la gravedad del daño, y eliminar los posibles falsos positivos, como la suciedad levantada de la carretera. La tecnología que hemos desarrollado y patentado puede resolver otros problemas, pero en este momento nos estamos enfocando.

¿Podría discutir qué es Lightfield Information Suite (ALIS) basado en IA?

ALIS es el motor detrás de cada producto Fyusion. Permite imágenes 3D ligeras y una comprensión visual profunda. Hay tres partes que componen ALIS: Capture, Engine y Viewer. En el módulo Capture, la aplicación móvil contiene tutoriales integrados y flujos de trabajo personalizables que permiten a los usuarios capturar imágenes 3D de alta calidad utilizando la mayoría de los teléfonos inteligentes del mercado. La captura de imágenes de Fyusion también es compatible con DSLR, drones y muchos otros dispositivos.

En el segundo paso, Engine, ALIS analiza esas imágenes 3D y las convierte en información procesable, como los tipos de daños requeridos por nuestros clientes. También puede respaldar sus hallazgos al crear imágenes 2D de alta resolución de los daños que encuentra.

Por último, el Visor muestra el formato de archivo .fyuse. El .fyuse está patentado y es liviano, y brinda una experiencia 3D inmersiva con tiempos de carga rápidos. Podemos agregar todo tipo de experiencias con un .fyuse, incluidos audio, video y, por supuesto, imágenes 2D.

Fyusion está preparado tanto para AR como para VR, ¿qué tamaño cree que tendrán estas aplicaciones en el futuro?

La realidad aumentada es una industria de miles de millones de dólares que se está volviendo más común y es aún más fácil capturar el entorno en 3D gracias a los nuevos dispositivos móviles potentes y las redes de baja latencia. A medida que estas tecnologías se generalicen, las expectativas de los clientes sobre las experiencias en línea aumentarán tan rápido como los creadores de contenido puedan mantenerse al día.

Especialmente en la industria automotriz, con la compra de automóviles cada vez más en línea, en los próximos años anticipamos un aumento del interés en los listados de AR, VR y 3D. El objetivo es transformar una simple página de detalles del vehículo (VDP) en una página de experiencia del vehículo (VEP), ayudando a los concesionarios de automóviles grandes y pequeños a seguir prosperando. Esto puede ser cualquier cosa, desde agregar logotipos en 3D y etiquetas de medios enriquecidos a los listados, o permitir que los compradores coloquen virtualmente un juego de palos de golf en la cajuela de un automóvil para ver cómo encajan dentro.

Será emocionante ver cómo este tipo de aplicaciones comienzan a abrirse camino hacia el uso generalizado. No creo que sea una espera larga.

¿Podría analizar la mejora en la tasa de clics y los ingresos que se observa en el comercio electrónico al usar imágenes 3D en comparación con 2D?

Estoy más familiarizado con las ventas de automóviles al por mayor y al por menor. Las imágenes en 3D han creado un nuevo nivel de confianza para los compradores en línea, lo que es especialmente crítico con artículos caros como los automóviles.

Nuestros datos internos indican que las imágenes en 3D aumentan la participación del usuario y el tiempo dedicado a las páginas de detalles del vehículo, lo que a su vez se ha demostrado que aumenta las ventas de automóviles. Brindar una experiencia 3D realista del vehículo también genera un sentimiento positivo hacia el proveedor al aumentar la confianza.

Una de las opciones con Fyusion es procesar datos localmente o en la nube, ¿podría hablar sobre los beneficios de cada uno?

A nivel local, la IA perimetral obliga a los desarrolladores a trabajar con limitaciones considerables, en particular para el caso de uso de los teléfonos móviles. Además de las preocupaciones estándar para cualquier desarrollador de IA: ¿Qué tan optimizada está la red? ¿Qué tan confiables son los resultados? Ciertas preocupaciones prácticas establecen techos claros. La presión de la memoria, el agotamiento de la batería, la posibilidad de que el usuario o el sistema operativo pongan en segundo plano su proceso, etc. Y eso suponiendo que haya CPU y GPU comparables disponibles en el perímetro. Incluso para los dispositivos emblemáticos, este rara vez es el caso.

Debe planificar cada caso de esquina posible; mientras que, en la nube, cualquier solución se puede monitorear y ajustar.

Pero, en términos colectivos, la IA perimetral podría considerarse la solución de "autoescalado" perfecta: para cada nuevo usuario, tiene una máquina completamente nueva a su disposición. Si ha optimizado su red para que funcione completamente en el perímetro, puede atender fácilmente a dos o dos millones de clientes.

Si bien el hardware más robusto siempre existirá en la nube, generalmente se acepta que los datos son los reyes. Cuantos más datos, y cuanto más cerca esté de la materia prima, mejor. AI en el borde tiene acceso a datos de entrada sin procesar y sin procesar, sin restricciones. Mientras que para una solución de IA en la nube, los datos de entrada deben procesarse (comprimidos, parcialmente) o ser enormes, momento en el cual el ancho de banda se convierte en una preocupación seria.

Debido a que está más cerca del usuario, Edge AI abre una gama de posibilidades que Cloud AI no ofrece. Si está optimizado para ejecutarse en tiempo real, puede proporcionar comentarios en tiempo real. Lo que significa que puede crear soluciones que no solo ingieran datos, sino que alienten a los usuarios a proporcionar mejor datos.

¿Cómo permitirá 5G un rápido crecimiento en las aplicaciones de tecnología de visión por computadora?

A velocidades de conexión más rápidas, puede mover más procesamiento a la nube, lo que abre posibilidades para todo tipo de nuevas aplicaciones de visión artificial. Sin embargo, realmente depende de la aplicación y de cuán ampliamente se adopte.

5G podría tener un impacto fragmentado y aumentar la brecha digital, ya que algunas partes del mundo tienen una conectividad cada vez más rápida, mientras que otras áreas seguirán teniendo una conectividad lenta. Las aplicaciones enfocadas en personas con acceso a 5G obviamente se beneficiarán. Pero las aplicaciones de adopción más amplia pueden tener que elegir entre gastar tiempo y dinero en lo que esencialmente se convertirán en dos versiones de la misma aplicación, o quedarse con una versión que es menos robusta pero que puede ejecutarse en casi cualquier conexión.

¿Qué pasos está tomando Fyusion para aprovechar el futuro despliegue de 5G?

Quiero comenzar diciendo que Fyusion ha dedicado un tiempo considerable a garantizar que los clientes puedan acceder a nuestras aplicaciones incluso en teléfonos antiguos con poca disponibilidad de ancho de banda. Solo con Manheim, nuestra tecnología ha generado imágenes de más de un millón de automóviles, y de otra manera no lo habríamos logrado.

Dicho esto, estamos muy entusiasmados con lo que estamos viendo en este momento: es una trifecta de aumento de las velocidades de procesamiento, conectividad 5G y nada menos que una revolución en los teléfonos con cámara. Póngalo todo junto y obtendrá algunos desarrollos nuevos que, lamentablemente, aún no puedo compartir con usted.

¿Hay algo más que le gustaría compartir sobre Fyusion?

Es un momento muy emocionante para trabajar en la visión por computadora: como disciplina, nos estamos moviendo hacia la corriente principal después de muchos años de que se hable de ella como una tecnología del futuro. Fyusion está creciendo rápidamente y estamos contratando científicos de visión artificial de todo el mundo. Los miembros de nuestro equipo pueden trabajar desde cualquier lugar, pero siempre son bienvenidos en nuestras oficinas en Potrero Hill.

Gracias por la gran entrevista, los lectores que deseen obtener más información deben visitar Fyusión.