Gil Elbaz, cofundador y CTO de Datagen – Serie de entrevistas

Gil Elbaz es de datos CTO y cofundador, con sede en Tel Aviv. Recibió su licenciatura y maestría del Technion. La investigación de tesis de Gil se centró en la visión por computadora en 3D y se publicó en CVPR, la conferencia de investigación en visión por computadora más importante del mundo. Datagen es pionero en el nuevo campo de datos simulados, un subconjunto de datos sintéticos que se concentra en recrear de manera fotorrealista el mundo que nos rodea. La empresa se lanzó de forma sigilosa con más de 18 millones de dólares de financiación en marzo de 2021 y ahora está trabajando con varias empresas de Fortune 100 en realidad aumentada/virtual, robótica y automoción, incluida la mayoría de los principales gigantes tecnológicos de EE. UU.

¿Qué le atrajo inicialmente de la robótica y el aprendizaje automático?

Los libros de ciencia ficción, como Foundation Series de Isaac Asimov e iRobot, siempre me hicieron pensar en un futuro en el que los robots fueran una parte integral de nuestra vida cotidiana. Hay tantas tareas aburridas y repetitivas que la gente hace; Sabía que no quería hacerlos, y no podía imaginar a nadie más queriendo hacerlo. Teniendo en cuenta que la robótica es una inevitabilidad tecnológica, pensé que ir en esa dirección sería una decisión profesional inteligente y "a prueba de futuro".

Entonces, inicialmente me acerqué al campo centrándome en los aspectos físicos del tema y obtuve mi título en Ingeniería Mecánica de Technion en Haifa, Israel. Hacia el final de mi carrera, comencé a sumergirme profundamente en el mundo de las herramientas y capacidades de CAD. Estas son las herramientas que permiten a los ingenieros mecánicos diseñar estructuras y dispositivos mecánicos (cualquier cosa, desde un puente hasta un automóvil). Vi una enorme oportunidad de tener un gran impacto sin tener que lidiar con las iteraciones lentas del mundo físico. En la práctica, estos programas tenían muy pocas capacidades integradas de aprendizaje automático/visión por computadora, si es que tenían alguna, que ayudaron a los ingenieros a crear sistemas mecánicos más simples, económicos y estables (esto es de 2015). Empecé en la dirección de Computer Vision en datos 3D con aprendizaje profundo (muy nuevo en ese entonces) con el objetivo de hacer programas CAD más inteligentes. Trabajar en los primeros días del aprendizaje profundo moderno era como formar parte de algo que podría ser realmente grande, similar a Internet.

En la práctica, mi investigación fue la primera en traer la revolución del aprendizaje profundo a nuestra facultad en el Technion. Más tarde, esto se convirtió en un documento aceptado en la principal conferencia sobre visión por computadora del mundo, CVPR, y volé a Hawái en CVPR 2017. Presentar mi documento y conocer a la gente realmente me abrió los ojos a la escala de la comunidad de visión por computadora (que hoy es al menos 10 veces más grande), miles de participantes que trabajan apasionadamente en la investigación en el campo. Ese evento prácticamente consolidó mi dirección, mostrándome el poder de la visión por computadora y el potencial que esperaba ser desbloqueado.

¿Podría compartir la historia de génesis detrás de Datagen?

Datagen se fundó en 2018 con la misión de transformar la forma en que los equipos obtienen sus datos para la capacitación en redes de visión por computadora. El año anterior, vimos una demostración de Oculus Rift, que consistía en un auricular VR y un dispositivo de control remoto portátil. Después de la demostración, nos preguntamos: "Con cámaras sofisticadas integradas en los auriculares, ¿por qué se necesitaba un dispositivo portátil para conectar el espacio virtual con el espacio físico (es decir, rastrear el movimiento de la mano)?" Las redes neuronales ya eran lo suficientemente sofisticadas para manejarlo, entonces, ¿cuál era el problema? Y ahí fue cuando se encendió la bombilla: ¡Datos! Inmediatamente vimos la gran oportunidad de resolver los desafíos de presencia espacial en 3D utilizando visión artificial avanzada y metadatos en 3D. En lugar de centrarnos únicamente en VR/AR, adoptamos un enfoque más holístico, concentrándonos en el problema aparentemente intratable de generar datos de entrenamiento suficientes (y precisos) para permitir aplicaciones de IA 3D del mundo real.

Con un enfoque en los seres humanos y la interacción humano-ambiental, Datagen es pionera en el nuevo campo de datos simulados, un subconjunto de datos sintéticos, que se concentra en recrear de manera fotorrealista el mundo que nos rodea. Hoy, trabajamos con las empresas más innovadoras del mundo para impulsar y acelerar su desarrollo de visión por computadora y contamos con el respaldo de algunos de los inversores más respetados en el espacio.

Para los lectores que no están familiarizados, ¿podría explicar qué son específicamente los datos sintéticos?

Los datos sintéticos son cualquier dato de entrenamiento que, en lugar de recopilarse a través de la medición directa o la observación del mundo real, se genera de forma algorítmica o mediante simulación. En el contexto de la visión por computadora, los datos sintéticos son imágenes generadas por computadora con metadatos asociados necesarios para entrenar inteligencias artificiales. Con problemas de privacidad y limitaciones físicas y económicas muy reales para los datos de imágenes del mundo real, es difícil exagerar la importancia de los datos sintéticos para el aprendizaje automático y la IA. En un informe reciente, Gartner predijo que, para 2024, la mayoría de los datos utilizados en el campo de la IA se generarán artificialmente por esos motivos.

¿Cuáles son algunos de los beneficios de los datos sintéticos en comparación con la adquisición manual de datos?

La respuesta corta es, piense en todos los aspectos de la adquisición manual de datos que no son deseables y elimínelos del proceso: esos son los beneficios de los datos sintéticos.

La generación de diversos conjuntos de datos a escala para el entrenamiento de la visión por computadora es un proceso costoso que requiere mucho tiempo, y la varianza está muy limitada por el mero hecho de que ubicar humanos en ubicaciones específicas y fotografiarlos es un proceso complicado, mucho más complicado y costoso que hacerlo en un entorno simulado. Otro beneficio importante es la eliminación efectiva de la necesidad de anotación manual, que es tediosa, lleva mucho tiempo y es propensa a errores humanos.

Datagen se refiere a datos simulados como un subconjunto de datos sintéticos. ¿Podría explicar qué son los datos simulados?

Los datos simulados son datos sintéticos que se generan a través de la simulación. Usamos GAN (así como algunos otros métodos de aprendizaje automático de vanguardia) para generar objetos 3D y ubicarlos dentro de simulaciones 3D altamente realistas del mundo real. Lo que parece es un proceso de "toma de fotografías virtual" en primera persona, pero que opera dentro de un sistema fotorrealista basado en la física. Estas simulaciones producen datos visuales (como si se hubieran recopilado en el mundo real), junto con una amplia gama de anotaciones (física, iluminación, etc.). Por lo tanto, los datos simulados son datos sintéticos que son imágenes tridimensionales fotorrealistas, generadas contextualmente, reunidas en un entorno simulado.

¿Cómo genera Datagen datos simulados personalizados?

La tecnología de Datagen genera datos simulados que son fácilmente escalables y personalizados para abordar las necesidades únicas de la aplicación distinta de cada cliente. Lo hacemos teniendo en cuenta todos los aspectos de cada proyecto, desde el sistema de visión por computadora que se emplea hasta la composición demográfica de la región en la que operará. Ya sea trabajando directamente con nuestros clientes o simplemente habilitando a sus propios ingenieros, el proceso de Datagen comienza con el establecimiento de parámetros clave para cada caso de uso específico, como especificaciones de lentes, iluminación, entorno, distribución demográfica, etc. Datagen utiliza GAN y otras herramientas y técnicas de vanguardia para generar una inmensa variedad de activos, que incluyen todo, desde cabezas humanas con expresiones faciales dinámicas para entrenar a la IA en el análisis emocional, hasta interiores de vehículos para el monitoreo de pasajeros en la cabina y entornos domésticos para video. aplicaciones de conferencias, solo por nombrar algunas. Para cada tipo de activo, Datagen introduce variaciones en innumerables ejes discretos (desde el tono de la piel y la altura de las cejas hasta el tamaño, el color y la forma de los muebles del hogar), utilizando parámetros que se ajustan con precisión para reflejar la aplicación específica en cuestión.

Gracias a estas capacidades, los conjuntos de datos de Datagen no solo son grandes y muy variados, sino que también están optimizados con el fin de entrenar un sistema único para realizar una tarea única (o un conjunto de tareas) en el entorno o entorno único en el que se empleará. todo sin comprometer la capacidad de escalar. También tenemos en cuenta los requisitos específicos de anotación/metadatos de cada aplicación.

¿Cuáles son algunos ejemplos de soluciones en robótica donde se utilizan datos sintéticos y/o simulados?

Una de las mayores ventajas de usar datos simulados en robótica es la capacidad de generar imágenes de hardware que aún está en desarrollo. De esta manera, el cerebro (IA) y el cuerpo (hardware) de su robot se pueden desarrollar en paralelo. Ahora, la capacitación puede evolucionar a medida que evolucionan las especificaciones, en lugar de esperar hasta que su producto final tenga un prototipo completo antes de poder tomar fotos y comenzar a desarrollar la IA.

Además, debido a que los datos simulados se generan en contexto, puede dar cuenta de la interacción entre su robot y su entorno mucho más fácilmente. Entonces, si imagina un robot que agarra y retira productos defectuosos de una línea de ensamblaje, los datos simulados le permitirían no solo generar datos para cada defecto físico imaginable en el producto, sino también desde la perspectiva del robot para capturar el rango completo del brazo robótico. de movimiento, su interacción con el objeto que está agarrando. Además, los metadatos 3D significan que no hay necesidad de anotar minuciosamente imagen tras imagen para garantizar que el robot pueda identificar correctamente el producto, los defectos, su brazo o cualquier otra cosa en su campo de visión.

¿Cuáles son algunos casos de uso para usar datos simulados en autos inteligentes?

Los datos simulados en el desarrollo de automóviles inteligentes hacen que sea infinitamente más fácil desarrollar conjuntos de datos para modelos de automóviles específicos a medida que se diseñan, iterando en conjunto con el propio automóvil a medida que avanza a través de las diversas fases de diseño y producción. Con los datos de imágenes simuladas, los ingenieros también pueden usar la visión en la cabina de manera más efectiva para identificar a los conductores somnolientos o distraídos, si un conductor ha quitado la mano del volante o cualquier número de casos límite para tener en cuenta la seguridad del conductor. También permite a los ingenieros dar cuenta de una mayor diversidad en los conductores y pasajeros, e introducir variaciones en forma de ángulo de imagen e iluminación, todo sin infringir la privacidad de las personas reales.

Recientemente, Datagen anunció una gran cantidad de emocionantes nuevas contrataciones, ¿qué significa esto para el futuro de la empresa?

Las recientes incorporaciones a nuestro consejo asesor y liderazgo ejecutivo incluyen algunos de los profesionales más brillantes y exitosos en el campo de la IA y la visión por computadora. Su conocimiento, perspectiva y experiencia ayudarán a orientar y acelerar el crecimiento de Datagen a medida que navegamos en una industria que aún es joven y está llena de oportunidades. En un campo con tantas incógnitas, nada es más valioso que el conocimiento.

¿Hay algo más que le gustaría compartir sobre Datagen?

Con base en Tel Aviv, Datagen es parte de un cambio económico y cultural mucho más grande que ha tenido lugar en Israel, y estamos orgullosos de ser parte de él. En un corto período de tiempo, Israel (Tel Aviv en particular) se ha convertido en un importante centro tecnológico mundial, con un ecosistema de inicio próspero y una comunidad de inversión enérgica. Aunque Israel a menudo se considera un centro tecnológico centrado en la seguridad cibernética, la IA y la tecnología centrada en datos han crecido exponencialmente en los últimos años aquí. Hoy en día, hay más de 680 empresas de inteligencia artificial en Israel, que colectivamente han recaudado 4.5 millones de dólares. Esta explosión de crecimiento en los últimos años se debe en gran parte a la alta concentración de ingenieros y universidades de renombre mundial de Israel. Estas instituciones académicas brindan acceso al talento y al desarrollo de nuevas tecnologías de vanguardia en el espacio. En los últimos dos meses, Datagen ha contratado a más de 20 empleados y planea incorporar miembros adicionales del equipo en los departamentos de ventas y marketing, software y DevOps y productos.

Gracias por la gran entrevista, los lectores que deseen obtener más información deben visitar Gen de datos.