Eric Landau, Co-Fundador y CEO de Encord – Serie de Entrevistas

Eric Landau es el CEO y Co-Fundador de Encord, una plataforma de aprendizaje activo para visión por computadora. Eric fue el investigador cuantitativo principal en un escritorio de delta-one de acciones globales, poniendo miles de modelos en producción. Antes de Encord, pasó casi una década en comercio de alta frecuencia en DRW. Tiene un S.M. en Física Aplicada de la Universidad de Harvard, M.S. en Ingeniería Eléctrica y B.S. en Física de la Universidad de Stanford.

En su tiempo libre, Eric disfruta jugando con ChatGPT y grandes modelos de lenguaje y haciendo cócteles artesanales.

¿Qué te inspiró a co-fundar Encord, y cómo tu experiencia en física de partículas y finanzas cuantitativas dio forma a tu enfoque para resolver el “problema de datos” en la IA?

Empecé a pensar en el aprendizaje automático mientras trabajaba en física de partículas y lidiaba con grandes conjuntos de datos durante mi tiempo en el Stanford Linear Accelerator Center (SLAC). Estaba utilizando software diseñado para físicos por físicos, lo que significa que había mucho que deseaba en términos de una experiencia de usuario agradable. Con herramientas más fáciles, habría podido ejecutar análisis mucho más rápido.

Más tarde, trabajando en finanzas cuantitativas en DRW, fui responsable de crear miles de modelos que se implementaron en producción. Al igual que mi experiencia en física, encontré que los datos de alta calidad eran fundamentales para crear modelos precisos y que gestionar datos complejos y a gran escala es difícil. Ulrik tuvo una experiencia similar al visualizar grandes conjuntos de datos de imágenes para visión por computadora.

Cuando escuché su idea inicial para Encord, me sumergí de inmediato y entendí la importancia. Juntos, Ulrik y yo vimos una gran oportunidad de construir una plataforma para automatizar y simplificar el proceso de desarrollo de datos de IA, haciendo que sea más fácil para los equipos obtener los mejores datos en los modelos y construir sistemas de IA confiables.

¿Puedes elaborar sobre la visión detrás de Encord y cómo se compara con los primeros días de la informática o Internet en términos de potencial y desafíos?

La visión de Encord es ser la plataforma fundamental en la que las empresas confían para transformar sus datos en modelos de IA funcionales. Somos la capa entre los datos de una empresa y su IA.

De muchas maneras, la IA refleja cambios de paradigma anteriores como la informática personal y Internet en que se convertirá en una parte integral de los flujos de trabajo para cada individuo, negocio, nación e industria. A diferencia de las revoluciones tecnológicas anteriores, que han sido en gran medida limitadas por la ley de Moore de crecimiento computacional compuesto de 30 veces cada 10 años, el desarrollo de la IA se ha beneficiado de innovaciones simultáneas. Por lo tanto, se está moviendo a un ritmo mucho más rápido. En palabras de Jensen Huang de NVIDIA (NVDA ): “Por primera vez, estamos viendo exponentiales compuestos… Estamos compuestos a un millón de veces cada diez años. No cien veces, no mil veces, un millón de veces”. Sin exagerar, estamos presenciando la tecnología que se mueve más rápido en la historia humana.

El potencial aquí es vasto: al automatizar y escalar la gestión de datos de alta calidad para la IA, estamos abordando un cuello de botella que impide una adopción más amplia de la IA. Los desafíos son reminiscentes de los obstáculos de los primeros días en las eras tecnológicas anteriores: silos, falta de mejores prácticas, limitaciones para usuarios no técnicos y una falta de abstracciones bien definidas.

Encord Index se posiciona como una herramienta clave para gestionar y curar datos de IA. ¿Cómo se diferencia de otras plataformas de gestión de datos disponibles actualmente?

Hay varias formas en que Encord Index se destaca:

Index es escalable: Permite a los usuarios gestionar miles de millones, no millones, de puntos de datos. Otras herramientas enfrentan problemas de escalabilidad para datos no estructurados y están limitadas en la consolidación de todos los datos relevantes en una organización.

Index es flexible: Se integra directamente con proveedores de almacenamiento de datos privados y en la nube, como AWS, GCP y Azure. A diferencia de otras herramientas que están limitadas a un solo proveedor de nube o sistema de almacenamiento interno, Index es agnóstico sobre dónde se encuentran los datos. Les permite gestionar datos de muchas fuentes con controles de gobernanza y acceso adecuados que les permiten desarrollar aplicaciones de IA seguras y cumplidoras.

Index es multimodal: Soporta la IA multimodal, gestionando datos en forma de imágenes, videos, audio, texto, documentos y más. Index no está limitado a una sola forma de datos como muchas herramientas de LLM hoy en día. La cognición humana es multimodal, y creemos que la IA multimodal estará en el corazón de la próxima ola de avances de la IA, que reemplazará a los chatbots y las LLM.

¿De qué manera Encord Index mejora el proceso de selección de los datos adecuados para los modelos de IA, y qué impacto tiene esto en el rendimiento del modelo?

Encord Index mejora la selección de datos al automatizar la curación de grandes conjuntos de datos, ayudando a los equipos a identificar y retener solo los datos más relevantes mientras elimina los datos no informativos o sesgados. Este proceso no solo reduce el tamaño de los conjuntos de datos, sino que también mejora significativamente la calidad de los datos utilizados para entrenar los modelos de IA. Nuestros clientes han visto una mejora del 20% en sus modelos mientras logran una reducción del 35% en el tamaño del conjunto de datos y ahorran cientos de miles de dólares en costos de cómputo y anotación humana.

Con la integración rápida de tecnologías de vanguardia como el Modelo de Segmentación de Meta, ¿cómo Encord se mantiene por delante en el panorama de la IA en constante evolución?

Nosotros intencionalmente construimos la plataforma para poder adaptarse rápidamente a nuevas tecnologías. Nos enfocamos en proporcionar un enfoque de software escalable que incorpore fácilmente avances como SAM, asegurando que nuestros usuarios estén siempre equipados con las últimas herramientas para mantenerse competitivos.

Planeamos mantenernos por delante enfocándonos en la IA multimodal. La plataforma de Encord ya puede gestionar tipos de datos complejos como imágenes, videos y texto, así que a medida que más avances en la IA multimodal vengan en nuestro camino, estamos listos.

¿Cuáles son los desafíos más comunes que enfrentan las empresas al gestionar los datos de IA, y cómo Encord ayuda a abordar estos?

Hay 3 desafíos principales que enfrentan las empresas:

• Organización y controles de datos deficientes: Cuando las empresas se preparan para implementar soluciones de IA, a menudo se enfrentan a la realidad de datos siloizados y no organizados que no están listos para la IA. Estos datos a menudo carecen de una gobernanza sólida alrededor de ellos, lo que limita gran parte de ellos para ser utilizados en sistemas de IA.
• Falta de expertos humanos: A medida que los modelos de IA abordan problemas cada vez más complejos, pronto habrá una escasez de expertos en dominios humanos para preparar y validar los datos. A medida que las demandas de IA de una empresa aumentan, escalar esa fuerza laboral humana es desafiante y costoso.
• Herramientas no escalables: Los modelos de IA performantes son muy voraces en términos de datos necesarios para afinar, validar, RAG y otros flujos de trabajo. La generación anterior de herramientas no está equipada para gestionar la cantidad de datos y tipos de datos necesarios para los modelos de producción actuales.

Encord soluciona estos problemas al automatizar el proceso de curación de datos a escala, haciendo que sea fácil identificar datos impactantes de datos problemáticos y asegurando la creación de conjuntos de datos de entrenamiento y validación efectivos. Utiliza un enfoque de software que es fácil de escalar hacia arriba o hacia abajo a medida que cambian las necesidades de gestión de datos. Nuestras herramientas de anotación asistidas por IA permiten a los expertos en dominios humanos maximizar la eficiencia del flujo de trabajo. Este proceso es particularmente crucial en industrias como los servicios financieros y la atención médica, donde los entrenadores de IA son costosos. Hacemos que sea fácil gestionar y comprender todos los datos no estructurados de una organización, reduciendo la necesidad de trabajo manual.

¿Cómo Encord aborda el problema del sesgo de datos y las áreas subrepresentadas dentro de los conjuntos de datos para garantizar modelos de IA justos y equilibrados?

Abordar el sesgo de datos es un enfoque crítico para nosotros en Encord. Nuestra plataforma identifica y presenta automáticamente áreas donde los datos pueden estar sesgados, lo que permite a los equipos de IA abordar estos problemas antes de que afecten el rendimiento del modelo. También nos aseguramos de que las áreas subrepresentadas dentro de los conjuntos de datos estén incluidas adecuadamente, lo que ayuda a desarrollar modelos de IA más justos y equilibrados. Al utilizar nuestras herramientas de curación, los equipos pueden estar seguros de que sus modelos se entrenan con datos diversos y representativos.

Encord recientemente obtuvo $30 millones en financiamiento de Serie B. ¿Cómo este financiamiento acelerará su hoja de ruta de productos y planes de expansión?

Los $30 millones en financiamiento de Serie B se utilizarán para aumentar drásticamente el tamaño de nuestros equipos de productos, ingeniería y investigación de IA en los próximos seis meses y acelerar el desarrollo de Encord Index y otras nuevas características. También estamos expandiendo nuestra presencia en San Francisco con una nueva oficina, y este financiamiento nos ayudará a escalar nuestras operaciones para apoyar a nuestra creciente base de clientes.

Como la empresa de IA más joven de Y Combinator en recaudar una Serie B, ¿a qué atribuyes el rápido crecimiento y éxito de Encord?

Una de las razones por las que hemos podido crecer rápidamente es que hemos adoptado un enfoque extremadamente centrado en el cliente en todas las áreas de la empresa. Estamos comunicándonos constantemente con los clientes, escuchando atentamente sus problemas y “abrazándolos” para llegar a soluciones. Al enfocarnos hipermente en las necesidades de los clientes en lugar del hype, hemos creado una plataforma que resuena con los mejores equipos de IA en varias industrias. Nuestros clientes han sido instrumentales para llevarnos a donde estamos hoy. Nuestra capacidad para escalar rápidamente y gestionar la complejidad de los datos de IA nos ha convertido en una solución atractiva para las empresas.

También debemos mucho de nuestro éxito a nuestros compañeros de equipo, socios e inversores, que han trabajado incansablemente para promover Encord. Trabajar con equipos de producto, ingeniería y marketing de clase mundial ha tenido un impacto enorme en nuestro crecimiento.

Considerando la creciente importancia de los datos en la IA, ¿cómo ves el papel de las plataformas de datos de IA como Encord evolucionando en los próximos cinco años?

A medida que las aplicaciones de IA crecen en complejidad, la necesidad de soluciones de gestión de datos eficientes y escalables solo aumentará. Creo que cada empresa eventualmente tendrá un departamento de IA, al igual que los departamentos de TI existen hoy en día. Encord será la única plataforma que necesitarán para gestionar las vastas cantidades de datos necesarios para la IA y llevar los modelos a producción rápidamente.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Encord.