Charles Xie, Fundador y CEO de Zilliz – Serie de Entrevistas

Charles Xie es el fundador y CEO de Zilliz, centrado en la creación de bases de datos y tecnologías de búsqueda de próxima generación para aplicaciones de inteligencia artificial (IA) y modelos de lenguaje grande (LLM). En Zilliz, también inventó Milvus, la base de datos vectorial de código abierto más popular del mundo para IA de producción. Actualmente es miembro de la junta directiva de la Fundación LF AI & Data y se desempeñó como presidente de la junta en 2020 y 2021. Charles trabajó anteriormente en Oracle (ORCL ) como ingeniero fundador del proyecto de base de datos en la nube Oracle 12c. Charles tiene una maestría en ciencias de la computación de la Universidad de Wisconsin-Madison.

Zilliz es el equipo detrás de LF AI Milvus®, una base de datos vectorial de código abierto ampliamente utilizada. La empresa se centra en simplificar la gestión de la infraestructura de datos, con el objetivo de hacer que la IA sea más accesible para corporaciones, organizaciones e individuos por igual.

¿Puede compartir la historia detrás de la fundación de Zilliz y qué lo inspiró a desarrollar Milvus y centrarse en bases de datos vectoriales?

Mi viaje en el campo de las bases de datos abarca más de 15 años, incluyendo seis años como ingeniero de software en Oracle, donde fui miembro fundador del equipo de base de datos multitenant Oracle 12c. Durante este tiempo, noté una limitación clave: mientras que los datos estructurados estaban bien administrados, los datos no estructurados, que representan el 90% de todos los datos, permanecían en gran medida inutilizados, con solo el 1% analizado de manera significativa.

En 2017, la creciente capacidad de la IA para procesar datos no estructurados marcó un punto de inflexión. Los avances en el procesamiento del lenguaje natural (NLP) mostraron cómo los datos no estructurados podían transformarse en incrustaciones vectoriales, desbloqueando su significado semántico. Esto me inspiró a fundar Zilliz, con la visión de administrar “billones de datos”. Las incrustaciones vectoriales se convirtieron en la piedra angular para salvar la brecha entre los datos no estructurados y las perspectivas accionables. Desarrollamos Milvus como una base de datos vectorial de propósito para dar vida a esta visión.

En los últimos dos años, la industria ha validado este enfoque, reconociendo las bases de datos vectoriales como fundamentales para la administración de datos no estructurados. Para nosotros, se trata de más que tecnología; se trata de empoderar a la humanidad para aprovechar el potencial de los datos no estructurados en la era de la IA.

¿Cómo ha evolucionado el viaje de Zilliz desde su inicio hace seis años, y qué desafíos clave enfrentó mientras pionera en el espacio de las bases de datos vectoriales?

El viaje ha sido transformador. Cuando comenzamos Zilliz hace siete años, el desafío real no era la recaudación de fondos ni la contratación; era construir un producto en un territorio completamente inexplorado. Sin mapas de carreteras existentes, mejores prácticas o expectativas de usuario establecidas, tuvimos que trazar nuestro propio curso.

Nuestro avance se produjo con la apertura de Milvus. Al reducir las barreras para la adopción y fomentar la participación de la comunidad, obtuvimos valiosos comentarios de los usuarios para iterar y mejorar el producto. Cuando Milvus se lanzó en 2019, teníamos alrededor de 30 usuarios al final del año. Esto creció a más de 200 en 2020 y casi 1,000 poco después.

Hoy en día, las bases de datos vectoriales han pasado de ser un concepto novedoso a ser infraestructura esencial en la era de la IA, validando la visión con la que comenzamos.

Como empresa de bases de datos vectoriales, ¿qué capacidades técnicas únicas ofrece Zilliz para respaldar la búsqueda vectorial multimodal en aplicaciones modernas de IA?

Zilliz ha desarrollado capacidades técnicas avanzadas para respaldar la búsqueda vectorial multimodal:

1. Búsqueda híbrida: Permitimos búsquedas simultáneas a través de diferentes modalidades, como combinar las características visuales de una imagen con su descripción de texto.
2. Algoritmos optimizados: Técnicas de cuantización propietarias equilibran la precisión de la recuperación y la eficiencia de la memoria para búsquedas entre modalidades.
3. Procesamiento en tiempo real y fuera de línea: Nuestro sistema de doble vía admite escrituras en tiempo real de baja latencia y importaciones fuera de línea de alto rendimiento, garantizando la frescura de los datos.
4. Eficiencia de costos: Nuestras instancias de capacidad extendida aprovechan el almacenamiento inteligente en niveles para reducir significativamente los costos de almacenamiento mientras se mantiene un alto rendimiento.
5. Modelos de IA incrustados: Al integrar modelos de incrustación y clasificación multimodales, hemos reducido la barrera para implementar aplicaciones de búsqueda complejas.

Estas capacidades permiten a los desarrolladores manejar eficientemente diversos tipos de datos, lo que hace que las aplicaciones modernas de IA sean más robustas y versátiles.

¿Cómo ve el avance de RAG multimodal (Recuperación-Aumentada-Generación) mejorando la capacidad de la IA para manejar datos complejos del mundo real como imágenes, audio y videos junto con texto?

RAG multimodal representa una evolución crucial en la IA. Mientras que RAG basado en texto ha sido prominente, la mayoría de los datos empresariales abarcan imágenes, videos y audio. La capacidad de integrar estos formatos diversos en flujos de trabajo de IA es crítica.

Este cambio es oportuno, ya que la comunidad de IA debate los límites de los datos de texto de Internet disponibles para el entrenamiento. Mientras que los datos de texto son finitos, los datos multimodales permanecen vastamente subutilizados, desde videos corporativos hasta películas de Hollywood y grabaciones de audio.

RAG multimodal desbloquea este reservorio no aprovechado, permitiendo que los sistemas de IA procesen y aprovechen estos ricos tipos de datos. No se trata solo de abordar la escasez de datos; se trata de expandir los límites de las capacidades de la IA para comprender e interactuar mejor con el mundo real.

¿Cómo se diferencia Zilliz de los competidores en el mercado de bases de datos vectoriales en crecimiento?

Zilliz se destaca a través de varios aspectos únicos:

1. Doble identidad: Somos tanto una empresa de IA como una empresa de bases de datos, empujando los límites de la gestión de datos y la integración de IA.
2. Diseño nativo en la nube: Milvus 2.0 fue la primera base de datos vectorial distribuida en adoptar una arquitectura de almacenamiento y cómputo desagregada, permitiendo escalabilidad y eficiencia de costos para más de 100 mil millones de vectores.
3. Mejoras propietarias: Nuestro motor Cardinal logra 3 veces el rendimiento de Milvus de código abierto y 10 veces más que los competidores. También ofrecemos indexación basada en disco e inteligente Almacenamiento en niveles para escalabilidad rentable.
4. Innovación continua: Desde capacidades de búsqueda híbrida hasta herramientas de migración como VTS, estamos avanzando constantemente en la tecnología de bases de datos vectoriales.

Nuestro compromiso con el código abierto garantiza flexibilidad, mientras que nuestro servicio administrado, Zilliz Cloud, ofrece rendimiento de clase empresarial con una complejidad operativa mínima.

¿Puede elaborar sobre la importancia de Zilliz Cloud y su papel en la democratización de la IA y hacer que los servicios de búsqueda vectorial sean accesibles para desarrolladores y empresas pequeñas por igual?

La búsqueda vectorial ha sido utilizada por gigantes tecnológicos desde 2015, pero las implementaciones propietarias limitaron su adopción más amplia. En Zilliz, estamos democratizando esta tecnología a través de dos enfoques complementarios:

1. Código abierto: Milvus permite a los desarrolladores construir y poseer su propia infraestructura de búsqueda vectorial, reduciendo las barreras técnicas.
2. Servicio administrado: Zilliz Cloud elimina la complejidad operativa, ofreciendo una solución simple y rentable para que las empresas adopten la búsqueda vectorial sin necesidad de ingenieros especializados.

Este enfoque dual hace que la búsqueda vectorial sea accesible tanto para desarrolladores como para empresas, permitiéndoles centrarse en la construcción de aplicaciones de IA innovadoras.

Con los avances en LLM y modelos de base, ¿qué cree que será el próximo gran cambio en la infraestructura de datos de IA?

El próximo gran cambio será la transformación total de la infraestructura de datos de IA para manejar datos no estructurados, que constituyen el 90% de los datos del mundo. Los sistemas existentes, diseñados para datos estructurados, están mal equipados para este cambio.

Esta transformación impactará cada capa de la pila de datos, desde los sistemas de bases de datos fundamentales hasta los protocolos de seguridad y los sistemas de observabilidad. No se trata de mejoras incrementales; se trata de crear nuevos paradigmas adaptados a las complejidades de los datos no estructurados.

Esta transformación afectará cada aspecto de la pila de datos:

• Sistemas de bases de datos fundamentales
• Tuberías de datos y procesos ETL
• Mecanismos de limpieza y transformación de datos
• Protocolos de seguridad y cifrado
• Marco de cumplimiento y gobernanza
• Sistemas de observabilidad de datos

No estamos hablando solo de actualizar sistemas existentes; estamos hablando de construir paradigmas completamente nuevos. Es como moverse de un mundo optimizado para organizar libros en una biblioteca a uno que necesita administrar, comprender y procesar toda la Internet. Este cambio representa un mundo completamente nuevo, donde cada componente de la infraestructura de datos podría necesitar ser reinventado desde cero.

Esta revolución redefinirá cómo almacenamos, gestionamos y procesamos datos, desbloqueando vastas oportunidades para la innovación en IA.

¿Cómo ha influido la integración de GPUs de NVIDIA (NVDA ) en el rendimiento y la escalabilidad de su búsqueda vectorial?

La integración de GPUs de NVIDIA ha mejorado significativamente el rendimiento de nuestra búsqueda vectorial en dos áreas clave.

Primero, en la construcción de índices, que es una de las operaciones más intensivas en computación en las bases de datos vectoriales. En comparación con la indexación tradicional de bases de datos, la construcción de índices vectoriales requiere varias órdenes de magnitud más poder computacional. Al aprovechar la aceleración de GPU, hemos reducido drásticamente el tiempo de construcción de índices, lo que permite una ingesta de datos más rápida y una mejor visibilidad de los datos.

En segundo lugar, las GPUs han sido fundamentales para casos de uso de consultas de alto rendimiento. En aplicaciones como el comercio electrónico, donde los sistemas necesitan manejar miles o incluso decenas de miles de consultas por segundo (QPS), las capacidades de procesamiento paralelo de las GPUs han demostrado ser invaluables. Al utilizar la aceleración de GPU, podemos procesar eficientemente estas búsquedas de similitud vectorial de alto volumen mientras mantenemos una latencia baja.

Desde 2021, hemos estado colaborando con NVIDIA para optimizar nuestros algoritmos para la arquitectura de GPU, al mismo tiempo que desarrollamos nuestro sistema para admitir cómputo heterogéneo en diferentes arquitecturas de procesadores. Esto da a nuestros clientes la flexibilidad para elegir la infraestructura de hardware más adecuada para sus necesidades específicas.

¿Ve la aplicación de las bases de datos vectoriales extendiéndose más allá de los casos de uso tradicionales como sistemas de recomendación y búsqueda a industrias como la atención médica?

Las bases de datos vectoriales están expandiéndose rápidamente más allá de aplicaciones tradicionales como sistemas de recomendación y búsqueda, penetrando en industrias que nunca imaginamos antes. Déjenme compartir algunos ejemplos.

En la atención médica y la investigación farmacéutica, las bases de datos vectoriales están revolucionando el descubrimiento de fármacos. Las moléculas pueden vectorizarse en función de sus propiedades funcionales, y utilizando características avanzadas como la búsqueda de rango, los investigadores pueden descubrir todos los posibles candidatos para fármacos que podrían tratar enfermedades o síntomas específicos. A diferencia de las búsquedas top-k tradicionales, la búsqueda de rango identifica todas las moléculas dentro de una cierta distancia del objetivo, proporcionando una visión completa de los candidatos potenciales.

En la conducción autónoma, las bases de datos vectoriales están mejorando la seguridad y el rendimiento del vehículo. Una aplicación interesante es el manejo de casos de borde: cuando se encuentran escenarios inusuales, el sistema puede buscar rápidamente en bases de datos masivas de situaciones similares para encontrar datos de entrenamiento relevantes para afinar los modelos de conducción autónoma.

También estamos viendo aplicaciones innovadoras en servicios financieros para la detección de fraude, ciberseguridad para la detección de amenazas y publicidad dirigida para una mejor participación del cliente. Por ejemplo, en el banco, las transacciones pueden vectorizarse y compararse con patrones históricos para identificar posibles actividades fraudulentas.

El poder de las bases de datos vectoriales radica en su capacidad para comprender y procesar similitudes en cualquier dominio, ya sea en estructuras moleculares, escenarios de conducción, patrones financieros o amenazas de seguridad. A medida que la IA continúa evolucionando, apenas estamos arañando la superficie de lo que es posible. La capacidad de procesar y encontrar patrones en vastas cantidades de datos no estructurados abre posibilidades que apenas estamos comenzando a explorar.

¿Cómo pueden los desarrolladores y las empresas interactuar mejor con Zilliz y Milvus para aprovechar la tecnología de bases de datos vectoriales en sus proyectos de IA?

Hay dos caminos principales para aprovechar la tecnología de bases de datos vectoriales con Zilliz y Milvus, cada uno adaptado a diferentes necesidades y prioridades. Si valoras la flexibilidad y la personalización, Milvus, nuestra solución de código abierto, es tu mejor opción. Con Milvus, puedes:

• Experimentar libremente y aprender la tecnología a tu propio ritmo
• Personalizar la solución para tus requisitos específicos
• Contribuir al desarrollo y modificar la base de código
• Mantener el control total sobre tu infraestructura

Sin embargo, si deseas centrarte en la construcción de tu aplicación sin gestionar la infraestructura, Zilliz Cloud es la opción óptima. Ofrece:

• Una solución fuera de la caja con implementación de un solo clic
• Seguridad y cumplimiento de clase empresarial
• Alta disponibilidad y estabilidad
• Rendimiento optimizado sin sobrecarga operativa

Piénsalo de esta manera: si disfrutas “tinkerizando” y quieres la máxima flexibilidad, ve con Milvus. Si deseas minimizar la complejidad operativa y pasar directamente a la construcción de tu aplicación, elige Zilliz Cloud.

Ambos caminos te llevarán a tu destino; es solo cuestión de cuánto del viaje quieres controlar versus cuán rápido necesitas llegar

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Zilliz o Milvus.