Charles Xie, Fondateur et PDG de Zilliz – Série d’entretiens

Charles Xie est le fondateur et PDG de Zilliz, qui se concentre sur la création de bases de données et de technologies de recherche de nouvelle génération pour les applications d’IA et de LLM. Chez Zilliz, il a également inventé Milvus, la base de données vectorielle open source la plus populaire pour l’IA prête à la production. Il est actuellement membre du conseil d’administration de la fondation LF AI & Data et a occupé le poste de président du conseil en 2020 et 2021. Charles a précédemment travaillé chez Oracle en tant qu’ingénieur fondateur du projet de base de données cloud Oracle 12c. Charles détient un diplôme d’études supérieures en informatique de l’Université du Wisconsin-Madison.

Zilliz est l’équipe derrière LF AI Milvus®, une base de données vectorielle open source largement utilisée. La société se concentre sur la simplification de la gestion de l’infrastructure de données, dans le but de rendre l’IA plus accessible aux entreprises, organisations et individus.

Pouvez-vous partager l’histoire derrière la fondation de Zilliz et ce qui vous a inspiré pour développer Milvus et vous concentrer sur les bases de données vectorielles ?

Mon parcours dans le domaine des bases de données s’étend sur plus de 15 ans, dont six ans en tant qu’ingénieur logiciel chez Oracle, où j’étais membre fondateur de l’équipe de base de données multilocataire Oracle 12c. Pendant cette période, j’ai remarqué une limitation clé : alors que les données structurées étaient bien gérées, les données non structurées – qui représentent 90 % de toutes les données – restaient en grande partie inutilisées, avec seulement 1 % analysées de manière significative.

En 2017, la capacité croissante de l’IA à traiter les données non structurées a marqué un tournant. Les progrès de la NLP ont montré comment les données non structurées pourraient être transformées en embeddings vectoriels, débloquant leur signification sémantique. Cela m’a inspiré à fonder Zilliz, avec une vision pour gérer des « milliards de données ». Les embeddings vectoriels sont devenus la pierre angulaire pour combler le fossé entre les données non structurées et les informations exploitables. Nous avons développé Milvus en tant que base de données vectorielle à usage spécifique pour donner vie à cette vision.

Au cours des deux dernières années, l’industrie a validé cette approche, en reconnaissant les bases de données vectorielles comme fondamentales pour la gestion des données non structurées. Pour nous, il s’agit de plus que de la technologie – il s’agit d’autonomiser l’humanité pour exploiter le potentiel des données non structurées à l’ère de l’IA.

Comment le parcours de Zilliz a-t-il évolué depuis sa création il y a six ans, et quels défis clés avez-vous rencontrés en tant que pionnier de l’espace des bases de données vectorielles ?

Le parcours a été transformateur. Lorsque nous avons lancé Zilliz il y a sept ans, le véritable défi n’était pas le financement ou l’embauche – c’était la création d’un produit dans un territoire complètement inexploré. Sans cartes routières existantes, meilleures pratiques ou attentes utilisateur établies, nous devions tracer notre propre chemin.

Notre percée est venue avec l’ouverture de Milvus. En réduisant les barrières à l’adoption et en favorisant l’engagement de la communauté, nous avons obtenu des commentaires précieux des utilisateurs pour itérer et améliorer le produit. Lorsque Milvus a été lancé en 2019, nous avions environ 30 utilisateurs à la fin de l’année. Cela a augmenté à plus de 200 en 2020 et à près de 1 000 peu après.

Aujourd’hui, les bases de données vectorielles sont passées d’un concept novateur à une infrastructure essentielle à l’ère de l’IA, validant la vision avec laquelle nous avons commencé.

En tant que société de bases de données vectorielles, quels sont les capacités techniques uniques que Zilliz offre pour prendre en charge la recherche vectorielle multimodale dans les applications d’IA modernes ?

Zilliz a développé des capacités techniques avancées pour prendre en charge la recherche vectorielle multimodale :

1. Recherche hybride : Nous permettons des recherches simultanées sur différents modes, tels que la combinaison des fonctionnalités visuelles d’une image avec sa description textuelle.
2. Algorithmes optimisés : Les techniques de quantification propriétaires équilibrent la précision du rappel et l’efficacité de la mémoire pour les recherches transmodales.
3. Traitement en temps réel et hors ligne : Notre système à double voie prend en charge les écritures en temps réel à faible latence et les imports hors ligne à haut débit, garantissant la fraîcheur des données.
4. Efficacité coûts : Nos instances de capacité étendue utilisent un stockage intelligent à niveaux pour réduire considérablement les coûts de stockage tout en maintenant les performances élevées.
5. Modèles d’IA intégrés : En intégrant des modèles d’embedding et de classement multimodaux, nous avons abaissé la barrière à la mise en œuvre d’applications de recherche complexes.

Ces capacités permettent aux développeurs de gérer efficacement les types de données diversifiés, rendant les applications d’IA modernes plus robustes et polyvalentes.

Comment voyez-vous la recherche RAG multimodale évoluer pour améliorer la capacité de l’IA à gérer des données complexes du monde réel comme les images, les audio et les vidéos, ainsi que le texte ?

La recherche RAG (Retrieval-Augmented Generation) multimodale représente une évolution cruciale de l’IA. Alors que la RAG basée sur le texte a été prédominante, la plupart des données d’entreprise s’étendent aux images, vidéos et audio. La capacité à intégrer ces formats diversifiés dans les flux de travail de l’IA est critique.

Ce changement est opportun, car la communauté de l’IA débat des limites des données textuelles disponibles sur Internet pour la formation. Alors que les données textuelles sont finies, les données multimodales restent sous-exploitées – allant des vidéos d’entreprise aux films hollywoodiens et aux enregistrements audio.

La recherche RAG multimodale débloque ce réservoir inexploité, permettant aux systèmes d’IA de traiter et d’exploiter ces types de données riches. Il ne s’agit pas seulement de répondre à la pénurie de données ; il s’agit d’élargir les limites des capacités de l’IA pour mieux comprendre et interagir avec le monde réel.

Comment Zilliz se différencie-t-il de ses concurrents sur le marché des bases de données vectorielles en pleine croissance ?

Zilliz se distingue par plusieurs aspects uniques :

1. Double identité : Nous sommes à la fois une entreprise d’IA et une entreprise de bases de données, poussant les limites de la gestion des données et de l’intégration de l’IA.
2. Conception native cloud : Milvus 2.0 a été la première base de données vectorielle distribuée à adopter une architecture de stockage et de calcul décomposée, permettant une évolutivité et une efficacité coûts pour plus de 100 milliards de vecteurs.
3. Améliorations propriétaires : Notre moteur Cardinal atteint trois fois les performances de Milvus open source et 10 fois celles des concurrents. Nous offrons également un indexage basé sur le disque et un stockage intelligent pour une mise à l’échelle rentable.
4. Innovation continue : Des capacités de recherche hybride aux outils de migration comme VTS, nous avançons constamment la technologie des bases de données vectorielles.

Notre engagement en faveur de l’open source garantit la flexibilité, tandis que notre service géré, Zilliz Cloud, offre des performances de niveau entreprise avec une complexité opérationnelle minimale.

Pouvez-vous élaborer sur l’importance de Zilliz Cloud et son rôle dans la démocratisation de l’IA et la mise à disposition de services de recherche vectorielle aux petits développeurs et aux entreprises ?

La recherche vectorielle a été utilisée par les géants de la technologie depuis 2015, mais les implémentations propriétaires ont limité son adoption plus large. Chez Zilliz, nous démocratisons cette technologie grâce à deux approches complémentaires :

1. Open Source : Milvus permet aux développeurs de construire et de posséder leur infrastructure de recherche vectorielle, réduisant les barrières techniques.
2. Service géré : Zilliz Cloud élimine la complexité opérationnelle, offrant une solution simple et rentable pour que les entreprises adoptent la recherche vectorielle sans nécessiter des ingénieurs spécialisés.

Cette approche double rend la recherche vectorielle accessible aux développeurs et aux entreprises, leur permettant de se concentrer sur la construction d’applications d’IA innovantes.

Avec les progrès des LLM et des modèles de base, qu’est-ce que vous pensez sera le prochain grand changement dans l’infrastructure de données d’IA ?

Le prochain grand changement sera la transformation complète de l’infrastructure de données d’IA pour gérer les données non structurées, qui constituent 90 % des données mondiales. Les systèmes existants, conçus pour les données structurées, sont mal équipés pour ce changement.

Ce changement aura un impact sur chaque couche de la pile de données, des systèmes de base de données fondamentaux aux protocoles de sécurité et aux systèmes d’observabilité. Il ne s’agit pas d’améliorations incrémentales – il s’agit de créer de nouveaux paradigmes adaptés aux complexités des données non structurées.

Ce changement touchera tous les aspects de la pile de données :

• Systèmes de base de données fondamentaux
• Pipelines de données et processus ETL
• Mécanismes de nettoyage et de transformation des données
• Protocoles de sécurité et de chiffrement
• Cadres de conformité et de gouvernance
• Systèmes d’observabilité des données

Nous ne parlons pas seulement de la mise à niveau des systèmes existants – nous parlons de la construction de paradigmes entièrement nouveaux. C’est comme passer d’un monde optimisé pour organiser des livres dans une bibliothèque à un monde qui doit gérer, comprendre et traiter l’ensemble d’Internet. Ce changement représente un monde tout nouveau, où chaque composant de l’infrastructure de données pourrait devoir être réimaginé de zéro.

Cette révolution redéfinira la façon dont nous stockons, gérons et traitons les données, débloquant d’immenses opportunités pour l’innovation de l’IA.

Comment l’intégration des GPU NVIDIA a-t-elle influencé les performances et l’évolutivité de votre recherche vectorielle ?

L’intégration des GPU NVIDIA a considérablement amélioré les performances de notre recherche vectorielle dans deux domaines clés.

Tout d’abord, dans la construction d’index, qui est l’une des opérations les plus intensives en calcul dans les bases de données vectorielles. Par rapport à l’indexation traditionnelle des bases de données, la construction d’index vectorielle nécessite plusieurs ordres de grandeur plus de puissance de calcul. En exploitant l’accélération GPU, nous avons considérablement réduit le temps de construction d’index, permettant une ingestion de données plus rapide et une meilleure visibilité des données.

Deuxièmement, les GPU ont été cruciaux pour les cas d’utilisation de requêtes à haut débit. Dans les applications telles que le commerce électronique, où les systèmes doivent gérer des milliers ou même des dizaines de milliers de requêtes par seconde (QPS), les capacités de traitement parallèle des GPU se sont avérées inestimables. En utilisant l’accélération GPU, nous pouvons traiter efficacement ces recherches de similarité vectorielle à haut volume tout en maintenant une faible latence.

Depuis 2021, nous collaborons avec NVIDIA pour optimiser nos algorithmes pour l’architecture GPU, tout en développant notre système pour prendre en charge le calcul hétérogène sur différentes architectures de processeurs. Cela donne à nos clients la flexibilité de choisir l’infrastructure matérielle la plus adaptée à leurs besoins spécifiques.

Étant donné que les bases de données vectorielles jouent un rôle critique dans l’IA, voyez-vous leur application s’étendre au-delà des cas d’utilisation traditionnels comme les systèmes de recommandation et la recherche pour atteindre des industries comme les soins de santé ?

Les bases de données vectorielles s’étendent rapidement au-delà des applications traditionnelles comme les systèmes de recommandation et la recherche, pénétrant des industries que nous n’avions jamais imaginées auparavant. Laissez-moi partager quelques exemples.

Dans les soins de santé et la recherche pharmaceutique, les bases de données vectorielles révolutionnent la découverte de médicaments. Les molécules peuvent être vectorisées en fonction de leurs propriétés fonctionnelles, et en utilisant des fonctionnalités avancées comme la recherche par plage, les chercheurs peuvent découvrir tous les candidats potentiels pour traiter des maladies ou des symptômes spécifiques. Contrairement aux recherches top-k traditionnelles, la recherche par plage identifie toutes les molécules dans une certaine distance de la cible, offrant une vue complète des candidats potentiels.

Dans la conduite autonome, les bases de données vectorielles améliorent la sécurité et les performances des véhicules. Une application intéressante est la gestion des cas de bordure – lorsque des scénarios inhabituels sont rencontrés, le système peut rapidement rechercher dans des bases de données massives de situations similaires pour trouver des données de formation pertinentes pour l’affinement des modèles de conduite autonome.

Nous voyons également des applications innovantes dans les services financiers pour la détection de la fraude, la cybersécurité pour la détection des menaces et la publicité ciblée pour une meilleure implication client. Par exemple, dans la banque, les transactions peuvent être vectorisées et comparées aux modèles historiques pour identifier les activités frauduleuses potentielles.

Le pouvoir des bases de données vectorielles réside dans leur capacité à comprendre et à traiter la similarité dans n’importe quel domaine – qu’il s’agisse de structures moléculaires, de scénarios de conduite, de modèles financiers ou de menaces de sécurité. À mesure que l’IA continue d’évoluer, nous ne touchons que la surface de ce qui est possible. La capacité à traiter et à trouver des modèles dans de vastes quantités de données non structurées ouvre des possibilités que nous commençons seulement à explorer.

Comment les développeurs et les entreprises peuvent-ils mieux s’engager avec Zilliz et Milvus pour exploiter la technologie des bases de données vectorielles dans leurs projets d’IA ?

Il existe deux principaux chemins pour exploiter la technologie des bases de données vectorielles avec Zilliz et Milvus, chacun adapté à des besoins et des priorités différents. Si vous valorisez la flexibilité et la personnalisation, Milvus, notre solution open source, est votre meilleur choix. Avec Milvus, vous pouvez :

• Expérimenter librement et apprendre la technologie à votre propre rythme
• Personnaliser la solution en fonction de vos exigences spécifiques
• Contribuer au développement et modifier la base de code
• Maintenir un contrôle total sur votre infrastructure

Cependant, si vous souhaitez vous concentrer sur la construction de votre application sans gérer l’infrastructure, Zilliz Cloud est le choix optimal. Il offre :

• Une solution clé en main avec un déploiement en un clic
• Une sécurité et une conformité de niveau entreprise
• Une haute disponibilité et une stabilité
• Des performances optimisées sans surcharge opérationnelle

Pensez-y de cette façon : si vous aimez « bricoler » et que vous voulez une flexibilité maximale, optez pour Milvus. Si vous voulez minimiser la complexité opérationnelle et passer directement à la construction de votre application, choisissez Zilliz Cloud.

Les deux chemins vous mèneront à destination – il s’agit simplement de savoir combien du voyage vous souhaitez contrôler par rapport à la rapidité avec laquelle vous devez arriver

Je vous remercie pour cette grande interview. Les lecteurs qui souhaitent en savoir plus peuvent visiter Zilliz ou Milvus.