Charles Xie, Oprichter & CEO van Zilliz – Interviewreeks

Charles Xie is de oprichter en CEO van Zilliz, met een focus op het bouwen van databases en zoektechnologieën van de volgende generatie voor AI- en LLM-toepassingen. Bij Zilliz heeft hij ook Milvus uitgevonden, de meest populaire open-source vector database voor productieklare AI. Hij is momenteel lid van de raad van bestuur van LF AI & Data Foundation en was voorzitter van de raad in 2020 en 2021. Charles werkte eerder bij Oracle als oprichter van het Oracle 12c-cloud databaseproject. Charles heeft een masterdiploma in computerwetenschappen van de University of Wisconsin-Madison.

Zilliz is het team achter LF AI Milvus®, een breed gebruikte open-source vector database. Het bedrijf richt zich op het vereenvoudigen van het beheer van gegevensinfrastructuur, met als doel AI meer toegankelijk te maken voor bedrijven, organisaties en individuen.

Kunt u het verhaal vertellen achter de oprichting van Zilliz en wat u inspireerde om Milvus te ontwikkelen en zich te richten op vector databases?

Mijn reis in het databaseveld beslaat meer dan 15 jaar, waaronder zes jaar als software-engineer bij Oracle, waar ik een van de oprichters was van het Oracle 12c Multitenant Database-team. Tijdens deze periode merkte ik een belangrijke beperking: terwijl gestructureerde gegevens goed werden beheerd, bleven ongestructureerde gegevens – die 90% van alle gegevens vertegenwoordigen – grotendeels ongebruikt, met slechts 1% op een zinvolle manier geanalyseerd.

In 2017 markeerde de groeiende mogelijkheid van AI om ongestructureerde gegevens te verwerken een keerpunt. Vooruitgang in NLP toonde aan hoe ongestructureerde gegevens konden worden omgezet in vector embeddings, waardoor hun semantische betekenis werd ontsloten. Dit inspireerde me om Zilliz op te richten, met een visie om “zillioenen gegevens” te beheren. Vector embeddings werden de hoeksteen voor het overbruggen van de kloof tussen ongestructureerde gegevens en actiebare inzichten. We ontwikkelden Milvus als een speciaal ontworpen vector database om deze visie tot leven te brengen.

In de afgelopen twee jaar heeft de industrie deze aanpak valide gemaakt, waarbij vector databases als fundamenteel worden erkend voor het beheer van ongestructureerde gegevens. Voor ons gaat het er niet alleen om technologie – het gaat erom de mensheid te empoweren om het potentieel van ongestructureerde gegevens in de AI-era te benutten.

Hoe is de reis van Zilliz geëvolueerd sinds de oprichting zes jaar geleden, en welke belangrijke uitdagingen bent u tegengekomen bij het pionieren in de vector database-ruimte?

De reis is transformatief geweest. Toen we Zilliz zeven jaar geleden startten, was de echte uitdaging niet het werven van fondsen of het aannemen van personeel – het was het bouwen van een product in een volledig onbekend terrein. Zonder bestaande wegen, beste praktijken of gevestigde gebruikersverwachtingen moesten we onze eigen route uitstippelen.

Onze doorbraak kwam met de open-sourcing van Milvus. Door de barrières voor adoptie te verlagen en community-engagement te stimuleren, kregen we waardevolle gebruikersfeedback om het product te itereren en te verbeteren. Toen Milvus in 2019 werd gelanceerd, hadden we ongeveer 30 gebruikers tegen het einde van het jaar. Dit groeide tot meer dan 200 in 2020 en bijna 1.000 daarna.

Tegenwoordig zijn vector databases verschoven van een novum naar essentiële infrastructuur in de AI-era, waardoor de visie die we zijn begonnen valideert.

Als vector database-bedrijf, welke unieke technische mogelijkheden biedt Zilliz om multimodale vector zoekopdrachten in moderne AI-toepassingen te ondersteunen?

Zilliz heeft geavanceerde technische mogelijkheden ontwikkeld om multimodale vector zoekopdrachten te ondersteunen:

1. Hybride zoekopdracht: We maken gelijktijdige zoekopdrachten mogelijk over verschillende modaliteiten, zoals het combineren van de visuele kenmerken van een afbeelding met de tekstbeschrijving.
2. Geoptimaliseerde algoritmes: Onze eigendomsquantificatietechnieken balanceren de recall-accuraatheid en geheugenefficiëntie voor cross-modale zoekopdrachten.
3. Real-time en offline verwerking: Ons dual-track systeem ondersteunt lage latentie real-time schrijfprocessen en hoge doorvoer offline import, waardoor de gegevensversheid wordt gewaarborgd.
4. Kosten-efficiëntie: Onze Extended Capacity-exemplaren gebruiken intelligente Tiered Storage om de opslagkosten aanzienlijk te verlagen, terwijl de prestaties hoog blijven.
5. Ingewikkelde AI-modellen: Door multimodale embedding- en rangschikkingsmodellen te integreren, hebben we de drempel verlaagd voor het implementeren van complexe zoektoepassingen.

Deze mogelijkheden stellen ontwikkelaars in staat om op een efficiënte manier met diverse gegevenstypen om te gaan, waardoor moderne AI-toepassingen robuuster en veelzijdiger worden.

Hoe ziet u de toekomst van Multimodal RAG voor de mogelijkheid van AI om complexe, real-world gegevens zoals afbeeldingen, audio en video’s naast tekst te verwerken?

Multimodal RAG (Retrieval-Augmented Generation) vertegenwoordigt een cruciale evolutie in AI. Terwijl tekstgebaseerde RAG prominent was, omvat de meeste bedrijfsgegevens afbeeldingen, video’s en audio. De mogelijkheid om deze diverse formaten in AI-workflows te integreren is kritiek.

Deze verschuiving is tijdig, aangezien de AI-gemeenschap de beperkingen van beschikbare internettekstgegevens voor training bespreekt. Terwijl tekstgegevens eindig zijn, blijven multimodale gegevens grotendeels ongebruikt – variërend van bedrijfsvideo’s tot Hollywood-films en audiorecordingen.

Multimodal RAG ontgrendelt deze ongebruikte reservoir, waardoor AI-systemen deze rijke gegevenstypen kunnen verwerken en benutten. Het gaat er niet alleen om de beperkingen van gegevensschaarste aan te pakken – het gaat erom de grenzen van de mogelijkheden van AI te vergroten om de werkelijke wereld beter te begrijpen en te interactiveren.

Hoe onderscheidt Zilliz zich van concurrenten in de snel groeiende vector database-markt?

Zilliz onderscheidt zich door verschillende unieke aspecten:

1. Dubbele identiteit: We zijn zowel een AI-bedrijf als een database-bedrijf, waardoor we de grenzen van gegevensbeheer en AI-integratie verleggen.
2. Cloud-native ontwerp: Milvus 2.0 was de eerste gedistribueerde vector database die een gescheiden opslag- en compute-architectuur aannam, waardoor schaalbaarheid en kosten-efficiëntie voor meer dan 100 miljard vectors mogelijk werden.
3. Eigendomsverbeteringen: Onze Cardinal-engine behaalt 3x de prestaties van open-source Milvus en 10x die van concurrenten. We bieden ook schijfgebaseerde indexing en intelligente Tier Storage voor kostenefficiënte schaalbaarheid.
4. Continue innovatie: Van hybride zoekmogelijkheden tot migratietools zoals VTS, we zijn constant bezig met het verbeteren van vector database-technologie.

Onze toewijding aan open source zorgt voor flexibiliteit, terwijl onze beheerde service, Zilliz Cloud, ondernemingsprestaties levert met minimale operationele complexiteit.

Kunt u toelichten op het belang van Zilliz Cloud en de rol ervan bij het democratiseren van AI en het maken van vector zoekdiensten toegankelijk voor kleine ontwikkelaars en ondernemingen?

Vector zoekopdracht is sinds 2015 door technologiebedrijven gebruikt, maar propriëtaire implementaties beperkten de bredere adoptie. Bij Zilliz democratiseren we deze technologie via twee complementaire benaderingen:

1. Open source: Milvus stelt ontwikkelaars in staat om hun eigen vector zoekinfrastructuur te bouwen en te bezitten, waardoor technische barrières worden verlaagd.
2. Beheerde service: Zilliz Cloud elimineert operationele overhead, waardoor bedrijven een eenvoudige, kosteneffectieve oplossing hebben om vector zoekopdracht te adopteren zonder gespecialiseerde ingenieurs nodig te hebben.

Deze dubbele benadering maakt vector zoekopdracht toegankelijk voor zowel ontwikkelaars als ondernemingen, waardoor ze zich kunnen concentreren op het bouwen van innovatieve AI-toepassingen.

Met de vooruitgang in LLM’s en foundation models, wat denkt u dat de volgende grote verschuiving in AI-gegevensinfrastructuur zal zijn?

De volgende grote verschuiving zal de algehele transformatie van AI-gegevensinfrastructuur zijn om ongestructureerde gegevens te verwerken, die 90% van de wereldgegevens vertegenwoordigen. Bestaande systemen, ontworpen voor gestructureerde gegevens, zijn niet in staat om deze verschuiving aan te gaan.

Deze transformatie zal elke laag van de gegevensstack beïnvloeden, van fundamentele databases tot beveiligingsprotocollen en observabiliteitssystemen. Het gaat er niet om incrementele upgrades – het gaat om het creëren van nieuwe paradigma’s die zijn aangepast aan de complexiteit van ongestructureerde gegevens.

Deze transformatie zal elke aspect van de gegevensstack aanraken:

• Fundamentele databasesystemen
• Gegevenspijpleidingen en ETL-processen
• Gegevensreinigings- en transformatiemechanismen
• Beveiligings- en encryptieprotocollen
• Nalevings- en governancekaders
• Gegevensobservabiliteitssystemen

We praten niet over het upgraden van bestaande systemen – we praten over het bouwen van geheel nieuwe paradigma’s. Het is alsof we van een wereld die is geoptimaliseerd voor het organiseren van boeken in een bibliotheek, naar een wereld gaan die moet omgaan met en verwerken van het hele internet. Deze verschuiving vertegenwoordigt een totaal nieuwe wereld, waar elke component van de gegevensinfrastructuur opnieuw moet worden bedacht.

Deze revolutie zal bepalen hoe we gegevens opslaan, beheren en verwerken, en zal enorme kansen bieden voor AI-innovatie.

Hoe heeft de integratie van NVIDIA GPU’s de prestaties en schaalbaarheid van uw vector zoekopdracht beïnvloed?

De integratie van NVIDIA GPU’s heeft de prestaties van onze vector zoekopdracht aanzienlijk verbeterd op twee belangrijke gebieden.

Ten eerste bij indexopbouw, wat een van de meest rekenintensieve bewerkingen in vector databases is. In vergelijking met traditionele database-indexering vereist vectorindexconstructie verschillende orden van grootte meer rekenkracht. Door GPU-versnelling te gebruiken, hebben we de indexopbouwtijd aanzienlijk verlaagd, waardoor snellere gegevensinname en verbeterde gegevenszichtbaarheid mogelijk werden.

Ten tweede waren GPU’s cruciaal voor high-throughput query-use cases. In toepassingen zoals e-commerce, waar systemen duizenden of zelfs tienduizenden queries per seconde (QPS) moeten verwerken, hebben de parallelle verwerkingsmogelijkheden van GPU’s zich bewezen als waardevol. Door GPU-versnelling te gebruiken, kunnen we deze high-volume vectorovereenkomstzoekopdrachten efficiënt verwerken, terwijl we een lage latentie behouden.

Sinds 2021 werken we samen met NVIDIA om onze algoritmes te optimaliseren voor GPU-architectuur, evenals ons systeem om heterogene computing over verschillende processorarchitecturen te ondersteunen. Dit geeft onze klanten de flexibiliteit om de meest geschikte hardware-infrastructuur voor hun specifieke behoeften te kiezen.

Zien wij de toepassing van vector databases zich uitbreiden buiten traditionele use cases zoals aanbevelingssystemen en zoekopdrachten naar industrieën zoals de gezondheidszorg?

Vector databases breiden zich snel uit buiten traditionele toepassingen zoals aanbevelingssystemen en zoekopdrachten, en dringen industrieën binnen die we nooit eerder hebben overwogen. Laat me enkele voorbeelden delen.

In de gezondheidszorg en farmaceutisch onderzoek revolutioneren vector databases de ontdekking van medicijnen. Moleculen kunnen worden gevectoriseerd op basis van hun functionele eigenschappen, en met geavanceerde functies zoals range search, kunnen onderzoekers alle potentiële medicijnkandidaten ontdekken die specifieke ziekten of symptomen kunnen behandelen. In tegenstelling tot traditionele top-k zoekopdrachten, identificeert range search alle moleculen binnen een bepaalde afstand van het doel, waardoor een uitgebreid overzicht van potentiële kandidaten wordt geboden.

In autonome voertuigen verbeteren vector databases de veiligheid en prestaties van voertuigen. Een interessante toepassing is het omgaan met randgevallen – wanneer ongebruikelijke scenario’s worden gegenereerd, kan het systeem snel zoeken in enorme databases van soortgelijke situaties om relevante trainingsgegevens te vinden voor het fine-tunen van de autonome voertuigmodellen.

We zien ook innovatieve toepassingen in financiële diensten voor fraudebestrijding, cybersecurity voor bedreigingsdetectie en gerichte reclame voor verbeterde klantbetrokkenheid. Bijvoorbeeld, in de banksector kunnen transacties worden gevectoriseerd en vergeleken met historische patronen om potentiële fraudeuze activiteiten te identificeren.

De kracht van vector databases ligt in hun vermogen om overeenkomst in elke domein te begrijpen en te verwerken – of het nu gaat om moleculaire structuren, rijscenario’s, financiële patronen of beveiligingsbedreigingen. Naarmate AI blijft evolueren, krabben we alleen maar aan de oppervlakte van wat mogelijk is. Het vermogen om efficiënt grote hoeveelheden ongestructureerde gegevens te verwerken en patronen te vinden, opent mogelijkheden die we pas beginnen te exploreren.

Hoe kunnen ontwikkelaars en ondernemingen het beste met Zilliz en Milvus samenwerken om vector database-technologie in hun AI-projecten te benutten?

Er zijn twee belangrijke wegen om vector database-technologie met Zilliz en Milvus te benutten, elk geschikt voor verschillende behoeften en prioriteiten. Als u flexibiliteit en aanpasbaarheid waardeert, is Milvus, onze open-source oplossing, uw beste keuze. Met Milvus kunt u:

• Vrij experimenteren en de technologie op uw eigen tempo leren
• De oplossing aanpassen aan uw specifieke vereisten
• Deelnemen aan de ontwikkeling en de codebase wijzigen
• Volledige controle over uw infrastructuur behouden

Echter, als u zich wilt concentreren op het bouwen van uw toepassing zonder infrastructuur te beheren, is Zilliz Cloud de optimale keuze. Het biedt:

• Een out-of-the-box oplossing met één klikken deploy
• Ondernemingsklasse beveiliging en naleving
• Hoge beschikbaarheid en stabiliteit
• Geoptimaliseerde prestaties zonder operationele overhead

Denk eraan: als u van ‘knutselen’ houdt en maximale flexibiliteit wilt, kies dan voor Milvus. Als u operationele complexiteit wilt minimaliseren en snel aan het bouwen van uw toepassing wilt beginnen, kies dan voor Zilliz Cloud.

Beide wegen zullen u naar uw bestemming brengen – het is alleen een kwestie van hoeveel van de reis u zelf wilt controleren versus hoe snel u wilt aankomen.

Bedankt voor het geweldige interview. Lezers die meer willen leren, kunnen Zilliz of Milvus bezoeken.