Charles Xie, Oprichter & CEO van Zilliz – Interviewreeks

Charles Xie is de oprichter en CEO van Zilliz, dat zich richt op het ontwikkelen van volgende generatie databases en zoektechnologieën voor AI- en LLM-toepassingen. Bij Zilliz heeft hij ook Milvus uitgevonden, de meest populaire open-source vector database voor productieklare AI. Hij is momenteel lid van de raad van bestuur van LF AI & Data Foundation en was voorzitter van de raad in 2020 en 2021. Charles werkte eerder bij Oracle (ORCL ) als oprichter van het Oracle 12c cloud database project. Charles heeft een masterdiploma in informatica van de University of Wisconsin-Madison.

Zilliz is het team achter LF AI Milvus®, een breed gebruikte open-source vector database. Het bedrijf richt zich op het vereenvoudigen van het beheer van gegevensinfrastructuur, met als doel AI meer toegankelijk te maken voor bedrijven, organisaties en individuen.

Kunt u het verhaal achter de oprichting van Zilliz delen en wat u inspireerde om Milvus te ontwikkelen en u te richten op vector databases?

Mijn reis in het databaseveld beslaat meer dan 15 jaar, waaronder zes jaar als software-engineer bij Oracle, waar ik een van de oprichters was van het Oracle 12c Multitenant Database team. Tijdens deze periode merkte ik een belangrijke beperking: terwijl gestructureerde gegevens goed werden beheerd, bleven ongestructureerde gegevens – die 90% van alle gegevens vertegenwoordigen – grotendeels ongeanalyseerd, met slechts 1% zinvol geanalyseerd.

In 2017 markeerde de groeiende mogelijkheid van AI om ongestructureerde gegevens te verwerken een keerpunt. Vooruitgang in NLP liet zien hoe ongestructureerde gegevens konden worden omgezet in vector embeddings, waardoor hun semantische betekenis werd ontsloten. Dit inspireerde me om Zilliz op te richten, met een visie om “zillioenen gegevens” te beheren. Vector embeddings werden de hoeksteen voor het overbruggen van de kloof tussen ongestructureerde gegevens en actiegerichte inzichten. We ontwikkelden Milvus als een doelgebouwde vector database om deze visie tot leven te brengen.

In de afgelopen twee jaar heeft de industrie deze aanpak bevestigd, door vector databases te erkennen als fundamenteel voor het beheer van ongestructureerde gegevens. Voor ons gaat het niet alleen om technologie – het gaat om het empoweren van de mensheid om het potentieel van ongestructureerde gegevens in de AI-tijdperk te benutten.

Hoe is de reis van Zilliz geëvolueerd sinds de oprichting zes jaar geleden, en welke belangrijke uitdagingen bent u tegengekomen bij het pionieren van de vector database markt?

De reis is transformatief geweest. Toen we Zilliz zeven jaar geleden startten, was de echte uitdaging niet het fundraisen of het aannemen van personeel – het was het bouwen van een product in een compleet onbekend terrein. Zonder bestaande wegenkaarten, best practices of gevestigde gebruikersverwachtingen, moesten we onze eigen koers uitzetten.

Onze doorbraak kwam met de open-sourcing van Milvus. Door de drempels voor adoptie te verlagen en community-betrokkenheid te stimuleren, kregen we waardevolle gebruikersfeedback om het product te itereren en te verbeteren. Toen Milvus in 2019 werd gelanceerd, hadden we ongeveer 30 gebruikers tegen het einde van het jaar. Dit groeide tot meer dan 200 in 2020 en bijna 1.000 daarna.

Vandaag de dag zijn vector databases verschoven van een novum concept naar essentiële infrastructuur in de AI-tijdperk, waardoor onze visie wordt bevestigd.

Als vector database bedrijf, welke unieke technische mogelijkheden biedt Zilliz om multimodale vector zoekopdrachten in moderne AI-toepassingen te ondersteunen?

Zilliz heeft geavanceerde technische mogelijkheden ontwikkeld om multimodale vector zoekopdrachten te ondersteunen:

1. Hybride zoekopdracht: We ermögelen gelijktijdige zoekopdrachten over verschillende modaliteiten, zoals het combineren van de visuele kenmerken van een afbeelding met de tekstuele beschrijving.
2. Geoptimaliseerde algoritmes: Onze eigendomsrechten quantisatietechnieken balanceren recall-accuraatheid en geheugenefficiëntie voor cross-modale zoekopdrachten.
3. Real-time en offline verwerking: Ons dual-track systeem ondersteunt lage latentie real-time schrijfopdrachten en hoge doorvoer offline import, waardoor gegevensversheid wordt gegarandeerd.
4. Kosten-efficiëntie: Onze Extended Capacity-exemplaren gebruiken intelligente Tiered Storage om opslagkosten aanzienlijk te verlagen, terwijl ze hoge prestaties behouden.
5. Ingewikkelde AI-modellen: Door multimodale embedding en rangschikking modellen te integreren, hebben we de drempel voor het implementeren van complexe zoekopdrachten verlaagd.

Deze mogelijkheden stellen ontwikkelaars in staat om diverse gegevenstypen efficiënt te verwerken, waardoor moderne AI-toepassingen robuuster en veelzijdiger worden.

Hoe ziet u de toekomst van Multimodal RAG voor het verbeteren van AI’s vermogen om complexe, real-world gegevens zoals afbeeldingen, audio en video’s naast tekst te verwerken?

Multimodal RAG (Retrieval-Augmented Generation) vertegenwoordigt een belangrijke evolutie in AI. Terwijl tekstgebaseerde RAG prominent was, omvat de meeste bedrijfsgegevens afbeeldingen, video’s en audio. De mogelijkheid om deze diverse formaten in AI-workflows te integreren is kritisch.

Deze verschuiving is tijdig, aangezien de AI-gemeenschap de beperkingen van beschikbare internettekstgegevens voor training bespreekt. Terwijl tekstgegevens eindig zijn, blijven multimodale gegevens grotendeels ongebruikt – variërend van bedrijfsvideo’s tot Hollywood-films en audio-opnamen.

Multimodal RAG ontsluit deze ongebruikte reservoir, waardoor AI-systemen deze rijke gegevenstypen kunnen verwerken en benutten. Het gaat niet alleen om het aanpakken van gegevensschaarste – het gaat om het uitbreiden van de mogelijkheden van AI om de echte wereld beter te begrijpen en te interacteren.

Hoe onderscheidt Zilliz zich van concurrenten in de snel groeiende vector database markt?

Zilliz onderscheidt zich door verschillende unieke aspecten:

1. Dubbele identiteit: We zijn zowel een AI-bedrijf als een databasebedrijf, waardoor we de grenzen van gegevensbeheer en AI-integratie verleggen.
2. Cloud-native ontwerp: Milvus 2.0 was de eerste gedistribueerde vector database die een gedecentraliseerde opslag- en compute-architectuur aannam, waardoor schaalbaarheid en kostenefficiëntie voor meer dan 100 miljard vectoren mogelijk werden.
3. Eigendomsrechten verbeteringen: Onze Cardinal-engine bereikt 3x de prestaties van open-source Milvus en 10x van concurrenten. We bieden ook schijfgebaseerde indexering en intelligente Tier Storage voor kostenefficiënte schaalbaarheid.
4. Continue innovatie: Van hybride zoekmogelijkheden tot migratiehulpmiddelen zoals VTS, zijn we constant bezig met het verbeteren van vector database technologie.

Onze toewijding aan open source zorgt voor flexibiliteit, terwijl onze beheerde service, Zilliz Cloud, ondernemingsklasse prestaties levert met minimale operationele complexiteit.

Kunt u meer vertellen over de betekenis van Zilliz Cloud en zijn rol in het democratiseren van AI en het maken van vector zoekdiensten toegankelijk voor kleine ontwikkelaars en ondernemingen?

Vector zoekopdrachten zijn sinds 2015 door technologiebedrijven gebruikt, maar propriëtaire implementaties beperkten de bredere adoptie. Bij Zilliz democratiseren we deze technologie via twee complementaire benaderingen:

1. Open source: Milvus stelt ontwikkelaars in staat om hun eigen vector zoekinfrastructuur te bouwen en te bezitten, waardoor technische drempels worden verlaagd.
2. Beheerde service: Zilliz Cloud elimineert operationele overhead, waardoor een eenvoudige, kostenefficiënte oplossing voor bedrijven wordt geboden om vector zoekopdrachten te adopteren zonder gespecialiseerde ingenieurs nodig te hebben.

Deze dubbele benadering maakt vector zoekopdrachten toegankelijk voor zowel ontwikkelaars als ondernemingen, waardoor ze kunnen focussen op het bouwen van innovatieve AI-toepassingen.

Met de vooruitgang in LLM’s en foundation modellen, wat denkt u dat de volgende grote verschuiving in AI-gegevensinfrastructuur zal zijn?

De volgende grote verschuiving zal de algehele transformatie van AI-gegevensinfrastructuur zijn om ongestructureerde gegevens te verwerken, die 90% van de wereldgegevens vertegenwoordigen. Bestaande systemen, ontworpen voor gestructureerde gegevens, zijn ongeschikt voor deze verschuiving.

Deze transformatie zal elke laag van de gegevensstack beïnvloeden, van fundamentele databases tot beveiligingsprotocollen en observatiesystemen. Het gaat niet om incrementele upgrades – het gaat om het creëren van nieuwe paradigma’s die zijn aangepast aan de complexiteit van ongestructureerde gegevens.

Deze transformatie zal elke aspect van de gegevensstack aanraken:

• Fundamentele databasesystemen
• Gegevenspijpleidingen en ETL-processen
• Gegevensreinigings- en transformatiemechanismen
• Beveiligings- en encryptieprotocollen
• Nalevings- en governancekaders
• Gegevensobservatiesystemen

We praten niet alleen over het upgraden van bestaande systemen – we praten over het bouwen van compleet nieuwe paradigma’s. Het is alsof we van een wereld verhuizen die is geoptimaliseerd voor het organiseren van boeken in een bibliotheek naar een wereld die moet omgaan met, begrijpen en verwerken van de hele internet. Deze verschuiving vertegenwoordigt een totaal nieuwe wereld, waar elke component van de gegevensinfrastructuur opnieuw kan worden bedacht vanaf het begin.

Deze revolutie zal bepalen hoe we gegevens opslaan, beheren en verwerken, en zal enorme kansen openen voor AI-innovatie.

Hoe heeft de integratie van NVIDIA GPU’s de prestaties en schaalbaarheid van uw vector zoekopdracht beïnvloed?

De integratie van NVIDIA GPU’s heeft de prestaties van onze vector zoekopdracht aanzienlijk verbeterd op twee belangrijke gebieden.

Ten eerste, bij indexopbouw, wat een van de meest compute-intensieve bewerkingen in vector databases is. In vergelijking met traditionele database-indexering vereist vectorindexconstructie meerdere orders van magnitude meer rekenkracht. Door GPU-versnelling te gebruiken, hebben we de indexopbouwtijd aanzienlijk verlaagd, waardoor snellere gegevensinname en verbeterde gegevenszichtbaarheid mogelijk werden.

Ten tweede, zijn GPU’s cruciaal gebleken voor high-throughput query-use cases. In toepassingen zoals e-commerce, waar systemen duizenden of zelfs tienduizenden queries per seconde (QPS) moeten verwerken, hebben GPU’s parallelle verwerkingsmogelijkheden bewezen van onschatbare waarde. Door GPU-versnelling te gebruiken, kunnen we deze high-volume vectorovereenkomstzoekopdrachten efficiënt verwerken terwijl we lage latentie behouden.

Sinds 2021 werken we samen met NVIDIA (NVDA ) om onze algoritmes te optimaliseren voor GPU-architectuur, terwijl we ons systeem ontwikkelen om heterogene computing over verschillende processorarchitecturen te ondersteunen. Dit geeft onze klanten de flexibiliteit om de meest geschikte hardware-infrastructuur voor hun specifieke behoeften te kiezen.

Als vector databases een kritieke rol spelen in AI, ziet u hun toepassing zich uitbreiden buiten traditionele use cases zoals aanbevelingssystemen en zoekopdrachten naar industrieën zoals de gezondheidszorg?

Vector databases breiden zich snel uit buiten traditionele toepassingen zoals aanbevelingssystemen en zoekopdrachten, en dringen door in industrieën die we nooit eerder hebben overwogen. Laat me enkele voorbeelden delen.

In de gezondheidszorg en farmaceutisch onderzoek revolutioneren vector databases de ontdekking van geneesmiddelen. Moleculen kunnen worden gevectoriseerd op basis van hun functionele eigenschappen, en met geavanceerde functies zoals range search, kunnen onderzoekers alle potentiële geneesmiddelkandidaten identificeren die specifieke ziekten of symptomen kunnen behandelen. In tegenstelling tot traditionele top-k zoekopdrachten, identificeert range search alle moleculen binnen een bepaalde afstand van het doel, waardoor een uitgebreid overzicht van potentiële kandidaten wordt geboden.

In autonome rijden verbeteren vector databases de veiligheid en prestaties van voertuigen. Een interessante toepassing is het omgaan met randgevallen – wanneer ongebruikelijke scenario’s worden gegenereerd, kan het systeem snel zoeken in enorme databases van soortgelijke situaties om relevante trainingsgegevens voor het fine-tunen van de autonome rijmodellen te vinden.

We zien ook innovatieve toepassingen in financiële diensten voor fraude detectie, cybersecurity voor bedreigingsdetectie en gerichte advertenties voor verbeterde klantbetrokkenheid. In de banksector kunnen transacties bijvoorbeeld worden gevectoriseerd en vergeleken met historische patronen om potentiële fraudeuze activiteiten te identificeren.

De kracht van vector databases ligt in hun vermogen om overeenkomst en patronen in elke domein te begrijpen en te verwerken – of het nu gaat om moleculaire structuren, rijscenarios, financiële patronen of beveiligingsbedreigingen. Naarmate AI blijft evolueren, krabben we alleen maar aan de oppervlakte van wat mogelijk is. Het vermogen om grote hoeveelheden ongestructureerde gegevens efficiënt te verwerken en patronen te vinden, opent mogelijkheden die we nog maar pas beginnen te verkennen.

Hoe kunnen ontwikkelaars en ondernemingen het best met Zilliz en Milvus omgaan om vector database technologie in hun AI-projecten te benutten?

Er zijn twee hoofdpaden om vector database technologie met Zilliz en Milvus te benutten, elk geschikt voor verschillende behoeften en prioriteiten. Als u flexibiliteit en aanpasbaarheid waardeert, is Milvus, onze open-source oplossing, uw beste keuze. Met Milvus kunt u:

• Vrij experimenteren en de technologie op uw eigen tempo leren
• De oplossing aanpassen aan uw specifieke vereisten
• Deelnemen aan de ontwikkeling en de codebase wijzigen
• Volledige controle over uw infrastructuur behouden

Echter, als u zich wilt concentreren op het bouwen van uw toepassing zonder infrastructuurbeheer, is Zilliz Cloud de optimale keuze. Het biedt:

• Een out-of-the-box oplossing met één klik deploy
• Ondernemingsklasse beveiliging en naleving
• Hoge beschikbaarheid en stabiliteit
• Geoptimaliseerde prestaties zonder operationele overhead

Denk eraan: als u van ‘knutselen’ houdt en maximale flexibiliteit wilt, kies dan voor Milvus. Als u operationele complexiteit wilt minimaliseren en direct aan het bouwen van uw toepassing wilt beginnen, kies dan voor Zilliz Cloud.

Beide paden zullen u naar uw bestemming brengen – het is alleen een kwestie van hoeveel van de reis u wilt controleren versus hoe snel u wilt aankomen

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Zilliz of Milvus bezoeken.