Charles Xie, grundlægger og administrerende direktør for Zilliz – Intervieuserie

Charles Xie er grundlægger og administrerende direktør for Zilliz, der fokuserer på at opbygge næste generations databaser og søgeteknologier til AI- og LLM-anvendelser. Hos Zilliz har han også opfundet Milvus, verdens mest populære open-source vektor database til produktionsklar AI. Han er i øjeblikket bestyrelsesmedlem i LF AI & Data Foundation og fungerede som formand for bestyrelsen i 2020 og 2021. Charles arbejdede tidligere hos Oracle (ORCL ) som grundlæggende ingeniør på Oracle 12c cloud database-projektet. Charles har en mastergrad i datalogi fra University of Wisconsin-Madison.

Zilliz er det team, der står bag LF AI Milvus®, en bredt anvendt open-source vektor database. Virksomheden fokuserer på at simplificere datainfrastrukturledelse med det formål at gøre AI mere tilgængelig for virksomheder, organisationer og enkeltpersoner.

Kan du dele historien bag grundlæggelsen af Zilliz og hvad der inspirerede dig til at udvikle Milvus og fokusere på vektor databaser?

Min rejse i databasefeltet strækker sig over 15 år, herunder seks år som softwareingeniør hos Oracle, hvor jeg var medlem af Oracle 12c Multitenant Database-teamet. Under denne tid lagde jeg mærke til en nøglebegrænsning: mens struktureret data var godt styret, forblev ustruktureret data – der udgør 90% af alle data – stort set urørt, med kun 1% analyseret meningsfuldt.

I 2017 markerede den voksende evne af AI til at behandle ustruktureret data en vendepunkt. Fremgang i NLP viste, hvordan ustruktureret data kunne omdannes til vektorindlejninger, og låse dets semantiske betydning op. Dette inspirerede mig til at grundlægge Zilliz med en vision om at styre “zillioner af data”. Vektorindlejninger blev hjørnestenen for at brobygge mellem ustruktureret data og handlingsorienterede indsigt. Vi udviklede Milvus som en formål-bygget vektor database for at bringe denne vision til live.

Over de seneste to år har branchen valideret denne tilgang, idet vektor databaser anerkendes som grundlæggende for at styre ustruktureret data. For os handler det om mere end teknologi – det handler om at udvikle menneskeheden til at udnytte potentialet i ustruktureret data i AI-æraen.

Hvordan har Zilliz’ rejse udviklet sig siden dens grundlæggelse for seks år siden, og hvilke nøgleudfordringer mødte du, da du banevejede vektor databaseområdet?

Rejsen har været transformerende. Da vi startede Zilliz for syv år siden, var den største udfordring ikke finansiering eller rekruttering – det var at bygge et produkt i helt ukendt territorium. Med ingen eksisterende vejvisere, bedste praksis eller etablerede brugerforventninger måtte vi tegne vores egen kurs.

Vores gennembrud kom med open-sourcing af Milvus. Ved at reducere barrierer for adoption og fremme fællesskabsengagement fik vi uvurderlige brugerfeedback til at iterere og forbedre produktet. Da Milvus blev lanceret i 2019, havde vi omkring 30 brugere ved årets slutning. Dette voksede til over 200 i 2020 og næsten 1.000 kort efter.

I dag er vektor databaser skiftet fra en ny tanke til essentiel infrastruktur i AI-æraen, og validerer den vision, vi startede med.

Som en vektor databasevirksomhed, hvilke unikke tekniske evner tilbyder Zilliz til at understøtte multimodal vektor søgning i moderne AI-anvendelser?

Zilliz har udviklet avancerede tekniske evner til at understøtte multimodal vektor søgning:

1. Hybrid Søgning: Vi muliggør samtidig søgning på tværs af forskellige modaliteter, såsom kombination af et billede’s visuelle funktioner med dets tekstbeskrivelse.
2. Optimerede Algoritmer: Vores proprietære kvantificeringsteknikker balancerer recall-nøjagtighed og hukommelseseffektivitet for cross-modal søgninger.
3. Real-Time og Offline Behandling: Vores dual-track system understøtter lav-forsinket real-time skriveri og høj-gennemstrømning offline-import, hvilket sikrer datafriskhed.
4. Omstillingsdygtighed: Vores Extended Capacity-forekomster udnytter intelligent Lagret Lager til at reducere lagringsomkostninger betydeligt, samtidig med at de opretholder høj ydeevne.
5. Indbyggede AI-Modeller: Ved at integrere multimodal indlejring og rangordningsmodeller har vi reduceret barriererne for at implementere komplekse søgeanvendelser.

Disse evner giver udviklere mulighed for at effektivt håndtere forskellige data typer, hvilket gør moderne AI-anvendelser mere robuste og fleksible.

Hvordan ser du Multimodal RAG udvikle sig til at forbedre AI’s evne til at håndtere komplekse virkelige data som billeder, lyd og videoer sammen med tekst?

Multimodal RAG (Retrieval-Augmented Generation) repræsenterer en afgørende evolution i AI. Mens tekstbaseret RAG har været fremherskende, omfatter de fleste virksomhedsdata billeder, videoer og lyd. Evnen til at integrere disse forskellige formater i AI-arbejdsgange er kritisk.

Dette skift er rettidigt, da AI-fællesskabet debatterer begrænsningerne af tilgængelig internettekstdata til træning. Mens tekstdata er endelig, forbliver multimodal data stort set urørt – fra virksomhedsvideoer til Hollywood-film og lydoptagelser.

Multimodal RAG låser denne utilgangede reservoir op, hvilket giver AI-systemer mulighed for at behandle og udnytte disse rige data typer. Det handler ikke kun om at løse dataknaphed – det handler om at udvide grænserne for AI’s evne til bedre at forstå og interagere med den virkelige verden.

Hvordan adskiller Zilliz sig fra konkurrenter i det hurtigt voksende vektor database marked?

Zilliz adskiller sig gennem flere unikke aspekter:

1. Dobbelt Identitet: Vi er både en AI-virksomhed og en databasevirksomhed, der skyder grænserne for datastyring og AI-integration.
2. Cloud-Nativ Design: Milvus 2.0 var den første distribuerede vektor database, der antog en adskilt lagring og beregningsarkitektur, hvilket muliggjorde skalerbarhed og omkostningseffektivitet for over 100 milliarder vektorer.
3. Proprietære Forbedringer: Vores Cardinal-motor opnår 3 gange bedre ydeevne end open-source Milvus og 10 gange bedre end konkurrenter. Vi tilbyder også diskbaseret indeksering og intelligent Lagret Lager til kosteffektiv skalerbarhed.
4. Kontinuerlig Innovation: Fra hybrid søgefunktioner til migrationsværktøjer som VTS, er vi konstant i gang med at udvikle vektor database-teknologi.

Vores engagement i open source sikrer fleksibilitet, mens vores managed service, Zilliz Cloud, leverer enterprise-klar ydeevne med minimalt operativt kompleksitet.

Kan du uddybe betydningen af Zilliz Cloud og dens rolle i at demokratisere AI og gøre vektor søgetjenester tilgængelige for både små udviklere og virksomheder?

Vektor søgning har været anvendt af teknologigiganter siden 2015, men proprietære implementeringer begrænsede dets bredere adoption. Hos Zilliz demokratiserer vi denne teknologi gennem to komplementære tilgange:

1. Open Source: Milvus giver udviklere mulighed for at bygge og eje deres egen vektor søgeinfrastruktur, hvilket reducerer tekniske barrierer.
2. Managed Service: Zilliz Cloud eliminerer operativt overskud, og tilbyder en enkel, omkostningseffektiv løsning for virksomheder til at adoptere vektor søgning uden at kræve specialiserede ingeniører.

Denne dobbelte tilgang gør vektor søgning tilgængelig for både udviklere og virksomheder, og giver dem mulighed for at fokusere på at bygge innovative AI-anvendelser.

Hvad mener du, vil være det næste store skift i AI-datainfrastruktur med fremgangen i LLM’er og grundmodeller?

Det næste store skift vil være den totale transformation af AI-datainfrastruktur til at håndtere ustruktureret data, der udgør 90% af verdens data. Eksisterende systemer, designet til struktureret data, er ikke udstyret til dette skift.

Dette skift vil påvirke hvert lag af datastakken, fra grundlæggende databasesystemer til sikkerhedsprotokoller og overvågningsystemer. Det handler ikke om inkrementelle opgraderinger – det handler om at skabe nye paradigmer tilpasset kompleksiteten af ustruktureret data.

Dette skift vil påvirke hver enkelt del af datastakken:

• Grundlæggende databasesystemer
• Data-pipelines og ETL-processer
• Data-rengøring og transformationsmekanismer
• Sikkerheds- og krypteringsprotokoller
• Overholdelse og styre rammer
• Data-overvågningsystemer

Vi taler ikke kun om at opgradere eksisterende systemer – vi taler om at bygge helt nye paradigmer. Det er som at gå fra en verden, der er optimeret til at organisere bøger i en bibliotek, til en verden, der skal håndtere, forstå og behandle hele internettet. Dette skift repræsenterer en helt ny verden, hvor hver enkelt komponent af datainfrastruktur måske skal genopfindes fra bunden.

Dette revolution vil omdefinere, hvordan vi gemmer, styrer og behandler data, og låse enorme muligheder for AI-innovation op.

Hvordan har integrationen af NVIDIA GPU’er påvirket ydeevnen og skalerbarheden af jeres vektor søgning?

Integrationen af NVIDIA GPU’er har betydeligt forbedret vores vektor søgningsydeevne på to nøgleområder.

Først og fremmest i indeksbygning, der er en af de mest beregningsintensive operationer i vektor databaser. I forhold til traditionel database-indeksering kræver vektor-indekskonstruktion flere størrelsesordener mere beregningskraft. Ved at udnytte GPU-acceleration har vi dramatisk reduceret indeksbygningstiden, hvilket har muliggjort hurtigere dataindtagelse og forbedret dataindsigt.

For det andet har GPU’er været afgørende for høj-gennemstrømning søgeanvendelser. I anvendelser som e-handel, hvor systemer skal håndtere tusinder eller endda titusinder af søgninger per sekund (QPS), har GPU’ens parallele proceskraft været uvurderlig. Ved at udnytte GPU-acceleration kan vi effektivt behandle disse høj-volumen vektor-lignende søgninger, samtidig med at vi opretholder lav forsinkelse.

Siden 2021 har vi samarbejdet med NVIDIA (NVDA ) om at optimere vores algoritmer til GPU-arkitektur, samt udviklet vores system til at understøtte heterogen beregning på tværs af forskellige processorarkitekturer. Dette giver vores kunder mulighed for at vælge den mest egnede hardware-infrastruktur til deres specifikke behov.

Da vektor databaser spiller en kritisk rolle i AI, ser du deres anvendelse udvide sig ud over traditionelle anvendelser som anbefalingsystemer og søgning til brancher som sundhedssektoren?

Vektor databaser udvider sig hurtigt ud over traditionelle anvendelser som anbefalingsystemer og søgning, og trænger ind i brancher, vi aldrig før havde forestillet os. Lad mig dele nogle eksempler.

I sundheds- og farmaceutisk forskning revolutionerer vektor databaser lægemiddelforskning. Molekyler kan vectoriseres baseret på deres funktionelle egenskaber, og ved hjælp af avancerede funktioner som interval-søgning kan forskere opdage alle potentielle lægemiddelkandidater, der kan behandle bestemte sygdomme eller symptomer. I modsætning til traditionelle top-k-søgninger identificerer interval-søgning alle molekyler inden for en bestemt afstand fra målet, og giver en komplet oversigt over potentielle kandidater.

I selvstyrede køretøjer forbedrer vektor databaser køretøjsikkerheden og ydeevnen. En interessant anvendelse er håndtering af edge-cases – når usædvanlige scenarier mødes, kan systemet hurtigt søge gennem massive databaser af lignende situationer for at finde relevant træningsdata til finjustering af selvstyrede køretøjsmodeller.

Vi ser også innovative anvendelser i finansielle tjenester til svindelforespørgsler, cybersikkerhed til trusselsdetektion og målrettet reklame til forbedret kundeengagement. For eksempel i bankvæsen kan transaktioner vectoriseres og sammenlignes med historiske mønstre for at identificere potentielle svindelaktiviteter.

Kraften i vektor databaser ligger i deres evne til at forstå og behandle lignende mønstre i enhver domæne – enten det er molekylærstrukturer, køresituationer, finansielle mønstre eller sikkerhedstrusler. Da AI fortsætter med at udvikle sig, er vi kun lige begyndt at udforske, hvad der er muligt. Evnen til at effektivt behandle og finde mønstre i enorme mængder ustruktureret data åbner op for muligheder, vi kun lige er begyndt at udforske.

Hvordan kan udviklere og virksomheder bedst engagere sig med Zilliz og Milvus for at udnytte vektor database-teknologi i deres AI-projekter?

Der er to hovedveje til at udnytte vektor database-teknologi med Zilliz og Milvus, hver tilpasset forskellige behov og prioriteringer. Hvis du værdsætter fleksibilitet og tilpasning, er Milvus, vores open-source-løsning, dit bedste valg. Med Milvus kan du:

• Eksperimentere frit og lære teknologien i dit eget tempo
• Tilpasse løsningen til dine specifikke krav
• Bidrage til udviklingen og ændre kildekoden
• Opretholde fuld kontrol over din infrastruktur

Men hvis du ønsker at fokusere på at bygge din anvendelse uden at skulle styre infrastruktur, er Zilliz Cloud det optimale valg. Det tilbyder:

• En ud af boksen-løsning med enkeltklik-installation
• Enterprise-klar sikkerhed og overholdelse
• Høj tilgængelighed og stabilitet
• Optimeret ydeevne uden operativt overskud

Tænk på det sådan: Hvis du kan lide at “tømre” og ønsker maksimal fleksibilitet, gå med Milvus. Hvis du ønsker at minimere operativt kompleksitet og komme i gang med at bygge din anvendelse, vælg Zilliz Cloud.

Begge veje vil føre dig til dit destination – det er bare en sag om, hvor meget af rejsen du ønsker at kontrollere versus, hvor hurtigt du behøver at ankomme

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Zilliz eller Milvus.