Charles Xie, grunnlegger og CEO av Zilliz – Intervju-serie

Charles Xie er grunnlegger og CEO av Zilliz, som fokuserer på å bygge neste generasjons databaser og søketechnologier for AI og LLMs-applikasjoner. Hos Zilliz har han også oppfunnet Milvus, verdens mest populære åpne kildekodede vektordatabase for produksjonsklar AI. Han er for tiden medlem av LF AI & Data Foundation og tjenestegjorde som styreleder i 2020 og 2021. Charles arbeidet tidligere hos Oracle som grunnleggende ingeniør på Oracle 12c cloud database-prosjektet. Charles har en mastergrad i datavitenskap fra University of Wisconsin-Madison.

Zilliz er laget bak LF AI Milvus®, en vidt brukt åpen kildekodede vektordatabase. Selskapet fokuserer på å forenkle datainfrastrukturhåndtering, med mål om å gjøre AI mer tilgjengelig for bedrifter, organisasjoner og enkelpersoner.

Kan du dele historien bak grunnleggingen av Zilliz og hva som inspirerte deg til å utvikle Milvus og fokusere på vektordatabaser?

Min reise i databasefeltet spenner over 15 år, inkludert seks år som programvareingeniør hos Oracle, der jeg var en av grunnleggerne av Oracle 12c Multitenant Database-teamet. Under denne tiden la jeg merke til en nøkkelbegrensning: mens strukturert data var godt håndtert, forble unstrukturert data – som representerer 90% av all data – stort sett urørt, med bare 1% analysert meningsfullt.

I 2017 markerte den økende evnen til AI å prosessere unstrukturert data en vendingpunkt. Fremgang i NLP viste hvordan unstrukturert data kunne omformes til vektorembeddinger, og låse opp deres semantiske mening. Dette inspirerte meg til å grunnlegge Zilliz, med en visjon om å håndtere “milliarder av data”. Vektorembeddinger ble hjørnestenen for å brygge gapet mellom unstrukturert data og håndterbare innsikter. Vi utviklet Milvus som en formål-bygget vektordatabase for å bringe denne visjonen til live.

Over de siste to årene har industrien validert denne tilnærmingen, og anerkjent vektordatabaser som grunnleggende for å håndtere unstrukturert data. For oss handler det om mer enn teknologi – det handler om å gi menneskeheten mulighet til å utnytte potensialet i unstrukturert data i AI-æraen.

Hvordan har reisen til Zilliz utviklet seg siden starten for seks år siden, og hva var de største utfordringene du møtte mens du baneveien for vektordatabasefeltet?

Reisen har vært transformerende. Da vi startet Zilliz for syv år siden, var den virkelige utfordringen ikke finansiering eller rekruttering – det var å bygge et produkt i helt ukjent territorium. Med ingen eksisterende veikart, beste praksis eller etablerte brukerforventninger, måtte vi tegne vår egen kurs.

Gjennombruddet vårt kom med åpne kilden til Milvus. Ved å senke barrierer for adopsjon og fremme samfunnsengasjement, fikk vi uvurderlig brukerfeedback for å iterere og forbedre produktet. Da Milvus lanserte i 2019, hadde vi rundt 30 brukere ved årsskiftet. Dette økte til over 200 i 2020 og nesten 1 000 like etter.

I dag har vektordatabaser skiftet fra en nyttig konsept til essensiell infrastruktur i AI-æraen, og validerer visjonen vi startet med.

Som et vektordatabaseselskap, hva unike tekniske evner tilbyr Zilliz for å støtte multimodal vektorsøk i moderne AI-applikasjoner?

Zilliz har utviklet avanserte tekniske evner for å støtte multimodal vektorsøk:

1. Hybrid Søk: Vi muliggjør samtidig søk over forskjellige modaliteter, som å kombinere et bilde sitt visuelle egenskaper med dens tekstbeskrivelse.
2. Optimerte Algoritmer: Proprietære kvantiseringsteknikker balanserer tilbakekallingsnøyaktighet og minnehåndteringseffektivitet for kryssmodale søk.
3. Sanntid og Offline-behandling: Vår dobbeltsporssystem støtter lavforsinknings sanntidsskriving og høyt gjennomstrømnings offline-import, og sikrer datafriskhet.
4. Kosteffektivitet: Våre utvidede kapasitetsinstanser utnytter intelligent Lagert lagring for å redusere lagringskostnader betydelig samtidig som de opprettholder høy ytelse.
5. Integrerte AI-modeller: Ved å integrere multimodal embedding og rangeringsmodeller, har vi senket barrieren for å implementere komplekse søkeapplikasjoner.

Disse evnene lar utviklere håndtere forskjellige datatyper effektivt, og gjør moderne AI-applikasjoner mer robuste og fleksible.

Hvordan ser du på Multimodal RAG utvikling av AI sin evne til å håndtere komplekse virkelige data som bilder, lyd og videoer sammen med tekst?

Multimodal RAG (Retrieval-Augmented Generation) representerer en avgjørende evolusjon i AI. Mens tekstbasert RAG har vært fremtredende, omfatter de fleste bedriftsdata bilder, videoer og lyd. Evnen til å integrere disse forskjellige formatene i AI-arbeidsflyter er kritisk.

Denne skiftet er aktuelt, ettersom AI-samfunnet diskuterer grensene for tilgjengelig internettekstdata for trening. Mens tekstdata er endelig, forblir multimodal data stort sett urørt – fra bedriftsvideoer til Hollywood-filmer og lydopptak.

Multimodal RAG låser opp denne utilgjorte reservoiren, og muliggjør AI-systemer å prosessere og utnytte disse rike datatypene. Det handler ikke bare om å løse dataknapphet – det handler om å utvide grensene for AI sin evne til å forstå og samhandle med den virkelige verden.

Hvordan skiller Zilliz seg fra konkurrenter i det raskt voksende vektordatabase-markedet?

Zilliz skiller seg ut gjennom flere unike aspekter:

1. Dobbelt Identitet: Vi er både et AI-selskap og et database-selskap, og driver grensene for datahåndtering og AI-integrasjon.
2. Cloud-Nativ Design: Milvus 2.0 var den første distribuerte vektordatabase som tok i bruk en desaggregeret lagring og beregningsarkitektur, og muliggjorde skalerbarhet og kosteffektivitet for over 100 milliarder vektorer.
3. Proprietære Forbedringer: Vår Cardinal-motor oppnår 3 ganger bedre ytelse enn åpen kildekodet Milvus og 10 ganger bedre enn konkurrenter. Vi tilbyr også diskbasert indeksering og intelligent Lagert lagring for kosteffektiv skalerbarhet.
4. Konstant Innovasjon: Fra hybrid søkefunksjoner til migreringverktøy som VTS, er vi konstant i ferd med å utvikle vektordatabase-teknologien.

Vår forpliktelse til åpen kilde sikrer fleksibilitet, mens vår managed tjeneste, Zilliz Cloud, leverer bedriftskvalitet med minimal operasjonell kompleksitet.

Kan du forklare betydningen av Zilliz Cloud og dens rolle i å demokratisere AI og gjøre vektorsøketjenester tilgjengelige for små utviklere og bedrifter?

Vektorsøk har vært brukt av teknologigigantene siden 2015, men proprietære implementeringer begrenset dens videre adopsjon. Hos Zilliz demokratiserer vi denne teknologien gjennom to komplementære tilnærminger:

1. Åpen Kilde: Milvus lar utviklere bygge og eie sin egen vektorsøkinfrastruktur, og senker tekniske barrierer.
2. Managed Tjeneste: Zilliz Cloud eliminerer operasjonell overhead, og tilbyr en enkel, kosteffektiv løsning for bedrifter å adoptere vektorsøk uten å kreve spesialiserte ingeniører.

Denne doble tilnærmingen gjør vektorsøk tilgjengelig for både utviklere og bedrifter, og lar dem fokusere på å bygge innovative AI-applikasjoner.

Hva tror du vil være den neste store skiftet i AI-datainfrastruktur med tanke på fremskritt i LLMs og grunnmodeller?

Den neste store skiftet vil være den totale transformasjonen av AI-datainfrastruktur for å håndtere unstrukturert data, som utgjør 90% av verdens data. Eksisterende systemer, designet for strukturert data, er dårlig egnet for denne skiftet.

Denne transformasjonen vil påvirke hver lag i datastakken, fra grunnleggende databasesystemer til sikkerhetsprotokoller og overvåkningssystemer. Det handler ikke om inkrementelle oppgraderinger – det handler om å skape nye paradigmer tilpasset kompleksiteten i unstrukturert data.

Denne transformasjonen vil berøre hver enkelt del av datastakken:

• Grunnleggende databasesystemer
• Data-pipelines og ETL-prosesser
• Data-rengjøring og transformasjonsmekanismer
• Sikkerhets- og krypteringsprotokoller
• Overholdelse- og styrerammer
• Data-overvåkningssystemer

Vi snakker ikke bare om å oppgradere eksisterende systemer – vi snakker om å bygge helt nye paradigmer. Det er som å flytte fra en verden optimalisert for å organisere bøker i en bibliotek til en som må håndtere, forstå og prosessere hele internettet. Denne skiftet representerer en helt ny verden, hvor hver komponent i datainfrastruktur må bli omtenkt fra bunnen av.

Denne revolusjonen vil omdefinere hvordan vi lagrer, håndterer og prosesserer data, og låse opp enorme muligheter for AI-innovasjon.

Hvordan har integreringen av NVIDIA-GPUer påvirket ytelsen og skalerbarheten til deres vektorsøk?

Integreringen av NVIDIA-GPUer har betydelig forbedret vektorsøkytelsen vår på to nøkkelområder.

Først og fremst i indeksbygging, som er en av de mest beregningsintensive operasjonene i vektordatabaser. I sammenligning med tradisjonell database-indeksbygging, krever vektor-indeksbygging flere størrelsesordener mer beregningskraft. Ved å utnytte GPU-accelerasjon, har vi dramatisk redusert indeksbyggingstiden, og muliggjort raskere datainnsug og forbedret data-synlighet.

For det andre har GPUer vært avgjørende for høyt gjennomstrømnings søkeanvendelser. I applikasjoner som e-handel, hvor systemer må håndtere tusener eller til og med titusener av søk per sekund (QPS), har GPUens parallellprosesseringskapasitet vært uvurderlig. Ved å utnytte GPU-accelerasjon, kan vi effektivt prosessere disse høyt volum vektorsøk samtidig som vi opprettholder lav forsinkning.

Siden 2021 har vi samarbeidet med NVIDIA for å optimere våre algoritmer for GPU-arkitektur, og utviklet vårt system for å støtte heterogen beregning over forskjellige prosessorarkitekturer. Dette gir våre kunder fleksibiliteten til å velge den mest passende maskininfrastrukturen for deres spesifikke behov.

Da vektordatabaser spiller en kritisk rolle i AI, ser du på deres anvendelse utvidet utenfor tradisjonelle anvendelser som anbefalingsystemer og søk til industrier som helsevesenet?

Vektordatabaser utvider raskt utenfor tradisjonelle anvendelser som anbefalingsystemer og søk, og penetrerer industrier vi aldri før hadde tenkt på. La meg dele noen eksempler.

I helsevesen og farmasøytisk forskning revolusjonerer vektordatabaser legemiddelforskning. Molekyler kan vektoriseres basert på deres funksjonelle egenskaper, og ved å bruke avanserte funksjoner som range-søk, kan forskere oppdage alle potensielle legemiddelkandidater som kan behandle bestemte sykdommer eller symptomer. I motsetning til tradisjonelle top-k søk, identifiserer range-søk alle molekyler innen en bestemt avstand fra målet, og gir en omfattende oversikt over potensielle kandidater.

I autonom kjøring forbedrer vektordatabaser kjøretøysikkerhet og -ytelse. En interessant anvendelse er i håndtering av kanttilfeller – når uvanlige scenarioer oppstår, kan systemet raskt søke gjennom massive databaser med lignende situasjoner for å finne relevante treningdata for finjustering av autonome kjøremodeller.

Vi ser også innovative anvendelser i finansielle tjenester for svindelforebygging, cybersecurity for trusseldeteksjon og målrettet annonsering for bedre kundeengasjement. For eksempel i bank, kan transaksjoner vektoriseres og sammenlignes med historiske mønster for å identifisere potensielle svindelaktiviteter.

Kraften i vektordatabaser ligger i deres evne til å forstå og prosessere likhet i enhver domene – enten det er molekylstrukturer, kjørescenarioer, finansielle mønster eller sikkerhetstrusler. Ettersom AI fortsetter å utvikle seg, skraper vi bare overflaten av hva som er mulig. Evnen til å effektivt prosessere og finne mønster i enorme mengder unstrukturert data åpner opp muligheter vi bare begynner å utforske.

Hvordan kan utviklere og bedrifter best engasjere seg med Zilliz og Milvus for å utnytte vektordatabase-teknologien i sine AI-prosjekter?

Det finnes to hovedveier for å utnytte vektordatabase-teknologien med Zilliz og Milvus, hver tilpasset forskjellige behov og prioriteringer. Hvis du setter pris på fleksibilitet og tilpasning, er Milvus, vår åpne kildekodeløsning, ditt beste valg. Med Milvus kan du:

• Eksperimentere fritt og lære teknologien i ditt eget tempo
• Tilpasse løsningen til dine spesifikke krav
• Bidra til utvikling og modifisere kildekoden
• Opprettholde full kontroll over din infrastruktur

Men hvis du ønsker å fokusere på å bygge din applikasjon uten å håndtere infrastruktur, er Zilliz Cloud det optimale valget. Det tilbyr:

• En ferdig løsning med enkeltklikk-deployering
• Bedriftskvalitetssikkerhet og overholdelse
• Høy tilgjengelighet og stabilitet
• Optimert ytelse uten operasjonell kompleksitet

Tenk på det slik: hvis du liker å “tusle” og ønsker maksimal fleksibilitet, gå med Milvus. Hvis du ønsker å minimere operasjonell kompleksitet og komme i gang med å bygge din applikasjon, velg Zilliz Cloud.

Begge veier vil bringe deg til ditt mål – det handler bare om hvor mye av reisen du ønsker å kontrollere versus hvor raskt du må ankomme

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Zilliz eller Milvus.