Charles Xie, grunnlegger og CEO av Zilliz – Intervju-serie

Charles Xie er grunnlegger og CEO av Zilliz, som fokuserer på å bygge neste generasjons databaser og søketeknologier for AI- og LLM-applikasjoner. Hos Zilliz har han også oppfunnet Milvus, verdens mest populære åpne kildekodede vektor-database for produksjonsklare AI. Han er for tiden medlem av styret i LF AI & Data Foundation og var styreleder i 2020 og 2021. Charles arbeidet tidligere i Oracle (ORCL ) som en av grunnleggerne av Oracle 12c cloud database-prosjektet. Charles har en mastergrad i datavitenskap fra University of Wisconsin-Madison.

Zilliz er teamet bak LF AI Milvus®, en vidt brukt åpen kildekodede vektor-database. Selskapet fokuserer på å forenkle data-infrastruktur-håndtering, med mål om å gjøre AI mer tilgjengelig for bedrifter, organisasjoner og enkeltpersoner.

Kan du dele historien bak grunnleggelsen av Zilliz og hva som inspirerte deg til å utvikle Milvus og fokusere på vektor-databaser?

Min reise i database-feltet spenner over 15 år, inkludert seks år som programvare-ingeniør i Oracle, der jeg var en av grunnleggerne av Oracle 12c Multitenant Database-teamet. Under denne tiden la jeg merke til en nøkkelbegrensning: mens strukturert data var godt håndtert, forblev ustukturert data – som utgjør 90% av all data – stort sett uutnyttet, med bare 1% analyser som gir mening.

I 2017 markerte den økende evnen til AI å prosessere ustukturert data en vendepunkt. Fremgang i NLP viste hvordan ustukturert data kunne omformes til vektor-embeddings, og låse opp deres semantiske mening. Dette inspirerte meg til å grunnlegge Zilliz, med en visjon om å håndtere “zillioner av data”. Vektor-embeddings ble hjørnestenen for å brygge gapet mellom ustukturert data og håndterbare innsikter. Vi utviklet Milvus som en formål-bygget vektor-database for å bringe denne visjonen til live.

Over de siste to årene har industrien validert denne tilnærmingen, og anerkjent vektor-databaser som grunnleggende for å håndtere ustukturert data. For oss handler det om mer enn teknologi – det handler om å gi menneskeheten mulighet til å utnytte potensialet i ustukturert data i AI-æraen.

Hvordan har reisen til Zilliz utviklet seg siden grunnleggelsen for seks år siden, og hva var de viktigste utfordringene du møtte mens du baneveien for vektor-database-markedet?

Reisen har vært transformasjonell. Da vi startet Zilliz for syv år siden, var den virkelige utfordringen ikke finansiering eller rekruttering – det var å bygge et produkt i helt ukjent territorium. Uten eksisterende vegkart, beste praksis eller etablerte brukerforventninger, måtte vi tegne vår egen kurs.

Vårt gjennombrudd kom med åpne kilden til Milvus. Ved å senke barrierer for adopsjon og fremme samfunnsengasjement, fikk vi uvurderlige bruker-tilbakemeldinger for å iterere og forbedre produktet. Da Milvus lanserte i 2019, hadde vi rundt 30 brukere ved årets slutten. Dette økte til over 200 i 2020 og nesten 1 000 like etter.

I dag har vektor-databaser skiftet fra en ny konsept til essensiell infrastruktur i AI-æraen, og validerer visjonen vi startet med.

Som en vektor-database-selskap, hva unike tekniske evner tilbyr Zilliz for å støtte multimodal vektor-søk i moderne AI-applikasjoner?

Zilliz har utviklet avanserte tekniske evner for å støtte multimodal vektor-søk:

1. Hybrid-søk: Vi muliggjør samtidig søk over forskjellige modaliteter, som å kombinere et bilde sitt visuelle egenskaper med dens tekst-beskrivelse.
2. Optimerte algoritmer: Proprietære kvantiseringsteknikker balanserer tilbakekallingsnøyaktighet og minnehåndteringseffektivitet for kryss-modale søk.
3. Sanntids- og offline-behandling: Vår dobbeltspor-system støtter lav-forsinkelse sanntids-skriving og høy-gjennomstrømming offline-import, og sikrer data-freshness.
4. Kostnadseffektivitet: Våre utvidede kapasitets-eksemplarer utnytter intelligent lagert lagring for å redusere lagringskostnader betydelig samtidig som de opprettholder høy ytelse.
5. Integrerte AI-modeller: Ved å integrere multimodal embedding og rangering-modeller, har vi senket barrieren for å implementere komplekse søke-applikasjoner.

Disse evnene lar utviklere håndtere diverse data-typer effektivt, og gjør moderne AI-applikasjoner mer robuste og fleksible.

Hvordan ser du på Multimodal RAGs fremtidige utvikling av AI sin evne til å håndtere komplekse, virkelige data som bilder, lyd og videoer samt tekst?

Multimodal RAG (Retrieval-Augmented Generation) representerer en avgjørende evolusjon i AI. Mens tekst-basert RAG har vært fremtredende, omfatter de fleste bedrifts-data bilder, videoer og lyd. Evnen til å integrere disse forskjellige formatene i AI-arbeidsflyter er kritisk.

Dette skiftet er aktuelt, ettersom AI-samfunnet debatterer grensene for tilgjengelig internet-tekst-data for trening. Mens tekst-data er endelig, forblir multimodal data stort sett uutnyttet – fra bedrifts-videoer til Hollywood-filmer og lydopptak.

Multimodal RAG låser opp denne uutnyttede reservoir, og muliggjør at AI-systemer kan prosessere og utnytte disse rike data-typene. Det handler ikke bare om å løse data-mangel – det handler om å utvide grensene for AI sin evne til å forstå og samhandle med den virkelige verden.

Hvordan skiller Zilliz seg fra konkurrenter i det raskt voksende vektor-database-markedet?

Zilliz skiller seg ut gjennom flere unike aspekter:

1. Dobbelt identitet: Vi er både et AI-selskap og et database-selskap, og driver grensene for data-håndtering og AI-integrasjon.
2. Cloud-nativ design: Milvus 2.0 var den første distribuerte vektor-database som tok i bruk en desaggregeret lagring og beregnings-arkitektur, og muliggjorde skalerbarhet og kostnadseffektivitet for over 100 milliarder vektorer.
3. Proprietære forbedringer: Vår Cardinal-motor oppnår 3 ganger bedre ytelse enn åpen kildekodet Milvus og 10 ganger bedre enn konkurrenter. Vi tilbyr også disk-basert indeksering og intelligent lagert lagring for kostnadseffektiv skalerbarhet.
4. Kontinuerlig innovasjon: Fra hybrid-søkefunksjoner til migrering-verktøy som VTS, er vi konstant i ferd med å utvikle vektor-database-teknologi.

Vår forpliktelse til åpen kildekode sikrer fleksibilitet, mens vår managed-tjeneste, Zilliz Cloud, leverer bedrifts-gradert ytelse med minimal operasjonell kompleksitet.

Kan du utdype på betydningen av Zilliz Cloud og dens rolle i å demokratisere AI og gjøre vektor-søke-tjenester tilgjengelige for små utviklere og bedrifter?

Vektor-søk har vært brukt av teknologigigantene siden 2015, men proprietære implementeringer begrenset dens videre adopsjon. Hos Zilliz demokratiserer vi denne teknologien gjennom to komplementære tilnærminger:

1. Åpen kilde: Milvus lar utviklere bygge og eie sin egen vektor-søke-infrastruktur, og senker tekniske barrierer.
2. Managed-tjeneste: Zilliz Cloud eliminerer operasjonell overhead, og tilbyr en enkel, kostnadseffektiv løsning for bedrifter å adoptere vektor-søk uten å kreve spesialiserte ingeniører.

Denne dobbelte tilnærmingen gjør vektor-søk tilgjengelig for både utviklere og bedrifter, og lar dem fokusere på å bygge innovative AI-applikasjoner.

Med fremgang i LLMs og grunnmodeller, hva tror du vil være den neste store skiftet i AI-data-infrastruktur?

Det neste store skiftet vil være den totale transformasjonen av AI-data-infrastruktur for å håndtere ustukturert data, som utgjør 90% av verdens data. Eksisterende systemer, designet for strukturert data, er dårlig egnet for dette skiftet.

Dette skiftet vil påvirke hver lag av data-staken, fra grunnleggende databasesystemer til sikkerhetsprotokoller og overvåkningssystemer. Det handler ikke om inkrementelle oppgraderinger – det handler om å skape nye paradigmer tilpasset kompleksiteten i ustukturert data.

Dette skiftet vil påvirke hver aspekt av data-staken:

• Grunnleggende database-systemer
• Data-pipelines og ETL-prosesser
• Data-rengjøring og transformasjons-mekanismer
• Sikkerhets- og krypterings-protokoller
• Overholdelse- og styrings-rammer
• Data-overvåkningssystemer

Vi snakker ikke bare om å oppgradere eksisterende systemer – vi snakker om å bygge helt nye paradigmer. Det er som å flytte fra en verden som er optimalisert for å organisere bøker i en bibliotek til en verden som må håndtere, forstå og prosessere hele internettet. Dette skiftet representerer en helt ny verden, hvor hver komponent av data-infrastruktur må være omskapt fra bunnen av.

Dette revolusjonen vil omdefinere hvordan vi lagrer, håndterer og prosesserer data, og låser opp enorme muligheter for AI-innovasjon.

Hvordan har integreringen av NVIDIA (NVDA ) -GPUer påvirket ytelsen og skalerbarheten til din vektor-søke?

Integreringen av NVIDIA-GPUer har betydelig forbedret vår vektor-søke-ytelse på to nøkkel-områder.

Først, i indeks-bygging, som er en av de mest beregnings-intensivt operasjonene i vektor-databaser. I sammenligning med tradisjonell database-indeksbygging, krever vektor-indeksbygging flere størrelsesordener mer beregningskraft. Ved å utnytte GPU-accelerasjon, har vi dramatisk redusert indeks-byggingstid, og muliggjort raskere data-inngang og forbedret data-synlighet.

For det andre, har GPUer vært avgjørende for høy-gjennomstrømmings-forespørsler. I applikasjoner som e-handel, der systemer må håndtere tusener eller til og med titusener av forespørsler per sekund (QPS), har GPU sin parallell-prosesserings-evne vært uvurderlig. Ved å utnytte GPU-accelerasjon, kan vi effektivt prosessere disse høy-volum vektor-lignende søk samtidig som vi opprettholder lav forsinkelse.

Siden 2021 har vi samarbeidet med NVIDIA for å optimere våre algoritmer for GPU-arkitektur, og utviklet vårt system for å støtte heterogen beregning over forskjellige prosessor-arkitekturer. Dette gir våre kunder fleksibiliteten til å velge den mest passende hårdvaruinfrastuktur for deres spesifikke behov.

Ettersom vektor-databaser spiller en kritisk rolle i AI, ser du deres anvendelse utvide seg beyond tradisjonelle brukssaker som anbefalings-systemer og søk til industrier som helsevesenet?

Vektor-databaser utvider raskt beyond tradisjonelle applikasjoner som anbefalings-systemer og søk, og trenger inn i industrier vi aldri før hadde forestilt oss. La meg dele noen eksempler.

I helse- og farmasøytisk forskning revolusjonerer vektor-databaser legemiddel-oppdagelse. Molekyler kan være vektorisert basert på deres funksjonelle egenskaper, og ved å bruke avanserte funksjoner som områdesøk, kan forskere oppdage alle potensielle legemiddel-kandidater som kan behandle bestemte sykdommer eller symptomer. I motsetning til tradisjonelle top-k-søk, identifiserer områdesøk alle molekyler innen en bestemt avstand fra målet, og gir en omfattende oversikt over potensielle kandidater.

I autonom kjøring forbedrer vektor-databaser kjøretøys-sikkerhet og -ytelse. En interessant anvendelse er i håndtering av rand-tilfeller – når uvanlige scenarioer oppstår, kan systemet raskt søke gjennom massive databaser av lignende situasjoner for å finne relevante trening-data for finjustering av autonome kjøring-modeller.

Vi ser også innovative anvendelser i finansielle tjenester for svindel-avdekning, cyber-sikkerhet for trussel-avdekning og målrettet annonsering for forbedret kunde-engasjement. For eksempel, i bank, kan transaksjoner være vektorisert og sammenlignet med historiske mønster for å identifisere potensielle svindel-aktiviteter.

Kraften i vektor-databaser ligger i deres evne til å forstå og prosessere likhet i enhver domene – enten det er molekylær-strukturer, kjøresituasjoner, finansielle mønster eller sikkerhetstrusler. Ettersom AI fortsetter å utvikle seg, skraper vi bare overflaten av hva som er mulig. Evnen til å effektivt prosessere og finne mønster i enorme mengder ustukturert data åpner opp muligheter vi bare begynner å utforske.

Hvordan kan utviklere og bedrifter best engasjere seg med Zilliz og Milvus for å utnytte vektor-database-teknologi i sine AI-prosjekter?

Det finnes to hoved-veier for å utnytte vektor-database-teknologi med Zilliz og Milvus, hver tilpasset forskjellige behov og prioriteringer. Hvis du setter pris på fleksibilitet og tilpasning, er Milvus, vår åpne kildekodete løsning, ditt beste valg. Med Milvus kan du:

• Eksperimentere fritt og lære teknologien i ditt eget tempo
• Tilpasse løsningen til dine spesifikke krav
• Bidra til utviklingen og modifisere kildekoden
• Opprettholde full kontroll over din infrastruktur

Men hvis du ønsker å fokusere på å bygge din applikasjon uten å håndtere infrastruktur, er Zilliz Cloud det optimale valget. Det tilbyr:

• En ferdig løsning med en-klikk-utbredelse
• Bedrifts-gradert sikkerhet og overholdelse
• Høy tilgjengelighet og stabilitet
• Optimert ytelse uten operasjonell overhead

Tenk på det slik: hvis du liker å “tusle” og ønsker maksimal fleksibilitet, gå med Milvus. Hvis du ønsker å minimere operasjonell kompleksitet og komme i gang med å bygge din applikasjon, velg Zilliz Cloud.

Begge veier vil bringe deg til ditt mål – det handler bare om hvor mye av reisen du ønsker å kontrollere versus hvor raskt du må ankomme

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Zilliz eller Milvus.