Charles Xie, grundare och VD för Zilliz – Intervjuserie

Charles Xie är grundare och VD för Zilliz, som fokuserar på att bygga nästa generationsdatabaser och sökteknologier för AI- och LLM-tillämpningar. På Zilliz har han också uppfunnit Milvus, världens mest populära öppen källkodsvektordatabas för produktionsklar AI. Han är för närvarande styrelseledamot i LF AI & Data Foundation och tjänstgjorde som styrelsens ordförande 2020 och 2021. Charles arbetade tidigare på Oracle som grundande ingenjör för Oracle 12c-molndatabasprojektet. Charles har en masterexamen i datavetenskap från University of Wisconsin-Madison.

Zilliz är teamet bakom LF AI Milvus®, en väldigt använd öppen källkodsvektordatabas. Företaget fokuserar på att förenkla datainfrastrukturförvaltning, i syfte att göra AI mer tillgänglig för företag, organisationer och individer.

Kan du dela historien bakom grundandet av Zilliz och vad som inspirerade dig att utveckla Milvus och fokusera på vektordatabaser?

Min resa inom databasfältet spänner över 15 år, inklusive sex år som programvaruutvecklare på Oracle, där jag var en av grundarna av Oracle 12c Multitenant Database-teamet. Under denna tid märkte jag en viktig begränsning: medan strukturerad data hanterades väl, förblev ostrukturerad data – som representerar 90% av all data – outnyttjad, med endast 1% analyserad meningsfullt.

2017 markerade den växande förmågan hos AI att bearbeta ostrukturerad data en vändpunkt. Framsteg inom NLP visade hur ostrukturerad data kunde omvandlas till vektorembeddingar, vilket låste upp dess semantiska betydelse. Detta inspirerade mig att grunda Zilliz, med en vision att hantera “zillioner data”. Vektorembeddingar blev hörnstenen för att överbrygga gapet mellan ostrukturerad data och agerbara insikter. Vi utvecklade Milvus som en specialbyggd vektordatabas för att förverkliga denna vision.

Under de senaste två åren har branschen validerat denna tillvägagångssätt, erkänt vektordatabaser som grundläggande för hantering av ostrukturerad data. För oss handlar det om mer än teknik – det handlar om att ge mänskligheten möjlighet att utnyttja potentialen i ostrukturerad data i AI-eran.

Hur har Zilliz resa utvecklats sedan dess grundande för sex år sedan, och vilka nyckelutmaningar mötte du medan du banade väg för vektordatabasutrymmet?

Resan har varit transformerande. När vi startade Zilliz för sju år sedan var den verkliga utmaningen inte finansiering eller rekrytering – det var att bygga en produkt i helt outvecklat territorium. Med inga existerande kartor, bästa praxis eller etablerade användarförväntningar var vi tvungna att skapa vår egen kurs.

Vår genombrott kom med öppen källkods-Milvus. Genom att sänka hinder för antagande och främja samhällsengagemang fick vi ovärderlig användarfeedback för att iterera och förbättra produkten. När Milvus lanserades 2019 hade vi runt 30 användare vid årsslutet. Detta växte till över 200 år 2020 och nästan 1 000 strax därefter.

Idag har vektordatabaser skiftat från en ny koncept till essentiell infrastruktur i AI-eran, vilket validerar den vision vi startade med.

Som ett vektordatabasföretag, vilka unika tekniska förmågor erbjuder Zilliz för att stödja multimodal vektorsökning i moderna AI-tillämpningar?

Zilliz har utvecklat avancerade tekniska förmågor för att stödja multimodal vektorsökning:

1. Hybrid Search: Vi möjliggör samtidiga sökningar över olika modaliteter, såsom att kombinera en bilds visuella funktioner med dess textbeskrivning.
2. Optimerade algoritmer: Proprietära kvantiseringstekniker balanserar återkallningsnoggrannhet och minneseffektivitet för cross-modala sökningar.
3. Real-Time och Offline-bearbetning: Vår dubbel-spårsystem stöder låglatens realtids-skrivningar och höggenomströmnings offline-importer, vilket säkerställer datafräschhet.
4. Kostnadseffektivitet: Våra utökade kapacitetsinstanser utnyttjar intelligent nivålagring för att minska lagringskostnaderna avsevärt samtidigt som de upprätthåller hög prestanda.
5. Inbäddade AI-modeller: Genom att integrera multimodala inbäddnings- och rankningsmodeller har vi sänkt tröskeln för att implementera komplexa söktillämpningar.

Dessa förmågor tillåter utvecklare att effektivt hantera olika datatyper, vilket gör moderna AI-tillämpningar mer robusta och mångsidiga.

Hur ser du att Multimodal RAG främjar AI:s förmåga att hantera komplexa realvärldsdata som bilder, ljud och videor tillsammans med text?

Multimodal RAG (Retrieval-Augmented Generation) representerar en viktig evolution i AI. Medan textbaserad RAG har varit framträdande, omfattar de flesta företagsdata bilder, videor och ljud. Förmågan att integrera dessa olika format i AI-arbetsflöden är kritisk.

Denna skiftning är välkommen, eftersom AI-samhället debatterar gränserna för tillgänglig internettextdata för utbildning. Medan textdata är ändlig, förblir multimodal data outnyttjad – från företagsvideor till Hollywood-filmer och ljudinspelningar.

Multimodal RAG låser upp denna outnyttjade reservoir, vilket möjliggör för AI-system att bearbeta och utnyttja dessa rika datatyper. Det handlar inte bara om att hantera datascarcity – det handlar om att utöka gränserna för AI:s förmågor för att bättre förstå och interagera med den verkliga världen.

Hur skiljer sig Zilliz från konkurrenter på den snabbt växande vektordatabasmarknaden?

Zilliz skiljer sig genom flera unika aspekter:

1. Dubbel identitet: Vi är både ett AI-företag och ett databasföretag, som driver gränserna för datahantering och AI-integration.
2. Molnbaserad design: Milvus 2.0 var den första distribuerade vektordatabasen som antog en avskild lagrings- och beräkningsarkitektur, vilket möjliggjorde skalbarhet och kostnadseffektivitet för över 100 miljarder vektorer.
3. Proprietära förbättringar: Vår Cardinal-motor uppnår 3 gånger prestandan hos öppen källkods-Milvus och 10 gånger mer än konkurrenter. Vi erbjuder också diskbaserad indexering och intelligent nivålagring för kostnadseffektiv skalning.
4. Kontinuerlig innovation: Från hybrid-sökfunktioner till migreringsverktyg som VTS, är vi ständigt på väg att förbättra vektordatabasteknologi.

Vår åtagande till öppen källkod säkerställer flexibilitet, medan vår hanterade tjänst, Zilliz Cloud, levererar företagsklassad prestanda med minimal operativ komplexitet.

Kan du förklara betydelsen av Zilliz Cloud och dess roll i att demokratisera AI och göra vektorsökningstjänster tillgängliga för små utvecklare och företag?

Vektorsökning har använts av teknikjättar sedan 2015, men proprietära implementationer begränsade dess bredare antagande. På Zilliz demokratiserar vi denna teknik genom två kompletterande tillvägagångssätt:

1. Öppen källkod: Milvus tillåter utvecklare att bygga och äga sin egen vektorsökning-infrastruktur, vilket sänker tekniska hinder.
2. Hanterad tjänst: Zilliz Cloud eliminerar operativt överhuvud, erbjuder en enkel och kostnadseffektiv lösning för företag att anta vektorsökning utan att kräva specialiserade ingenjörer.

Denna dubbla tillvägagångssätt gör vektorsökning tillgänglig för både utvecklare och företag, vilket möjliggör för dem att fokusera på att bygga innovativa AI-tillämpningar.

Med framsteg inom LLM och grundmodeller, vad tror du kommer att vara den nästa stora skiftningen i AI-datainfrastruktur?

Den nästa stora skiftningen kommer att vara den totala omvandlingen av AI-datainfrastruktur för att hantera ostrukturerad data, som utgör 90% av världens data. Existerande system, designade för strukturerad data, är illa utrustade för denna skiftning.

Denna omvandling kommer att påverka varje lager i datastacken, från grundläggande databassystem till säkerhetsprotokoll och övervakningssystem. Det handlar inte om inkrementella uppgraderingar – det handlar om att skapa nya paradigm som är anpassade till komplexiteten i ostrukturerad data.

Denna omvandling kommer att påverka varje aspekt av datastacken:

• Grundläggande databassystem
• Data-pipelines och ETL-processer
• Data-rening och transformationsmekanismer
• Säkerhets- och krypteringsprotokoll
• Regelefterlevnad och styrelse-ramverk
• Data-övervakningssystem

Vi pratar inte bara om att uppgradera existerande system – vi pratar om att bygga helt nya paradigm. Det är som att flytta från en värld som är optimerad för att organisera böcker i ett bibliotek till en som behöver hantera, förstå och bearbeta hela internet. Denna skiftning representerar en totalt ny värld, där varje komponent i datainfrastruktur kan behöva omkonstrueras från grunden.

Denna revolution kommer att omdefiniera hur vi lagrar, hanterar och bearbetar data, vilket låser upp enorma möjligheter för AI-innovation.

Hur har integrationen av NVIDIA GPU:er påverkat prestandan och skalbarheten hos er vektorsökning?

Integrationen av NVIDIA GPU:er har avsevärt förbättrat vår vektorsökning-prestanda på två viktiga områden.

Först, i indexbyggnad, som är en av de mest beräkningsintensiva operationerna i vektordatabaser. Jämfört med traditionell databas-indexering kräver vektorindex-konstruktion flera storleksordningar mer beräkningskraft. Genom att utnyttja GPU-acceleration har vi dramatiskt minskat indexbyggnadstiden, vilket möjliggör snabbare datainmatning och förbättrad data-synlighet.

Sedan, har GPU:er varit avgörande för höggenomströmnings-frågefall. I tillämpningar som e-handel, där system behöver hantera tusentals eller till och med tiotusentals frågor per sekund (QPS), har GPU:ers parallellbearbetningsförmåga visat sig vara ovärderlig. Genom att utnyttja GPU-acceleration kan vi effektivt bearbeta dessa högvolyms-vektorsimilaritets-sökningar samtidigt som vi upprätthåller låg latens.

Sedan 2021 har vi samarbetat med NVIDIA för att optimera våra algoritmer för GPU-arkitektur, samtidigt som vi utvecklat vårt system för att stödja heterogen bearbetning över olika processorarkitekturer. Detta ger våra kunder flexibiliteten att välja den mest lämpliga maskinvaru-infrastrukturen för sina specifika behov.

Som vektordatabaser spelar en kritisk roll i AI, ser du deras tillämpning utvidgas bortom traditionella användningsfall som rekommendationssystem och sökning till branscher som hälsovård?

Vektordatabaser utvidgar snabbt bortom traditionella tillämpningar som rekommendationssystem och sökning, och tränger in i branscher som vi aldrig tidigare kunde föreställa oss. Låt mig dela några exempel.

I hälsovård och farmaceutisk forskning revolutionerar vektordatabaser läkemedelsupptäckt. Molekyler kan vektoriseras baserat på deras funktionella egenskaper, och med avancerade funktioner som intervall-sökning, kan forskare upptäcka alla potentiella läkemedelskandidater som kan behandla specifika sjukdomar eller symtom. Till skillnad från traditionella top-k-sökningar, identifierar intervall-sökning alla molekyler inom ett visst avstånd från målet, vilket ger en omfattande vy över potentiella kandidater.

I autonom körning förbättrar vektordatabaser fordonssäkerhet och prestanda. En intressant tillämpning är hantering av gränsfall – när ovanliga scenarier möts, kan systemet snabbt söka igenom enorma databaser av liknande situationer för att hitta relevant utbildningsdata för finjustering av de autonoma körningsmodellerna.

Vi ser också innovativa tillämpningar inom finansiella tjänster för bedrägeri-upptäckt, cybersäkerhet för hot-upptäckt och riktad annonsering för förbättrad kundengagemang. Till exempel, i bankväsendet, kan transaktioner vektoriseras och jämföras med historiska mönster för att identifiera potentiella bedrägeri-aktiviteter.

Kraften i vektordatabaser ligger i deras förmåga att förstå och bearbeta likhet i alla domäner – oavsett om det är molekylära strukturer, kör-scenarier, finansiella mönster eller säkerhets-hot. Medan AI fortsätter att utvecklas, skrapar vi bara på ytan av vad som är möjligt. Förmågan att effektivt bearbeta och hitta mönster i enorma mängder ostrukturerad data öppnar upp möjligheter som vi bara börjar utforska.

Hur kan utvecklare och företag på bästa sätt engagera sig med Zilliz och Milvus för att utnyttja vektordatabasteknologi i sina AI-projekt?

Det finns två huvudsakliga vägar för att utnyttja vektordatabasteknologi med Zilliz och Milvus, var och en lämplig för olika behov och prioriteringar. Om du värdesätter flexibilitet och anpassning, är Milvus, vår öppna källkods-lösning, ditt bästa val. Med Milvus kan du:

• Experimentera fritt och lära dig tekniken i din egen takt
• Anpassa lösningen till dina specifika krav
• Bidra till utvecklingen och modifiera källkoden
• Underhålla fullständig kontroll över din infrastruktur

Men, om du vill fokusera på att bygga din tillämpning utan att hantera infrastruktur, är Zilliz Cloud det optimala valet. Det erbjuder:

• En färdig lösning med en-klicks distribution
• Företagsklassad säkerhet och regelefterlevnad
• Hög tillgänglighet och stabilitet
• Optimerad prestanda utan operativ komplexitet

Tänk på det så här: om du gillar att “mecka” och vill ha maximal flexibilitet, gå med Milvus. Om du vill minimera operativ komplexitet och komma igång med att bygga din tillämpning, välj Zilliz Cloud.

Båda vägarna kommer att ta dig till ditt mål – det är bara en fråga om hur mycket av resan du vill kontrollera versus hur snabbt du behöver anlända

Tack för den utmärkta intervjun, läsare som vill lära sig mer bör besöka Zilliz eller Milvus.