Charles Xie, grundare och VD för Zilliz – Intervjuserie

Charles Xie är grundare och VD för Zilliz, som fokuserar på att bygga nästa generationsdatabaser och sökteknologier för AI- och LLM-tillämpningar. På Zilliz har han också uppfunnit Milvus, världens mest populära öppen källkodsvektordatabas för produktionsklara AI. Han är för närvarande styrelseledamot i LF AI & Data Foundation och tjänstgjorde som styrelsens ordförande 2020 och 2021. Charles arbetade tidigare på Oracle (ORCL ) som grundande ingenjör för Oracle 12c-molndatabasprojektet. Charles har en masterexamen i datavetenskap från University of Wisconsin-Madison.

Zilliz är teamet bakom LF AI Milvus®, en allmänt använd öppen källkodsvektordatabas. Företaget fokuserar på att förenkla hantering av datainfrastruktur, i syfte att göra AI mer tillgängligt för företag, organisationer och individer.

Kan du dela historien om att grunda Zilliz och vad som inspirerade dig att utveckla Milvus och fokusera på vektordatabaser?

Min resa inom databasområdet sträcker sig över 15 år, inklusive sex år som programvaruutvecklare på Oracle, där jag var en av grundarna av Oracle 12c Multitenant Database-teamet. Under denna tid märkte jag en viktig begränsning: medan strukturerad data hanterades väl, förblev ostrukturerad data – som utgör 90% av all data – i stort sett outnyttjad, med endast 1% analyserad meningsfullt.

2017 markerade en vändpunkt med den växande förmågan hos AI att bearbeta ostrukturerad data. Framsteg inom NLP visade hur ostrukturerad data kunde omvandlas till vektorembeddingar, vilket låste upp dess semantiska betydelse. Detta inspirerade mig att grunda Zilliz, med en vision att hantera “zillioner av data”. Vektorembeddingar blev hörnstenen för att överbrygga gapet mellan ostrukturerad data och handlingsbara insikter. Vi utvecklade Milvus som en specialbyggd vektordatabas för att förverkliga denna vision.

Under de senaste två åren har branschen validerat detta tillvägagångssätt, vilket erkänner vektordatabaser som grundläggande för hantering av ostrukturerad data. För oss handlar det inte bara om teknologi – det handlar om att ge mänskligheten möjlighet att utnyttja potentialen i ostrukturerad data i AI-eran.

Hur har resan för Zilliz utvecklats sedan starten för sex år sedan, och vilka nyckelutmaningar mötte du medan du banade väg för vektordatabasområdet?

Resan har varit omvandlande. När vi startade Zilliz för sju år sedan var den verkliga utmaningen inte att samla in pengar eller anställa personal – det var att bygga en produkt i helt outforskat territorium. Utan befintliga kartor, bästa praxis eller etablerade användarförväntningar var vi tvungna att skapa vår egen kurs.

Vår genombrott kom med att göra Milvus till öppen källkod. Genom att sänka hinder för antagande och främja samhällsengagemang fick vi ovärderlig användarfeedback för att iterera och förbättra produkten. När Milvus lanserades 2019 hade vi runt 30 användare vid årets slut. Detta ökade till över 200 år 2020 och nästan 1 000 strax därefter.

Idag har vektordatabaser förskjutits från en ny koncept till en essentiell infrastruktur i AI-eran, vilket validerar den vision vi började med.

Som ett vektordatabasföretag, vilka unika tekniska förmågor erbjuder Zilliz för att stödja multimodal vektorsökning i moderna AI-tillämpningar?

Zilliz har utvecklat avancerade tekniska förmågor för att stödja multimodal vektorsökning:

1. Hybrid sökning: Vi möjliggör samtidig sökning över olika modaliteter, som att kombinera en bilds visuella funktioner med dess textbeskrivning.
2. Optimerade algoritmer: Proprietära kvantiseringstekniker balanserar återkallningsnoggrannhet och minneseffektivitet för cross-modala sökningar.
3. Real-tid och offline-bearbetning: Vårt dubbla spårsystem stöder låglatens realtids-skrivningar och höggenomströmnings offline-importer, vilket säkerställer datafräschhet.
4. Kostnadseffektivitet: Våra utökade kapacitetsinstanser använder intelligent nivålagring för att minska lagringskostnaderna avsevärt samtidigt som de upprätthåller hög prestanda.
5. Inbäddade AI-modeller: Genom att integrera multimodala inbäddningar och rangordningsmodeller har vi sänkt tröskeln för att implementera komplexa söktillämpningar.

Dessa förmågor möjliggör för utvecklare att effektivt hantera olika datatyper, vilket gör moderna AI-tillämpningar mer robusta och mångsidiga.

Hur ser du att Multimodal RAG främjar AI:s förmåga att hantera komplexa realvärldens data som bilder, ljud och videor tillsammans med text?

Multimodal RAG (Retrieval-Augmented Generation) representerar en viktig utveckling inom AI. Medan textbaserad RAG har varit framträdande, omfattar de flesta företagsdata bilder, videor och ljud. Förmågan att integrera dessa olika format i AI-arbetsflöden är avgörande.

Denna förändring är välkommen, eftersom AI-samhället debatterar begränsningarna i tillgängliga internettextdata för utbildning. Medan textdata är ändlig, förblir multimodal data outnyttjad – från företagsvideor till Hollywood-filmer och ljudinspelningar.

Multimodal RAG låser upp denna outnyttjade reserv, vilket möjliggör för AI-system att bearbeta och utnyttja dessa rika datatyper. Det handlar inte bara om att lösa datascarcity – det handlar om att utöka gränserna för AI:s förmågor för att bättre förstå och interagera med den verkliga världen.

Hur skiljer sig Zilliz från konkurrenter på den snabbt växande vektordatabasmarknaden?

Zilliz skiljer sig genom flera unika aspekter:

1. Dubbel identitet: Vi är både ett AI-företag och ett databasföretag, vilket driver gränserna för datahantering och AI-integrering.
2. Molnbaserad design: Milvus 2.0 var den första distribuerade vektordatabasen som antog en avskild lagrings- och beräkningsarkitektur, vilket möjliggör skalbarhet och kostnadseffektivitet för över 100 miljarder vektorer.
3. Proprietära förbättringar: Vår Cardinal-motor uppnår 3 gånger bättre prestanda än öppen källkods-Milvus och 10 gånger bättre än konkurrenter. Vi erbjuder också diskbaserad indexering och intelligent nivålagring för kostnadseffektiv skalning.
4. Kontinuerlig innovation: Från hybrid-sökfunktioner till migreringsverktyg som VTS, är vi ständigt på väg att förbättra vektordatabasteknologi.

Vårt åtagande till öppen källkod säkerställer flexibilitet, medan vår hanterade tjänst, Zilliz Cloud, levererar företagsklassad prestanda med minimal operativ komplexitet.

Kan du förklara betydelsen av Zilliz Cloud och dess roll i att demokratisera AI och göra vektorsökningstjänster tillgängliga för små utvecklare och företag?

Vektorsökning har använts av teknikjättar sedan 2015, men proprietära implementationer begränsade dess bredare antagande. På Zilliz demokratiserar vi denna teknik genom två kompletterande tillvägagångssätt:

1. Öppen källkod: Milvus tillåter utvecklare att bygga och äga sin egen vektorsökninginfrastruktur, vilket sänker tekniska hinder.
2. Hanterad tjänst: Zilliz Cloud eliminerar operativt underhåll, vilket erbjuder en enkel och kostnadseffektiv lösning för företag att anta vektorsökning utan att kräva specialiserade ingenjörer.

Detta dubbla tillvägagångssätt gör vektorsökning tillgänglig för både utvecklare och företag, vilket möjliggör för dem att fokusera på att bygga innovativa AI-tillämpningar.

Med framsteg inom LLM och grundmodeller, vad tror du kommer att vara den nästa stora förändringen inom AI-datainfrastruktur?

Den nästa stora förändringen kommer att vara den totala omvandlingen av AI-datainfrastruktur för att hantera ostrukturerad data, som utgör 90% av världens data. Existerande system, designade för strukturerad data, är illa lämpade för denna förändring.

Denna transformation kommer att påverka varje lager i datastacken, från grundläggande databassystem till säkerhetsprotokoll och övervakningssystem. Det handlar inte om inkrementella uppgraderingar – det handlar om att skapa nya paradigm som är anpassade till komplexiteten i ostrukturerad data.

Denna transformation kommer att beröra varje aspekt av datastacken:

• Grundläggande databassystem
• Data-pipelines och ETL-processer
• Data-rening och transformationsmekanismer
• Säkerhets- och krypteringsprotokoll
• Regelefterlevnad och styrelse-ramverk
• Data-övervakningssystem

Vi pratar inte bara om att uppgradera befintliga system – vi pratar om att bygga helt nya paradigm. Det är som att flytta från en värld som är optimerad för att organisera böcker i ett bibliotek till en som behöver hantera, förstå och bearbeta hela internet. Denna förändring representerar en helt ny värld, där varje komponent i datainfrastruktur kan behöva omkonstrueras från grunden.

Denna revolution kommer att omdefiniera hur vi lagrar, hanterar och bearbetar data, vilket låser upp enorma möjligheter för AI-innovation.

Hur har integrationen av NVIDIA GPU:er påverkat prestandan och skalbarheten för er vektorsökning?

Integrationen av NVIDIA GPU:er har avsevärt förbättrat vår vektorsökningprestanda på två viktiga områden.

För det första, i indexbyggnad, som är en av de mest beräkningsintensiva operationerna i vektordatabaser. Jämfört med traditionell databasindexering kräver vektorindexkonstruktion flera storleksordningar mer beräkningskraft. Genom att utnyttja GPU-acceleration har vi dramatiskt minskat indexbyggnadstiden, vilket möjliggör snabbare datainmatning och förbättrad data synlighet.

För det andra, har GPU:er varit avgörande för höggenomströmnings-frågeanvändningsfall. I tillämpningar som e-handel, där system behöver hantera tusentals eller till och med tiotusentals frågor per sekund (QPS), har GPU:ers parallella bearbetningsförmåga visat sig vara ovärderliga. Genom att utnyttja GPU-acceleration kan vi effektivt bearbeta dessa högvolym-vektorsimilaritetssökningar samtidigt som vi upprätthåller låg latens.

Sedan 2021 har vi samarbetat med NVIDIA (NVDA ) för att optimera våra algoritmer för GPU-arkitektur, samtidigt som vi utvecklar vårt system för att stödja heterogen bearbetning över olika processorarkitekturer. Detta ger våra kunder flexibiliteten att välja den mest lämpliga maskinvaruinfrastrukturen för sina specifika behov.

Som vektordatabaser spelar en kritisk roll i AI, ser du deras tillämpning utvidgas bortom traditionella användningsfall som rekommendationssystem och sökning till branscher som hälsovård?

Vektordatabaser expanderar snabbt bortom traditionella tillämpningar som rekommendationssystem och sökning, och tränger in i branscher vi aldrig tidigare kunde föreställa oss. Låt mig dela några exempel.

I hälso- och läkemedelsforskning revolutionerar vektordatabaser läkemedelsupptäckt. Molekyler kan vektoriseras baserat på deras funktionella egenskaper, och med avancerade funktioner som intervall-sökning kan forskare upptäcka alla potentiella läkemedelskandidater som kan behandla specifika sjukdomar eller symtom. Till skillnad från traditionella top-k-sökningar identifierar intervall-sökning alla molekyler inom ett visst avstånd från målet, vilket ger en omfattande vy över potentiella kandidater.

I autonoma fordon förbättrar vektordatabaser fordonssäkerhet och prestanda. En intressant tillämpning är hantering av gränsfall – när ovanliga scenarier möts, kan systemet snabbt söka igenom massiva databaser av liknande situationer för att hitta relevant utbildningsdata för finjustering av autonoma körmodeller.

Vi ser också innovativa tillämpningar inom finansiella tjänster för bedrägeridetektering, cybersäkerhet för hotdetektering och riktad reklam för förbättrad kundengagemang. Till exempel i bankväsendet kan transaktioner vektoriseras och jämföras med historiska mönster för att identifiera potentiella bedrägeriaktiviteter.

Kraften i vektordatabaser ligger i deras förmåga att förstå och bearbeta likhet i alla domäner – oavsett om det gäller molekylära strukturer, körscenarier, finansiella mönster eller säkerhetshot. Medan AI fortsätter att utvecklas, skrapar vi bara på ytan av vad som är möjligt. Förmågan att effektivt bearbeta och hitta mönster i stora mängder ostrukturerad data öppnar upp möjligheter som vi bara börjar utforska.

Hur kan utvecklare och företag bäst engagera sig med Zilliz och Milvus för att utnyttja vektordatabasteknologi i sina AI-projekt?

Det finns två huvudsakliga vägar att utnyttja vektordatabasteknologi med Zilliz och Milvus, var och en lämpad för olika behov och prioriteringar. Om du värdesätter flexibilitet och anpassning är Milvus, vår öppna källkods-lösning, ditt bästa val. Med Milvus kan du:

• Experimentera fritt och lära dig teknologin i din egen takt
• Anpassa lösningen till dina specifika krav
• Bidra till utvecklingen och modifiera källkoden
• Behålla full kontroll över din infrastruktur

Men om du vill fokusera på att bygga din applikation utan att hantera infrastruktur är Zilliz Cloud det optimala valet. Det erbjuder:

• En färdig lösning med enklicksdistribution
• Företagsklassad säkerhet och regelefterlevnad
• Hög tillgänglighet och stabilitet
• Optimerad prestanda utan operativt underhåll

Tänk på det så här: om du gillar att “mecka” och vill ha maximal flexibilitet, gå med Milvus. Om du vill minimera operativ komplexitet och komma igång med att bygga din applikation, välj Zilliz Cloud.

Båda vägarna kommer att ta dig till ditt mål – det är bara en fråga om hur mycket av resan du vill kontrollera versus hur snabbt du behöver anlända

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Zilliz eller Milvus.