Charles Xie, zakladatel a CEO Zilliz – rozhovor

Charles Xie je zakladatel a CEO Zilliz, který se zaměřuje na vývoj nových generací databází a vyhledávacích technologií pro aplikace AI a LLM. V Zilliz také vynalezl Milvus, nejpopulárnější open-source vektorovou databázi pro produkční AI. V současné době je členem představenstva LF AI & Data Foundation a v letech 2020 a 2021 působil jako předseda představenstva. Charles dříve pracoval v Oracle (ORCL ) jako jeden ze zakladatelů projektu cloudové databáze Oracle 12c. Charles získal magisterský titul v oboru počítačových věd na University of Wisconsin-Madison.

Zilliz je tým za LF AI Milvus®, široce používanou open-source vektorovou databázi. Společnost se zaměřuje na zjednodušení správy datové infrastruktury, s cílem učinit AI více přístupnou pro korporace, organizace a jednotlivce.

Můžete sdílet příběh o založení Zilliz a co vás inspirovalo k vývoji Milvus a zaměřit se na vektorové databáze?

Má cesta v oblasti databází trvala více než 15 let, včetně šesti let jako softwarový inženýr v Oracle, kde jsem byl jedním ze zakladatelů týmu Oracle 12c Multitenant Database. Během této doby jsem si uvědomil jeden zásadní limit: zatímco strukturovaná data byla dobře spravována, nestrukturovaná data – představující 90 % všech dat – zůstala většinou nevyužita, s pouze 1 % analyzována smysluplně.

V roce 2017 se rostoucí schopnost AI zpracovávat nestrukturovaná data stala zlomovým bodem. Pokroky v NLP ukázaly, jak nestrukturovaná data mohla být transformována do vektorových reprezentací, odemknoucích jejich sémantický význam. To mě inspirovalo k založení Zilliz, s vizí spravovat “zilliony dat”. Vektorové reprezentace se staly základním kamenem pro most mezi nestrukturovanými daty a akčními informacemi. Vyvinuli jsme Milvus jako účelově navrženou vektorovou databázi, aby tato vize byla uvedena do života.

Od té doby průmysl potvrdil tento přístup, uznávající vektorové databáze jako základní pro správu nestrukturovaných dat. Pro nás to není jen o technologii – je to o tom, aby se lidstvo mohlo zmocnit potenciálu nestrukturovaných dat v éře AI.

Jak se vyvinula cesta Zilliz od jeho založení před šesti lety a jaké klíčové výzvy jste čelili při průkopnictví vektorové databáze?

Cesta byla transformační. Když jsme začali Zilliz před sedmi lety, skutečnou výzvou nebylo získání finančních prostředků nebo najímání – bylo to budování produktu v完全ně neznámém území. Bez existujících map, osvědčených postupů nebo stanovených uživatelských očekávání jsme museli vytvořit svou vlastní cestu.

Naše průlom nastal s otevřením Milvus. Díky snížení bariér pro přijetí a podpoře komunitního zapojení jsme získali cennou zpětnou vazbu od uživatelů, abychom mohli produkt iterovat a zlepšit. Když Milvus spustil v roce 2019, jsme měli kolem 30 uživatelů do konce roku. To se zvýšilo na více než 200 v roce 2020 a téměř 1 000 brzy poté.

Dnes se vektorové databáze posunuly z novátorského konceptu na základní infrastrukturu v éře AI, potvrzující vizi, se kterou jsme začali.

Jako vektorová databázová společnost, jaké jedinečné technické schopnosti nabízí Zilliz pro podporu multimodálního vektorového vyhledávání v moderních aplikacích AI?

Zilliz vyvinul pokročilé technické schopnosti pro podporu multimodálního vektorového vyhledávání:

1. Hybridní vyhledávání: Povolujeme současná vyhledávání napříč různými modalitami, jako je kombinace vizuálních funkcí obrázku s jeho textovým popisem.
2. Optimalizované algoritmy: Proprietární kvantizační techniky vyvažují přesnost a efektivitu paměti pro vyhledávání napříč modalitami.
3. Reálné a offline zpracování: Náš dual-track systém podporuje nízkou latenci reálného zpracování a vysoký výkon offline importu, zajišťující čerstvost dat.
4. Nízké náklady: Naše Extended Capacity instance využívají inteligentní Tiered Storage ke snížení nákladů na úložiště, zatímco zachovávají vysoký výkon.
5. Integrované AI modely: Integrací multimodálních embedding a ranking modelů jsme snížili bariéru pro implementaci složitých vyhledávacích aplikací.

Tyto schopnosti umožňují vývojářům efektivně zpracovávat rozmanité typy dat, činí moderní aplikace AI více robustními a všestrannými.

Jak vidíte Multimodal RAG pokročilý AI schopnost zpracovávat komplexní reálná data, jako jsou obrázky, audio a videa, spolu s textem?

Multimodal RAG (Retrieval-Augmented Generation) představuje zásadní evoluci v AI. Zatímco textově založený RAG byl prominentní, většina firemních dat zahrnuje obrázky, videa a audio. Schopnost integrovat tyto různé formáty do AI pracovních postupů je kritická.

Tato změna je včasná, protože AI komunita diskutuje o omezeních dostupných internetových textových dat pro školení. Zatímco textová data jsou konečná, multimodální data zůstávají značně nevyužita – sahají od firemních videí po hollywoodské filmy a audio nahrávky.

Multimodal RAG odemyká tento nevyužitý rezervoár, umožňující AI systémům zpracovávat a využívat tyto bohatá data. Není to jen o řešení nedostatku dat – je to o rozšíření hranic AI schopností, aby lépe rozuměly a interagovaly s reálným světem.

Jak se Zilliz liší od konkurentů v rychle rostoucím trhu vektorových databází?

Zilliz se odlišuje několika jedinečnými aspekty:

1. Dvojí identita: Jsme jak AI společnost, tak databázová společnost, tlačíme hranice datové správy a AI integrace.
2. Cloud-Native Design: Milvus 2.0 byl první distribuovaná vektorová databáze, která přijala disagregovanou architekturu úložiště a výpočtu, umožňující škálovatelnost a nákladovou efektivitu pro více než 100 miliard vektorů.
3. Proprietární vylepšení: Náš Cardinal engine dosahuje 3x lepšího výkonu než open-source Milvus a 10x lepšího než konkurenti. Nabízíme také disk-based indexing a inteligentní Tier Storage pro nákladově efektivní škálování.
4. Průběžná inovace: Od hybridních vyhledávacích schopností po migrační nástroje, jako je VTS, neustále pokročujeme v technologii vektorových databází.

Naše závazek k open source zajišťuje flexibilitu, zatímco naše spravovaná služba, Zilliz Cloud, dodává podnikové třídy výkon s minimální operační složitostí.

Můžete vysvětlit význam Zilliz Cloud a jeho roli v demokratizaci AI a zpřístupnění vektorového vyhledávání službám malým vývojářům a podnikům?

Vektorové vyhledávání bylo používáno technologickými giganty od roku 2015, ale proprietární implementace omezovaly jeho širší přijetí. V Zilliz demokratizujeme tuto technologii prostřednictvím dvou komplementárních přístupů:

1. Open Source: Milvus umožňuje vývojářům budovat a vlastnit svou vektorovou vyhledávací infrastrukturu, snižuje technické bariéry.
2. Spravovaná služba: Zilliz Cloud eliminuje operační režii, nabízí jednoduché a nákladově efektivní řešení pro podniky, aby přijaly vektorové vyhledávání bez nutnosti specializovaných inženýrů.

Tento dvojí přístup činí vektorové vyhledávání přístupným jak pro vývojáře, tak pro podniky, umožňující jim soustředit se na budování inovativních AI aplikací.

S pokroky v LLM a základních modelech, co podle vás bude další velkou změnou v AI datové infrastruktuře?

Další velkou změnou bude celková transformace AI datové infrastruktury pro zpracování nestrukturovaných dat, která tvoří 90 % všech dat. Stávající systémy, navržené pro strukturovaná data, nejsou vhodné pro tuto změnu.

Tato transformace bude mít dopad na každou vrstvu datové infrastruktury, od základních databází po bezpečnostní protokoly a systémy pro sledování. Není to o inkrementálních vylepšeních – je to o vytváření nových paradigm pro složitosti nestrukturovaných dat.

Tato transformace se dotkne každého aspektu datové infrastruktury:

• Základní databázové systémy
• Datové potrubí a procesy ETL
• Mechanismy pro čištění a transformaci dat
• Bezpečnostní a šifrovací protokoly
• Rámcové a regulační rámce
• Systémy pro sledování dat

Nemluvíme jen o vylepšeních stávajících systémů – mluvíme o budování zcela nových paradigm. Je to jako přechod z světa optimalizovaného pro organizování knih v knihovně do světa, který potřebuje spravovat, rozumět a zpracovávat celý internet. Tato změna představuje zcela nový svět, ve kterém může být každý komponent datové infrastruktury třeba nově představen.

Tato revoluce předefinuje, jak ukládáme, spravujeme a zpracováváme data, odemykající obrovské příležitosti pro AI inovace.

Jak ovlivnila integrace NVIDIA GPU výkon a škálovatelnost vašeho vektorového vyhledávání?

Integrace NVIDIA GPU výrazně zlepšila výkon našeho vektorového vyhledávání ve dvou klíčových oblastech.

První, při budování indexu, které je jednou z nejnáročnějších operací ve vektorových databázích. Oproti tradičnímu databázovému indexování vyžaduje konstrukce vektorového indexu několik řádů více výpočetní moci. Díky využití GPU urychlíme dobu budování indexu, umožňující rychlejší ingestaci dat a lepší viditelnost.

Druhý, GPU byly zásadní pro vysoce výkonné dotazovací použití. V aplikacích, jako je e-commerce, kde systémy potřebují zpracovat tisíce nebo dokonce desítky tisíc dotazů za sekundu (QPS), paralelní zpracování GPU se osvědčilo jako neocenitelné. Díky využití GPU urychlíme zpracování těchto vysoce objemných vektorových podobnostních vyhledávání, zatímco zachováváme nízkou latenci.

Od roku 2021 spolupracujeme s NVIDIA (NVDA ) na optimalizaci našich algoritmů pro architekturu GPU, zatímco také vyvíjíme náš systém pro podporu heterogenního zpracování napříč různými procesorovými architekturami. To našim zákazníkům poskytuje flexibilitu volby nejvhodnější hardwarové infrastruktury pro jejich konkrétní potřeby.

Jako vektorová databázová společnost, vidíte-li aplikaci vektorových databází sahající za tradiční použití, jako jsou doporučovací systémy a vyhledávání, do odvětví, jako je zdravotnictví?

Vektorové databáze se rychle rozšiřují za tradiční aplikace, jako jsou doporučovací systémy a vyhledávání, pronikají do odvětví, o kterých jsme si dříve nemysleli. Přečtěte si beberapa příkladů.

V oblasti zdravotnictví a farmaceutického výzkumu vektorové databáze revolucionizují objevování léků. Molekuly mohou být vektorizovány na základě jejich funkčních vlastností a pomocí pokročilých funkcí, jako je rozsah vyhledávání, výzkumníci mohou objevit všechny potenciální kandidáty na léky, které by mohly léčit specifické nemoci nebo symptomy. Na rozdíl od tradičních top-k vyhledávání rozsah vyhledávání identifikuje všechny molekuly v určité vzdálenosti od cíle, poskytující komplexní pohled na potenciální kandidáty.

V autonomním řízení vektorové databáze zlepšují bezpečnost a výkon vozidel. Jedním z interessantních použití je zpracování okrajových případů – když se vyskytnou neobvyklé scénáře, systém může rychle vyhledat v masivních databázích podobných situací, aby našel relevantní trénovací data pro jemné ladění autonomních řídicích modelů.

Vidíme také inovativní použití ve finančních službách pro detekci podvodů, kybernetické bezpečnosti pro detekci hrozeb a cílené reklamy pro zlepšení zákaznické angažovanosti. Například v bankovnictví mohou být transakce vektorizovány a porovnány s historickými vzory, aby se identifikovaly potenciální podvody.

Síla vektorových databází spočívá v jejich schopnosti rozumět a zpracovávat podobnost v jakékoli doméně – zda se jedná o molekulární struktury, řídicí scénáře, finanční vzory nebo bezpečnostní hrozby. Jak AI pokračuje ve vývoji, jsme teprve na počátku toho, co je možné.

Jak mohou vývojáři a podniky nejlépe spolupracovat se Zilliz a Milvus, aby využili technologii vektorových databází ve svých AI projektech?

Existují dvě hlavní cesty, jak využít technologii vektorových databází se Zilliz a Milvus, každá vhodná pro různé potřeby a priority. Pokud si ceníte flexibility a přizpůsobitelnosti, Milvus, naše open-source řešení, je vaší nejlepší volbou. S Milvus můžete:

• Experimentovat volně a učit se technologii ve vlastním tempu
• Přizpůsobit řešení svým specifickým požadavkům
• Přispět k vývoji a modifikovat kódovou základnu
• Maintainovat úplnou kontrolu nad svou infrastrukturou

Nicméně, pokud chcete soustředit se na budování své aplikace bez starostí o infrastrukturu, Zilliz Cloud je optimální volbou. Nabízí:

• Jednoduché řešení s jedním kliknutím pro nasazení
• Podnikové třídy zabezpečení a dodržování předpisů
• Vysokou dostupnost a stabilitu
• Optimalizovaný výkon bez operační režie

Myslete si to tak: pokud máte rádi “tinkering” a chcete maximální flexibilitu, zvolte Milvus. Pokud chcete minimalizovat operační složitost a soustředit se na budování své aplikace, zvolte Zilliz Cloud.

Obě cesty vás dovedou k vašemu cíli – je to jen otázka, kolik z cesty chcete kontrolovat versus kolik času potřebujete k příjezdu

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Zilliz nebo Milvus.