Charles Xie, Fondatore e Amministratore Delegato di Zilliz – Serie di Interviste

Charles Xie è il fondatore e amministratore delegato di Zilliz, che si concentra sulla costruzione di database e tecnologie di ricerca di prossima generazione per applicazioni AI e LLM. In Zilliz, ha anche inventato Milvus, il database vettoriale open-source più popolare al mondo per AI pronte alla produzione. Attualmente è membro del consiglio di amministrazione della LF AI & Data Foundation e ha ricoperto la carica di presidente del consiglio nel 2020 e nel 2021. Charles ha lavorato in precedenza in Oracle (ORCL ) come ingegnere fondatore del progetto di database cloud Oracle 12c. Charles detiene un master in informatica presso l’Università del Wisconsin-Madison.

Zilliz è il team dietro LF AI Milvus®, un database vettoriale open-source ampiamente utilizzato. L’azienda si concentra sulla semplificazione della gestione dell’infrastruttura dei dati, con l’obiettivo di rendere l’AI più accessibile a corporation, organizzazioni e individui.

Può condividere la storia dietro la fondazione di Zilliz e cosa l’ha ispirato a sviluppare Milvus e a concentrarsi sui database vettoriali?

Il mio percorso nel campo dei database copre oltre 15 anni, compresi sei anni come ingegnere software in Oracle, dove sono stato un membro fondatore del team del database multitenant Oracle 12c. Durante questo periodo, ho notato una limitazione chiave: mentre i dati strutturati erano ben gestiti, i dati non strutturati – che rappresentano il 90% di tutti i dati – rimanevano in gran parte inutilizzati, con solo l’1% analizzato in modo significativo.

Nel 2017, la crescente capacità dell’AI di elaborare dati non strutturati ha segnato un punto di svolta. I progressi nel NLP hanno mostrato come i dati non strutturati potessero essere trasformati in embedding vettoriali, sbloccando il loro significato semantico. Ciò mi ha ispirato a fondare Zilliz, con la visione di gestire “zillioni di dati”. Gli embedding vettoriali sono diventati la pietra angolare per colmare il divario tra dati non strutturati e informazioni azionabili. Abbiamo sviluppato Milvus come un database vettoriale progettato appositamente per portare questa visione alla vita.

Negli ultimi due anni, l’industria ha validato questo approccio, riconoscendo i database vettoriali come fondamentali per la gestione dei dati non strutturati. Per noi, si tratta di più che di tecnologia – si tratta di potenziare l’umanità per sfruttare il potenziale dei dati non strutturati nell’era dell’AI.

Come è evoluta l’esperienza di Zilliz dal suo inizio sei anni fa, e quali sono stati i principali sfidi che ha affrontato mentre era pioniere nello spazio dei database vettoriali?

Il percorso è stato trasformativo. Quando abbiamo iniziato Zilliz sette anni fa, la vera sfida non era il fundraising o l’assunzione – era costruire un prodotto in un territorio completamente inesplorato. Senza roadmap esistenti, best practice o aspettative degli utenti stabilite, abbiamo dovuto tracciare la nostra strada.

La nostra svolta è arrivata con l’open-sourcing di Milvus. Riducendo le barriere all’adozione e favorire l’engagement della comunità, abbiamo ottenuto un feedback utile degli utenti per iterare e migliorare il prodotto. Quando Milvus è stato lanciato nel 2019, avevamo circa 30 utenti entro la fine dell’anno. Ciò è cresciuto a oltre 200 nel 2020 e quasi 1.000 poco dopo.

Oggi, i database vettoriali sono passati da un concetto innovativo a un’infrastruttura essenziale nell’era dell’AI, validando la visione con cui abbiamo iniziato.

In quanto azienda di database vettoriali, quali capacità tecniche uniche offre Zilliz per supportare la ricerca vettoriale multimodale nelle applicazioni AI moderne?

Zilliz ha sviluppato capacità tecniche avanzate per supportare la ricerca vettoriale multimodale:

1. Ricerca ibrida: abilitiamo ricerche simultanee attraverso diverse modalità, come combinare le caratteristiche visive di un’immagine con la sua descrizione testuale.
2. Algoritmi ottimizzati: le nostre tecniche di quantizzazione proprietarie bilanciano l’accuratezza del richiamo e l’efficienza della memoria per le ricerche cross-modali.
3. Elaborazione in tempo reale e offline: il nostro sistema a doppia pista supporta scritture in tempo reale a bassa latenza e importazioni offline ad alto throughput, garantendo la freschezza dei dati.
4. Efficienza dei costi: le nostre istanze di capacità estese sfruttano l’archiviazione a livelli intelligente per ridurre significativamente i costi di archiviazione, mantenendo al contempo le prestazioni elevate.
5. Modelli AI integrati: integrando modelli di embedding e ranking multimodali, abbiamo abbassato la barriera per l’implementazione di applicazioni di ricerca complesse.

Queste capacità consentono agli sviluppatori di gestire efficientemente tipi di dati diversi, rendendo le applicazioni AI moderne più robuste e versatili.

Come vede l’avanzamento della RAG multimodale nel migliorare la capacità dell’AI di gestire dati del mondo reale complessi come immagini, audio e video insieme al testo?

La RAG multimodale rappresenta un’evoluzione cruciale nell’AI. Mentre la RAG basata sul testo è stata prominente, la maggior parte dei dati aziendali copre immagini, video e audio. La capacità di integrare questi formati diversi nei flussi di lavoro dell’AI è critica.

Questo passaggio è tempestivo, poiché la comunità dell’AI discute i limiti dei dati testuali disponibili per l’addestramento. Mentre i dati testuali sono finiti, i dati multimodali rimangono ampiamente inutilizzati – che vanno da video aziendali a film di Hollywood e registrazioni audio.

La RAG multimodale sblocca questo serbatoio inesplorato, consentendo ai sistemi AI di elaborare e sfruttare questi tipi di dati ricchi. Non si tratta solo di affrontare la scarsità di dati; si tratta di espandere i confini delle capacità dell’AI per comprendere e interagire meglio con il mondo reale.

Come si differenzia Zilliz dai concorrenti nel mercato in rapida crescita dei database vettoriali?

Zilliz si distingue attraverso diversi aspetti unici:

1. Doppia identità: siamo sia un’azienda AI che un’azienda di database, spingendo i confini della gestione dei dati e dell’integrazione dell’AI.
2. Progettazione cloud-native: Milvus 2.0 è stato il primo database vettoriale distribuito ad adottare un’architettura di archiviazione e calcolo disaggregata, consentendo scalabilità e efficienza dei costi per oltre 100 miliardi di vettori.
3. Miglioramenti proprietari: il nostro motore Cardinal raggiunge prestazioni tre volte superiori a quelle di Milvus open-source e 10 volte superiori a quelle dei concorrenti. Offriamo anche indicizzazione basata su disco e archiviazione a livelli intelligente per una scalabilità efficiente in termini di costi.
4. Innovazione continua: dalle capacità di ricerca ibrida agli strumenti di migrazione come VTS, stiamo costantemente avanzando la tecnologia dei database vettoriali.

Il nostro impegno per l’open source garantisce flessibilità, mentre il nostro servizio gestito, Zilliz Cloud, offre prestazioni di livello aziendale con una complessità operativa minima.

Può approfondire l’importanza di Zilliz Cloud e il suo ruolo nella democratizzazione dell’AI e nel rendere i servizi di ricerca vettoriale accessibili a sviluppatori e aziende di piccole dimensioni?

La ricerca vettoriale è stata utilizzata da giganti tecnologici dal 2015, ma le implementazioni proprietarie hanno limitato la sua adozione più ampia. In Zilliz, stiamo democratizzando questa tecnologia attraverso due approcci complementari:

1. Open source: Milvus consente agli sviluppatori di costruire e possedere la propria infrastruttura di ricerca vettoriale, riducendo le barriere tecniche.
2. Servizio gestito: Zilliz Cloud elimina l’onere operativo, offrendo una soluzione semplice e conveniente per le aziende che adottano la ricerca vettoriale senza richiedere ingegneri specializzati.

Questo approccio duale rende la ricerca vettoriale accessibile sia agli sviluppatori che alle aziende, consentendo loro di concentrarsi sulla costruzione di applicazioni AI innovative.

Con gli avanzamenti nei LLM e nei modelli di base, cosa crede sarà il prossimo grande passo nell’infrastruttura dei dati dell’AI?

Il prossimo grande passo sarà la trasformazione globale dell’infrastruttura dei dati dell’AI per gestire i dati non strutturati, che costituiscono il 90% dei dati del mondo. I sistemi esistenti, progettati per i dati strutturati, non sono attrezzati per questo passaggio.

Questa trasformazione avrà un impatto su ogni livello dello stack dei dati, dalle sistemi di database fondamentali ai protocolli di sicurezza e ai sistemi di osservabilità. Non si tratta di aggiornamenti incrementali – si tratta di creare nuovi paradigmi adattati alle complessità dei dati non strutturati.

Questa trasformazione toccherà ogni aspetto dello stack dei dati:

• Sistemi di database fondamentali
• Pipeline di dati e processi ETL
• Meccanismi di pulizia e trasformazione dei dati
• Protocolli di sicurezza e crittografia
• Quadri di conformità e governance
• Sistemi di osservabilità dei dati

Non stiamo parlando solo di aggiornare i sistemi esistenti – stiamo parlando di costruire paradigmi completamente nuovi. È come passare da un mondo ottimizzato per organizzare libri in una biblioteca a uno che deve gestire, comprendere e elaborare l’intero internet. Questo passaggio rappresenta un mondo completamente nuovo, in cui ogni componente dell’infrastruttura dei dati potrebbe dover essere ripensato da zero.

Questa rivoluzione ridefinirà come archiviamo, gestiamo e elaboriamo i dati, sbloccando immense opportunità per l’innovazione dell’AI.

Come ha influenzato l’integrazione delle GPU NVIDIA (NVDA ) le prestazioni e la scalabilità della ricerca vettoriale?

L’integrazione delle GPU NVIDIA ha notevolmente migliorato le prestazioni della nostra ricerca vettoriale in due aree chiave.

In primo luogo, nella costruzione dell’indice, che è una delle operazioni più intensive in termini di calcolo nei database vettoriali. Rispetto alla creazione di indici tradizionali, la costruzione dell’indice vettoriale richiede diversi ordini di grandezza più potenza di calcolo. Sfruttando l’accelerazione GPU, abbiamo drasticamente ridotto il tempo di costruzione dell’indice, consentendo un’ingestione dei dati più rapida e una migliore visibilità dei dati.

In secondo luogo, le GPU sono state fondamentali per i casi d’uso di query ad alto throughput. In applicazioni come l’e-commerce, dove i sistemi devono gestire migliaia o addirittura decine di migliaia di query al secondo (QPS), le capacità di elaborazione parallela delle GPU si sono rivelate inestimabili. Utilizzando l’accelerazione GPU, possiamo elaborare efficientemente queste ricerche di similarità vettoriale ad alto volume mentre manteniamo la bassa latenza.

Dal 2021, stiamo collaborando con NVIDIA per ottimizzare i nostri algoritmi per l’architettura GPU, mentre sviluppiamo anche il nostro sistema per supportare il calcolo eterogeneo su diverse architetture di processori. Ciò offre ai nostri clienti la flessibilità di scegliere l’infrastruttura hardware più adatta alle loro esigenze specifiche.

Poiché i database vettoriali svolgono un ruolo critico nell’AI, vede la loro applicazione estendersi oltre i casi d’uso tradizionali come i sistemi di raccomandazione e la ricerca per raggiungere settori come la sanità?

I database vettoriali si stanno espandendo rapidamente oltre le applicazioni tradizionali come i sistemi di raccomandazione e la ricerca, penetrando in settori che non avevamo mai immaginato prima. Lasciami condividere alcuni esempi.

Nel settore sanitario e nella ricerca farmaceutica, i database vettoriali stanno rivoluzionando la scoperta di farmaci. Le molecole possono essere vettorizzate in base alle loro proprietà funzionali e, utilizzando funzionalità avanzate come la ricerca a intervallo, i ricercatori possono scoprire tutti i potenziali candidati per il trattamento di specifiche malattie o sintomi. A differenza delle ricerche top-k tradizionali, la ricerca a intervallo identifica tutte le molecole all’interno di una certa distanza dal target, fornendo una visione completa dei potenziali candidati.

Nella guida autonoma, i database vettoriali stanno migliorando la sicurezza e le prestazioni dei veicoli. Un’applicazione interessante è la gestione dei casi limite – quando si verificano scenari insoliti, il sistema può rapidamente cercare attraverso enormi database di situazioni simili per trovare dati di addestramento pertinenti per il perfezionamento dei modelli di guida autonoma.

Stiamo anche vedendo applicazioni innovative nei servizi finanziari per la rilevazione delle frodi, nella sicurezza informatica per la rilevazione delle minacce e nella pubblicità mirata per un miglioramento dell’engagement dei clienti. Ad esempio, nel settore bancario, le transazioni possono essere vettorizzate e confrontate con modelli storici per identificare potenziali attività fraudolente.

Il potere dei database vettoriali risiede nella loro capacità di comprendere e elaborare la similarità in qualsiasi dominio – che si tratti di strutture molecolari, scenari di guida, modelli finanziari o minacce alla sicurezza. Man mano che l’AI continua a evolversi, stiamo solo sfiorando la superficie di ciò che è possibile. La capacità di elaborare e trovare modelli in enormi quantità di dati non strutturati apre possibilità che stiamo solo iniziando a esplorare.

Come possono gli sviluppatori e le aziende interagire meglio con Zilliz e Milvus per sfruttare la tecnologia dei database vettoriali nei loro progetti AI?

Ci sono due percorsi principali per sfruttare la tecnologia dei database vettoriali con Zilliz e Milvus, ciascuno adatto a diverse esigenze e priorità. Se si valorizza la flessibilità e la personalizzazione, Milvus, la nostra soluzione open-source, è la scelta migliore. Con Milvus, è possibile:

• Sperimentare liberamente e imparare la tecnologia al proprio ritmo
• Personalizzare la soluzione in base alle proprie esigenze specifiche
• Contribuire allo sviluppo e modificare il codice base
• Mantenere il controllo completo sulla propria infrastruttura

Tuttavia, se si desidera concentrarsi sulla costruzione dell’applicazione senza gestire l’infrastruttura, Zilliz Cloud è la scelta ottimale. Offre:

• Una soluzione pronta all’uso con deploy con un solo clic
• Sicurezza e conformità di livello aziendale
• Alta disponibilità e stabilità
• Prestazioni ottimizzate senza oneri operativi

Pensateci così: se vi piace “tinkering” e volete la massima flessibilità, optate per Milvus. Se volete minimizzare la complessità operativa e passare direttamente alla costruzione della vostra applicazione, scegliete Zilliz Cloud.

Entrambi i percorsi vi porteranno a destinazione – è solo questione di quanto del viaggio volete controllare versus quanto velocemente avete bisogno di arrivare

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Zilliz o Milvus.