Interviste
Charles Xie, Fondatore & Amministratore Delegato di Zilliz – Serie di Interviste
Charles Xie è il fondatore e amministratore delegato di Zilliz, che si concentra sulla costruzione di database e tecnologie di ricerca di prossima generazione per applicazioni AI e LLM. In Zilliz, ha anche inventato Milvus, il database vettoriale open-source più popolare per AI di produzione. Attualmente è membro del consiglio di amministrazione di LF AI & Data Foundation e ha ricoperto la carica di presidente del consiglio nel 2020 e nel 2021. Charles ha lavorato in precedenza presso Oracle come ingegnere fondatore del progetto database cloud Oracle 12c. Charles detiene un master in informatica presso l’Università del Wisconsin-Madison.
Zilliz è il team dietro LF AI Milvus®, un database vettoriale open-source ampiamente utilizzato. L’azienda si concentra sulla semplificazione della gestione dell’infrastruttura dei dati, con l’obiettivo di rendere l’AI più accessibile a corporation, organizzazioni e individui.
Può condividere la storia dietro la fondazione di Zilliz e cosa l’ha ispirato a sviluppare Milvus e a concentrarsi sui database vettoriali?
Il mio percorso nel campo dei database copre oltre 15 anni, compresi sei anni come ingegnere software presso Oracle, dove sono stato un membro fondatore del team del database multitenant Oracle 12c. Durante questo periodo, ho notato una limitazione chiave: mentre i dati strutturati erano ben gestiti, i dati non strutturati – che rappresentano il 90% di tutti i dati – rimanevano in gran parte inutilizzati, con solo l’1% analizzato in modo significativo.
Nel 2017, la crescente capacità dell’AI di elaborare dati non strutturati ha segnato un punto di svolta. I progressi nel NLP hanno mostrato come i dati non strutturati potessero essere trasformati in vettori di incorporamento, sbloccando il loro significato semantico. Ciò mi ha ispirato a fondare Zilliz, con una visione di gestire “zillioni di dati”. I vettori di incorporamento sono diventati il fondamento per colmare il divario tra dati non strutturati e informazioni azionabili. Abbiamo sviluppato Milvus come un database vettoriale costruito appositamente per portare questa visione alla vita.
Negli ultimi due anni, l’industria ha validato questo approccio, riconoscendo i database vettoriali come fondamentali per la gestione dei dati non strutturati. Per noi, si tratta di più della tecnologia – si tratta di potenziare l’umanità per sfruttare il potenziale dei dati non strutturati nell’era dell’AI.
Come è evoluta l’esperienza di Zilliz dalla sua fondazione sei anni fa, e quali sono stati i principali sfidi che ha affrontato mentre era pioniere dello spazio dei database vettoriali?
Il percorso è stato trasformativo. Quando abbiamo iniziato Zilliz sette anni fa, la vera sfida non era il fundraising o l’assunzione – era costruire un prodotto in un territorio completamente inesplorato. Senza mappe stradali esistenti, best practice o aspettative degli utenti stabilite, abbiamo dovuto tracciare la nostra strada.
La nostra svolta è arrivata con l’open-sourcing di Milvus. Riducendo le barriere all’adozione e favorire l’engagement della comunità, abbiamo ottenuto un feedback degli utenti inestimabile per iterare e migliorare il prodotto. Quando Milvus è stato lanciato nel 2019, avevamo circa 30 utenti entro la fine dell’anno. Ciò è cresciuto a oltre 200 nel 2020 e quasi 1.000 poco dopo.
Oggi, i database vettoriali sono passati da un concetto innovativo a un’infrastruttura essenziale nell’era dell’AI, validando la visione con cui abbiamo iniziato.
Come azienda di database vettoriali, quali capacità tecniche uniche offre Zilliz per supportare la ricerca vettoriale multimodale nelle applicazioni AI moderne?
Zilliz ha sviluppato capacità tecniche avanzate per supportare la ricerca vettoriale multimodale:
- Ricerca ibrida: Abilitiamo ricerche simultanee attraverso diverse modalità, come combinare le caratteristiche visive di un’immagine con la sua descrizione testuale.
- Algoritmi ottimizzati: Le nostre tecniche di quantizzazione proprietarie bilanciano l’accuratezza del richiamo e l’efficienza della memoria per le ricerche cross-modali.
- Elaborazione in tempo reale e offline: Il nostro sistema a doppia pista supporta scritture in tempo reale a bassa latenza e importazioni offline ad alto throughput, garantendo la freschezza dei dati.
- Efficienza dei costi: Le nostre istanze di capacità estesa sfruttano l’archiviazione a livelli intelligenti per ridurre significativamente i costi di archiviazione, mantenendo al tempo stesso le prestazioni elevate.
- Modelli AI incorporati: Integrando modelli di incorporamento e classificazione multimodali, abbiamo abbassato la barriera per l’implementazione di applicazioni di ricerca complesse.
Queste capacità consentono agli sviluppatori di gestire efficientemente tipi di dati diversi, rendendo le applicazioni AI moderne più robuste e versatili.
Come vede l’avanzamento di Multimodal RAG nell’ampliare la capacità dell’AI di gestire dati complessi del mondo reale come immagini, audio e video insieme al testo?
Multimodal RAG (Retrieval-Augmented Generation) rappresenta un’evoluzione cruciale nell’AI. Mentre il RAG basato sul testo è stato prominente, la maggior parte dei dati aziendali copre immagini, video e audio. La capacità di integrare questi formati diversi nei flussi di lavoro dell’AI è critica.
Questo passaggio è tempestivo, poiché la comunità dell’AI discute i limiti dei dati di testo disponibili per l’addestramento. Mentre i dati di testo sono finiti, i dati multimodali rimangono in gran parte inutilizzati – che vanno da video aziendali a film di Hollywood e registrazioni audio.
Multimodal RAG sblocca questo serbatoio inutilizzato, consentendo ai sistemi AI di elaborare e sfruttare questi tipi di dati ricchi. Non si tratta solo di affrontare la scarsità di dati; si tratta di ampliare i confini delle capacità dell’AI per comprendere e interagire meglio con il mondo reale.
Come si differenzia Zilliz dai concorrenti nel mercato dei database vettoriali in rapida crescita?
Zilliz si distingue attraverso diversi aspetti unici:
- Doppia identità: Siamo sia un’azienda AI che un’azienda di database, spingendo i confini della gestione dei dati e dell’integrazione dell’AI.
- Progettazione cloud-native: Milvus 2.0 è stato il primo database vettoriale distribuito ad adottare un’architettura di archiviazione e calcolo disaggregata, abilitando la scalabilità e l’efficienza dei costi per oltre 100 miliardi di vettori.
- Miglioramenti proprietari: Il nostro motore Cardinal raggiunge prestazioni tre volte superiori a quelle del Milvus open-source e 10 volte superiori a quelle dei concorrenti. Offriamo anche l’indicizzazione su disco e l’archiviazione a livelli intelligenti per una scalabilità efficiente in termini di costi.
- Innovazione continua: Dalle capacità di ricerca ibrida agli strumenti di migrazione come VTS, stiamo costantemente avanzando la tecnologia del database vettoriale.
Il nostro impegno per l’open source garantisce la flessibilità, mentre il nostro servizio gestito, Zilliz Cloud, offre prestazioni di livello aziendale con una complessità operativa minima.
Può spiegare l’importanza di Zilliz Cloud e il suo ruolo nel democratizzare l’AI e rendere i servizi di ricerca vettoriale accessibili a sviluppatori e aziende di piccole dimensioni?
La ricerca vettoriale è stata utilizzata dai giganti della tecnologia dal 2015, ma le implementazioni proprietarie hanno limitato la sua adozione più ampia. In Zilliz, stiamo democratizzando questa tecnologia attraverso due approcci complementari:
- Open Source: Milvus consente agli sviluppatori di costruire e possedere la propria infrastruttura di ricerca vettoriale, riducendo le barriere tecniche.
- Servizio gestito: Zilliz Cloud elimina l’onere operativo, offrendo una soluzione semplice e conveniente per le aziende che adottano la ricerca vettoriale senza richiedere ingegneri specializzati.
Questo approccio duale rende la ricerca vettoriale accessibile sia agli sviluppatori che alle aziende, consentendo loro di concentrarsi sulla costruzione di applicazioni AI innovative.
Con gli avanzamenti nei LLM e nei modelli di base, cosa crede sarà il prossimo grande passo nell’infrastruttura dei dati dell’AI?
Il prossimo grande passo sarà la trasformazione completa dell’infrastruttura dei dati dell’AI per gestire i dati non strutturati, che costituiscono il 90% dei dati del mondo. I sistemi esistenti, progettati per i dati strutturati, sono impreparati per questo passaggio.
Questa trasformazione avrà un impatto su ogni livello dello stack dei dati, dalle sistemi di database fondamentali ai protocolli di sicurezza e ai sistemi di osservabilità. Non si tratta di aggiornamenti incrementali – si tratta di creare nuovi paradigmi adattati alle complessità dei dati non strutturati.
Questa trasformazione toccherà ogni aspetto dello stack dei dati:
- Sistemi di database fondamentali
- Pipeline di dati e processi ETL
- Meccanismi di pulizia e trasformazione dei dati
- Protocolli di sicurezza e crittografia
- Framework di conformità e governance
- Sistemi di osservabilità dei dati
Non stiamo parlando solo di aggiornare i sistemi esistenti – stiamo parlando di costruire paradigmi completamente nuovi. È come passare da un mondo ottimizzato per l’organizzazione dei libri in una biblioteca a uno che deve gestire, comprendere e elaborare l’intero internet. Questo passaggio rappresenta un mondo completamente nuovo, in cui ogni componente dell’infrastruttura dei dati potrebbe dover essere ripensato da zero.
Questa rivoluzione ridefinirà come archiviamo, gestiamo e elaboriamo i dati, sbloccando immense opportunità per l’innovazione dell’AI.
Come ha influenzato l’integrazione delle GPU NVIDIA le prestazioni e la scalabilità della vostra ricerca vettoriale?
L’integrazione delle GPU NVIDIA ha notevolmente migliorato le prestazioni della nostra ricerca vettoriale in due aree chiave.
Innanzitutto, nella costruzione dell’indice, che è una delle operazioni più intensive in termini di calcolo nei database vettoriali. Rispetto all’indicizzazione del database tradizionale, la costruzione dell’indice vettoriale richiede diversi ordini di grandezza più potenza computazionale. Sfruttando l’accelerazione GPU, abbiamo ridotto drasticamente il tempo di costruzione dell’indice, consentendo un’ingestione dei dati più rapida e una migliore visibilità dei dati.
In secondo luogo, le GPU sono state cruciali per i casi d’uso delle query ad alto throughput. In applicazioni come il commercio elettronico, dove i sistemi devono gestire migliaia o addirittura decine di migliaia di query al secondo (QPS), le capacità di elaborazione parallela delle GPU si sono rivelate inestimabili. Sfruttando l’accelerazione GPU, possiamo elaborare efficientemente queste ricerche di similarità vettoriale ad alto volume, mantenendo al tempo stesso la bassa latenza.
Dal 2021, stiamo collaborando con NVIDIA per ottimizzare i nostri algoritmi per l’architettura GPU, oltre a sviluppare il nostro sistema per supportare il calcolo eterogeneo tra diverse architetture di processore. Ciò dà ai nostri clienti la flessibilità di scegliere l’infrastruttura hardware più adatta alle loro esigenze specifiche.
Poiché i database vettoriali svolgono un ruolo critico nell’AI, vede la loro applicazione estendersi oltre i casi d’uso tradizionali come i sistemi di raccomandazione e la ricerca per raggiungere settori come la sanità?
I database vettoriali si stanno rapidamente espandendo oltre le applicazioni tradizionali come i sistemi di raccomandazione e la ricerca, penetrando settori che non avevamo mai immaginato prima. Lasciami condividere alcuni esempi.
Nella ricerca sanitaria e farmaceutica, i database vettoriali stanno rivoluzionando la scoperta di farmaci. Le molecole possono essere vettorizzate in base alle loro proprietà funzionali e, utilizzando funzionalità avanzate come la ricerca di intervallo, i ricercatori possono scoprire tutti i potenziali candidati farmaceutici che potrebbero trattare specifiche malattie o sintomi. A differenza delle ricerche top-k tradizionali, la ricerca di intervallo identifica tutte le molecole all’interno di una certa distanza dal target, fornendo una visione completa dei potenziali candidati.
Nella guida autonoma, i database vettoriali stanno migliorando la sicurezza e le prestazioni dei veicoli. Un’applicazione interessante è la gestione dei casi limite – quando vengono incontrate situazioni insolite, il sistema può rapidamente cercare attraverso enormi database di situazioni simili per trovare dati di training pertinenti per il fine-tuning dei modelli di guida autonoma.
Stiamo anche vedendo applicazioni innovative nei servizi finanziari per la rilevazione delle frodi, nella sicurezza informatica per la rilevazione delle minacce e nella pubblicità mirata per un miglioramento dell’engagement dei clienti. Ad esempio, nel settore bancario, le transazioni possono essere vettorizzate e confrontate con modelli storici per identificare potenziali attività fraudolente.
Il potere dei database vettoriali risiede nella loro capacità di comprendere e elaborare la similarità in qualsiasi dominio – che si tratti di strutture molecolari, scenari di guida, modelli finanziari o minacce alla sicurezza. Man mano che l’AI continua a evolversi, stiamo solo graffiando la superficie di ciò che è possibile. La capacità di elaborare efficientemente e trovare modelli in enormi quantità di dati non strutturati apre possibilità che stiamo solo iniziando a esplorare.
Come possono gli sviluppatori e le aziende interagire meglio con Zilliz e Milvus per sfruttare la tecnologia del database vettoriale nei loro progetti AI?
Ci sono due percorsi principali per sfruttare la tecnologia del database vettoriale con Zilliz e Milvus, ciascuno adatto a diverse esigenze e priorità. Se valorizzate la flessibilità e la personalizzazione, Milvus, la nostra soluzione open-source, è la scelta migliore. Con Milvus, potete:
- Sperimentare liberamente e imparare la tecnologia al vostro ritmo
- Personalizzare la soluzione in base alle vostre esigenze specifiche
- Contribuire allo sviluppo e modificare il codice sorgente
- Mantenere il controllo completo sulla vostra infrastruttura
Tuttavia, se desiderate concentrarvi sulla costruzione della vostra applicazione senza gestire l’infrastruttura, Zilliz Cloud è la scelta ottimale. Offre:
- Una soluzione pronta all’uso con un solo clic di deploy
- Sicurezza e conformità di livello aziendale
- Alta disponibilità e stabilità
- Prestazioni ottimizzate senza oneri operativi
Pensatelo in questo modo: se vi piace “tinkering” e volete il massimo controllo, optate per Milvus. Se volete minimizzare la complessità operativa e iniziare subito a costruire la vostra applicazione, scegliete Zilliz Cloud.
Entrambi i percorsi vi porteranno a destinazione – è solo questione di quanto del viaggio volete controllare rispetto a quanto velocemente avete bisogno di arrivare
Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Zilliz o Milvus.
