Ο Charles Xie, Ιδρυτής & Διευθύνων Σύμβουλος της Zilliz – Σειρά Συνεντεύξεων

Ο Charles Xie είναι ο ιδρυτής και Διευθύνων Σύμβουλος της Zilliz, εστιάζοντας στην κατασκευή επόμενης γενιάς βάσεων δεδομένων και τεχνολογιών αναζήτησης για εφαρμογές AI και LLMs. Στη Zilliz, επινόησε επίσης το Milvus, την πιο δημοφιλή ανοιχτό κώδικα βάση δεδομένων διανυσμάτων για παραγωγικές εφαρμογές AI. Είναι目前 μέλος του διοικητικού συμβουλίου του LF AI & Data Foundation και υπηρέτησε ως πρόεδρος του διοικητικού συμβουλίου το 2020 και το 2021. Ο Charles εργάστηκε προηγουμένως στην Oracle (ORCL ) ως ιδρυτικός μηχανικός του έργου Oracle 12c cloud database. Ο Charles κατέχει μεταπτυχιακό τίτλο στη επιστήμη των υπολογιστών από το Πανεπιστήμιο του Wisconsin-Madison.

Η Zilliz είναι η ομάδα πίσω από το LF AI Milvus®, μια ευρέως χρησιμοποιούμενη ανοιχτό κώδικα βάση δεδομένων διανυσμάτων. Η εταιρεία εστιάζει στη διευκόλυνση της διαχείρισης υποδομής δεδομένων, με στόχο να κάνει το AI πιο προσβάσιμο σε εταιρείες, οργανισμούς και άτομα.

Μπορείτε να μοιραστείτε την ιστορία πίσω από την ίδρυση της Zilliz και τι σας έμπνευσε να αναπτύξετε το Milvus και να εστιάσετε στις βάσεις δεδομένων διανυσμάτων;

Η πορεία μου στο πεδίο των βάσεων δεδομένων διαρκεί πάνω από 15 χρόνια, συμπεριλαμβανομένων έξι ετών ως μηχανικός λογισμικού στην Oracle, όπου ήμουν ιδρυτικό μέλος της ομάδας Oracle 12c Multitenant Database. Κατά τη διάρκεια αυτής της περιόδου, παρατήρησα ένα βασικό περιορισμό: ενώ τα δομημένα δεδομένα διαχειρίζονταν καλά, τα αδομημένα δεδομένα — που αντιπροσωπεύουν το 90% όλων των δεδομένων — παρέμειναν σε μεγάλο βαθμό ανεκμετάλλευτα, με μόνο το 1% να αναλύεται με σημαντικό τρόπο.

Το 2017, η αυξανόμενη ικανότητα του AI να επεξεργάζεται αδομημένα δεδομένα σημάδεψε einen σταθμό. Οι προόδους στην NLP έδειξαν πώς τα αδομημένα δεδομένα μπορούσαν να μετατραπούν σε διανυσματικές ενσωματώσεις, ξεκλειδώνοντας τη σημασιολογική τους σημασία. Αυτό με έμπνευσε να ιδρύσω τη Zilliz, με एक όραμα να διαχειρίζονται “δισεκατομμύρια δεδομένα”. Οι διανυσματικές ενσωματώσεις έγιναν ο ακρογωνιαίος λίθος για τη γέφυρα μεταξύ αδομημένων δεδομένων και ενεργών επιblickών. Αναπτύξαμε το Milvus ως μια βάση δεδομένων διανυσμάτων με σκοπό να φέρει αυτή την όραση στη ζωή.

Κατά τη διάρκεια των δύο τελευταίων ετών, η βιομηχανία έχει επικυρώσει αυτήν την προσέγγιση, αναγνωρίζοντας τις βάσεις δεδομένων διανυσμάτων ως θεμελιώδεις για τη διαχείριση αδομημένων δεδομένων. Για εμάς, πρόκειται για περισσότερα από την τεχνολογία — πρόκειται για την ενδυνάμωση της ανθρωπότητας να εκμεταλλευτεί το δυναμικό των αδομημένων δεδομένων στην εποχή του AI.

Πώς έχει εξελιχθεί ο δρόμος της Zilliz από την ίδρυσή της πριν από έξι χρόνια και ποιες βασικές προκλήσεις αντιμετώπισε ενώ πρωτοπόρησε στον χώρο των βάσεων δεδομένων διανυσμάτων;

Ο δρόμος έχει sido μεταμορφωτικός. Όταν ξεκινήσαμε τη Zilliz πριν από επτά χρόνια, η πραγματική πρόκληση δεν ήταν η συγκέντρωση κεφαλαίων ή η προσέλκυση προσωπικού — ήταν η κατασκευή ενός προϊόντος σε εντελώς ανεξερεύνητο έδαφος. Χωρίς υπάρχουσες οδικές χάρτες, besten πρακτικές ή καθιερωμένες προσδοκίες χρηστών, έπρεπε να χαράξουμε το δικό μας δρόμο.

Η прорывτική μας ήρθε με την ανοικτή πηγή του Milvus. Κάνοντας τα εμπόδια υιοθεσιμότητας πιο χαμηλά και προωθώντας την εμπλοκή της κοινότητας, κερδίσαμε απτή ανάδραση χρηστών για να επαναλάβουμε και να βελτιώσουμε το προϊόν. Όταν το Milvus κυκλοφόρησε το 2019, είχαμε γύρω στα 30 χρήστες μέχρι το τέλος του έτους. Αυτό αυξήθηκε σε πάνω από 200 το 2020 και σχεδόν 1.000 σύντομα μετά.

Σήμερα, οι βάσεις δεδομένων διανυσμάτων έχουν μετατοπιστεί από ένα καινοτόμο концепτό σε απαραίτητη υποδομή στην εποχή του AI, επικυρώνοντας την όραση που ξεκινήσαμε με.

Ως εταιρεία βάσεων δεδομένων διανυσμάτων, ποιες μοναδικές τεχνικές ικανότητες προσφέρει η Zilliz για την υποστήριξη της αναζήτησης διανυσμάτων σε σύγχρονες εφαρμογές AI;

Η Zilliz έχει αναπτύξει προηγμένες τεχνικές ικανότητες για την υποστήριξη της αναζήτησης διανυσμάτων:

1. Υβριδική Αναζήτηση: Ενεργοποιούμε ταυτόχρονες αναζητήσεις σε διαφορετικές modalities, όπως η συνδυασμένη αναζήτηση των οπτικών χαρακτηριστικών μιας εικόνας με την κείμενή της περιγραφή.
2. Βελτιστοποιημένα Αλγόριθμοι: Ιδιοκτησιακές τεχνικές quantization ισορροπούν την ακρίβεια ανάκλησης και την αποδοτικότητα μνήμης για δια-modal αναζητήσεις.
3. Εchtzeit και Υπολογισμός Εκτός Γραμμής: Το δίκτυό μας υποστηρίζει χαμηλής καθυστέρησης εchtzeit γραπτές και υψηλής απόδοσης υπολογισμό εκτός γραμμής, εξασφαλίζοντας την φρεσκάδα των δεδομένων.
4. Οικονομική Αποδοτικότητα: Οι επεκτάσεις μας της ικανότητας χρησιμοποιούν έξυπνη ιεραρχική αποθήκευση για να μειώσουν σημαντικά το κόστος αποθήκευσης ενώ διατηρούν υψηλή απόδοση.
5. Ενσωματωμένα Μοντέλα AI: Ολοκληρώνοντας μοντέλα multimodal ενσωματωσης και κατάταξης, έχουμε μειώσει το εμπόδιο για την υλοποίηση σύνθετων εφαρμογών αναζήτησης.

Αυτές οι ικανότητες επιτρέπουν στους développers να χειρίζονται αποτελεσματικά διάφορα τύποι δεδομένων, καθιστώντας τις σύγχρονες εφαρμογές AI πιο ισχυρές και ποικίλες.

Πώς βλέπετε την πρόοδο του Multimodal RAG στην ικανότητα του AI να χειρίζεται σύνθετα δεδομένα του πραγματικού κόσμου όπως εικόνες, ήχος και βίντεο μαζί με κείμενο;

Το Multimodal RAG (Retrieval-Augmented Generation) αντιπροσωπεύει μια σημαντική εξέλιξη στο AI. Ενώ το κείμενο-βασισμένο RAG έχει sido nổi bật, τα περισσότερα δεδομένα επιχειρήσεων καλύπτουν εικόνες, βίντεο και ήχο. Η ικανότητα να ενσωματώσετε αυτές τις διαφορετικές μορφές σε ροές εργασίας AI είναι κρίσιμη.

Αυτή η μετατόπιση είναι своєчасτη, καθώς η κοινότητα AI συζητά τα όρια των διαθέσιμων δεδομένων internet για εκπαίδευση. Ενώ τα δεδομένα κειμένου είναι πεπερασμένα, τα multimodal δεδομένα παραμένουν σε μεγάλο βαθμό ανεκμετάλλευτα — κυμαίνονται από εταιρικά βίντεο σε ταινίες Hollywood και ηχογραφήσεις.

Το Multimodal RAG ξεκλειδώνει αυτήν την ανεκμετάλλευτη πηγή, επιτρέποντας στα συστήματα AI να επεξεργάζονται και να εκμεταλλεύονται αυτά τα πλούσια δεδομένα. Δεν πρόκειται μόνο για την αντιμετώπιση της έλλειψης δεδομένων — πρόκειται για την επέκταση των ορίων των ικανοτήτων του AI για να κατανοήσει και να αλληλεπιδράσει με τον πραγματικό κόσμο.

Πώς διαφοροποιείται η Zilliz από τους ανταγωνιστές στην ταχέως εξελισσόμενη αγορά των βάσεων δεδομένων διανυσμάτων;

Η Zilliz ξεχωρίζει μέσω plusieurs μοναδικών πτυχών:

1. Διπλή Ταυτότητα: Είμαστε και μια εταιρεία AI και μια εταιρεία βάσεων δεδομένων,推izando τα όρια της διαχείρισης δεδομένων και της ενσωμάτωσης AI.
2. Σχεδιασμός Cloud-Εγγενής: Το Milvus 2.0 ήταν η πρώτη διανεμημένη βάση δεδομένων διανυσμάτων που υιοθέτησε μια αρχιτεκτονική αποσπάθμησης αποθήκευσης και υπολογισμού, επιτρέποντας την κλιμάκωση και την οικονομική αποδοτικότητα για πάνω από 100 δισεκατομμύρια διανύσματα.
3. Ιδιοκτησιακές Βελτιώσεις: Ο κινητήρας Cardinal μας επιτυγχάνει 3 φορές την απόδοση της ανοιχτής πηγής Milvus και 10 φορές πάνω από τους ανταγωνιστές. Προσφέρουμε επίσης δισκο-βασική ευρετηρίαση και έξυπνη ιεραρχική αποθήκευση για οικονομική κλιμάκωση.
4. Συνεχής Καινοτομία: Από τις ικανότητες υβριδικής αναζήτησης μέχρι εργαλεία μετανάστευσης όπως το VTS, συνεχίζουμε να προωθούμε την τεχνολογία βάσεων δεδομένων διανυσμάτων.

Η δέσμευσή μας για την ανοιχτή πηγή εξασφαλίζει ευελιξία, ενώ η υπηρεσία μας διαχείρισης, Zilliz Cloud, προσφέρει απόδοση επιχειρηματικού επιπέδου με ελάχιστη λειτουργική复잡ότητα.

Μπορείτε να επεκτείνετε την σημασία της Zilliz Cloud και τον ρόλο της στην δημοκρατικοποίηση του AI και την καθιστά την αναζήτηση διανυσμάτων υπηρεσιών προσβάσιμη σε μικρούς développers και επιχειρήσεις;

Η αναζήτηση διανυσμάτων έχει χρησιμοποιηθεί από τεχνολογικούς γίγαντες από το 2015, αλλά οι ιδιοκτησιακές υλοποιήσεις περιόρισαν την ευρύτερη υιοθεσία της. Στη Zilliz, δημοκρατικοποιούμε αυτήν την τεχνολογία μέσω δύο συμπληρωματικών προσεγγίσεων:

1. Ανοιχτή Πηγή: Το Milvus επιτρέπει στους développers να χτίζουν και να κατέχουν την υποδομή αναζήτησης διανυσμάτων, μειώνοντας τα τεχνικά εμπόδια.
2. Υπηρεσία Διαχείρισης: Η Zilliz Cloud εξαλείφει την λειτουργική υπερβολική复잡ότητα, προσφέροντας μια απλή και οικονομική λύση για τις επιχειρήσεις να υιοθετήσουν αναζήτηση διανυσμάτων χωρίς να απαιτούνται εξειδικευμένοι μηχανικοί.

Αυτή η διπλή προσέγγιση καθιστά την αναζήτηση διανυσμάτων προσβάσιμη τόσο για développers όσο και για επιχειρήσεις, επιτρέποντάς τους να εστιάσουν στην κατασκευή καινοτόμων εφαρμογών AI.

Με τις προόδους στα LLMs και τα μοντέλα θεμελίωσης, τι πιστεύετε ότι θα είναι η επόμενη μεγάλη μετατόπιση στην υποδομή δεδομένων AI;

Η επόμενη μεγάλη μετατόπιση θα είναι η ολική μεταμόρφωση της υποδομής δεδομένων AI για την αντιμετώπιση αδομημένων δεδομένων, τα οποία αποτελούν το 90% των δεδομένων του κόσμου. Τα υπάρχοντα συστήματα, σχεδιασμένα για δομημένα δεδομένα, είναι ακατάλληλα για αυτήν τη μετατόπιση.

Αυτή η μεταμόρφωση θα επηρεάσει κάθε στρώμα του στακ δεδομένων, από τις θεμελιώδεις βάσεις δεδομένων μέχρι τα πρωτόκολλα ασφαλείας και τα συστήματα παρακολούθησης. Δεν πρόκειται για σταδιακές αναβαθμίσεις — πρόκειται για τη δημιουργία νέων παραδειγμάτων που προσαρμόζονται στις сложότητες των αδομημένων δεδομένων.

Αυτή η μεταμόρφωση θα αγγίξει κάθε аспект του στακ δεδομένων:

• Θεμελιώδεις βάσεις δεδομένων
• Διαδικασίες πipelines δεδομένων και ETL
• Μηχανισμοί καθαρισμού και μετασχηματισμού δεδομένων
• Πρωτόκολλα ασφαλείας και κρυπτογράφησης
• Πλαίσια συμμόρφωσης και διακυβέρνησης
• Συστήματα παρακολούθησης δεδομένων

Δεν μιλάμε μόνο για την αναβάθμιση των υπάρχοντων συστημάτων – μιλάμε για την κατασκευή ολοκληρωτικά νέων παραδειγμάτων. Είναι σαν να μετακινούμαστε από έναν κόσμο που είναι βελτιστοποιημένος για την οργάνωση βιβλίων σε μια βιβλιοθήκη σε έναν που πρέπει να διαχειριστεί, να κατανοήσει και να επεξεργαστεί ολόκληρο το internet. Αυτή η μετατόπιση αντιπροσωπεύει ένα ολοκαίνουργιο κόσμο, όπου κάθε компонент της υποδομής δεδομένων μπορεί να χρειαστεί να ξανασχεδιαστεί από την αρχή.

Αυτή η επανάσταση θα ξαναορίσει τον τρόπο που αποθηκεύουμε, διαχειριζόμαστε και επεξεργαζόμαστε τα δεδομένα, ξεκλείδωντας τεράστιες ευκαιρίες για καινοτομία AI.

Πώς έχει επηρεάσει η ενσωμάτωση των NVIDIA GPUs την απόδοση και την κλιμάκωση της αναζήτησης διανυσμάτων;

Η ενσωμάτωση των NVIDIA GPUs έχει βελτιώσει σημαντικά την απόδοση της αναζήτησης διανυσμάτων σε δύο βασικούς τομείς.

Πρώτον, στην κατασκευή ευρετηρίου, η οποία είναι μια από τις πιο υπολογιστικά εντατικές λειτουργίες στις βάσεις δεδομένων διανυσμάτων. Σε σύγκριση με την παραδοσιακή ευρετηρίαση βάσεων δεδομένων, η κατασκευή ευρετηρίου διανυσμάτων απαιτεί πολλές τάξεις μεγέθους περισσότερη υπολογιστική δύναμη. Μέσω της αξιοποίησης της επιτάχυνσης GPU, μειώσαμε δραματικά τον χρόνο κατασκευής του ευρετηρίου, επιτρέποντας ταχύτερη είσοδο δεδομένων και βελτιωμένη ορατότητα δεδομένων.

Δεύτερον, οι GPU ήταν κρίσιμες για υψηλής απόδοσης περιπτώσεις αναζήτησης. Σε εφαρμογές όπως το e-commerce, όπου τα συστήματα πρέπει να χειρίζονται χιλιάδες ή даже δεκάδες χιλιάδες αναζητήσεις ανά δευτερόλεπτο (QPS), η ικανότητα παράλληλης επεξεργασίας των GPU αποδείχθηκε απτή. Μέσω της αξιοποίησης της επιτάχυνσης GPU, μπορούμε να επεξεργαστούμε αποτελεσματικά αυτές τις υψηλής όγκου αναζητήσεις ομοιότητας διανυσμάτων ενώ διατηρούμε χαμηλή καθυστέρηση.

Από το 2021, συνεργαζόμαστε με την NVIDIA (NVDA ) για την оптимποίηση των αλγορίθμων μας για την αρχιτεκτονική GPU, καθώς και για την ανάπτυξη του συστήματός μας για να υποστηρίξει ετερογενή υπολογισμό σε διαφορετικές αρχιτεκτονικές επεξεργαστών. Αυτό δίνει στους πελάτες μας την ευελιξία να επιλέξουν την πιο κατάλληλη υποδομή υλικού για τις συγκεκριμένες ανάγκες τους.

Καθώς οι βάσεις δεδομένων διανυσμάτων παίζουν κρίσιμο ρόλο στο AI, βλέπετε την εφαρμογή τους να επεκτείνεται πέρα από τις παραδοσιακές χρήσεις όπως συστήματα συστάσεων και αναζήτησης σε βιομηχανίες όπως η υγεία;

Οι βάσεις δεδομένων διανυσμάτων επεκτείνονται ταχέως πέρα από τις παραδοσιακές εφαρμογές όπως συστήματα συστάσεων και αναζήτησης, διεισδύοντας σε βιομηχανίες που δεν φανταζόμασταν προηγουμένως. Ας μοιραστώ κάποια παραδείγματα.

Στην υγεία και την φαρμακευτική έρευνα, οι βάσεις δεδομένων διανυσμάτων επαναπροσδιορίζουν την ανακάλυψη φαρμάκων. Τα μόρια μπορούν να διανυσματοποιηθούν με βάση τις λειτουργικές τους ιδιότητες, και χρησιμοποιώντας προηγμένα χαρακτηριστικά όπως η αναζήτηση εύρους, οι ερευνητές μπορούν να ανακαλύψουν όλα τα πιθανά υποψήφια φάρμακα που μπορεί να θεραπεύσουν συγκεκριμένες ασθένειες ή συμπτώματα. Σε αντίθεση με τις παραδοσιακές αναζητήσεις top-k, η αναζήτηση εύρους αναγνωρίζει όλα τα μόρια εντός eines ορισμένου εύρους της στόχευσης, παρέχοντας μια ολοκληρωμένη άποψη των πιθανών υποψηφίων.

Στην αυτόνομη οδήγηση, οι βάσεις δεδομένων διανυσμάτων βελτιώνουν την ασφάλεια και την απόδοση των οχημάτων. Μια ενδιαφέρουσα εφαρμογή είναι η διαχείριση περιπτώσεων άκρων – όταν το σύστημα αντιμετωπίζει ασυνήθιστες περιπτώσεις, μπορεί να αναζητήσει γρήγορα σε τεράστιες βάσεις δεδομένων παρόμοιων περιπτώσεων για να βρει σχετικά δεδομένα εκπαίδευσης για την επιμελήωση των μοντέλων αυτόνομης οδήγησης.

Βλέπουμε επίσης καινοτόμες εφαρμογές στις χρηματοοικονομικές υπηρεσίες για την ανίχνευση απάτης, στην κυβερνοασφάλεια για την ανίχνευση απειλών και στη στοχευμένη διαφήμιση για την βελτίωση της εμπειρίας του πελάτη. Για παράδειγμα, στις τραπεζικές υπηρεσίες, οι συναλλαγές μπορούν να διανυσματοποιηθούν και να συγκριθούν με ιστορικά πρότυπα για να ανακαλυφθούν πιθανές απάτες.

Η δύναμη των βάσεων δεδομένων διανυσμάτων έγκειται στην ικανότητά τους να κατανοούν και να επεξεργάζονται ομοιότητα σε οποιοδήποτε domaine — είτε πρόκειται για μοριακές δομές, σενάρια οδήγησης, χρηματοοικονομικά πρότυπα ή απειλές ασφαλείας. Καθώς το AI συνεχίζει να εξελίσσεται, μόλις αρχίζουμε να σκραπάρουμε την επιφάνεια του τι είναι δυνατό. Η ικανότητα να επεξεργαστούμε και να ανακαλύψουμε πρότυπα σε τεράστιες ποσότητες αδομημένων δεδομένων ανοίγει ευκαιρίες που μόλις αρχίζουμε να εξερευνούμε.

Πώς μπορούν οι développers και οι επιχειρήσεις να αλληλεπιδράσουν με τη Zilliz και το Milvus για να αξιοποιήσουν την τεχνολογία βάσεων δεδομένων διανυσμάτων στις εφαρμογές AI τους;

Υπάρχουν δύο κύριοι δρόμοι για να αξιοποιήσετε την τεχνολογία βάσεων δεδομένων διανυσμάτων με τη Zilliz και το Milvus, каждый από τους οποίους είναι κατάλληλος για διαφορετικές ανάγκες και προτεραιότητες. Εάν ценείτε την ευελιξία και την προσαρμογή, το Milvus, η λύση ανοιχτής πηγής, είναι η καλύτερη επιλογή σας. Με το Milvus, μπορείτε:

• Να πειραματιστείτε ελεύθερα και να μάθετε την τεχνολογία με το δικό σας ρυθμό
• Να προσαρμόσετε την λύση στις συγκεκριμένες σας ανάγκες
• Να συνεισφέρετε στην ανάπτυξη και να τροποποιήσετε τον κώδικα
• Να διατηρήσετε τον πλήρη έλεγχο της υποδομής σας

Ωστόσο, εάν θέλετε να εστιάσετε στην κατασκευή της εφαρμογής σας χωρίς να διαχειριζόμαστε την υποδομή, η Zilliz Cloud είναι η ιδανική επιλογή. Προσφέρει:

• Μια λύση out-of-the-box με ανάπτυξη με ένα κλικ
• Απόδοση επιχειρηματικού επιπέδου με ελάχιστη λειτουργική复잡ότητα
• Υψηλή διαθεσιμότητα και σταθερότητα
• Βελτιστοποιημένη απόδοση χωρίς λειτουργική υπερβολική复잡ότητα

Σκεφτείτε το così: εάν σας αρέσει να “πειραματίζεστε” και θέλετε την μέγιστη ευελιξία, επιλέξτε το Milvus. Εάν θέλετε να μειώσετε την λειτουργική复잡ότητα και να αρχίσετε να κατασκευάζετε την εφαρμογή σας, επιλέξτε τη Zilliz Cloud.

Και οι δύο δρόμοι θα σας οδηγήσουν στον προορισμό σας — είναι απλά θέμα πόσο του ταξιδιού θέλετε να ελέγξετε versus πόσο γρήγορα πρέπει να φτάσετε

Ευχαριστούμε για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν τη Zilliz ή τη Milvus.