Συνεντεύξεις
Charles Xie, Ιδρυτής & CEO της Zilliz – Σειρά Συνεντεύξεων
Ο Charles Xie είναι ο ιδρυτής και διευθύνων σύμβουλος της Zilliz, με επίκεντρο την κατασκευή βάσεων δεδομένων και τεχνολογιών αναζήτησης της επόμενης γενιάς για εφαρμογές AI και LLMs. Στη Zilliz, εφηύρε επίσης το Milvus, τη πιο δημοφιλή ανοικτού κώδικα διανυσματική βάση δεδομένων για παραγωγή AI. Είναι目前 μέλος του διοικητικού συμβουλίου του LF AI & Data Foundation και υπηρέτησε ως πρόεδρος του διοικητικού συμβουλίου το 2020 και το 2021. Ο Charles εργάστηκε προηγουμένως στην Oracle ως ιδρυτικός μηχανικός του έργου βάσης δεδομένων Oracle 12c cloud. Ο Charles κατέχει μεταπτυχιακό τίτλο σπουδών στην επιστήμη των υπολογιστών από το Πανεπιστήμιο του Wisconsin-Madison.
Η Zilliz είναι η ομάδα πίσω από το LF AI Milvus®, μια ευρέως χρησιμοποιούμενη ανοικτού κώδικα διανυσματική βάση δεδομένων. Η εταιρεία επικεντρώνεται στη简化 της διαχείρισης της υποδομής δεδομένων, με στόχο να κάνει την AI πιο προσιτή σε εταιρείες, οργανισμούς και άτομα.
Μπορείτε να μοιραστείτε την ιστορία πίσω από την ίδρυση της Zilliz και τι σας ενέπνευσε να αναπτύξετε το Milvus και να επικεντρωθείτε στις διανυσματικές βάσεις δεδομένων;
Η πορεία μου στον τομέα των βάσεων δεδομένων διαρκεί πάνω από 15 χρόνια, συμπεριλαμβανομένων έξι ετών ως μηχανικός λογισμικού στην Oracle, όπου ήμουν ιδρυτικό μέλος της ομάδας βάσης δεδομένων Oracle 12c Multitenant. Κατά τη διάρκεια αυτής της περιόδου, έγινα aware μιας κρίσιμης περιορισμένης: ενώ τα δομημένα δεδομένα διαχειρίζονταν καλά, τα αδόμητα δεδομένα – που αντιπροσωπεύουν το 90% όλων των δεδομένων – παρέμειναν σε μεγάλο βαθμό ανεξέταστα, με μόνο το 1% να αναλύεται με σημαντικό τρόπο.
Το 2017, η αυξανόμενη ικανότητα της AI να επεξεργάζεται αδόμητα δεδομένα σημάδεψε ένα σημείο καμπής. Οι προόδους στην NLP έδειξαν πώς τα αδόμητα δεδομένα μπορούσαν να μετατραπούν σε διανυσματικές ενσωματώσεις, ξεκλειδώνοντας τη σημασιολογική τους σημασία. Αυτό με ενέπνευσε να ιδρύσω την Zilliz, με एक όραμα να διαχειρίζεται “δισεκατομμύρια δεδομένα”. Οι διανυσματικές ενσωματώσεις έγιναν ο γωνιαίος λίθος για τη γέφυρα του χάσματος μεταξύ αδόμητων δεδομένων και ενεργών επιblickών. Αναπτύξαμε το Milvus ως μια βάση δεδομένων με σκοπό να φέρει αυτή την όραση στη ζωή.
Κατά τα τελευταία δύο χρόνια, η βιομηχανία έχει επικυρώσει αυτήν την προσέγγιση, αναγνωρίζοντας τις διανυσματικές βάσεις δεδομένων ως θεμελιώδεις για τη διαχείριση αδόμητων δεδομένων. Για εμάς, πρόκειται για περισσότερα από την τεχνολογία – πρόκειται για την ενδυνάμωση της ανθρωπότητας να εκμεταλλευτεί το δυναμικό των αδόμητων δεδομένων στην εποχή της AI.
Πώς έχει εξελιχθεί η πορεία της Zilliz από την ίδρυσή της πριν από έξι χρόνια, και ποια ήταν τα κύρια προκλήματα που αντιμετωπίσατε ενώ πρωτοπορούσατε τον χώρο των διανυσματικών βάσεων δεδομένων;
Η πορεία έχει sido μεταμορφωτική. Όταν ξεκινήσαμε την Zilliz πριν από επτά χρόνια, η πραγματική πρόκληση δεν ήταν η συγκέντρωση κεφαλαίων ή η πρόσληψη προσωπικού – ήταν η κατασκευή ενός προϊόντος σε完全 αχαρτογράφητο έδαφος. Χωρίς υπάρχοντα οδικά χάρτη, beste πρακτικές ή καθιερωμένες προσδοκίες χρηστών, έπρεπε να χαράξουμε τη δική μας πορεία.
Η độtέψη μας ήρθε με την ανοικτή πηγή του Milvus. Κάνοντας την υιοθέτηση πιο εύκολη και προάγοντας την ενεργό συμμετοχή της κοινότητας, κερδίσαμε απτή ανατροφοδότηση χρηστών για να επαναλάβουμε και να βελτιώσουμε το προϊόν. Όταν το Milvus κυκλοφόρησε το 2019, είχαμε περίπου 30 χρήστες μέχρι το τέλος του έτους. Αυτό αυξήθηκε σε πάνω από 200 το 2020 και σχεδόν 1.000 σύντομα μετά.
Σήμερα, οι διανυσματικές βάσεις δεδομένων έχουν μετατοπιστεί από ένα καινοτόμο концепτό σε απαραίτητη υποδομή στην εποχή της AI, επικυρώνοντας την όραση που ξεκινήσαμε με.
Ως εταιρεία διανυσματικών βάσεων δεδομένων, ποια είναι τα μοναδικά τεχνικά χαρακτηριστικά που προσφέρει η Zilliz για την υποστήριξη της αναζήτησης διανυσμάτων σε σύγχρονες εφαρμογές AI;
Η Zilliz έχει αναπτύξει προηγμένα τεχνικά χαρακτηριστικά για την υποστήριξη της αναζήτησης διανυσμάτων:
- Υβριδική Αναζήτηση: Ενεργοποιούμε ταυτόχρονες αναζητήσεις σε διαφορετικές μορφές, όπως η συνδυασμένη αναζήτηση των οπτικών χαρακτηριστικών μιας εικόνας με την περιγραφή κειμένου της.
- Βελτιστοποιημένα Αλγόριθμοι: Ιδιοκτησιακές τεχνικές κванτισμού ισορροπούν την ακρίβεια ανακλησείας και την αποδοτικότητα μνήμης για αναζητήσεις διανυσμάτων διαφορετικών μορφών.
- Εchtzeit και Offline Επεξεργασία: Το δικοινό μας σύστημα υποστηρίζει χαμηλής καθυστέρησης εchtzeit εγγραφές και υψηλής απόδοσης offline εισαγωγές, εξασφαλίζοντας τη φρεσκάδα των δεδομένων.
- Οικονομική Αποδοτικότητα: Οι εκτεταμένες μας περιπτώσεις ικανοποίησης χρησιμοποιούν έξυπνη層ική αποθήκευση για να μειώσουν σημαντικά το κόστος αποθήκευσης ενώ διατηρούν υψηλή απόδοση.
- Ενσωματωμένα Μοντέλα AI: Ενσωματώνοντας μοντέλα διανυσματικών ενσωματώσεων και κατάταξης, abbiamo μειώσει το εμπόδιο για την υλοποίηση σύνθετων εφαρμογών αναζήτησης.
Αυτά τα χαρακτηριστικά επιτρέπουν στους dévelopπερ να χειρίζονται αποτελεσματικά διαφορετικά είδη δεδομένων, καθιστώντας τις σύγχρονες εφαρμογές AI πιο ισχυρές και ποικίλες.
Πώς βλέπετε την πρόοδο του Multimodal RAG στην ικανότητα της AI να χειρίζεται σύνθετα πραγματικά δεδομένα όπως εικόνες, ήχοι και βίντεο μαζί με κείμενο;
Το Multimodal RAG (Retrieval-Augmented Generation) αντιπροσωπεύει μια κρίσιμη εξέλιξη στην AI. Ενώ το κείμενο-βασισμένο RAG ήταν προεξάρχον, τα περισσότερα δεδομένα των επιχειρήσεων διαρκούν εικόνες, βίντεο και ήχους. Η ικανότητα να ενσωματώσετε αυτές τις διαφορετικές μορφές σε ροές εργασιών AI είναι κρίσιμη.
Αυτή η μετατόπιση είναι επίκαιρη, καθώς η κοινότητα AI συζητά τα όρια των διαθέσιμων δεδομένων κειμένου internet για εκπαίδευση. Ενώ τα δεδομένα κειμένου είναι πεπερασμένα, τα διανυσματικά δεδομένα παραμένουν σε μεγάλο βαθμό ανεξέταστα – από εταιρικά βίντεο σε ταινίες Hollywood και ηχογραφήσεις.
Το Multimodal RAG ξεκλειδώνει αυτήν την ανεξέταστη πηγή, ermögνωντας στα συστήματα AI να επεξεργάζονται και να εκμεταλλεύονται αυτά τα πλούσια δεδομένα. Δεν πρόκειται μόνο για την αντιμετώπιση της σπανότητας δεδομένων – πρόκειται για την επέκταση των ορίων των ικανοτήτων της AI για να κατανοήσει και να αλληλεπιδράσει με τον πραγματικό κόσμο.
Πώς διαφοροποιείται η Zilliz από τους ανταγωνιστές στην ταχέως αναπτυσσόμενη αγορά των διανυσματικών βάσεων δεδομένων;
Η Zilliz ξεχωρίζει μέσω πολλών μοναδικών аспектών:
- Διπλή Ταυτότητα: Είμαστε και μια εταιρεία AI και μια εταιρεία βάσεων δεδομένων, ωθώντας τα όρια της διαχείρισης δεδομένων και της ενσωμάτωσης AI.
- Σχεδιασμός Cloud-Εγγενής: Το Milvus 2.0 ήταν η πρώτη διανεμημένη διανυσματική βάση δεδομένων που υιοθέτησε μια αρχιτεκτονική αποσυνδεμένης αποθήκευσης και υπολογισμού, ermögνωντας κλιμακωσιμότητα και οικονομική αποδοτικότητα για πάνω από 100 δισεκατομμύρια διανύσματα.
- Ιδιοκτησιακές Βελτιώσεις: Ο κινητήρας Cardinal μας επιτυγχάνει 3 φορές την απόδοση της ανοικτής πηγής Milvus και 10 φορές πάνω από τους ανταγωνιστές. Προσφέρουμε επίσης δισκο-βασισμένη ευρετηρίαση και έξυπνη層ική αποθήκευση για κοστο-αποδοτική κλιμάκωση.
- Συνεχής Καινοτομία: Από τις ικανότητες υβριδικής αναζήτησης μέχρι εργαλεία μετανάστευσης όπως το VTS, συνεχίζουμε να προωθούμε την τεχνολογία των διανυσματικών βάσεων δεδομένων.
Η δέσμευσή μας για την ανοικτή πηγή εξασφαλίζει ευελιξία, ενώ η διαχειριζόμενη υπηρεσία μας, Zilliz Cloud, προσφέρει επιχειρηματική απόδοση με ελάχιστη λειτουργική сложκότητα.
Μπορείτε να επεκτείνετε την σημασία της Zilliz Cloud και τον ρόλο της στην δημοκρατικοποίηση της AI και την καθιστά την αναζήτηση διανυσμάτων και τις υπηρεσίες προσβάσιμες σε μικρούς dévelopπερ και επιχειρήσεις;
Η αναζήτηση διανυσμάτων έχει χρησιμοποιηθεί από τεχνολογικούς γίγαντες από το 2015, αλλά οι ιδιοκτησιακές υλοποιήσεις περιόρισαν την ευρύτερη υιοθέτησή της. Στη Zilliz, δημοκρατικοποιούμε αυτήν την τεχνολογία μέσω δύο συμπληρωματικών προσεγγίσεων:
- Ανοικτή Πηγή: Το Milvus ermögνωνει στους dévelopπερ να κατασκευάσουν και να κατέχουν την υποδομή αναζήτησης διανυσμάτων, μειώνοντας τα τεχνικά εμπόδια.
- Διαχειριζόμενη Υπηρεσία: Η Zilliz Cloud εξαφανίζει την λειτουργική υπερβολική复雑κότητα, προσφέροντας μια απλή, κοστο-αποδοτική λύση για τις επιχειρήσεις να υιοθετήσουν την αναζήτηση διανυσμάτων χωρίς να απαιτούν ειδικούς μηχανικούς.
Αυτή η διπλή προσέγγιση καθιστά την αναζήτηση διανυσμάτων προσβάσιμη τόσο για τους dévelopπερ όσο και για τις επιχειρήσεις, ermögνωντας τους να επικεντρωθούν στην κατασκευή καινοτόμων εφαρμογών AI.
Με τις προόδους στις LLMs και τις θεμελιώδεις μονάδες, τι πιστεύετε ότι θα είναι η επόμενη μεγάλη μετατόπιση στην υποδομή δεδομένων AI;
Η επόμενη μεγάλη μετατόπιση θα είναι η ολική μεταμόρφωση της υποδομής δεδομένων AI για να χειριστεί αδόμητα δεδομένα, τα οποία αποτελούν το 90% των δεδομένων του κόσμου. Τα υπάρχοντα συστήματα, σχεδιασμένα για δομημένα δεδομένα, είναι ακατάλληλα για αυτήν την μετατόπιση.
Αυτή η μεταμόρφωση θα επηρεάσει κάθε επίπεδο του στρώματος δεδομένων, από τις θεμελιώδεις βάσεις δεδομένων μέχρι τις πρωτόκολες ασφαλείας και τις αρχές παρατηρησιμότητας. Δεν πρόκειται για σταδιακές αναβαθμίσεις – πρόκειται για τη δημιουργία νέων παραδειγμάτων που προσαρμόζονται στις phứcότητες των αδόμητων δεδομένων.
Αυτή η μεταμόρφωση θα αγγίξει κάθε аспект του στρώματος δεδομένων:
- Θεμελιώδεις βάσεις δεδομένων
- Διαδικασίες πipelines και ETL
- Μηχανισμοί καθαρισμού και μετασχηματισμού δεδομένων
- Πρωτόκολες ασφαλείας και κρυπτογράφησης
- Πλαίσια συμμόρφωσης και διακυβέρνησης
- Σύστημα παρατηρησιμότητας δεδομένων
Δεν μιλάμε μόνο για την αναβάθμιση των υπάρχοντων συστημάτων – μιλάμε για την κατασκευή ολοκαίνουργιων παραδειγμάτων. Είναι σαν να μετακινούμαστε από ένα κόσμο που είναι βελτιστοποιημένος για την οργάνωση βιβλίων σε μια βιβλιοθήκη σε ένα που χρειάζεται να διαχειριστεί, να κατανοήσει και να επεξεργαστεί όλο το internet. Αυτή η μετατόπιση αντιπροσωπεύει ένα ολοκαίνουργιο κόσμο, όπου κάθε συστατικό της υποδομής δεδομένων μπορεί να χρειαστεί να ξανασχεδιαστεί από την αρχή.
Αυτή η επανάσταση θα ξαναορίσει πώς αποθηκεύουμε, διαχειριζόμαστε και επεξεργαζόμαστε δεδομένα, ξεκλείδωντας τεράστιες ευκαιρίες για καινοτομία AI.
Πώς έχει επηρεάσει η ενσωμάτωση των NVIDIA GPUs την απόδοση και την κλιμακωσιμότητα της αναζήτησης διανυσμάτων σας;
Η ενσωμάτωση των NVIDIA GPUs έχει βελτιώσει σημαντικά την απόδοση της αναζήτησης διανυσμάτων μας σε δύο κρίσιμες περιοχές.
Πρώτον, στην κατασκευή ευρετηρίου, η οποία είναι μια από τις πιο υπολογιστικά εντατικές λειτουργίες στις διανυσματικές βάσεις δεδομένων. Σε σύγκριση με την παραδοσιακή ευρετηρίαση βάσεων δεδομένων, η κατασκευή ευρετηρίου διανυσμάτων απαιτεί πολλές τάξεις μεγέθους περισσότερη υπολογιστική δύναμη. Με την利用ποίηση της επιτάχυνσης GPU, abbiamo μειώσει δραματικά τον χρόνο κατασκευής ευρετηρίου, ermögνωντας ταχύτερη είσοδο δεδομένων και βελτιωμένη ορατότητα δεδομένων.
Δεύτερον, τα GPU έχουν αποδειχθεί κρίσιμα για υψηλής απόδοσης περιπτώσεις αναζήτησης. Σε εφαρμογές όπως το e-commerce, όπου τα συστήματα χρειάζεται να χειριστούν χιλιάδες ή ακόμη και δεκάδες χιλιάδες αναζητήσεις ανά δευτερόλεπτο (QPS), η παράλληλη επεξεργασία των GPU έχει αποδειχθεί απαραίτητη. Με την利用ποίηση της επιτάχυνσης GPU, μπορούμε να επεξεργαστούμε αποτελεσματικά αυτές τις υψηλής όγκου αναζητήσεις ομοιότητας διανυσμάτων ενώ διατηρούμε χαμηλή καθυστέρηση.
Από το 2021, συνεργαζόμαστε με την NVIDIA για να βελτιστοποιήσουμε τους αλγόριθμους μας για την αρχιτεκτονική GPU, ενώ αναπτύσσουμε επίσης το σύστημά μας για να υποστηρίξει ετερογενή υπολογισμό σε διαφορετικές αρχιτεκτονικές επεξεργαστών. Αυτό δίνει στους πελάτες μας την ευελιξία να επιλέξουν την πιο κατάλληλη υποδομή υλικού για τις συγκεκριμένες ανάγκες τους.
Ως οι διανυσματικές βάσεις δεδομένων παίζουν einen κρίσιμο ρόλο στην AI, βλέπετε την εφαρμογή τους να επεκτείνεται πέρα από τις παραδοσιακές περιπτώσεις χρήσης όπως συστήματα σύστασης και αναζήτησης σε βιομηχανίες όπως η υγεία;
Οι διανυσματικές βάσεις δεδομένων επεκτείνονται ταχέως πέρα από τις παραδοσιακές εφαρμογές όπως συστήματα σύστασης και αναζήτησης, διεισδύοντας σε βιομηχανίες που δεν είχαμε φανταστεί πριν. Ας μοιραστώ μερικά παραδείγματα.
Στην υγεία και την ερευνά φαρμάκων, οι διανυσματικές βάσεις δεδομένων επαναπροσδιορίζουν την ανακάλυψη φαρμάκων. Τα μόρια μπορούν να διανυσματοποιηθούν με βάση τις λειτουργικές τους ιδιότητες, και χρησιμοποιώντας προηγμένα χαρακτηριστικά όπως η αναζήτηση εύρους, οι ερευνητές μπορούν να ανακαλύψουν όλα τα πιθανά φαρμακευτικά υποψήφια που μπορεί να θεραπεύσουν συγκεκριμένες ασθένειες ή συμπτώματα. Σε αντίθεση με τις παραδοσιακές αναζητήσεις top-k, η αναζήτηση εύρους αναγνωρίζει όλα τα μόρια μέσα σε μια συγκεκριμένη απόσταση από το στόχο, παρέχοντας μια ολοκληρωμένη άποψη των πιθανών υποψηφίων.
Στην αυτόνομη οδήγηση, οι διανυσματικές βάσεις δεδομένων βελτιώνουν την ασφάλεια και την απόδοση του οχήματος. Ένα ενδιαφέρον παράδειγμα είναι η διαχείριση περιπτώσεων άκρων – όταν αντιμετωπίζονται ασυνήθιστες περιπτώσεις, το σύστημα μπορεί να αναζητήσει γρήγορα σε τεράστιες βάσεις δεδομένων παρόμοιων περιπτώσεων για να βρει σχετικά δεδομένα εκπαίδευσης για την λεπτομέρεια των μοντέλων αυτόνομης οδήγησης.
Βλέπουμε επίσης καινοτόμες εφαρμογές στις χρηματοοικονομικές υπηρεσίες για την ανίχνευση απάτης, την κυβερνοασφάλεια για την ανίχνευση απειλών και την στοχευμένη διαφήμιση για την βελτίωση της εμπειρίας του πελάτη.
Η δύναμη των διανυσματικών βάσεων δεδομένων έγκειται στην ικανότητά τους να κατανοούν και να επεξεργάζονται ομοιότητα σε οποιοδήποτε domaine – είτε πρόκειται για μοριακές δομές, σενάρια οδήγησης, χρηματοοικονομικά πρότυπα ή απειλές ασφαλείας. Όσο η AI συνεχίζει να εξελίσσεται, μόλις αρχίζουμε να σκραπάρουμε την επιφάνεια του τι είναι δυνατό. Η ικανότητα να επεξεργαζόμαστε και να αναζητούμε πρότυπα σε τεράστιες ποσότητες αδόμητων δεδομένων ανοίγει ευκαιρίες που μόλις αρχίζουμε να εξερευνούμε.
Πώς μπορούν οι dévelopπερ και οι επιχειρήσεις να αλληλεπιδράσουν με την Zilliz και το Milvus για να εκμεταλλευτούν την τεχνολογία των διανυσματικών βάσεων δεδομένων στις εφαρμογές AI τους;
Υπάρχουν δύο κύριες οδοί για να εκμεταλλευτείτε την τεχνολογία των διανυσματικών βάσεων δεδομένων με την Zilliz και το Milvus, κάθε μια από τις οποίες είναι κατάλληλη για διαφορετικές ανάγκες και προτεραιότητες. Nếu αξιολογείτε την ευελιξία και την προσαρμογή, το Milvus, η λύση ανοικτής πηγής, είναι η καλύτερη επιλογή. Με το Milvus, μπορείτε:
- Πειραματιστείτε ελεύθερα και μάθετε την τεχνολογία με το δικό σας ρυθμό
- Προσαρμόστε τη λύση στις συγκεκριμένες σας απαιτήσεις
- Συμμετέχετε στην ανάπτυξη και τροποποιήστε την βάση κώδικα
- Διατηρήστε τον πλήρη έλεγχο της υποδομής σας
Ωστόσο, nếu θέλετε να επικεντρωθείτε στην κατασκευή της εφαρμογής σας χωρίς να διαχειρίζεστε την υποδομή, η Zilliz Cloud είναι η ιδανική επιλογή. Προσφέρει:
- Μια λύση out-of-the-box με ανάπτυξη με ένα κλικ
- Επιχειρηματική ασφάλεια και συμμόρφωση
- Υψηλή διαθεσιμότητα και σταθερότητα
- Βελτιστοποιημένη απόδοση χωρίς λειτουργική phứcικότητα
Σκεφτείτε το così: αν σας αρέσει να “πειραματίζεστε” και θέλετε την μέγιστη ευελιξία, επιλέξτε το Milvus. Αν θέλετε να μειώσετε την λειτουργική複雑κότητα και να φτάσετε γρήγορα στην κατασκευή της εφαρμογής σας, επιλέξτε την Zilliz Cloud.
Και οι δύο οδοί θα σας οδηγήσουν στο προορισμό σας – είναι θέμα πόσο από το ταξίδι θέλετε να ελέγχετε έναντι πόσο γρήγορα χρειάζεστε να φτάσετε
Ευχαριστώ για τη μεγάλη συνέντευξη. Οι αναγνώστες που θέλουν να μάθουν περισσότερα μπορούν να επισκεφθούν την Zilliz ή το Milvus.
