Edo Liberty, Ιδρυτής και Επικεφαλής Επιστήμονας στην Pinecone – Σειρά Συνεντεύξεων

Edo Liberty, Ιδρυτής και Επικεφαλής Επιστήμονας στην Pinecone, είναι ένας κορυφαίος εμπειρογνώμων σε μεγάλης κλίμακας συστήματα δεδομένων και μηχανική μάθηση. Πριν από την εκκίνηση της Pinecone – της διανυσματικής βάσης δεδομένων που κατασκευάστηκε για απόδοση και κλίμακα – ήταν Διευθυντής Ερευνών στην AWS και Διευθυντής του Amazon (AMZN ) AI Labs, όπου η ομάδα του ανέπτυξε βασικές τεχνολογίες πίσω από το SageMaker, το OpenSearch, το Kinesis και άλλα. Προηγουμένως ηγήθηκε του ερευνητικού εργαστηρίου της Yahoo στη Νέα Υόρκη, προωθώντας πλατφόρμες και εφαρμογές μηχανικής μάθησης σε αναζήτηση, διαφήμιση και ασφάλεια. Το έργο του επικεντρώνεται στις αλγορίθμους και τις μαθηματικές βάσεις για την αντιμετώπιση τεράστιων συνόλων δεδομένων, που περιλαμβάνουν μείωση διαστατικότητας, ομαδοποίηση, ροή και μεγάλης κλίμακας γραμμική άλγεβρα.

Pinecone είναι μια πλήρως διαχειριζόμενη διανυσματική βάση δεδομένων που κατασκευάστηκε για να παρέχει αναζήτηση κλίμακας και αποδοτικότητας σε μεγάλες, δυναμικές συνόλους δεδομένων. Υποστηρίζει και πυκνές και σπάνιες εμβυθύνσεις, πραγματικό χρόνο ευρετηρίου και φιλτράρισμα με μεταδεδομένα, ενώ ενσωματώνεται άψογα με κορυφαίες νεφώσεις, μοντέλα και πλαίσια. Με αυτο-κλιμάκωση χωρίς διακομιστή, επιχειρηματική ασφάλεια και πρότυπα συμμόρφωσης όπως το SOC 2, το ISO 27001, το GDPR και το HIPAA, η Pinecone παρέχει một αξιόπιστη βάση για την ανάπτυξη μεγάλης κλίμακας εφαρμογών AI.

Ιδρύσατε την Pinecone το 2019 μετά από την ηγεσία της έρευνας στο Amazon AI Labs και την κατασκευή συστημάτων όπως το SageMaker. Τι σας ενέπνευσε να εκκινήσετε την Pinecone και να επικεντρωθείτε συγκεκριμένα σε διανυσματικές βάσεις δεδομένων;

Στην AWS, η ομάδα μας κατασκεύασε εξαιρετικά συστήματα, αλλά όταν ήρθε η ώρα της μνήμης, δεν υπήρχε τρόπος να αναζητήσουμε σεμάντικά μέσα από τεράστιες ποσότητες μη δομημένων δεδομένων. Απαιτούσε εξαιρετικά εξειδικευμένους μηχανικούς που γνώριζαν πώς να κατασκευάσουν σύνθετα λύσεις αναζήτησης διανυσμάτων. Γνώριζα ότι αν υπήρχε ένας τρόπος για τους ανθρώπους να έχουν εύκολη πρόσβαση στη σεμαντική πλούσια που καταγράφουν τα διανύσματα και να την συνδυάσουν με εξειδικευμένα μοντέλα, τότε όλοι θα μπορούσαν να επιταχύνουν την αξία του AI για τον εαυτό τους. Έτσι, έφυγα από την AWS με τον στόχο να μεταμορφώσω πραγματικά τον τρόπο με τον οποίο μπορούμε να κάνουμε το πιο απλό δυνατό να λάβουμε την μεγαλύτερη αξία από τα ιδιοκτησιακά μη δομημένα δεδομένα χρησιμοποιώντας τη δύναμη του AI.

Η Pinecone έχει εξελιχθεί στην οριστική εταιρεία στον χώρο των διανυσματικών βάσεων δεδομένων. Όταν κοιτάτε πίσω, ποια ήταν τα μεγαλύτερα τεχνικά ή αγοράς εμπόδια που έπρεπε να υπερβείτε για να καθορίσετε αυτή τη νέα κατηγορία;

Το μεγαλύτερο πρόβλημα; Κανείς δεν ήξερε τι είναι μια διανυσματική βάση δεδομένων! Εμείς έπρεπε να εκπαιδεύσουμε την αγορά για το τι κατασκευάζαμε και γιατί ήταν σημαντικό. Ρωτήσαμε τους πελάτες μας τι την ονόμαζαν οι ίδιοι και μας είπαν μια διανυσματική βάση δεδομένων.

Όταν άλλοι άρχισαν να καταλαβαίνουν, μας ρώταγαν γιατί δεν μπορούσαν να χρησιμοποιήσουν ανοιχτό κώδικα; Και έπρεπε να εξηγήσουμε όλες τις περιορισμούς του ανοιχτού κώδικα και τις ανταλλαγές απόδοσης-κλίμακας που θα λάβατε – και, μετά από όλα αυτά, θα χρειαζόσασταν ακόμη εξειδικευμένους μηχανικούς για να κατασκευάσετε την υποδομή σας. Αυτός είναι ο λόγος για τον οποίο είμαστε πάντα μια διαχειριζόμενη υπηρεσία και επικεντρωνόμαστε στην εμπειρία του χρήστη. Το σύστημά μας είναι εξαιρετικά σύνθετο κάτω από το καπό γιατί χρειάζεστε αυτή τη εξειδικευμένη υποδομή για αναζήτηση ομοιότητας σε κλίμακα δισεκατομμυρίων. Αλλά το κάνουμε προσιτό με μια κλήση API που μπορεί να χρησιμοποιηθεί από οποιοδήποτε προγραμματιστή.

Αυτό σήμαινε την αφαίρεση όλης της复잡ότητας των αλγορίθμων近鄰, διαχείρισης ευρετηρίου και κατανεμημένων συστημάτων. Οι προγραμματιστές δεν θέλουν να σκέφτονται παραμέτρους HNSW, θέλουν απλά να λειτουργεί.

Προσφάτως, μετακινήθηκατε από τον ρόλο του Διευθύνοντος Συμβούλου στο ρόλο του Επικεφαλή Επιστήμονα, φέρνοντας τον Ash Ashutosh για να ηγηθεί της εταιρείας. Ποια ήταν η αιτία αυτής της απόφασης και πώς βλέπετε τον ρόλο σας να εξελίσσεται στο επόμενο κεφάλαιο της Pinecone;

Η Pinecone, ως εταιρεία, είναι μια εταιρεία AI και ερευνητικά κεντρική εταιρεία. Φτάσαμε στο σημείο που είμαστε σήμερα γιατί έχουμε ανακατασκευάσει την αναζήτηση, τα συστήματα και τις αλγορίθμους. Και, έχουμε sido πολύ ακαδημαϊκά ενεργοί, δημοσιεύοντας τεχνικές αναφορές και έγγραφα, δίνοντας ομιλίες και εκπαιδεύοντας την αγορά, ακόμη και γράφοντας βιβλία και δίδοντας πανεπιστημιακούς μαθήματα για το AI και τη Μνήμη. Όσο η εταιρεία μεγαλώνει, χρειαζόμαστε να формαλίσουμε αυτές τις προσπάθειες υπό ένα ερευνητικό εργαστήριο που είναι分离 από το υπόλοιπο της επιχείρησης. Σκεφτείτε το DeepMind και το Google (GOOGL ) ως ένα παράδειγμα. Πηγαίνοντας μπροστά, θα επικεντρωθώ την ενέργειά μου στην ηγεσία της έρευνάς μας, κάνωντας το AI γνωστό, και κατασκευάζοντας την επόμενη σειρά προϊόντων από την Pinecone.

Ταυτόχρονα, ο Ash θα είναι ένας φανταστικός Διευθυντής και ηγέτης για την Pinecone. Ίδρυσε και ανέπτυξε πολλές εταιρείες υποδομής και γνωρίζει πώς να λειτουργήσει μια εταιρεία όπως η Pinecone πολύ αποτελεσματικά. Είναι βαθιά γνώστης και δημιουργικός για την τεχνολογία και την αγορά μας. Και, είναι έντονα επικεντρωμένος στους πελάτες. Ο Ash και εγώ θα συνεργαστούμε βαθιά στην ανάπτυξη της εταιρείας και της επιχείρησής μας.

Στο blog σας γράψατε για την εστίαση στην «κατασκευή του AI με γνώση». Μπορείτε να αναλύσετε τι σημαίνει αυτό στην πράξη και πώς η τεχνολογία της Pinecone είναι μοναδικά τοποθετημένη για να το επιτρέψει;

Το AI χωρίς μνήμη είναι σαν ένα εξαιρετικό άτομο με αμνησία: πολλή νοημοσύνη, αλλά χωρίς контекст. «Κατασκευή του AI με γνώση» σημαίνει να δώσετε στα συστήματα AI την ικανότητα να έχουν πρόσβαση, να κατανοούν και να συζητούν τεράστιες ποσότητες πληροφοριών σε πραγματικό χρόνο.

Επιτρέπουμε τις εφαρμογές AI να παρέχουν σχετικές πληροφορίες σε πραγματικό χρόνο, που προέρχονται από σεμάντικα κατανοημένα και οργανωμένα δεδομένα και εξασφαλίζοντας ότι τα συστήματα AI δεν κάνουν μόνο υποθέσεις, αλλά είναι σε θέση να ανακτήσουν και να συνθέσουν γνώση κατόπιν ζήτησης. Αυτό οδηγεί σε πιο ακριβείς, ενημερωμένες και ενημερωμένες εξόδους για τους τελικούς χρήστες.

Κάνουμε αυτό παρέχοντας όλα τα στοιχεία και τις ικανότητες για υψηλής ποιότητας, ακριβή ανάκτηση από άκρη σε άκρη σε ένα μόνο σημείο, μαζί με βιομηχανικές επιδόσεις για μεγάλη κλίμακα ανάκτηση.

Έχοντας διδάξει «Μακροχρόνια Μνήμη στο AI» στο Princeton, πώς βλέπετε τη σχέση μεταξύ διανυσματικών βάσεων δεδομένων και του μέλλοντος των μοντέλων AI; Πιστεύετε ότι η μνήμη και ο контекστ είναι τα λείπαντα συστατικά για τα σημερινά μεγάλα μοντέλα;

Απόλυτα. Τα LLM είναι μηχανές αντιστοίχισης προτύπων – εξαιρετικές, αλλά ακόμη θεμελιωδώς περιορισμένες από το τέλος της εκπαίδευσης και τα παράθυρα контекστ. Το μάθημα που δίδαξα με τον Matthijs Douze από το Meta επικεντρώθηκε στις αλγορίθμους που κάνουν την αναζήτηση διανυσμάτων δυνατή πάνω από τεράστιες ποσότητες δεδομένων. Το μέλλον δεν είναι μεγαλύτερα μοντέλα, αλλά έξυπνη ανάκτηση πάνω από περισσότερα δεδομένα, σε πραγματικό χρόνο.

Πολυές επιχειρήσεις δυσκολεύονται να μεταφέρουν τις πιλότους AI σε παραγωγικές αναπτύξεις. Πώς βοηθά η Pinecone να γεφυρώσει αυτό το χάσμα και ποια είναι τα καλύτερα πρακτικά που έχετε παρατηρήσει από επιτυχείς πελάτες;

Το χάσμα συνήθως οφείλεται σε τρία πράγματα: απόδοση (και κόστος) σε κλίμακα, ασφάλεια και phứcικότητα. Ένα demo που λειτουργεί με 10 εκατομμύρια έγγραφα καταρρέει σε 10 δισεκατομμύρια. Το να τρέχει κάτι για μια ώρα είναι διαφορετικό από το να τρέχει 24/7 χωρίς ανεκτή καθυστέρηση. Αυτός είναι ο λόγος για τον οποίο έχουμε εμμονή με την αρχιτεκτονική μας χωρίς διακομιστή, τις επιχειρηματικές λειτουργίες και την ευκολία χρήσης.

Το πιο σημαντικό είναι να ξεκινήσετε. Οι πελάτες μας συχνά आश्चαραίνονται με το πόσο μπορούν να κάνουν χωρίς να μιλήσουν μαζί μας. Το έχουμε σχεδιάσει έτσι με πρόθεση, αλλά είμαστε πάντα εκεί όταν οι πελάτες μας χρειάζονται.

Έχετε περάσει την καριέρα σας μετακινούμενος μεταξύ ακαδημαϊκού, μεγάλου τεχνολογικού ερευνών (Yahoo, AWS) και επιχειρηματικότητας. Πώς έχουν αυτά τα διαφορετικά περιβάλλοντα διαμορφώσει την προσέγγισή σας στην κατασκευή της Pinecone;

Η ακαδημαϊκή διδασκαλία με δίδαξε να σκέφτομαι από τις πρώτες αρχές. Πώς να απομακρύνω και να σχεδιάσω εξαιρετικές λύσεις. Στο Yahoo και την AWS, έμαθα πώς να κατασκευάσω απλές πλατφόρμες δεδομένων που οι μηχανικοί αγαπούν να κατασκευάζουν.

Η επιχειρηματικότητα είναι όπου μαθαίνεις ότι η καλύτερη τεχνολογία κερδίζει μόνο αν λύνει πραγματικά προβλήματα με έναν τρόπο που οι άνθρωποι μπορούν πραγματικά να χρησιμοποιήσουν.

Αυτό το μείγμα είναι κρίσιμο για το τι κατασκευάζουμε. Δεν γράφουμε μόνο ερευνητικές εργασίες ή κατασκευάζουμε τεχνολογία για την τεχνολογία. Κάθε καινοτομία πρέπει να κάνει τη ζωή των προγραμματιστών πιο εύκολη και τις εφαρμογές των επιχειρήσεων πιο ισχυρές.

Η σύγκλιση της αναζήτησης και του AI φαίνεται σαν μια από τις μεγαλύτερες μετατοπίσεις στην υπολογιστική. Πού πιστεύετε ότι αυτό πηγαίνει στα επόμενα πέντε χρόνια και πώς θα βοηθήσει η δουλειά της Pinecone να διαμορφώσει αυτό το μέλλον;

Η αναζήτηση γίνεται συνομιλική και контεκστική. Σε πέντε χρόνια, δεν θα “αναζητήσετε” – θα έχετε διαλόγους με συστήματα AI που κατανοούν όχι μόνο την ερώτησή σας αλλά και την πρόθεση, το контεκστ, την ιστορία σας. Κάθε αλληλεπίδραση θα είναι ενημερωμένη από τεράστιες βάσεις γνώσεων που ενημερώνονται σε πραγματικό χρόνο.

Κατασκευάζουμε την υποδομή για αυτό. Η διανυσματική βάση δεδομένων μας είναι μόνο η αρχή. Βλέπω ένα μέλλον όπου κάθε εφαρμογή έχει ενσωματωμένο контεκστ, όπου το AI δεν hallucinates γιατί είναι εδραιωμένο σε δεδομένα, όπου το σύνορο μεταξύ αναζήτησης και γνώσης εξαφανίζεται.

Ως Επικεφαλής Επιστήμονας, θα είστε πιο χειροπιαστός με δεδομένα, μοντέλα και πρωτοτυποποίηση. Ποια είναι τα πεδία έρευνας που είστε πιο ενθουσιασμένος να διεισδύσετε τώρα;

Ω, που να αρχίσω; Για το σύντομο-μεσοπρόθεσμο, εμβαθύνω πιο sâu στην αποτελεσματικότητα και την ευκολία χρήσης. Μπορούμε να κάνουμε την αναζήτηση διανυσμάτων 10 φορές ταχύτερη ενώ την κάνουμε 10 φορές φθηνότερη; Μπορούμε να κάνουμε τις API μας ακόμη πιο απλές από ότι είναι σήμερα; Αυτά είναι δύσκολα προβλήματα.

Για το μακροπρόθεσμο, είμαι εμμονικός με το交差 μεταξύ ανάκτησης και συλλογισμού. Πώς να κατασκευάσετε συστήματα που δεν βρίσκουν μόνο σχετικές πραγματικότητες αλλά κατανοούν τις σχέσεις μεταξύ τους; Και, στη συνέχεια, να χρησιμοποιούν αυτό το контεκστ για να δημιουργήσουν γνωστό AI και πιο ισχυρά πράγματα.

Τέλος, σε προσωπικό επίπεδο: απομακρυνόμενος από τον ρόλο του Διευθύνοντος Συμβούλου, τι σας ενθουσιάζει περισσότερο σε αυτή τη μετάβαση και ποια είναι τα εύρημα που ελπίζετε να ξεκλειδώσετε στο επόμενο στάδιο της Pinecone;

Είμαι πιο ευτυχισμένος όταν είμαι βαθιά στο κώδικα, εργαζόμενος με την ερευνητική μας ομάδα, έχοντας αυτά τα “ω, αυτό λειτουργεί!” моменты στις 2 το πρωί.

Το όνειρό μου; Να κάνω την ανάκτηση τόσο καλή που να γίνει αόρατη. Όπου οι προγραμματιστές μπορούν να κατασκευάσουν εφαρμογές контεκστ χωρίς να σκέφτονται εμβυθύνσεις ή ευρετήρια ή τίποτα από αυτά και να λειτουργεί.

Βρισκόμαστε σε αυτό το απίστευτο σημείο όπου το AI και τα δεδομένα συγκλίνουν. Το δυναμικό είναι απεριόριστο και μπορώ να περάσω τις μέρες μου κατασκευάζοντας αυτό το μέλλον τώρα.

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Pinecone.