Σον Μάλανεϊ, Διευθυντής Τεχνολογίας στην Algolia – Σειρά Συνεντεύξεων

Ο Σον Μάλανεϊ είναι ο Διευθυντής Τεχνολογίας στην Algolia, μια ολοκληρωμένη, AI-ενισχυμένη πλατφόρμα αναζήτησης και ανακάλυψης.

Ο Σον είναι πρώην διευθυντικό στέλεχος της Stripe και της Google (GOOGL ) με υπόβαθρο στην κλιμάκωση οργανισμών μηχανικής, την ανάπτυξη AI-ενισχυμένων εργαλείων αναζήτησης και ανακάλυψης, και την ανάπτυξη API-πρώτων λύσεων σε παγκόσμιο επίπεδο. Στην Algolia, επιβλέπει την τεχνολογία πίσω από τον δεύτερο μεγαλύτερο μηχανισμό αναζήτησης μετά την Google, ο οποίος χρησιμοποιείται για πάνω από 1,5 τρισεκατομμύρια αναζητήσεις κάθε χρόνο. Πρόσφατα, ηγήθηκε της κυκλοφορίας του AlgoliaNeuralSearch – του ταχύτερου, υπερ-κλιμακωτού και οικονομικού API διανυσματικής αναζήτησης και αναζήτησης λέξεων-κλειδιών.

Τι σας έκανε να ενδιαφερθείτε για την πληροφορική;

Όταν ήμουν 10 ετών, οι γονείς μου αγόρασαν τον πρώτο μας υπολογιστή για το σπίτι. Το πρώτο πράγμα που ήθελα να κάνω ήταν να μάθω πώς να γράψω ένα παιχνίδι περιπέτειας βασισμένο σε κείμενο που αντέγραψα από ένα βιβλίο. Κάποια χρόνια αργότερα, άρχισα να μαθαίνω C++, αλλά η σχεδίαση και η κατασκευή υπολογιστικών παιχνιδιών παρέμεινε ένα μεγάλο πάθος μου ως έφηβος που άρχιζε να εξερευνά την πληροφορική.

Περάσατε πάνω από 7 χρόνια στη Google, όπου βοηθήσατε στη δημιουργία και τη διοίκηση ομάδων που εργάζονταν στη στρατηγική, τις επιχειρήσεις, τα μεγάλα δεδομένα και τη μηχανική μάθηση. Ποιο ήταν το αγαπημένο σας έργο και τι μάθατε από αυτή την εμπειρία;

Βρήκαμε τον τρόπο να χρησιμοποιήσουμε όλα τα μεγάλα δεδομένα που είχαμε για το πώς οι διαφημιστές χρησιμοποιούσαν τα προϊόντα μας για να βοηθήσουμε τις ομάδες πωλήσεων. Γράψαμε κανόνες (αργότερα πιο σύνθετα νευρωνικά δίκτυα) για να προβλέψουμε ποιους πελάτες θα πρέπει να προσεγγίσουμε με ποια προϊόντα σε ποιες ώρες για να μεγιστοποιήσουμε την πιθανότητα ότι ο χρόνος του πωλητή θα οδηγήσει σε αύξηση των εσόδων. Με πάνω από 1 εκατομμύριο διαφημιστές στη Google, αυτό το εργαλείο βοήθησε σημαντικά τις ομάδες πωλήσεων να βρουν τη βελόνα στα άχυρα.

Σε μια πρόσφατη DevBit σύνοψη, περιγράψατε τον σκοπό της Algolia ως την ενεργοποίηση των χρηστών να ευρετηριάζουν τον κόσμο και να βάλουν περιεχόμενο σε κίνηση. Μπορείτε να εξηγήσετε τι σημαίνει αυτή η δήλωση;

Τελικά, θέλουμε να βοηθήσουμε τους πελάτες μας να πάρουν αξία από τα δεδομένα τους. Το διαδίκτυο έχει δημιουργήσει μια τεράστια έκρηξη περιεχομένου και προϊόντων ηλεκτρονικού εμπορίου και, ενώ αυτή η εξέλιξη είναι σίγουρα ένα σημαντικό ορόσημο, η απίστευτη ποσότητα πληροφοριών που είναι τώρα διαθέσιμη σημαίνει ότι είναι πιο δύσκολο παρά ποτέ – και γίνεται ολοένα και πιο δύσκολο – να βρείτε αυτό που ψάχνετε πραγματικά ως χρήστης. Ωστόσο, όταν η αναζήτηση και η ανακάλυψη ενισχύονται από την AI, η αυξανόμενη λίστα περιεχομένου μπορεί να προσεγγιστεί και να τεθεί σε κίνηση για να βοηθήσει πραγματικά τους χρήστες, όχι μόνο να τους καταπνίξει.

Τον Σεπτέμβριο του 2022, η Search.io και το ιδιόκτητο εμβληματικό προϊόν της NeuralSearch™ αποκτήθηκαν από την Algolia, μπορείτε να συζητήσετε τι είναι συγκεκριμένα αυτή η τεχνολογία αναζήτησης;

Σε μια λέξη, το Algolia NeuralSearch ενσωματώνει την αντιστοιχία λέξεων με την επεξεργασία φυσικής γλώσσας διανύσματος, ενισχυμένη από LLMs, σε ένα μόνο API – μια πρωτιά στον κλάδο. Η λύση ενσωματώνει την ιδιόκτητη και πρωτοποριακή τεχνική Neural Hashing που κάνει τη χρήση διανυσμάτων κλιμακωτή και 90% πιο οικονομική να χρησιμοποιηθεί – ένα ζήτημα που αντιμετωπίζουν άλλες εταιρείες AI, συμπεριλαμβανομένης της ChatGPT. Αυτό που είναι πραγματικά ενθουσιαστικό για αυτό το πρωτοποριακό προϊόν είναι ότι κάνει την αληθινή αναζήτηση AI κλιμακωτή για οργανισμούς επιχειρηματικού επιπέδου.

Η νέα τεχνολογία επιτρέπει επίσης στους πελάτες, όπως τους λιανοπωλητές, να κατανοήσουν και να παραδώσουν περιεχόμενο που ταιριάζει σε ερωτήσεις που είναι συνήθως πολύ συνομιλητικές για να παραδώσουν ακριβή ή οποιοδήποτε αποτέλεσμα (συνήθως long-tail). Αυτά αποτελούν το 55% των τρεχουσών αναζητήσεων ιστοσελίδων. Ως η μόνη ολοκληρωμένη λύση αναζήτησης AI που εφαρμόζει την AI στην κατανόηση ερωτήματος, ανάκτηση και κατάταξη, το NeuralSearch πραγματικά κατανοεί αυτές τις ερωτήσεις και μετατρέπει τις χαμένες ευκαιρίες σε έσοδα.

Εκτός του Neuralsearch™, ποιες άλλες μέθοδοι μηχανικής μάθησης χρησιμοποιούνται;

Ενσωματώνουμε την AI σε τρεις βασικές λειτουργίες – κατανόηση ερωτήματος, ανάκτηση και κατάταξη αποτελεσμάτων. Στην Algolia, το ονομάζουμε το σάντουιτς αναζήτησης AI:

• Κατανόηση ερωτήματος: Η προηγμένη κατανόηση φυσικής γλώσσας (NLU) και η AI-ενισχυμένη αναζήτηση διανύσματος της Algolia παρέχουν κατανόηση ελεύθερων εκφράσεων φυσικής γλώσσας και AI-ενισχυμένη κατηγοριοποίηση ερωτήματος που προετοιμάζει και δομεί ένα ερώτημα για ανάλυση. Επιπλέον, η προσαρμοστική μάθηση με βάση την ανατροφοδότηση του χρήστη βελτιώνει την κατανόηση προθέσεων.
• Ανάκτηση: Τα πιο σχετικά αποτελέσματα ανακτώνται και κατατάσσονται από τα πιο μέχρι τα λιγότερο σχετικά. Η διαδικασία ανάκτησης συνδυάζει τα αποτελέσματα Neural Hashing παράλληλα με λέξεις-κλειδιά χρησιμοποιώντας τον ίδιο δείκτη για εύκολη ανάκτηση και κατάταξη. Αυτή η προσέγγιση λύνει το πρόβλημα των “μηδενικών αποτελεσμάτων” και βελτιώνει σημαντικά τις θέσεις και τα ποσοστά κλικ. Καμία άλλη πλατφόρμα στον χώρο της αναζήτησης και ανακάλυψης δεν προσφέρει αυτή την ισχυρή δυνατότητα.
• Κατάταξη: Τέλος, τα καλύτερα αποτελέσματα προωθούνται στην κορυφή από την AI-ενισχυμένη Re-κατάταξη της Algolia, η οποία λαμβάνει υπόψη τα πολλά σήματα που συνδέονται με το ερώτημα αναζήτησης, (συμπεριλαμβανομένης της ακριβούς αντιστοιχίας λέξεων-κλειδιών, του προφίλ προσωποποίησης με βάση το πλαίσιο, της παρατηρούμενης δημοτικότητας των αντικειμένων, του σημασιολογικού σκορ, κ.λπ.) και μαθαίνει να φτάσει στο μέγιστο της σχετικότητας.

Επιπλέον, καθώς ο δείκτης αλλάζει, νέα προϊόντα προστίθενται, νέο περιεχόμενο ανεβαίνει, ή καθώς οι όροι λαμβάνουν νέες σημασίες, το προϊόν Algolia NeuralSearch θα μάθει και θα προσαρμοστεί αυτόματα. Δεν απαιτεί πρόσθετο προσωπικό ή χειροκίνητες λειτουργίες. Θα αντιστοιχίσει αυτόματα λέξεις-κλειδιά ή έννοιες – πιθανώς ένα μείγμα και των δύο – ανάλογα με το ερώτημα ή την φράση αναζήτησης. Αυτό πραγματικά βάζει την αναζήτηση σε αυτοπιλότο.

Η Algolia πρόσφατα επέκτεινε το δωρεάν πακέτο από 10.000 εγγραφές και το ανέβασε σε 1 εκατομμύριο εγγραφές, ποια ήταν η σκέψη πίσω από αυτή την κίνηση, και πώς αντέδρασε η αγορά;

Επιλέξαμε να εξελίξουμε την τιμολόγηση και τα πακέτα της Algolia για να είναι ακόμη πιο φιλικά προς τους προγραμματιστές με την εισαγωγή δύο νέων πακέτων που απευθύνονται σε προγραμματιστές: ένα “build” σχέδιο που είναι δωρεάν και ένα “Grow” σχέδιο που προσφέρει εύκολη κλιμάκωση σε προσιτές τιμές. Το νέο Build σχέδιο αυξάνει τον αριθμό των δωρεάν εγγραφών που ένας προγραμματιστής μπορεί να αποθηκεύσει στην Algolia από 10.000 σε 1 εκατομμύριο εγγραφές. Αυτό αντιπροσωπεύει μια αύξηση 100 φορές στον αριθμό των δωρεάν εγγραφών που οι προγραμματιστές μπορούν τώρα να ευρετηριάζουν στην Algolia. Επιπλέον, η Algolia μείωσε το κόστος των αιτημάτων αναζήτησης στο Grow σχέδιό της κατά 50% και το κόστος των εγγραφών κατά 60%.

Η ιδέα πίσω από το ενημερωμένο “Build” σχέδιο είναι να παρέχει στους προγραμματιστές δωρεάν πρόσβαση σε ολόκληρο το σύνολο των ικανοτήτων της AI-ενισχυμένης πλατφόρμας αναζήτησης και ανακάλυψης. Το “Grow” σχέδιο, για όταν ένας προγραμματιστής είναι έτοιμος να κλιμακώσει την εφαρμογή του, επιτρέπει στους προγραμματιστές με χρέωση πιο φιλική προς τους προγραμματιστές με βάση τη χρήση για ζωντανούς χώρους παραγωγής.

Ένα σημαντικό σημείο εδώ είναι ότι οποιοσδήποτε σχεδιαστής, δημιουργός ή κατασκευαστής – είτε είναι ένας καθημερινός είτε πλήρως αφοσιωμένος μηχανικός λογισμικού – μπορεί να προσεγγίσει γρήγορα και εύκολα όλα τα εργαλεία, την τεκμηρίωση, το δείγμα κώδικα, το εκπαιδευτικό περιεχόμενο και τις δυνατότητες διασύνδεσης μεταξύ πλατφορμών που χρειάζονται για να ξεκινήσει με τη διαχείριση των δεδομένων του, την κατασκευή ενός front-end αναζήτησης, τη ρύθμιση αναλυτικών στοιχείων και άλλα – όλα αυτά δωρεάν. Επιπλέον, θα έχουν άμεση πρόσβαση σε μια αυξανόμενη κοινότητα προγραμματιστών με πάνω από 5 εκατομμύρια κατασκευαστές.

Μπορείτε να συζητήσετε τα εργαλεία προσωποποίησης αναζήτησης που προσφέρονται;

Η Algolia προσφέρει πολλά εργαλεία προσωποποίησης αναζήτησης για εταιρείες να αξιοποιήσουν δεδομένα για να βελτιώσουν τις συστάσεις, συμπεριλαμβανομένων διαφορετικών τύπων συστάσεων και μοναδικών τρόπων να αξιοποιήσουν δεδομένα για να οδηγήσουν αυτές τις συστάσεις.

Μερικά παραδείγματα περιλαμβάνουν:

• Τρέχοντα: Προτείνετε άλλα αντικείμενα που είναι τρέχοντα σε δημοτικότητα και σχετικά με τις αναζητήσεις που ο πελάτης σας έχει εκτελέσει.
• Βασιζόμενα σε βαθμολογίες: Οι άνθρωποι θέλουν να αγοράσουν προϊόντα με τις καλύτερες βαθμολογίες.
• Προσωποποιημένα: Βασισμένα σε αυτό που αγοράσατε την τελευταία φορά, ιστορικό περιήγησης, τοποθεσία ή άλλα στοιχεία, σας προτείνουμε αυτά τα άλλα προϊόντα.

Αυτές οι μέθοδοι που βασίζονται σε δεδομένα μπορούν να βοηθήσουν να βελτιώσουν γρήγορα τα αποτελέσματα με βάση τον τρόπο που οι πελάτες αλληλεπιδρούν με προϊόντα, ώστε να είναι πιο πιθανό να συστήσετε τα προϊόντα που οδηγούν πράγματι στις περισσότερες αγορές.

Εσείς περιέγραψατε την Algolia ως την πιο κλιμακωτή υβριδική μηχανή αναζήτησης AI στον κόσμο. Πώς έχει σχεδιαστεί η Algolia για να κλιμακωθεί τόσο αποτελεσματικά;

Όλα επανέρχονται στο Neural Hashing. Αυτή η πρωτοποριακή λύση συμπιέζει και επιταχύνει δραστικά κάθε ερώτημα. Είναι πολύ γρηγορότερο να υπολογίσετε την ομοιότητα hashed παρά την τυπική ομοιότητα διανύσματος και επιστρέφει αποτελέσματα σε χιλιοστά του δευτερολέπτου.

Το Neural Hashing αντιπροσωπεύει μια σημαντική ανακάλυψη για την τοποθέτηση της ανάκτησης AI σε παραγωγή για μια μεγάλη ποικιλία χρήσεων. Σε συνδυασμό με την AI-ενισχυμένη επεξεργασία ερωτημάτων και την επανακατάταξη, υπόσχεται να απελευθερώσει την πλήρη δύναμη της AI στην αναζήτηση ιστοσελίδων. Πριν από την πρωτοποριακή ανακάλυψη της Algolia, η αναζήτηση διανύσματος ήταν πολύ υπολογιστικά ακριβή για να τρέξει σε παραγωγή.

Το μέρος του σάντουιτς που θα ήθελα να επικεντρωθώ περισσότερο είναι το κρέας: η ανάκτηση. Ο λόγος που λέμε ότι είμαστε η μόνη αληθινή ολοκληρωμένη μηχανή αναζήτησης AI είναι ότι υπάρχει μια συνεχής μάχη πίσω από τις σκηνές στη βιομηχανία αναζήτησης για να προσθέσει την AI στην ανάκτηση. Η ανάκτηση πληροφοριών είναι μια απίστευτα σύνθετη διαδικασία, και είναι ακόμη δυσκολότερο να επιτευχθεί ανάκτηση με AI υψηλής απόδοσης και χαμηλού κόστους σε μεγάλη κλίμακα. Κυριαρχήσαμε με την πρωτοποριακή τεχνική Neural Hashing. Με αυτόν τον τρόπο, ουσιαστικά κερδίσαμε την αναζήτηση για το Άγιο Δισκοπότηρο της αναζήτησης AI.

Υπάρχει κάτι άλλο που θα θέλατε να μοιραστείτε σχετικά με την Algolia;

Είναι μια ενθουσιαστική εποχή για να εργαστείτε στην Algolia, και εμείς είμαστε πάντα έτοιμοι να ξεκινήσουμε συνομιλίες με ταλαντούχους, παθιασμένους ανθρώπους που θέλουν να μας ενταχθούν στο ταξίδι μας για να χτίσουμε την καλύτερη τεχνολογία αναζήτησης στον κόσμο. Αν αυτό ακούγεται σαν εσάς, σας προσκαλώ να δείτε τις τρέχουσες ανοιχτές θέσεις στην https://www.algolia.com/careers/.