Alexandr Yarats, Διευθυντής Αναζήτησης στο Perplexity – Συνέντευξη Σειράς

O Alexandr Yarats είναι ο Διευθυντής Αναζήτησης στο Perplexity AI. Ξεκίνησε την καριέρα του στο Yandex το 2017, ταυτόχρονα μελετώντας στο Yandex School of Data Analysis. Τα πρώτα χρόνια ήταν εντατικά αλλά επικαρπωτικά, ωθώντας την ανάπτυξή του να γίνει Ηγέτης Ομάδας Μηχανικής. Κινητοποιημένος από την επιθυμία του να εργαστεί με einen τεχνολογικό γίγαντα, εντάχθηκε στο Google (GOOGL ) το 2022 ως Senior Software Engineer, εστιάζοντας στην ομάδα Google Assistant (αργότερα Google Bard). Μετά μετακινήθηκε στο Perplexity ως Διευθυντής Αναζήτησης.

Το Perplexity AI είναι ένα ερευνητικό και αναζητητικό σύστημα που βασίζεται σε AI-чатбот, το οποίο απαντάει σε ερωτήσεις χρησιμοποιώντας προφητική κείμενο με φυσική γλώσσα. Εκκίνησε το 2022, το Perplexity γεννάει απαντήσεις χρησιμοποιώντας πηγές από το διαδίκτυο και αναφέρει συνδέσμους μέσα στην κείμενη απάντηση.

Τι σας ενδιέφερε αρχικά για τη μηχανική μάθηση;

Το ενδιαφέρον μου για τη μηχανική μάθηση (ML) ήταν ένα σταδιακό процесс. Κατά τη διάρκεια των σχολικών μου ετών, πέρασα πολύ χρόνο μελετώντας μαθηματικά, θεωρία πιθανοτήτων και στατιστική, και είχα την ευκαιρία να παίξω με κλασικές αλγορίθμους μηχανικής μάθησης όπως η γραμμική παλινδρόμηση και η KNN. Ήταν fascinující να δείτε πώς μπορείτε να κατασκευάσετε μια προφητική συνάρτηση απευθείας από τα δεδομένα και να τη χρησιμοποιήσετε για να προβλέψετε μη είδη δεδομένα. Αυτό το ενδιαφέρον με οδήγησε στο Yandex School of Data Analysis, ένα ανταγωνιστικό πρόγραμμα μηχανικής μάθησης master στο Ρωσία (μόνο 200 άτομα γίνονται δεκτά κάθε χρόνο). Εκεί, έμαθα πολλά για πιο προηγμένα αλγορίθμους μηχανικής μάθησης και χτίστηκα την ερμηνεία μου. Το πιο κρίσιμο σημείο κατά τη διάρκεια αυτού του προCESS ήταν όταν έμαθα για τα νευρωνικά δίκτυα και τη βαθιά μάθηση. Έγινε πολύ σαφές ότι αυτό ήταν κάτι που ήθελα να ακολουθήσω τις επόμενες δεκαετίες.

Προηγουμένως εργαστήκατε στο Google ως Senior Software Engineer για ένα χρόνο, ποια ήταν κάποια από τα βασικά συμπεράσματα από αυτήν την εμπειρία;

Πριν ενταχθώ στο Google, πέρασα πάνω από τέσσερα χρόνια στο Yandex, αμέσως μετά την αποφοίτησή μου από το Yandex School of Data Analysis. Εκεί, ηγήθηκα μιας ομάδας που ανέπτυξε διάφορες μεθόδους μηχανικής μάθησης για το Yandex Taxi (ένας αναλογικός στο Uber στη Ρωσία). Εντάχθηκα σε αυτήν την ομάδα στην αρχή της και είχα την ευκαιρία να εργαστώ σε μια στενή και ταχύρρυθμη ομάδα που μεγάλωσε γρήγορα πάνω από τέσσερα χρόνια, και σε αριθμό εργαζομένων (από 30 σε 500 άτομα) και σε μετοχικό κεφάλαιο (έγινε ο μεγαλύτερος πάροχος ταξί στη Ρωσία, ξεπερνώντας το Uber και άλλους).

Κατά τη διάρκεια αυτού του χρόνου, είχα την ευκαιρία να κατασκευάσω πολλά πράγματα από το μηδέν και να εκκινήσω πολλά προγράμματα από το μηδέν στο ένα. Ένα από τα τελευταία προγράμματα που δούλεψα εκεί ήταν η κατασκευή chatbot για υποστήριξη υπηρεσιών. Εκεί, έλαβα μια πρώτη ματιά στη δύναμη των μεγάλων μοντέλων γλώσσας και ήταν fascinující να δείτε πόσο σημαντικά θα μπορούσαν να είναι στο μέλλον. Αυτή η συνειδητοποίηση με οδήγησε στο Google, όπου εντάχθηκα στην ομάδα Google Assistant, η οποία μετονομάστηκε αργότερα σε Google Bard (ένας ανταγωνιστής του Perplexity).

Στο Google, είχα την ευκαιρία να μάθω τι είναι η παγκόσμια υποδομή, πώς λειτουργούν η Αναζήτηση και τα LLMs, και πώς αλληλεπιδρούν μεταξύ τους για να παρέχουν фактиτικές και ακριβείς απαντήσεις. Αυτή ήταν μια μεγάλη εμπειρία μάθησης, αλλά με τον καιρό έγινα δυσαρεστημένος με το αργό ρυθμό στο Google και την αίσθηση ότι τίποτα δεν γινόταν ποτέ. Ήθελα να βρω μια εταιρεία που δούλευε στην αναζήτηση και τα LLMs και κινείτο τόσο γρήγορα, ή ακόμη γρηγορότερα, όσο όταν ήμουν στο Yandex. Ευτυχώς, αυτό συνέβη οργανικά.

Εσωτερικά στο Google, άρχισα να βλέπω οθόνες του Perplexity και εργασίες που απαιτούσαν τη σύγκριση του Google Assistant με το Perplexity. Αυτό μου προκάλεσε ενδιαφέρον για την εταιρεία, και μετά από几 εβδομάδες έρευνας, πείστηκα ότι ήθελα να εργαστώ εκεί, οπότε επικοινώνησα με την ομάδα και προσέφερα τις υπηρεσίες μου.

Μπορείτε να ορίσετε το τρέχον ρόλο και τις ευθύνες σας στο Perplexity;

Είμαι τώρα Διευθυντής της ομάδας αναζήτησης και είμαι υπεύθυνος για την κατασκευή του εσωτερικού συστήματος ανάκτησης που δίνει ενέργεια στο Perplexity. Η ομάδα αναζήτησής μας δουλεύει στην κατασκευή eines συστήματος κράλινγκ του web, μηχανισμού ανάκτησης και αλγορίθμων κατάταξης. Αυτές οι προκλήσεις μου επιτρέπουν να εκμεταλλευτώ την εμπειρία που απέκτησα στο Google (δουλεύοντας στην Αναζήτηση και τα LLMs) καθώς και στο Yandex. Από την άλλη πλευρά, το προϊόν του Perplexity προσφέρει μοναδικές ευκαιρίες να ξανασχεδιάσω και να ξαναμηχανεύσω πώς πρέπει να φαίνεται ένα σύστημα ανάκτησης σε ένα κόσμο που έχει πολύ ισχυρά LLMs. Για παράδειγμα, δεν είναι πλέον σημαντικό να βελτιώσετε τους αλγορίθμους κατάταξης για να αυξήσετε την πιθανότητα ενός κλικ, αλλά αντίθετα, εστιάζουμε στην βελτίωση της χρησιμότητας και της πραγματικότητας των απαντήσεών μας. Αυτή είναι μια θεμελιώδης διάκριση μεταξύ ενός κινητήρα απαντήσεων και ενός κινητήρα αναζήτησης. Η ομάδα μου και εγώ προσπαθούμε να κατασκευάσουμε κάτι που θα πηγαίνει πέρα από τις παραδοσιακές 10 μπλε συνδέσμους, και δεν μπορώ να σκεφτώ τίποτα πιο ενθουσιαστικό να δουλεύω τώρα.

Μπορείτε να εξηγήσετε τη μετάβαση στο Perplexity από την ανάπτυξη eines εργαλείου text-to-SQL σε μια στροφή προς την δημιουργία AI-κινητήρα αναζήτησης;

Αρχικά δουλεύαμε στην κατασκευή eines κινητήρα text-to-SQL που παρέχει einen ειδικό κινητήρα απαντήσεων σε καταστάσεις όπου χρειάζεστε να πάρετε μια γρήγορη απάντηση βασισμένη στα δομημένα δεδομένα σας (π.χ. ένα excel ή πίνακα). Η δουλειά σε ένα πρότζεκτ text-to-SQL μας επέτρεψε να αποκτήσουμε μια πολύ βαθύτερη κατανόηση των LLMs και RAG, και μας οδήγησε σε μια κρίσιμη συνειδητοποίηση: αυτή η τεχνολογία είναι πολύ πιο ισχυρή και γενική από ότι σκεφτόμασταν αρχικά. Γρήγορα συνειδητοποιήσαμε ότι μπορούμε να πηγαίνουμε πολύ πέρα από τις δομημένες πηγές δεδομένων και να αντιμετωπίζουμε μη δομημένα δεδομένα επίσης.

Ποια ήταν τα βασικά προβλήματα και οι εντυπώσεις κατά τη διάρκεια αυτής της στροφής;

Τα βασικά προβλήματα κατά τη διάρκεια αυτής της μετάβασης ήταν η μετατόπιση της εταιρείας μας από B2B σε B2C και η ανακατασκευή της υποδομής μας για να υποστηρίξει την αναζήτηση μη δομημένων δεδομένων. Πολύ γρήγορα κατά τη διάρκεια αυτής της διαδικασίας, συνειδητοποιήσαμε ότι είναι πολύ πιο ευχάριστο να δουλεύουμε σε ένα προϊόν που απευθύνεται στους πελάτες, καθώς αρχίζετε να λαμβάνετε μια συνεχής ροή σχολίων και συμμετοχής, κάτι που δεν είδαμε πολύ όταν κατασκευάζαμε einen κινητήρα text-to-SQL και εστιάζαμε σε λύσεις επιχειρήσεων.

Η ανάκτηση-ενισχυμένη γεννήτρια (RAG) φαίνεται να είναι ένας ακρογωνιαίος λίθος των ικανοτήτων αναζήτησης του Perplexity. Μπορείτε να εξηγήσετε πώς το Perplexity χρησιμοποιεί την RAG διαφορετικά σε σύγκριση με άλλες πλατφόρμες, και πώς αυτό επηρεάζει την ακρίβεια των αποτελεσμάτων αναζήτησης;

Η RAG είναι ένας γενικός όρος για την παροχή εξωτερικής γνώσης σε einen LLM. Ενώ η ιδέα μπορεί να φαίνεται απλή στην πρώτη ματιά, η κατασκευή ενός τέτοιου συστήματος που εξυπηρετεί δεκάδες εκατομμύρια χρήστες αποτελεσματικά και ακριβώς είναι μια σημαντική πρόκληση. Είχαμε να μηχανεύσουμε αυτό το σύστημα από το μηδέν και να κατασκευάσουμε πολλά εξειδικευμένα компоненты που αποδείχθηκαν κρίσιμα για την επίτευξη των τελευταίων bits ακρίβειας και απόδοσης. Μηχανεύσαμε το σύστημά μας όπου δεκάδες LLMs (από μεγάλα σε μικρά) δουλεύουν παράλληλα για να χειριστούν μια αίτηση χρήστη γρήγορα και με οικονομία. Επίσης, κατασκευάσαμε μια υποδομή εκπαίδευσης και συλλογής που μας επιτρέπει να εκπαιδεύουμε LLMs μαζί με την αναζήτηση από άκρη σε άκρη, οπότε είναι στενά ενσωματωμένα. Αυτό μειώνει σημαντικά τις ψευδείς εντυπώσεις και βελτιώνει την χρησιμότητα των απαντήσεών μας.

Με τις περιορισμούς σε σύγκριση με τους πόρους του Google, πώς το Perplexity διαχειρίζεται τις στρατηγικές κράλινγκ και ευρετηρίου για να παραμείνει ανταγωνιστικό και να διασφαλίσει ενημερωμένες πληροφορίες;

Η κατασκευή eines ευρετηρίου τόσο εκτεταμένου όσο του Google απαιτεί σημαντικό χρόνο και πόρους. Αντίθετα, εστιάζουμε σε θέματα που οι χρήστες μας ζητούν συχνά στο Perplexity. Αποδεικνύεται ότι η πλειοψηφία των χρηστών μας χρησιμοποιούν το Perplexity ως βοηθό εργασίας/ερευνήσεων, και πολλές ερωτήσεις ζητούν υψηλής ποιότητας, αξιόπιστες και χρήσιμες partes του web. Αυτή είναι μια κατανομή δύναμης, όπου μπορείτε να επιτύχετε σημαντικά αποτελέσματα με μια προσέγγιση 80/20. Βασισμένοι σε αυτές τις εντυπώσεις, μπορούμε να κατασκευάσουμε ένα πολύ πιο συμπαγές ευρετήριο που είναι βελτιστοποιημένο για ποιότητα και αλήθεια. Τώρα, ξοδεύουμε λιγότερο χρόνο καταδιώκοντας την ουρά, αλλά καθώς μεγαλώνουμε την υποδομή μας, θα κυνηγήσουμε και την ουρά.

Πώς οι μεγάλες γλώσσες μοντέλα (LLMs) ενισχύουν τις ικανότητες αναζήτησης του Perplexity, και τι τις κάνει ιδιαίτερα αποτελεσματικές στην ανάλυση και παρουσίαση πληροφοριών από το διαδίκτυο;

Χρησιμοποιούμε LLMs παντού, και για πραγματικό χρόνο και离LINE επεξεργασία. Τα LLMs μας επιτρέπουν να εστιάζουμε στις πιο σημαντικές και σχετικές partes των σελίδων του web. Πηγαίνουν πέρα από οτιδήποτε προηγουμένως σε μέγιστη αναλογία σήματος προς θόρυβο, κάνοντας ευκολότερο να αντιμετωπίσουμε πολλά πράγματα που δεν ήταν προηγουμένως εφικτά από μια μικρή ομάδα. Γενικά, αυτό είναι ίσως το πιο σημαντικό аспект των LLMs: μας επιτρέπουν να κάνουμε σοφιστικέ πράγματα με μια πολύ μικρή ομάδα.

Κοιτάζοντας μπροστά, ποια είναι τα κύρια τεχνολογικά ή αγορικά προβλήματα που το Perplexity προβλέπει;

Όσο κοιτάζουμε μπροστά, τα πιο σημαντικά τεχνολογικά προβλήματα για εμάς θα είναι επικεντρωμένα στην συνέχιση της βελτίωσης της χρησιμότητας και της ακρίβειας των απαντήσεών μας. Σκοπεύουμε να αυξήσουμε το εύρος και την πολυπλοκότητα των τύπων ερωτήσεων και ερωτημάτων που μπορούμε να απαντήσουμε αξιόπιστα. Μαζί με αυτό, μας αρέσει πολύ η ταχύτητα και η αποτελεσματικότητα της υπηρεσίας του συστήματος μας και θα εστιάζουμε έντονα στην οδήγηση των εξόδων υπηρεσίας προς τα κάτω όσο το δυνατόν χωρίς να συμβιβαστούμε την ποιότητα του προϊόντος μας.

Σύμφωνα με την γνώμη σας, γιατί η προσέγγιση του Perplexity στην αναζήτηση είναι ανώτερη από την προσέγγιση του Google για την κατάταξη των ιστοσελίδων σύμφωνα με τους backlinks και άλλους αποδεδειγμένους μετρητές κατάταξης αναζήτησης;

Ευχαριστώ για τη μεγάλη συνέντευξη, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν το Perplexity AI.