Trey Doig, CTO και Συνιδρυτής της Pathlight — Σειρά Συνεντεύξεων

Ο Trey Doig είναι ο Συνιδρυτής & CTO στην Pathlight. Ο Trey έχει πάνω από δέκα χρόνια εμπειρίας στη βιομηχανία της τεχνολογίας, έχοντας εργαστεί ως μηχανικός για την IBM, Creative Commons και Yelp. Ο Trey ήταν ο επικεφαλής μηχανικός για τις Κρατήσεις του Yelp και ήταν υπεύθυνος για την ενσωμάτωση της λειτουργικότητας SeatMe στην Yelp.com. Ο Trey ηγήθηκε επίσης της ανάπτυξης της διαδικτυακής εφαρμογής SeatMe καθώς η εταιρεία μεγάλωνε για να υποστηρίξει την αύξηση των πελατών κατά 10 φορές.

Pathlight βοηθά τις ομάδες που ασχολούνται με τους πελάτες να αυξήσουν την απόδοση και να αυξήσουν την αποτελεσματικότητα με πληροφορίες σε πραγματικό χρόνο σχετικά με τις συνομιλίες των πελατών και την απόδοση της ομάδας. Η πλατφόρμα Pathlight αναλύει αυτόματα εκατομμύρια σημεία δεδομένων για να ενδυναμώσει κάθε επίπεδο της οργάνωσης να κατανοήσει τι συμβαίνει στην πρώτη γραμμή της επιχείρησής τους και να καθορίσει τις καλύτερες ενέργειες για τη δημιουργία επαναλαμβανόμενης επιτυχίας.

Τι σας έκανε να ενδιαφερθείτε αρχικά για την επιστήμη των υπολογιστών;

Έχω παίξει με τους υπολογιστές όσο μπορώ να θυμάμαι. Όταν έγινα 12, άρχισα να μαθαίνω προγραμματισμό και δίδαξα τον εαυτό μου Scheme και Lisp, και σύντομα μετά άρχισα να χτίζω διάφορα πράγματα για μένα και τους φίλους μου, κυρίως στην ανάπτυξη ιστοσελίδων.

Πολύ αργότερα, όταν υπέβαλα αίτηση για το κολέγιο, είχα πραγματικά χάσει το ενδιαφέρον μου για τους υπολογιστές και στράφηκα στην σχολή σχεδίου. Μετά από αρκετές απορρίψεις και λίστες αναμονής από αυτές τις σχολές, αποφάσισα να εγγραφώ σε ένα πρόγραμμα επιστήμης των υπολογιστών και δεν έστρεψα πίσω. Η απόρριψη της εισαγωγής μου στην σχολή σχεδίου αποδείχθηκε να είναι μια από τις πιο ανταποδοτικές απορρίψεις της ζωής μου!

Έχετε κατέχει θέσεις στην IBM, Yelp και άλλες εταιρείες. Στην Yelp, ποιες ήταν κάποιες από τις πιο ενδιαφέρουσες εργασίες που δούλεψατε και ποιες ήταν οι βασικές σας σκέψεις από αυτήν την εμπειρία;

Εντάχθηκα στην Yelp μέσω της απόκτησης της SeatMe, της προηγούμενης εταιρείας μας, και από την πρώτη μέρα, μου ανατέθηκε η ευθύνη της ενσωμάτωσης της μηχανής αναζήτησης κρατήσεων μας στην πρώτη σελίδα της Yelp.com.

Μετά από λίγους μήνες, κατόρθωσα να ενεργοποιήσω με επιτυχία αυτήν τη μηχανή αναζήτησης σε κλίμακα Yelp, κυρίως χάρη στην ισχυρή υποδομή που είχε χτίσει η Yelp εσωτερικά για το Elasticsearch. Ήταν επίσης λόγω της εξαιρετικής ηγεσίας μηχανικής εκεί που μας επέτρεψε να κινούμαστε ελεύθερα και να κάνουμε αυτό που κάναμε καλύτερα: να κυκλοφορούμε γρήγορα νέες λειτουργίες.

Ως ο CTO & Συνιδρυτής μιας εταιρείας ανάλυσης συνομιλιών, Pathlight, βοηθάτε στην κατασκευή μιας υποδομής LLM Ops από το μηδέν. Μπορείτε να συζητήσετε κάποιους από τους διαφορετικούς παράγοντες που πρέπει να συναρμολογηθούν όταν αναπτύσσετε μια υποδομή LLM Ops, για παράδειγμα, πώς διαχειρίζεστε το στρώμα διαχείρισης προτροπών, το στρώμα ροής μνήμης, το στρώμα διαχείρισης μοντέλων, κ.λπ.

Στο κλείσιμο του 2022, αφοσιωθήκαμε στη σοβαρή προσπάθεια της ανάπτυξης και του πειράματος με μεγάλα γλωσσικά μοντέλα (LLMs), μια προσπάθεια που οδήγησε γρήγορα στην επιτυχημένη εκκίνηση του βασισμένου εξαρχής σε GenAI προϊόντος Conversation Intelligence μόνο τέσσερις μήνες αργότερα. Αυτό το καινοτόμο προϊόν συνδυάζει τις αλληλεπιδράσεις των πελατών από διάφορους καναλιούς – είτε κείμενο, ήχο ή βίντεο – σε μια ενιαία, ολοκληρωμένη πλατφόρμα, επιτρέποντας μια ανεπανάληπτη βάθος ανάλυσης και κατανόησης των συναισθημάτων των πελατών.

Στην πλοήγηση αυτής της σύνθετης διαδικασίας, μεταγράφουμε, καθαρίζουμε και βελτιώνουμε τα δεδομένα για να είναι ιδανικά προσαρμοσμένα για επεξεργασία LLM. Ένας κρίσιμος παράγοντας αυτής της ροής εργασίας είναι η δημιουργία ενσωματώσεων από τις μεταγραφές, ένα βήμα που είναι θεμελιώδες για την αποτελεσματικότητα της επισήμανσης με βάση το RAG, των μοντέλων ταξινόμησης και των σύνθετων περιλήψεών μας.

Τι πραγματικά διακρίνει αυτήν την προσπάθεια είναι η καινοτομία και η ανεξερεύνητη φύση του πεδίου. Βρισκόμαστε σε μια μοναδική θέση, πρωτοπόροι και ανακαλύπτοντας τις καλύτερες πρακτικές ταυτόχρονα με την ευρύτερη κοινότητα. Ένα εξαιρετικό παράδειγμα αυτής της εξερεύνησης είναι η μηχανική προτροπών – παρακολούθηση, αποσφαλμάτωση και διασφάλιση της ποιότητας των προτροπών που παράγονται από την εφαρμογή μας. Παρατηρούμε μια άνοδο των startups που παρέχουν εμπορικά εργαλεία για αυτές τις υψηλότερες ανάγκες, συμπεριλαμβανομένων συνεργατικών χαρακτηριστικών και προηγμένων δυνατοτήτων καταγραφής και ευρετηρίου.

Ωστόσο, για εμάς, η έμφαση παραμένει αμετάβλητη στην ενίσχυση των θεμελιωδών στρωμάτων της υποδομής LLM Ops μας. Από τη λεπτομερή ρύθμιση της ενορχήστρωσης, τη φιλοξενία μοντέλων, έως την καθιέρωση ισχυρών API εξαγωγής συμπερασμάτων, αυτά τα χαμηλότερα στοιχεία είναι κρίσιμα για την αποστολή μας. Καθιστώντας τους πόρους και την μηχανική μας ικανότητα εδώ, διασφαλίζουμε ότι το προϊόν μας όχι μόνο φτάνει στην αγορά γρήγορα αλλά και στέκεται σε μια στερεή, αξιόπιστη βάση.

Καθώς η τοπιογραφία εξελίσσεται και περισσότερα εμπορικά εργαλεία γίνονται διαθέσιμα για να αντιμετωπίσουν τις υψηλότερες πολυπλοκότητες, η στρατηγική μας μας θέτει σε θέση να ενσωματώσουμε απρόσκοπτα αυτές τις λύσεις, ενισχύοντας περαιτέρω το προϊόν μας και επιταχύνοντας το ταξίδι μας στον επαναπροσδιορισμό της ανάλυσης συνομιλιών.

Η βάση του Pathlight CI τροφοδοτείται από μια πολλαπλή LLM υποδομή, ποιες είναι κάποιες από τις προκλήσεις της χρήσης περισσότερων του ενός LLM και της αντιμετώπισης των διαφορετικών ορίων ρυθμού τους;

Οι LLM και η παραγωγική τεχνητή νοημοσύνη κινούνται με ταχύτητα, γεγονός που καθιστά απολύτως κρίσιμο για οποιαδήποτε επιχειρηματική εφαρμογή που βασίζεται σε αυτές τις τεχνολογίες να παραμείνει σε συγχρονισμό με τα τελευταία και καλύτερα εκπαιδευμένα μοντέλα, είτε πρόκειται για διαχειριζόμενες υπηρεσίες ιδιοκτησίας, είτε για την ανάπτυξη FOSS μοντέλων στην υποδομή σας. Ιδιαίτερα καθώς οι απαιτήσεις της υπηρεσίας σας αυξάνονται και τα όρια ρυθμού εμποδίζουν την απαιτούμενη απόδοση.

Οι ψευδαισθήσεις είναι ένα κοινό πρόβλημα για οποιαδήποτε εταιρεία που κατασκευάζει και αναπτύσσει LLM, πώς αντιμετωπίζει η Pathlight αυτό το ζήτημα;

Οι ψευδαισθήσεις, στην έννοια του τι νομίζω ότι οι άνθρωποι αναφέρονται γενικά ως τέτοιες, είναι μια τεράστια πρόκληση στην εργασία με LLM σε σοβαρό βαθμό. Υπάρχει σίγουρα ένα επίπεδο αβεβαιότητας/απροσδιοριστίας που συμβαίνει σε αυτό που αναμένεται από ένα ακόμη ταυτόσημη προτροπή. Υπάρχουν πολλές τρόποι για την αντιμετώπιση αυτού του προβλήματος, κάποιοι από τους οποίους περιλαμβάνουν την εξειδίκευση (όπου μεγιστοποιείται η χρήση των υψηλότερης ποιότητας μοντέλων που είναι διαθέσιμα για την παραγωγή δεδομένων εξειδίκευσης).

Η Pathlight προσφέρει διάφορες λύσεις που κατηγοριοποιούνται σε διάφορες αγορές, όπως ταξίδια & φιλοξενία, χρηματοοικονομικά, παιχνίδια, λιανικό εμπόριο & ηλεκτρονικό εμπόριο, κέντρα επικοινωνίας, κ.λπ. Μπορείτε να συζητήσετε πώς η παραγωγική τεχνητή νοημοσύνη που χρησιμοποιείται διαφέρει πίσω από τις σκηνές για κάθε μια από αυτές τις αγορές;

Η άμεση ικανότητα να αντιμετωπίσω τέτοιο ευρύ φάσμα τμημάτων είναι ένα από τα πιο μοναδικά και πολύτιμα χαρακτηριστικά της παραγωγικής τεχνητής νοημοσύνης. Να έχεις πρόσβαση σε μοντέλα που έχουν εκπαιδευτεί σε όλο το διαδίκτυο, με τέτοια εκτεταμένη γνώση σε όλους τους τύπους τομέων, είναι μια τόσο μοναδική ποιότητα του εφευρέματος που διανύουμε τώρα. Αυτός είναι ο τρόπος με τον οποίο η τεχνητή νοημοσύνη θα αποδείξει τον εαυτό της με την πάροδο του χρόνου, στην πανταχού παρούσα της και είναι σίγουρα έτοιμη να γίνει έτσι σύντομα, δεδομένης της τρέχουσας πορείας της.

Μπορείτε να συζητήσετε πώς η Pathlight χρησιμοποιεί τη μηχανική μάθηση για να αυτοματοποιήσει την ανάλυση δεδομένων και να ανακαλύψει κρυφές γνώσεις;

Ναι, βέβαια! Έχουμε μια βαθιά ιστορία κατασκευής και αποστολής πολλών έργων μηχανικής μάθησης για πολλά χρόνια. Το γεννητικό μοντέλο πίσω από το τελευταίο μας χαρακτηριστικό Insight Streams, είναι ένα εξαιρετικό παράδειγμα του πώς έχουμε αξιοποιήσει τη μηχανική μάθηση για να δημιουργήσουμε ένα προϊόν που στοχεύει απευθείας στην ανίχνευση όσων δεν γνωρίζετε για τους πελάτες σας. Αυτή η τεχνολογία χρησιμοποιεί την ιδέα του AI Agent, η οποία είναι ικανή να παράγει μια σταθερά εξελισσόμενη σειρά γνώσεων με επικαιρότητα και βάθος που δεν μπορούν να επιτευχθούν με χειροκίνητη ανάλυση. Με την πάροδο του χρόνου, αυτές οι ροές μπορούν να μαθαίνουν από τον εαυτό τους.

Η ανάλυση δεδομένων ή οι επιστήμονες δεδομένων, οι αναλυτές επιχειρήσεων, οι πωλητές ή οι ομάδες πελατών ή ό,τι μια εταιρεία ορίζει ως τους ανθρώπους που είναι υπεύθυνοι για την ανάλυση δεδομένων υποστήριξης πελατών είναι πλήρως καταβεβλημένοι με σημαντικές αιτήσεις όλη την ώρα. Η βαθιά ανάλυση, αυτή που συνήθως απαιτεί στρώματα και στρώματα σύνθετων συστημάτων και δεδομένων.

Τι είναι η προσωπική σας άποψη για τους τύπους των καινοτομιών που πρέπει να αναμένουμε στη διέλευση των LLM και της τεχνητής νοημοσύνης γενικά;

Η προσωπική μου άποψη είναι απίστευτα αισιόδοξη στο πεδίο της εκπαίδευσης LLM και των μεθοδολογιών εξειδίκευσης για να συνεχίσουν να προοδεύουν πολύ γρήγορα, καθώς και να κάνουν κέρδη σε ευρύτερα τομείς, και την πολυτροπικότητα να γίνεται κανόνας. Πιστεύω ότι η FOSS είναι ήδη “εξίσου καλή με” η GPT4 σε πολλά μέρη, αλλά το κόστος της φιλοξενίας αυτών των μοντέλων θα συνεχίσει να είναι μια ανησυχία για τις περισσότερες εταιρείες.