Trey Doig, CTO & Συνιδρυτής στην Pathlight – Συνέντευξη Σειράς

Ο Trey Doig είναι ο Συνιδρυτής & CTO στην Pathlight. Ο Trey έχει πάνω από δέκα χρόνια εμπειρίας στη βιομηχανία της τεχνολογίας, έχοντας εργαστεί ως μηχανικός για την IBM, Creative Commons και Yelp. Ο Trey ήταν ο επικεφαλής μηχανικός για τις Κρατήσεις του Yelp και ήταν υπεύθυνος για την ενσωμάτωση της λειτουργικότητας SeatMe στην Yelp.com. Ο Trey ηγήθηκε επίσης της ανάπτυξης της ιστοσελίδας SeatMe καθώς η εταιρεία μεγάλωνε για να υποστηρίξει την αύξηση των πελατών κατά 10 φορές.

Pathlight βοηθά τις ομάδες που ασχολούνται με τους πελάτες να αυξήσουν την απόδοση και να αυξήσουν την αποτελεσματικότητα με πραγματικές ενημερώσεις σχετικά με τις συνομιλίες των πελατών και την απόδοση της ομάδας. Η πλατφόρμα Pathlight αναλύει αυτόματα εκατομμύρια σημεία δεδομένων για να ενδυναμώσει κάθε επίπεδο της οργάνωσης να κατανοήσει τι συμβαίνει στην πρώτη γραμμή της επιχείρησής τους και να καθορίσει τις καλύτερες ενέργειες για τη δημιουργία επαναλαμβανόμενης επιτυχίας.

Τι σας έκανε να ενδιαφερθείτε αρχικά για την επιστήμη των υπολογιστών;

Έχω παίξει με τους υπολογιστές όσο μπορώ να θυμάμαι. Όταν έγινα 12, άρχισα να μαθαίνω προγραμματισμό και δίδαξα τον εαυτό μου Scheme και Lisp, και σύντομα μετά άρχισα να χτίζω διάφορα πράγματα για μένα και τους φίλους μου, κυρίως στην ανάπτυξη ιστοσελίδων.

Πολύ αργότερα, όταν申请 για το κολέγιο, είχα πραγματικά χάσει το ενδιαφέρον μου για τους υπολογιστές και στράφηκα στην σχολή σχεδίου. Μετά από αρκετές απορρίψεις και λίστες αναμονής από αυτές τις σχολές, αποφάσισα να εγγραφώ σε ένα πρόγραμμα επιστήμης των υπολογιστών και δεν έστρεψα πίσω. Η απόρριψη της εισαγωγής μου στην σχολή σχεδίου αποδείχθηκε να είναι μια από τις πιο ανταποδοτικές απορρίψεις της ζωής μου!

Έχετε κατέχει θέσεις στην IBM, Yelp και άλλες εταιρείες. Στην Yelp, ποιες ήταν κάποιες από τις πιο ενδιαφέρουσες εργασίες που δούλεψατε και ποιες ήταν οι βασικές σας σκέψεις από αυτήν την εμπειρία;

Εντάχθηκα στην Yelp μέσω της απόκτησης της SeatMe, της προηγούμενης εταιρείας μας, και από την πρώτη μέρα, μου ανατέθηκε η ευθύνη της ενσωμάτωσης του κινητήρα κρατήσεων μας στην πρώτη σελίδα της Yelp.com.

Μετά από λίγους μήνες, κατόρθωσα να ενεργοποιήσω με επιτυχία αυτόν τον κινητήρα αναζήτησης σε κλίμακα Yelp, κυρίως χάρη στην ισχυρή υποδομή που είχε χτίσει η Yelp εσωτερικά για το Elasticsearch. Ήταν επίσης λόγω της εξαιρετικής ηγεσίας μηχανικής εκεί που μας επέτρεψε να κινούμαστε ελεύθερα και να κάνουμε αυτό που κάναμε καλύτερα: να αποστέλλουμε γρήγορα.

Ως ο CTO & Συνιδρυτής μιας εταιρείας νοητικής ευφυΐας, Pathlight, βοηθάτε στην κατασκευή μιας υποδομής LLM Ops από το μηδέν. Μπορείτε να συζητήσετε κάποιους από τους διαφορετικούς παράγοντες που πρέπει να συναρμολογηθούν όταν αναπτύσσετε μια υποδομή LLM Ops, για παράδειγμα, πώς διαχειρίζεστε το στρώμα διαχείρισης προτύπων, το στρώμα ροής μνήμης, το στρώμα διαχείρισης μοντέλων, κ.λπ.

Στο κλείσιμο του 2022, αφοσιωθήκαμε στη σοβαρή προσπάθεια της ανάπτυξης και του πειράματος με Μεγάλες Γλώσσες Μοντέλων (LLMs), μια προσπάθεια που οδήγησε γρήγορα στην επιτυχημένη εκκίνηση του GenAI μας φυσικού Προϊόντος Νοητικής Ευφυΐας Συνομιλίας μόνο τέσσερις μήνες αργότερα. Αυτό το καινοτόμο προϊόν συνδυάζει τις αλληλεπιδράσεις των πελατών από διάφορους καναλιούς – είτε κείμενο, ήχο ή βίντεο – σε μια ενιαία, ολοκληρωμένη πλατφόρμα, επιτρέποντας μια ανεπανάληπτη βάθος ανάλυσης και κατανόησης των συναισθημάτων των πελατών.

Στην πλοήγηση αυτής της σύνθετης διαδικασίας, μεταγράφουμε, καθαρίζουμε και βελτιώνουμε τα δεδομένα για να είναι ιδανικά προσαρμοσμένα για επεξεργασία LLM. Ένας κρίσιμος παράγοντας αυτής της ροής εργασίας είναι η δημιουργία ενσωματώσεων από τις μεταγραφές, ένα βήμα που είναι θεμελιώδες για την αποτελεσματικότητα των μοντέλων μας RAG-με-ταγμάτωση, ταξινόμησης και περίπλοκων συνόψεις.

Τι πραγματικά διακρίνει αυτήν την προσπάθεια είναι η καινοτομία και η ανεξερεύνητη φύση του πεδίου. Βρισκόμαστε σε μια μοναδική θέση, πρωτοπόροι και ανακαλύπτοντας τις καλύτερες πρακτικές ταυτόχρονα με την ευρύτερη κοινότητα. Ένα εξαιρετικό παράδειγμα αυτής της εξερεύνησης είναι η μηχανική προτύπων – παρακολούθηση, αποσφαλμάτωση και διασφάλιση της ποιότητας των προτύπων που παράγονται από την εφαρμογή μας. Παρατηρούμε μια άνοδο των startups που παρέχουν εμπορικά εργαλεία για αυτές τις υψηλότερες ανάγκες, συμπεριλαμβανομένων συνεργατικών χαρακτηριστικών και προηγμένων δυνατοτήτων καταγραφής και ευρετηρίου.

Ωστόσο, για εμάς, η έμφαση παραμένει αμετάβλητη στην ενίσχυση των θεμελιωδών στρωμάτων της υποδομής LLM Ops μας. Από τη σintonία της ορχήστρας, τη φιλοξενία μοντέλων, έως την καθιέρωση ισχυρών API συλλογής, αυτά τα χαμηλότερα στοιχεία είναι κρίσιμα για την αποστολή μας. Καθιστώντας τους πόρους και την μηχανική μας ικανότητα εδώ, διασφαλίζουμε ότι το προϊόν μας όχι μόνο φτάνει στην αγορά γρήγορα αλλά και στέκεται σε μια στερεή, αξιόπιστη βάση.

Καθώς η τοπιογραφία εξελίσσεται και περισσότερα εμπορικά εργαλεία γίνονται διαθέσιμα για να αντιμετωπίσουν τις υψηλότερες сложότητες, η στρατηγική μας μας θέτει σε θέση να ενσωματώσουμε απρόσκοπτα αυτές τις λύσεις, ενισχύοντας περαιτέρω το προϊόν μας και επιταχύνοντας το ταξίδι μας στην αναedefinition της Νοητικής Ευφυΐας Συνομιλίας.

Η βάση του Pathlight CI τροφοδοτείται από μια πολλαπλή LLM υποδομή, ποιες είναι κάποιες από τις προκλήσεις της χρήσης περισσότερων του ενός LLM και της αντιμετώπισης των διαφορετικών ορίων ρυθμού τους;

Οι LLM και η Γενική Νοητική Ευφυΐα κινούνται με ταχύτητα, γεγονός που καθιστά απολύτως κρίσιμο για οποιαδήποτε επιχειρηματική εφαρμογή που βασίζεται σε αυτές τις τεχνολογίες να παραμείνει σε συγχρονισμό με τα τελευταία και καλύτερα εκπαιδευμένα μοντέλα, είτε πρόκειται για διαχειριζόμενες υπηρεσίες ιδιοκτησίας, είτε για την ανάπτυξη FOSS μοντέλων στην υποδομή σας. Ιδιαίτερα καθώς οι απαιτήσεις της υπηρεσίας σας αυξάνονται και τα όρια ρυθμού εμποδίζουν την απαιτούμενη απόδοση.

Οι ψευδαισθήσεις είναι ένα κοινό πρόβλημα για οποιαδήποτε εταιρεία που κατασκευάζει και αναπτύσσει LLM, πώς αντιμετωπίζει η Pathlight αυτό το ζήτημα;

Οι ψευδαισθήσεις, στην έννοια του τι νομίζω ότι οι άνθρωποι αναφέρονται γενικά ως τέτοιες, είναι μια τεράστια πρόκληση στην εργασία με LLM σε σοβαρό βαθμό. Υπάρχει σίγουρα ένα επίπεδο αβεβαιότητας/απροσδιοριστίας που συμβαίνει σε αυτό που αναμένεται από ένα ακόμη ταυτόσημο πρότυπο. Υπάρχουν πολλές τρόποι για την αντιμετώπιση αυτού του προβλήματος, κάποιοι από τους οποίους περιλαμβάνουν την εξειδίκευση (όπου μεγιστοποιείται η χρήση των υψηλότερης ποιότητας μοντέλων που είναι διαθέσιμα για την παραγωγή δεδομένων εξειδίκευσης).

Η Pathlight προσφέρει διάφορες λύσεις που κατηγοριοποιούνται σε διάφορες αγορές, όπως ταξίδια & φιλοξενία, χρηματοοικονομικά, παιχνίδια, λιανικό εμπόριο & ηλεκτρονικό εμπόριο, κέντρα επικοινωνίας, κ.λπ. Μπορείτε να συζητήσετε πώς η Γενική Νοητική Ευφυΐα που χρησιμοποιείται διαφέρει πίσω από τις σκηνές για κάθε μια από αυτές τις αγορές;

Η άμεση ικανότητα να αντιμετωπίσω τέτοιο ευρύ φάσμα τμημάτων είναι ένα από τα πιο μοναδικά και πολύτιμα χαρακτηριστικά της Γενικής Νοητικής Ευφυΐας. Να έχεις πρόσβαση σε μοντέλα που έχουν εκπαιδευτεί σε όλο το διαδίκτυο, με τέτοια εκτεταμένη γνώση σε όλους τους τύπους τομέων, είναι μια τόσο μοναδική ποιότητα του εφευρέματος που διανύουμε τώρα. Αυτός είναι ο τρόπος με τον οποίο η Νοητική Ευφυΐα θα αποδείξει τον εαυτό της με την πάροδο του χρόνου, στην πανταχού παρούσα της και είναι σίγουρα έτοιμη να γίνει这样 σύντομα, δεδομένης της τρέχουσας πορείας της.

Μπορείτε να συζητήσετε πώς η Pathlight χρησιμοποιεί τη μηχανική μάθηση για να αυτοματοποιήσει την ανάλυση δεδομένων και να ανακαλύψει κρυφές γνώσεις;

Ναι, βέβαια! Έχουμε μια βαθιά ιστορία κατασκευής και αποστολής πολλών έργων μηχανικής μάθησης για πολλά χρόνια. Το γεννητικό μοντέλο πίσω από το τελευταίο μας χαρακτηριστικό Insight Streams, είναι ένα εξαιρετικό παράδειγμα του πώς έχουμε αξιοποιήσει τη μηχανική μάθηση για να δημιουργήσουμε ένα προϊόν που στοχεύει απευθείας στην ανίχνευση того που δεν γνωρίζετε για τους πελάτες σας. Αυτή η τεχνολογία χρησιμοποιεί την концепτία του AI Agent, η οποία είναι ικανή να παράγει μια σταθερά εξελισσόμενη σειρά γνώσεων που καθιστά τόσο την επικαιρότητα όσο και το βάθος της χειροκίνητης ανάλυσης αδύνατο. Με την πάροδο του χρόνου, αυτές οι ροές μπορούν να μάθουν από τον εαυτό τους και

Η ανάλυση δεδομένων ή οι επιστήμονες δεδομένων, οι αναλυτές επιχειρήσεων, οι πωλητές ή οι ομάδες πελατών ή ό,τι μια εταιρεία ορίζει ως τους ανθρώπους που είναι υπεύθυνοι για την ανάλυση δεδομένων υποστήριξης πελατών είναι πλήρως καταβεβλημένοι με σημαντικές αιτήσεις όλη την ώρα. Η βαθιά ανάλυση, αυτή που συνήθως απαιτεί στρώματα και στρώματα σύνθετων συστημάτων και δεδομένων.

Τι είναι η προσωπική σας άποψη για τους τύπους των καινοτομιών που πρέπει να αναμένουμε στη διέλευση των LLM και της Νοητικής Ευφυΐας γενικά;

Η προσωπική μου άποψη είναι απίστευτα αισιόδοξη στο πεδίο της εκπαίδευσης LLM και των μεθοδολογιών εξειδίκευσης για να συνεχίσουν να προοδεύουν πολύ γρήγορα, καθώς και να κάνουν κέρδη σε ευρύτερα τομείς, και τη πολλαπλή modality να γίνεται κανόνας. Πιστεύω ότι η FOSS είναι ήδη “ίσως τόσο καλή όσο” η GPT4 σε πολλά μέρη, αλλά το κόστος της φιλοξενίας αυτών των μοντέλων θα συνεχίσει να είναι μια ανησυχία για τις περισσότερες εταιρείες.