Trey Doig, CTO & Co-Founder at Pathlight – Intervista di Serie

Trey Doig è il Co-Founder & CTO di Pathlight. Trey ha oltre dieci anni di esperienza nel settore tecnologico, avendo lavorato come ingegnere per IBM, Creative Commons e Yelp. Trey è stato l’ingegnere capo per Yelp Reservations e ha supervisionato l’integrazione della funzionalità SeatMe su Yelp.com. Trey ha anche guidato lo sviluppo dell’applicazione web SeatMe mentre l’azienda cresceva per supportare una crescita dei clienti di 10 volte.

Pathlight aiuta i team che si occupano dei clienti a migliorare le prestazioni e a aumentare l’efficienza grazie a informazioni in tempo reale sui colloqui con i clienti e sulle prestazioni del team. La piattaforma Pathlight analizza autonomamente milioni di punti di dati per consentire a ogni livello dell’organizzazione di comprendere cosa sta succedendo nella parte più avanzata del proprio business e di determinare le migliori azioni per creare successi ripetibili.

Cosa ti ha inizialmente attirato verso l’informatica?

Ho iniziato a giocare con i computer fin da quando posso ricordare. Quando avevo 12 anni, ho iniziato a programmare e mi sono insegnato Scheme e Lisp, e subito dopo ho iniziato a costruire tutte le cose per me e i miei amici, principalmente nello sviluppo web.

Molto più tardi, quando ho fatto domanda per il college, mi ero effettivamente stancato dei computer e avevo messo gli occhi sulla scuola di design. Dopo essere stato rifiutato e messo in lista d’attesa da alcune di quelle scuole, ho deciso di iscrivermi a un programma di CS e non mi sono più guardato indietro. Essere stato rifiutato alla scuola di design si è rivelato essere una delle più gratificanti delusioni della mia vita!

Ha ricoperto ruoli in IBM, Yelp e altre aziende. In particolare, in Yelp, quali sono stati alcuni dei progetti più interessanti su cui hai lavorato e quali sono state le tue principali considerazioni su questa esperienza?

Mi sono unito a Yelp attraverso l’acquisizione di SeatMe, la nostra azienda precedente, e fin dal primo giorno, mi è stata affidata la responsabilità di integrare il nostro motore di ricerca per le prenotazioni nella pagina principale di Yelp.com.

Dopo solo pochi mesi, siamo stati in grado di alimentare con successo quel motore di ricerca alla scala di Yelp, grazie in gran parte all’infrastruttura robusta che Yelp aveva costruito internamente per Elasticsearch. È stato anche grazie alla grande leadership ingegneristica lì che ci ha permesso di muoverci liberamente e fare ciò che facevamo meglio: spedire velocemente.

Come CTO & Co-Founder di un’azienda di intelligenza conversazionale, Pathlight, stai aiutando a costruire un’infrastruttura LLM Ops da zero. Puoi discutere alcuni degli elementi diversi che devono essere assemblati quando si distribuisce un’infrastruttura LLMOps, ad esempio come gestisci il livello di gestione dei prompt, il livello di flusso di memoria, il livello di gestione del modello, ecc.

Alla fine del 2022, ci siamo dedicati al serio compito di sviluppare e sperimentare con Large Language Models (LLM), un’impresa che ha rapidamente portato al lancio di successo del nostro prodotto nativo GenAI Conversation Intelligence solo quattro mesi dopo. Questo prodotto innovativo consolida le interazioni dei clienti da canali diversi – sia testo, audio o video – in una piattaforma unica e globale, consentendo un’analisi e una comprensione senza precedenti dei sentimenti dei clienti.

Nel navigare questo processo complesso, trascriviamo, purifichiamo e ottimizziamo i dati per renderli ideali per l’elaborazione LLM. Un aspetto critico di questo flusso di lavoro è la generazione di embeddings dai trascritti, un passaggio fondamentale per l’efficacia dei nostri modelli di tagging, classificazione e riassunto basati su RAG.

Cosa rende veramente unica questa impresa è la novità e la natura inesplorata del campo. Ci troviamo in una posizione unica, pionieristica e scopriamo le migliori pratiche contemporaneamente con la comunità più ampia. Un esempio prominente di questa esplorazione è l’ingegneria dei prompt – monitoraggio, debug e controllo di qualità dei prompt generati dalla nostra applicazione. Sorprendentemente, stiamo assistendo a un’ondata di startup che ora forniscono strumenti commerciali personalizzati per queste esigenze di livello superiore, inclusi funzionalità collaborative, avanzate e capacità di logging e indicizzazione.

Tuttavia, per noi, l’enfasi rimane ferma sulla consolidazione dei livelli fondamentali della nostra infrastruttura LLMOps. Dalla fine-tuning dell’orchestrazione, all’hosting dei modelli, alla creazione di API di inferenza robuste, questi componenti di basso livello sono critici per la nostra missione. Canalizzando le nostre risorse e il nostro ingegno qui, ci assicuriamo che il nostro prodotto non solo raggiunga il mercato velocemente, ma si basi anche su una solida e affidabile fondazione.

Mentre il panorama evolve e più strumenti commerciali diventano disponibili per affrontare le complessità di livello superiore, la nostra strategia ci posiziona per integrare senza problemi queste soluzioni, migliorando ulteriormente il nostro prodotto e accelerando il nostro percorso nel ridisegnare l’Intelligenza Conversazionale.

La base di Pathlight CI è alimentata da un backend multi-LLM, quali sono alcune delle sfide dell’uso di più di un LLM e della gestione dei loro diversi limiti di velocità?

LLM e GenAI si stanno muovendo a una velocità incredibile, il che rende assolutamente critico che qualsiasi applicazione aziendale che si affidi fortemente a queste tecnologie sia in grado di stare al passo con gli ultimi modelli addestrati, sia che si tratti di servizi gestiti proprietari o di modelli FOSS distribuiti nella propria infrastruttura. Specialmente quando le richieste del servizio aumentano e i limiti di velocità impediscono il throughput necessario.

Le allucinazioni sono un problema comune per qualsiasi azienda che costruisce e distribuisce LLM, come affronta Pathlight questo problema?

Le allucinazioni, nel senso di ciò che penso che le persone stiano generalmente riferendosi come tali, sono una grande sfida nel lavorare con LLM in una seria capacità. C’è certamente un livello di incertezza/imprevedibilità che si verifica in ciò che è da aspettarsi da un prompt anche identico. Ci sono molti modi per affrontare questo problema, alcuni includono la fine-tuning (dove si massimizza l’utilizzo dei modelli di alta qualità disponibili per lo scopo di generare dati di tuning).

Pathlight offre soluzioni diverse che si rivolgono a segmenti di mercato diversi come viaggio e ospitalità, finanza, gaming, retail e commercio elettronico, centri di contatto, ecc. Può discutere come il Generative AI utilizzato differisce dietro le quinte per ciascuno di questi mercati?

La capacità immediata di affrontare un’ampia gamma di segmenti è uno degli aspetti più unicamente preziosi del GenerativeAI. Avere accesso a modelli addestrati su l’intera rete, con una tale gamma di conoscenze in tutti i tipi di domini, è una qualità così unica di questo attraversamento. Questo è come l’AI si dimostrerà nel tempo, nella sua pervasività e si trova certamente sulla strada giusta per farlo presto, dato il suo percorso attuale.

Può discutere come Pathlight utilizza il machine learning per automatizzare l’analisi dei dati e scoprire insight nascosti?

Sì, certamente! Abbiamo una lunga storia di costruzione e spedizione di molti progetti di apprendimento automatico per molti anni. Il modello generativo dietro la nostra ultima funzionalità Insight Streams, è un ottimo esempio di come abbiamo sfruttato il ML per creare un prodotto direttamente posizionato per scoprire cosa non sai dei tuoi clienti. Questa tecnologia utilizza il concetto di AI Agent in grado di produrre un insieme di Insight in continua evoluzione che rende sia la recenza che la profondità dell’analisi manuale impossibili. Nel tempo, questi flussi possono imparare naturalmente da se stessi e

L’analisi dei dati o gli scienziati dei dati, gli analisti commerciali, le operazioni di vendita o di supporto clienti o qualsiasi cosa un’azienda designi come le persone responsabili dell’analisi dei dati di supporto clienti sono completamente sommersi da richieste importanti tutto il tempo. L’analisi profonda, quella che normalmente richiede strati e strati di sistemi e dati complessi.

Qual è la sua visione personale per il tipo di innovazioni che ci si può aspettare nella ondata di LLM e AI in generale?

La mia visione personale è incredibilmente ottimistica sul campo dell’addestramento e della metodologia di tuning degli LLM per continuare ad avanzare molto rapidamente, nonché ottenere guadagni in domini più ampi e multi-modalità che diventano la norma. Credo che FOSS sia già “altrettanto buono” come GPT4 in molti modi, ma il costo di ospitare quei modelli continuerà ad essere una preoccupazione per la maggior parte delle aziende.