Trey Doig, CTO e Co-Fondatore di Pathlight – Serie di Interviste

Trey Doig è il Co-Fondatore e CTO di Pathlight. Trey ha oltre dieci anni di esperienza nel settore tecnologico, avendo lavorato come ingegnere per IBM, Creative Commons e Yelp. Trey è stato l’ingegnere capo per Yelp Reservations e ha responsabilità per l’integrazione della funzionalità di SeatMe su Yelp.com. Trey ha anche guidato lo sviluppo dell’applicazione web di SeatMe mentre l’azienda cresceva per supportare una crescita dei clienti del 10x.

Pathlight aiuta i team che si occupano dei clienti a migliorare le prestazioni e a aumentare l’efficienza con insight in tempo reale sulle conversazioni con i clienti e sulle prestazioni del team. La piattaforma di Pathlight analizza autonomamente milioni di dati per consentire a ogni livello dell’organizzazione di comprendere cosa sta succedendo nella parte più avanzata del loro business e di determinare le migliori azioni per creare successi ripetibili.

Cosa ti ha inizialmente attratto verso l’informatica?

Ho iniziato a giocare con i computer fin da quando posso ricordare. Quando avevo 12 anni, ho iniziato a imparare a programmare e ho insegnato a myself Scheme e Lisp, e subito dopo ho iniziato a costruire tutte le cose per me e i miei amici, principalmente nello sviluppo web.

Molto più tardi, quando ho fatto domanda per il college, mi ero effettivamente stancato dei computer e avevo puntato a entrare in una scuola di design. Dopo essere stato rifiutato e messo in lista d’attesa da alcune di quelle scuole, ho deciso di iscrivermi a un programma di CS e non mi sono più guardato indietro. Essere stato rifiutato per la scuola di design si è rivelato essere una delle più gratificanti rinunce della mia vita!

Hai ricoperto ruoli in IBM, Yelp e altre aziende. In particolare, in Yelp, quali sono stati alcuni dei progetti più interessanti su cui hai lavorato e quali sono state le tue principali considerazioni in questa esperienza?

Ho aderito a Yelp attraverso l’acquisizione di SeatMe, la nostra precedente azienda, e fin dal primo giorno, mi è stato affidato il compito di integrare il nostro motore di ricerca di prenotazioni nel front page di Yelp.com.

Dopo solo pochi mesi, siamo stati in grado di alimentare con successo quel motore di ricerca alla scala di Yelp, grazie in gran parte all’infrastruttura robusta che Yelp aveva costruito internamente per Elasticsearch. È stato anche grazie alla grande leadership tecnica lì che ci ha permesso di muoverci liberamente e fare ciò che facevamo meglio: spedire rapidamente.

Come CTO e Co-Fondatore di un’azienda di intelligenza conversazionale, Pathlight, stai aiutando a costruire un’infrastruttura di LLM Ops da zero. Puoi discutere alcuni degli elementi diversi che devono essere assemblati quando si distribuisce un’infrastruttura di LLMOps, ad esempio come gestisci il livello di gestione dei prompt, il livello di memoria, il livello di gestione dei modelli, ecc.

Alla fine del 2022, ci siamo dedicati seriamente allo sviluppo e alla sperimentazione di Large Language Models (LLM), un’impresa che ha portato rapidamente al lancio con successo del nostro prodotto nativo di GenAI Conversation Intelligence solo quattro mesi dopo. Questo prodotto innovativo consolida le interazioni dei clienti da diversi canali – testo, audio o video – in una singola piattaforma completa, consentendo un’analisi e una comprensione senza precedenti dei sentimenti dei clienti.

Nel navigare questo processo complesso, trascriviamo, purifichiamo e ottimizziamo i dati per renderli ideali per l’elaborazione LLM. Un aspetto critico di questo flusso di lavoro è la generazione di embedding dai trascritti, un passaggio fondamentale per l’efficacia dei nostri modelli di classificazione e riassunto basati su RAG.

Cosa rende veramente unica questa impresa è la novità e la natura inesplorata del campo. Ci troviamo in una posizione unica, facendo da pionieri e scoprendo le migliori pratiche contemporaneamente alla comunità più ampia. Un esempio significativo di questa esplorazione è nell’ingegneria dei prompt – monitoraggio, debug e garanzia della qualità dei prompt generati dalla nostra applicazione. Stiamo assistendo a un aumento di startup che forniscono strumenti commerciali progettati per queste esigenze di livello superiore, tra cui funzionalità collaborative e capacità di registrazione e indicizzazione avanzate.

Tuttavia, per noi, l’enfasi rimane ferma sulla costruzione dei livelli fondamentali della nostra infrastruttura di LLMOps. Dall’orchestrazione del fine-tuning, all’hosting dei modelli, alla creazione di API di inferenza robuste, questi componenti di basso livello sono cruciali per la nostra missione. Canalizzando le nostre risorse e competenze tecniche qui, ci assicuriamo che il nostro prodotto non solo raggiunga il mercato rapidamente, ma si basi anche su una solida e affidabile fondazione.

Man mano che il paesaggio evolve e più strumenti commerciali diventano disponibili per affrontare le complessità di livello superiore, la nostra strategia ci consente di integrare senza problemi queste soluzioni, migliorando ulteriormente il nostro prodotto e accelerando il nostro percorso nel ridefinire l’Intelligenza Conversazionale.

La base di Pathlight CI è alimentata da un backend multi-LLM, quali sono alcune delle sfide nell’utilizzo di più di un LLM e nel gestire i loro limiti di velocità diversi?

LLM e GenAI stanno muovendosi a una velocità incredibile, il che rende assolutamente critico che qualsiasi applicazione aziendale che si basi fortemente su queste tecnologie sia in grado di stare al passo con gli ultimi modelli addestrati, sia che si tratti di servizi gestiti proprietari o di modelli FOSS distribuiti nella propria infrastruttura. Specialmente man mano che le esigenze del servizio aumentano e i limiti di velocità impediscono il throughput necessario.

Le allucinazioni sono un problema comune per qualsiasi azienda che costruisce e distribuisce LLM. Come Pathlight affronta questo problema?

Le allucinazioni, nel senso di ciò che la gente di solito intende per tali, sono una grande sfida nel lavorare con LLM in modo serio. C’è certamente un livello di incertezza/imprevedibilità che si verifica in ciò che ci si aspetta da un prompt anche identico. Ci sono molti modi per affrontare questo problema, alcuni dei quali includono il fine-tuning (dove si massimizza l’utilizzo dei modelli di alta qualità disponibili per generare dati di addestramento).

Pathlight offre varie soluzioni che si adattano a diversi segmenti di mercato, come viaggi e ospitalità, finanza, giochi, retail e commercio elettronico, centri di contatto, ecc. Puoi discutere come il Generative AI utilizzato differisce dietro le quinte per ciascuno di questi mercati?

La capacità immediata di affrontare un’ampia gamma di segmenti è uno degli aspetti più unicamente preziosi del Generative AI. Avere accesso a modelli addestrati su tutta la rete, con una tale gamma di conoscenze in tutti i tipi di domini, è una qualità unica di questo attraversamento. Questo è come l’AI si dimostrerà nel tempo, nella sua pervasività, ed è certamente pronto a esserlo presto, dato il suo percorso attuale.

Puoi discutere come Pathlight utilizza il machine learning per automatizzare l’analisi dei dati e scoprire insight nascosti?

Sì, certamente! Abbiamo una lunga storia di costruzione e distribuzione di diversi progetti di machine learning negli anni. Il modello generativo dietro la nostra ultima funzionalità Insight Streams è un ottimo esempio di come abbiamo sfruttato il ML per creare un prodotto direttamente posizionato per scoprire ciò che non sai dei tuoi clienti. Questa tecnologia utilizza il concetto di AI Agent in grado di produrre un insieme di Insight in continua evoluzione che rende sia la recente analisi che la profondità dell’analisi manuale impossibili. Nel tempo, questi flussi possono imparare naturalmente da se stessi e

L’analisi dei dati o i data scientist, gli analisti aziendali, le vendite o le operazioni dei clienti o qualsiasi cosa un’azienda designi come le persone responsabili dell’analisi dei dati di supporto clienti sono completamente sommersi da richieste importanti tutto il tempo. L’analisi profonda, quella che normalmente richiede strati e strati di sistemi e dati complessi.

Qual è la tua visione personale per il tipo di innovazioni che dovremmo aspettarci nella ondata di LLM e AI in generale?

La mia visione personale è incredibilmente ottimistica sul campo dell’addestramento e della metodologia di tuning di LLM per continuare ad avanzare molto rapidamente, nonché a fare progressi in domini più ampi, e a rendere la multimodalità una norma. Credo che FOSS sia già “altrettanto buono” come GPT4 in molti modi, ma il costo di ospitare quei modelli continuerà a essere una preoccupazione per la maggior parte delle aziende.