Trey Doig, CTO og medgrunnlegger i Pathlight – Intervju-serie

Trey Doig er medgrunnlegger og CTO i Pathlight. Trey har over ti års erfaring i teknologiindustrien, og har arbeidet som ingeniør for IBM, Creative Commons og Yelp. Trey var lead engineer for Yelp Reservations og var ansvarlig for integreringen av SeatMe-funksjonalitet på Yelp.com. Trey ledet også utviklingen av SeatMe-webapplikasjonen da selskapet vokste til å støtte 10 ganger kundevekst.

Pathlight hjelper kundeorienterte team med å forbedre ytelsen og drive effektivitet med sanntidsinnsikt i kundesamtaler og teamytelse. Pathlight-plattformen analyserer autonomt millioner av datapunkter for å gi hver lag i organisasjonen mulighet til å forstå hva som skjer på frontlinjen i deres forretning, og bestemme de beste handlingene for å skape gjentakende suksess.

Hva var det som først tiltalte deg til datavitenskap?

Jeg har lekt med datamaskiner så lenge jeg kan huske. Da jeg var 12 år, begynte jeg å programmere og lærte meg Scheme og Lisp, og kort tid etter begynte jeg å bygge alle mulige ting for meg selv og mine venner, hovedsakelig innen webutvikling.

Mye senere, da jeg søkte på college, hadde jeg faktisk blitt lei av datamaskiner og satte mine søkelys på designskoler. Etter å ha blitt avvist og venteliste av flere av disse skolene, bestemte jeg meg for å melde meg på et CS-program og så aldri tilbake. Å bli avvist fra designskolen viste seg å være en av de mest belønnende avvisningene i mitt liv!

Du har hatt roller i IBM, Yelp og andre selskaper. I Yelp spesifikt, hva var noen av de mest interessante prosjektene du arbeidet med, og hva var dine viktigste takeaways fra denne erfaringen?

Jeg ble med i Yelp gjennom oppkjøpet av SeatMe, vårt tidligere selskap, og fra dag én ble jeg gitt ansvaret for å integrere vår reservasjons søkefunksjon på Yelp.com.

Etter bare noen få måneder, klarte vi å suksessfullt å aktivere denne søkefunksjonen på Yelps skala, takket være den solide infrastrukturen Yelp hadde bygget internt for Elasticsearch. Dette var også takket være det gode ingeniørlederskapet der som tillot oss å bevege oss fritt og gjøre det vi gjorde best: å levere raskt.

Som CTO og medgrunnlegger av et selskap for konversasjonsintelligens, Pathlight, hjelper du med å bygge en LLM Ops-infrastruktur fra scratch. Kan du diskutere noen av de forskjellige elementene som må samles inn når du deployer en LLMOps-infrastruktur, for eksempel hvordan du håndterer prompt management-lag, minne-strøm-lag, modellhåndtering-lag osv.

Ved slutten av 2022, viet vi oss til den alvorlige oppgaven med å utvikle og eksperimentere med store språkmodeller (LLM), et prosjekt som raskt ledet til en suksessfull lansering av vårt GenAI-native Conversation Intelligence-produkt bare fire måneder senere. Dette innovative produktet konsoliderer kundeinteraksjoner fra forskjellige kanaler – enten det er tekst, audio eller video – til en enkelt, omfattende plattform, som muliggjør en utenkelig dybde av analyse og forståelse av kundesentimenter.

I å navigere denne komplekse prosessen, transkriberer, renser og optimaliserer vi dataene for å være ideelt egnet for LLM-prosessering. En kritisk del av denne arbeidsflyten er genereringen av innbedninger fra transkripsjonene, et skritt som er fundamentalt for effikasiteten av våre RAG-baserte tagging, klassifiseringsmodeller og komplekse sammenfatninger.

Hva som virkelig skiller denne bedriften fra andre, er nyskapningen og det ukjente i feltet. Vi finner oss i en unik posisjon, hvor vi samtidig er pionerer og oppdager best practices sammen med det bredere samfunnet. Et fremtredende eksempel på denne utforskningen er i prompt-ingeniørarbeid – overvåking, feilsøking og kvalitetskontroll av promptene generert av vår applikasjon. Det er bemerkelsesverdig at vi nå ser en økning av startups som nå tilbyr kommersielle verktøy tilpasset disse høyere nivåbehovene, inkludert samarbeidsfunksjoner og avanserte loggings- og indekseringsfunksjoner.

Likevel, for oss, ligger fokuset uendret på å styrke de grunnleggende lagene i vår LLMOps-infrastruktur. Fra finjustering av orkestrering, hosting av modeller, til etablering av robuste inferens-APIer, er disse lavere nivåkomponentene kritiske for vår misjon. Ved å kanalisere våre ressurser og ingeniørkunnskap her, sikrer vi at vårt produkt ikke bare kommer på markedet raskt, men også står på en solid, pålitelig grunn.

Som landskapet utvikler seg og flere kommersielle verktøy blir tilgjengelige for å håndtere de høyere kompleksitetene, posisjonerer vår strategi oss til å kunne integrere disse løsningene på en smidig måte, og ytterligere forbedre vårt produkt og akselerere vår reise i å gjendefinere Conversation Intelligence.

Grunnlaget for Pathlight CI er drevet av en multi-LLM-bakende, hva er noen av utfordringene med å bruke mer enn en LLM og å håndtere deres forskjellige ratelimit?

LLM og GenAI utvikler seg i en fantastisk fart, noe som gjør det absolutt kritisk at enhver forretningsapplikasjon som er avhengig av disse teknologiene, må være i stand til å holde tritt med de siste og beste trent modellene, enten det er proprietære managed services eller deployering av FOSS-modeller i egen infrastruktur. Spesielt når kravene til tjenesten øker og ratelimitene forhindrer gjennomstrømmingen som trengs.

Hallusinasjoner er et vanlig problem for enhver bedrift som bygger og deployer LLM. Hvordan takler Pathlight dette problemet?

Hallusinasjoner, i betydningen av hva jeg tror folk vanligvis refererer til som slike, er en stor utfordring når det gjelder å arbeide med LLM i en alvorlig kapasitet. Det finnes en viss grad av usikkerhet/uvissighet som oppstår i hva som kan forventes av en tilsvarende prompt. Det finnes mange måter å nærme seg dette problemet på, inkludert finjustering (hvor maksimering av bruk av høykvalitetsmodeller tilgjengelig for generering av finjusteringsdata).

Pathlight tilbyr forskjellige løsninger som er tilpasset forskjellige markedssegmenter, som reise og hotell, finans, spill, detaljhandel og e-handel, kontakt-sentre osv. Kan du diskutere hvordan den generative AI som brukes, forskjeller seg bak scenen for hvert av disse markedene?

Evnen til å nå så bredt og dypt inn i markedet, er en av de mest unikt verdifulle aspektene ved Generative AI. Å ha tilgang til modeller trent på hele internettet, med så omfattende kunnskap i alle mulige domener, er en unik kvalitet ved gjennombruddet vi går gjennom nå. Dette er hvordan AI vil bevise seg over tid, i sin allomfattende tilstedeværelse, og det er absolutt på vei til å bli slik gitt dens nåværende kurs.

Kan du diskutere hvordan Pathlight bruker maskinlæring til å automatisere dataanalyse og å avdekke skjulte innsikter?

Ja, absolutt! Vi har en lang historie med å bygge og levere flere maskinlæringsprosjekter over mange år. Den generative modellen bak vår siste funksjon Insight Streams, er et godt eksempel på hvordan vi har utnyttet ML til å skape et produkt som er direkte posisjonert for å avdekke hva du ikke vet om dine kunder. Denne teknologien bruker AI-agent-konseptet som er i stand til å produsere en jevnt økende mengde innsikter som gjør både nyhet og dybde av manuell analyse umulig. Over tid kan disse strømmene naturlig lære av seg selv og

Dataanalyse eller datavitenskapsmenn, forretningsanalytikere, salgs- eller kunde-ops eller hva selskapet måtte ha ansvarlige for å analysere kundestøtte-data, er fullstendig overveldet av viktige forespørsler hele tiden. Den dybe typen analyse, den som vanligvis krever lag og lag av komplekse systemer og data.

Hva er din personlige mening om typen gjennombrudd som vi kan forvente i bølgen av LLM og AI generelt?

Min personlige mening er utrolig optimistisk når det gjelder feltet LLM-trening og -justering metoder til å fortsette å utvikle seg raskt, samt å gjøre fremgang i bredere domener, og multi-modal blir en norm. Jeg tror at FOSS allerede er like god som GPT4 på mange måter, men kostnaden ved å hoste disse modellene vil fortsatt være en bekymring for de fleste selskaper.