Trey Doig, CTO & Co-Founder at Pathlight – Intervju-serie

Trey Doig er Co-Founder & CTO i Pathlight. Trey har over ti års erfaring i teknologiindustrien, og har arbeidet som ingeniør for IBM, Creative Commons og Yelp. Trey var lead engineer for Yelp Reservations og var ansvarlig for integreringen av SeatMe-funksjonalitet på Yelp.com. Trey ledet også utviklingen av SeatMe-webapplikasjonen da selskapet skalerte for å støtte 10x kundevekst.

Pathlight hjelper kundeorienterte team å øke ytelsen og drive effisiens med sanntidsinnsikt i kundesamtaler og teamytelse. Pathlight-plattformen analyserer autonomt millioner av datapunkter for å gi hver lag i organisasjonen mulighet til å forstå hva som skjer på frontlinjen i deres forretning, og bestemme de beste handlingene for å skape gjentakende suksess.

Hva var det som først tiltalte deg til datavitenskap?

Jeg har lekt med datamaskiner så lenge jeg kan huske. Da jeg var 12 år, begynte jeg å programmere og lærte meg Scheme og Lisp, og kort tid etter begynte jeg å bygge alle mulige ting for meg selv og mine venner, hovedsakelig i webutvikling.

Mye senere, da jeg søkte på college, hadde jeg faktisk blitt lei av datamaskiner og satset på å komme inn på designskole. Etter å ha blitt avvist og venteliste av flere av disse skolene, bestemte jeg meg for å melde meg på et CS-program og så aldri tilbake. Å bli avvist fra designskolen viste seg å være en av de mest belønnende avvisningene i mitt liv!

Du har hatt roller i IBM, Yelp og andre selskaper. Hos Yelp spesifikt, hva var noen av de mest interessante prosjektene du arbeidet med, og hva var dine nøkkelinntrykk fra denne erfaringen?

Jeg ble med i Yelp gjennom oppkjøpet av SeatMe, vårt tidligere selskap, og fra dag én ble jeg gitt ansvaret for å integrere vår reservasjons søkemotor på frontsidene av Yelp.com.

Etter bare noen få måneder, klarte vi å suksessfullt drive denne søkemotoren på Yelps skala, takket være den solide infrastrukturen Yelp hadde bygget internt for Elasticsearch. Det var også takket være det gode ingeniørlederskapet der at vi fikk mulighet til å bevege oss fritt og gjøre det vi gjorde best: levere raskt.

Som CTO & Co-Founder av et selskap for konversasjonsintelligens, Pathlight, hjelper du med å bygge en LLM Ops-infrastruktur fra scratch. Kan du diskutere noen av de forskjellige elementene som må samles når du deployer en LLMOps-infrastruktur, for eksempel hvordan du håndterer prompt management-lag, minnestremslag, modellhåndteringsslag osv.

Towards slutten av 2022, viet vi oss til den alvorlige oppgaven å utvikle og eksperimentere med Large Language Models (LLM), et prosjekt som raskt ledet til en suksessfull lansering av vårt GenAI-native Conversation Intelligence-produkt bare fire måneder senere. Dette innovative produktet konsoliderer kundeinteraksjoner fra forskjellige kanaler – enten det er tekst, lyd eller video – til en enkelt, omfattende plattform, som muliggjør en uforlignelig dybde av analyse og forståelse av kundesentiment.

I å navigere denne komplekse prosessen, transkriberer, renser og optimaliserer vi dataene for å være ideelt egnet for LLM-prosessering. En kritisk del av denne arbeidsflyten er genereringen av innlegg fra transkripsjonene, et skritt som er fundamentalt for effektiviteten av våre RAG-baserte tagging, klassifiseringsmodeller og intrikate summeringer.

Hva som virkelig skiller dette prosjektet fra andre, er nyskapningen og uutforskede naturen til feltet. Vi finner oss i en unik posisjon, hvor vi baneveier og oppdager beste praksis samtidig med det bredere samfunnet. Et fremtredende eksempel på denne utforskningen er i promptingeniørarbeid – overvåking, feilsøking og kvalitetskontroll av promptene generert av vår applikasjon. Forbausende nok ser vi en økning av startups som nå tilbyr kommersielle verktøy tilpasset disse høyere nivåbehovene, inkludert samarbeidsfunksjoner og avanserte loggings- og indeksfunksjoner.

Men for oss, forblir fokuset uendret på å styrke de grunnleggende lagene i vår LLMOps-infrastruktur. Fra finjustering av orkestrering, hosting av modeller til etablering av robuste inferens-APIer, er disse lavere nivåkomponentene kritiske for vår misjon. Ved å kanalisere våre ressurser og ingeniørkunnskap her, sikrer vi at vårt produkt ikke bare kommer på markedet raskt, men også står på en solid, pålitelig grunn.

Etterhvert som landskapet utvikler seg og flere kommersielle verktøy blir tilgjengelige for å håndtere de høyere nivåkompleksitetene, posisjonerer vår strategi oss til å integrere disse løsningene, ytterligere forbedre vårt produkt og akselerere vår reise i å gjendefinere Conversation Intelligence.

Grunnlaget for Pathlight CI er drevet av en multi-LLM-bakende, hva er noen av utfordringene med å bruke mer enn en LLM og håndtere deres forskjellige ratelimiter?

LLM og GenAI beveger seg i halsbrekkende fart, noe som gjør det absolutt kritisk at ethvert bedriftsprogram som er avhengig av disse teknologiene, må være i stand til å holde tritt med de siste og beste trente modellene, enten det er proprietære managed services eller deployering av FOSS-modeller i egen infrastruktur. Spesielt når kravene til tjenesten øker og ratelimiter forhindrer gjennomstrømmingen som trengs.

Hallusinasjoner er et vanlig problem for ethvert selskap som bygger og deployer LLM, hvordan takler Pathlight dette problemet?

Hallusinasjoner, i betydningen av hva jeg tror folk vanligvis refererer til som sådan, er en enorm utfordring i å arbeide med LLM i en alvorlig kapasitet. Det finnes en viss grad av usikkerhet/uforutsigbarhet som skjer i hva som forventes av en selv samme prompt. Det finnes mange måter å nærme seg dette problemet på, inkludert finjustering (hvor maksimering av bruk av høykvalitetsmodeller tilgjengelig for deg for formålet med å generere justeringsdata).

Pathlight tilbyr ulike løsninger som møter forskjellige markedssegmenter som reise & overnatting, finansielle tjenester, spill, detaljhandel & e-handel, kontaktssentere osv. Kan du diskutere hvordan den generative AI som brukes, forskjeller seg bak kulissene for hvert av disse markedene?

Den øyeblikkelige evnen til å møte et så bredt spekter av segmenter er en av de mest unikt verdifulle aspektene ved GenerativeAI. Å ha tilgang til modeller trent på hele internettet, med en så omfattende rekke av kunnskap i alle mulige domener, er en så unik kvalitet av gjennombruddet vi går gjennom nå. Dette er hvordan AI vil bevise seg over tid, i sin gjennomtrengning og det er absolutt posisjonert til å være så snart, gitt dens nåværende kurs.

Kan du diskutere hvordan Pathlight bruker maskinlæring til å automatisere dataanalyse og oppdage skjulte innsikter?

Ja, absolutt! Vi har en lang historie med å bygge og levere flere maskinlæringsprosjekter i mange år. Den generative modellen bak vårt siste funksjon, Insight Streams, er et godt eksempel på hvordan vi har utnyttet ML til å skape et produkt som er direkte posisjonert til å avdekke hva du ikke vet om dine kunder. Denne teknologien bruker AI-agentkonseptet som er i stand til å produsere en jevnt økende rekke av innsikter som gjør både aktuel og dybde av manuell analyse umulig. Over tid kan disse strømmene naturlig lære av seg selv og

Dataanalyse eller datavitenskapsmenn, forretningsanalytikere, salgs- eller kundeops eller hva et selskap designerer som de ansvarlige for å analysere kundestøtte-data, er fullstendig overveldet av viktige forespørsler hele tiden. Den dybe typen analyse, den som vanligvis krever lag og lag av komplekse systemer og data.

Hva er din personlige syn på typen gjennombrudd som vi bør forvente i bølgen av LLM og AI generelt?

Min personlige syn er usedvanlig optimistisk på feltet LLM-trening og finjusteringsmetoder til å fortsette å avansere svært raskt, samt å gjøre fremgang i bredere domener og multimodalt blir en norm. Jeg tror at FOSS allerede er “like god som” GPT4 på mange måter, men kostnaden av å hoste disse modellene vil fortsette å være en bekymring for de fleste selskaper.