Trey Doig, CTO & Co-Founder hos Pathlight – Interview Serie

Trey Doig er Co-Founder og CTO hos Pathlight. Trey har mere end ti års erfaring i tech-industrien, hvor han har arbejdet som ingeniør for IBM, Creative Commons og Yelp. Trey var lead engineer for Yelp Reservations og var ansvarlig for integrationen af SeatMe-funktionalitet på Yelp.com. Trey ledede også udviklingen af SeatMe-webapplikationen, da virksomheden voksede til at understøtte 10 gange kundevækst.

Pathlight hjælper kundefacaderede hold med at booste deres præstation og drive effektivitet med realtidsindsigt i kundesamtaler og holdpræstation. Pathlight-platformen analyserer autonomt millioner af datapunkter for at give alle lag i organisationen mulighed for at forstå, hvad der sker på forreste linje i deres forretning, og bestemme de bedste handlinger for at skabe gentagelige succeser.

Hvad var det, der oprindeligt tiltrak dig til datalogi?

Jeg har leget med computere, så længe jeg kan huske. Da jeg var 12 år, begyndte jeg at programmere og lærte mig selv Scheme og Lisp, og kort efter begyndte jeg at bygge alle mulige ting til mig selv og mine venner, primært inden for webudvikling.

Senere, da jeg ansøgte om optagelse på college, var jeg faktisk blevet ked af computere og havde sat mine øjne på designskole. Efter at være blevet afvist og havde været på venteliste på nogle af disse skoler, besluttede jeg at tilmelde mig et CS-program og så aldrig tilbage. At blive afvist til designskole viste sig at være en af de mest belønnende afvisninger i mit liv!

Du har haft roller hos IBM, Yelp og andre virksomheder. Hos Yelp specifikt, hvilke var nogle af de mest interessante projekter, du arbejdede på, og hvilke var dine nøgleindtryk fra denne oplevelse?

Jeg blev ansat hos Yelp gennem opkøbet af SeatMe, vores tidligere virksomhed, og fra dag ét blev jeg betroet med ansvar for at integrere vores reservations-søgemaskine på Yelp.coms forside.

Efter kun få måneder lykkedes det os at aktivere denne søgemaskine på Yelps skala, takket være den robuste infrastruktur, Yelp havde bygget internt til Elasticsearch. Det skyldtes også den fremragende tekniske ledelse der, der gav os mulighed for at bevæge os frit og gøre, hvad vi gjorde bedst: udgive hurtigt.

Som CTO og Co-Founder af en konversationsintelligens-virksomhed, Pathlight, hjælper du med at bygge en LLM Ops-infrastruktur fra bunden. Kan du diskutere nogle af de forskellige elementer, der skal samles, når du deployer en LLMOps-infrastruktur, f.eks. hvordan du håndterer prompt management-lag, memory stream-lag, model management-lag osv.

Ved udgangen af 2022 dedikerede vi os til den alvorlige opgave at udvikle og eksperimentere med Large Language Models (LLM’er), et foretagende, der hurtigt ledte til en succesfuld lancering af vores GenAI-native Conversation Intelligence-produkt kun fire måneder senere. Dette innovative produkt konsoliderer kundeinteraktioner fra forskellige kanaler – enten det er tekst, lyd eller video – til en enkelt, omfattende platform, der giver en enestående dybde af analyse og forståelse af kundesentimenter.

I denne komplekse proces transkriberer, renser og optimerer vi dataene til at være ideelt egnet til LLM-behandling. En kritisk del af denne arbejdsgang er genereringen af embeddings fra transkriptionerne, et skridt, der er fundamentalt for effikaciteten af vores RAG-baserede tagging, klassificeringsmodeller og komplekse sammenfattelser.

Hvad virkelig adskiller dette foretagende er det nye og uudforskede område. Vi befinder os i en unik position, hvor vi samtidig udvikler og opdager bedste praksis sammen med den bredere fællesskab. Et fremtrædende eksempel på denne opdagelse er i prompt-engineering – overvågning, fejlfinding og sikring af kvalitetskontrol af prompterne, der genereres af vores applikation. Forbløffende ser vi en strøm af startups, der nu tilbyder kommercielle værktøjer tilpasset disse højere niveau-krav, herunder samarbejdsfunktioner og avancerede logføring- og indekseringsfunktioner.

Men for os forbliver fokus ubøjet på at styrke de fundamentale lag i vores LLMOps-infrastruktur. Fra finjustering af orkestrering, hosting af modeller til etablering af robuste inference-API’er er disse lavere niveau-komponenter kritiske for vores mission. Ved at kanalisere vores ressourcer og tekniske ekspertise her sikrer vi, at vores produkt ikke blot kommer på markedet hurtigt, men også står på en solid, pålidelig grund.

Som landskabet udvikler sig og flere kommercielle værktøjer bliver tilgængelige for at tackle de højere niveau-kompleksiteter, positionerer vores strategi os til at integrere disse løsninger uden besvær, hvilket yderligere forbedrer vores produkt og accelererer vores rejse i at gendefinere Conversation Intelligence.

Pathlights CI er baseret på en multi-LLM-backend, hvad er nogle af udfordringerne ved at bruge mere end en LLM og håndtere deres forskellige rate-limits?

LLM’er og GenAI bevæger sig i en hurtig takt, hvilket gør det absolut kritisk, at enhver forretningsapplikation, der afhænger stærkt af disse teknologier, kan følge med de seneste og bedste trænede modeller, enten det er proprietære managed services eller installation af FOSS-modeller i egen infrastruktur. Især når kravene til tjenesten øges, og rate-limits forhindrer den nødvendige gennemstrømning.

Hallucinationer er et almindeligt problem for enhver virksomhed, der bygger og deployer LLM’er, hvordan tackler Pathlight dette problem?

Hallucinationer, i den forstand, som jeg tror, folk generelt refererer til, er en enorm udfordring i arbejdet med LLM’er på en alvorlig måde. Der er bestemt et niveau af usikkerhed/uvished, der opstår i, hvad der kan forventes af en selv samme prompt. Der er mange måder at tilgå dette problem på, herunder finjustering (hvor maksimering af brug af de bedste modeller, der er tilgængelige for formålet med at generere finjusteringsdata).

Pathlight tilbyder forskellige løsninger, der er tilpasset forskellige markedssegmenter, såsom rejse & hospitality, finans, gaming, detail & e-handel, kontaktcentre osv. Kan du diskutere, hvordan den generative AI, der bruges, adskiller sig bag scenen for hvert af disse markeder?

Evnen til at tackle så bredt et udvalg af segmenter er en af de mest unikt værdifulde aspekter af Generative AI. At have adgang til modeller, der er trænet på hele internettet, med sådan en omfattende viden i alle mulige domæner, er en så unik egenskab ved denne gennembrud, vi er igennem lige nu. Dette er, hvordan AI vil bevise sig selv over tid, i sin almindelighed, og det er bestemt positioneret til at ske snart, givet dens nuværende vej.

Kan du diskutere, hvordan Pathlight bruger maskinlæring til at automatisere dataanalyse og opdage skjulte indsighter?

Ja, bestemt! Vi har en lang historie med at bygge og udgive flere maskinlæringsprojekter i mange år. Den generative model bag vores seneste funktion Insight Streams er et godt eksempel på, hvordan vi har udnyttet ML til at skabe et produkt, der direkte er positioneret til at afsløre, hvad du ikke ved om dine kunder. Denne teknologi anvender AI-agent-konceptet, der kan producere en stadig udviklende række af indsighter, der gør det umuligt for manuel analyse både i forhold til recency og dybde. Over tid kan disse streams naturligt lære af sig selv og

Dataanalyse eller datavidenskab, forretningsanalytikere, salg eller kundeops eller hvad en virksomhed betegner som de personer, der er ansvarlige for at analysere kundesupportdata, er fuldstændig overvældet af vigtige anmodninger hele tiden. Den dybe type analyse, den, der normalt kræver lag og lag af komplekse systemer og data.

Hvad er din personlige opfattelse af de gennembrud, vi kan forvente i bølgen af LLM’er og AI generelt?

Min personlige opfattelse er utrolig optimistisk med hensyn til feltet LLM-træning og -tilpasning til at fortsætte med at udvikle sig meget hurtigt, samt til at opnå fremskridt i bredere domæner, og multi-modal bliver en norm. Jeg tror, at FOSS allerede er “lige så god som” GPT4 på mange måder, men omkostningerne ved at hoste disse modeller vil fortsat være en bekymring for de fleste virksomheder.