Trey Doig, CTO och medgrundare på Pathlight – Intervjuer

Trey Doig är medgrundare och CTO på Pathlight. Trey har över tio års erfarenhet inom techindustrin och har arbetat som ingenjör för IBM, Creative Commons och Yelp. Trey var ansvarig ingenjör för Yelp Reservations och ansvarade för integrationen av SeatMe-funktionen på Yelp.com. Trey ledde också utvecklingen av SeatMe-webbapplikationen när företaget växte för att stödja 10-gånger kundtillväxt.

Pathlight hjälper kundfacing team att förbättra prestationen och driva effektivitet med realtidsinsikter i kundkonversationer och teamprestation. Pathlight-plattformen analyserar autonomt miljontals datapunkter för att ge varje lager i organisationen möjlighet att förstå vad som händer på företagets framsida och bestämma de bästa åtgärderna för att skapa återkommande framgång.

Vad var det som initialt drog dig till datavetenskap?

Jag har lekt med datorer så länge jag kan minnas. När jag var 12 år började jag programmera och lärde mig Scheme och Lisp, och strax därefter började jag bygga all sorts saker för mig och mina vänner, främst inom webbutveckling.

Mycket senare, när jag ansökte till college, hade jag faktiskt blivit trött på datorer och satte mitt mål på att komma in på designskola. Efter att ha blivit nekad och väntat på flera av dessa skolor bestämde jag mig för att gå med i ett CS-program och tittade aldrig tillbaka. Att bli nekad till designskolan visade sig vara en av de mest givande avvisningarna i mitt liv!

Du har haft roller på IBM, Yelp och andra företag. På Yelp specifikt, vad var några av de mest intressanta projekten du arbetade med och vad var dina viktigaste lärdomar från den erfarenheten?

Jag gick med i Yelp genom förvärvet av SeatMe, vårt tidigare företag, och från första dagen fick jag ansvaret att integrera vår reservationssökning i Yelp.com:s första sida.

Efter bara några få månader kunde vi lyckas med att driva sökningen på Yelps skala, till stor del tack vare den robusta infrastruktur som Yelp hade byggt internt för Elasticsearch. Det berodde också på det utmärkta ingenjörsledarskapet där som tillät oss att röra oss fritt och göra det vi gjorde bäst: leverera snabbt.

Som CTO och medgrundare av ett företag för konversationsintelligens, Pathlight, hjälper du till att bygga en LLM Ops-infrastruktur från scratch. Kan du diskutera några av de olika komponenterna som måste samlas in när du distribuerar en LLMOps-infrastruktur, till exempel hur du hanterar prompt-hanteringslagret, minnesströmslagret, modellhanteringslagret osv.

I slutet av 2022 ägnade vi oss åt det allvarliga företaget att utveckla och experimentera med stora språkmodeller (LLM), ett företag som snabbt ledde till den framgångsrika lanseringen av vår GenAI-nativa Conversation Intelligence-produkt bara fyra månader senare. Denna innovativa produkt konsoliderar kundinteraktioner från olika kanaler – antingen text, ljud eller video – till en enda, omfattande plattform, som möjliggör en oöverträffad djup analys och förståelse av kundsentiment.

I denna process transkriberar, renar och optimerar vi noggrant data för att göra dem idealiskt lämpade för LLM-bearbetning. En kritisk aspekt av denna arbetsflöde är genereringen av inbäddningar från transkriptionerna, ett steg som är grundläggande för effektiviteten i vår RAG-baserade taggning, klassificeringsmodeller och intrikata sammanfattningar.

Vad som verkligen särskiljer detta företag är nyheten och det outvecklade området i fältet. Vi befinner oss i en unik position, där vi banar väg och upptäcker bästa praxis samtidigt som den bredare gemenskapen. Ett framträdande exempel på detta är i promptteknik – övervakning, felsökning och kvalitetskontroll av de prompter som genereras av vår applikation. Förvånansvärt ser vi en våg av startups som nu tillhandahåller kommersiella verktyg anpassade för dessa högre nivåbehov, inklusive samarbetsfunktioner och avancerade loggnings- och indexeringfunktioner.

Men för oss ligger fokus outtröttligt på att stärka de grundläggande lagren i vår LLMOps-infrastruktur. Från finjustering av orkestrering, modellvärd, till att etablera robusta inferens-API:er, är dessa lägre nivåkomponenter avgörande för vår mission. Genom att kanalisera våra resurser och ingenjörskapacitet här säkerställer vi att vår produkt inte bara når marknaden snabbt utan också står på en solid och tillförlitlig grund.

Som landskapet utvecklas och fler kommersiella verktyg blir tillgängliga för att hantera de högre nivåkomplexiteterna, positionerar vår strategi oss för att smidigt integrera dessa lösningar, ytterligare förbättra vår produkt och påskynda vår resa i att omdefiniera Conversation Intelligence.

Grundvalen för Pathlight CI är byggd på en multi-LLM-backend, vad är några av utmaningarna med att använda mer än en LLM och hantera deras olika ratelimit?

LLM och GenAI utvecklas i en rasande takt, vilket gör det absolut nödvändigt att alla företagsapplikationer som är starkt beroende av dessa teknologier kan hålla jämna steg med de senaste och bästa tränade modellerna, antingen som hanterade tjänster eller genom att distribuera FOSS-modeller i sin egen infrastruktur. Speciellt när kraven på tjänsten ökar och ratelimit förhindrar den genomströmning som behövs.

Hallucinationer är ett vanligt problem för alla företag som bygger och distribuerar LLM. Hur hanterar Pathlight detta problem?

Hallucinationer, i den mening som jag tror att folk vanligtvis syftar på, är en enorm utmaning när man arbetar med LLM i allvarlig kapacitet. Det finns definitivt en nivå av osäkerhet/oförutsägbarhet som uppstår i vad som förväntas av en till och med identisk prompt. Det finns många sätt att närma sig detta problem, vissa inklusive finjustering (där maximal användning av de bästa modellerna som är tillgängliga för dig för att generera finjusteringsdata).

Pathlight erbjuder olika lösningar som tillgodoser olika marknadssegment, såsom resor och gästfrihet, finans, spel, detaljhandel och e-handel, kontaktcenter osv. Kan du diskutera hur den generativa AI som används skiljer sig bakom kulisserna för var och en av dessa marknader?

Förmågan att direkt tillgodose ett så brett utbud av segment är en av de mest unikt värdefulla aspekterna av Generative AI. Att ha tillgång till modeller som tränats på hela internet, med sådan omfattande kunskap inom alla möjliga områden, är en sådan unik egenskap hos genombrottet vi går igenom just nu. Detta är hur AI kommer att bevisa sig över tiden, i sin allmänpenetration och det är säkert att det kommer att ske snart med tanke på dess nuvarande bana.

Kan du diskutera hur Pathlight använder maskinlärning för att automatisera dataanalys och upptäcka dolda insikter?

Ja, definitivt! Vi har en lång historia av att bygga och leverera flera maskinlärningsprojekt under många år. Den generativa modellen bakom vår senaste funktion Insight Streams är ett utmärkt exempel på hur vi har utnyttjat ML för att skapa en produkt som är direkt positionerad för att upptäcka vad du inte vet om dina kunder. Denna teknik använder sig av AI-agentkonceptet som kan producera en stadigt utvecklande uppsättning insikter som gör det omöjligt att göra manuell analys. Över tiden kan dessa strömmar lära sig av sig själva och

Dataanalys eller data scientists, business analysts, sales eller customer ops eller vad företaget utser som de personer som ansvarar för att analysera kundsupportdata är helt överbelastade med viktiga förfrågningar hela tiden. Den djupa typen av analys, den som vanligtvis kräver lager och lager av komplexa system och data.

Vad är din personliga syn på de genombrott som vi kan förvänta oss i vågen av LLM och AI i allmänhet?

Min personliga syn är otroligt optimistisk på fältet LLM-träning och finjusteringsmetodologier för att fortsätta utvecklas mycket snabbt, samt att göra vinster inom bredare domäner och multimodala blir en norm. Jag tror att FOSS redan är “lika bra som” GPT4 på många sätt, men kostnaden för att värd dessa modeller kommer att fortsätta att vara en oro för de flesta företag.