Trey Doig, CTO & Co-Founder bij Pathlight – Interview Series

Trey Doig is de Co-Founder & CTO bij Pathlight. Trey heeft meer dan tien jaar ervaring in de technologiebranche, waar hij heeft gewerkt als ingenieur voor IBM, Creative Commons en Yelp. Trey was de leidende ingenieur voor Yelp Reservations en was verantwoordelijk voor de integratie van SeatMe-functionaliteit op Yelp.com. Trey leidde ook de ontwikkeling van de SeatMe-webapplicatie toen het bedrijf groeide om 10x klantgroei te ondersteunen.

Pathlight helpt klantgerichte teams hun prestaties te verbeteren en efficiëntie te stimuleren met real-time inzichten in klantgesprekken en teamprestaties. Het Pathlight-platform analyseert autonoom miljoenen datapunten om elke laag van de organisatie in staat te stellen te begrijpen wat er gebeurt aan de frontlinie van hun bedrijf en te bepalen welke acties nodig zijn om herhaalbaar succes te creëren.

Wat trok je aanvankelijk aan tot informatica?

Ik heb al van jongs af aan met computers gespeeld. Toen ik 12 werd, begon ik met programmeren en leerde mezelf Scheme en Lisp, en begon al snel allerlei dingen te bouwen voor mezelf en mijn vrienden, voornamelijk in webontwikkeling.

Veel later, toen ik me aanmelde voor de universiteit, was ik eigenlijk verveeld met computers en richtte me op het krijgen van een opleiding in design. Na te zijn afgewezen en op de wachtlijst te zijn geplaatst door een aantal van die scholen, besloot ik me in te schrijven voor een CS-programma en keek nooit meer om. Het feit dat ik werd afgewezen voor de designschool, bleek een van de meest lonende afwijzingen van mijn leven te zijn!

Je hebt functies gehad bij IBM, Yelp en andere bedrijven. Bij Yelp in het bijzonder, wat waren enkele van de meest interessante projecten waar je aan werkte en wat waren je belangrijkste inzichten uit deze ervaring?

Ik kwam bij Yelp via de overname van SeatMe, ons voorgaande bedrijf, en vanaf de eerste dag kreeg ik de verantwoordelijkheid om onze reserveringszoekmachine te integreren in de voorpagina van Yelp.com.

Na slechts een paar maanden waren we in staat om deze zoekmachine succesvol te laten werken op de schaal van Yelp, dankzij de robuuste infrastructuur die Yelp intern had opgebouwd voor Elasticsearch. Het was ook te danken aan het geweldige ingenieursleiderschap daar dat ons toeliet om vrij te bewegen en te doen wat we het beste konden: snel schepen.

Als CTO & Co-Founder van een conversational intelligence-bedrijf, Pathlight, help je bij het opbouwen van een LLM Ops-infrastructuur van scratch. Kun je enkele van de verschillende elementen bespreken die moeten worden geassembleerd bij het implementeren van een LLMOps-infrastructuur, bijvoorbeeld hoe je de prompt management-laag, memory stream-laag, model management-laag, enz. beheert.

Aan het einde van 2022 hebben we ons gewijd aan de serieuze onderneming om Large Language Models (LLM’s) te ontwikkelen en te experimenteren, een onderneming die snel leidde tot de succesvolle lancering van ons GenAI-native Conversation Intelligence-product, slechts vier maanden later. Dit innovatieve product consolideert klantinteracties vanuit diverse kanalen – of het nu tekst, audio of video is – in een enkel, omvattend platform, waardoor een ongekende diepte van analyse en begrip van klantgevoelens mogelijk wordt.

Bij het navigeren door dit complexe proces, transcriberen, zuiveren en optimaliseren we de gegevens zorgvuldig om ze ideaal te maken voor LLM-verwerking. Een cruciaal aspect van deze workflow is het genereren van embeddings uit de transscripties, een stap die essentieel is voor de effectiviteit van onze RAG-gebaseerde tagging, classificatiemodellen en ingewikkelde samenvattingen.

Wat dit project echt uniek maakt, is de nieuwheid en ongekende aard van het veld. We bevinden ons in een unieke positie, waarbij we gelijktijdig met de bredere gemeenschap pionierswerk doen en best practices ontdekken. Een opvallend voorbeeld van deze exploratie is prompt-engineering – het monitoren, debuggen en waarborgen van de kwaliteit van de prompts die door onze toepassing worden gegenereerd. We zien een golf van startups die nu commerciële tools aanbieden die zijn aangepast aan deze hogere niveau-behoeften, waaronder collaboratieve functies en geavanceerde log- en indexeerfuncties.

Maar voor ons ligt de nadruk onwankelbaar op het versterken van de fundamenten van onze LLMOps-infrastructuur. Van fine-tuning orkestratie, modelhosting tot het opzetten van robuuste inferentie-API’s, deze onderliggende componenten zijn cruciaal voor onze missie. Door onze middelen en ingenieurskwaliteiten hierin te steken, waarborgen we dat ons product niet alleen snel op de markt komt, maar ook op een solide, betrouwbare basis staat.

Naarmate het landschap evolueert en meer commerciële tools beschikbaar komen om de hogere complexiteiten aan te pakken, positioneert onze strategie ons om deze oplossingen naadloos te integreren, ons product verder te verbeteren en onze reis in het herschrijven van Conversation Intelligence te versnellen.

De basis van Pathlight CI wordt aangedreven door een multi-LLM-backend, wat zijn enkele van de uitdagingen van het gebruik van meer dan één LLM en het omgaan met hun verschillende rate limits?

LLM’s en GenAI bewegen zich met een ongekende snelheid, waardoor het absoluut cruciaal is dat elke bedrijfsapplicatie die zwaar leunt op deze technologieën in staat is om gelijk te lopen met de nieuwste en beste getrainde modellen, of het nu gaat om beheerde diensten of het implementeren van FOSS-modellen in uw eigen infrastructuur. Vooral als de eisen van uw dienst toenemen en rate-limits de benodigde doorvoer verhinderen.

Hallucinaties zijn een gemeenschappelijk probleem voor elk bedrijf dat LLM’s bouwt en implementeert, hoe gaat Pathlight hiermee om?

Hallucinaties, in de zin van wat ik denk dat mensen meestal bedoelen, vormen een enorme uitdaging bij het werken met LLM’s in een serieuze capaciteit. Er is zeker een niveau van onzekerheid/onvoorspelbaarheid dat optreedt in wat kan worden verwacht van een zelfde prompt. Er zijn veel manieren om dit probleem aan te pakken, waaronder fine-tuning (waarbij het maximaliseren van het gebruik van de hoogste kwaliteit modellen die beschikbaar zijn voor het doel van het genereren van afstemmingsgegevens).

Pathlight biedt verschillende oplossingen die zijn aangepast aan verschillende marktsegmenten, zoals reizen en hospitality, financiën, gaming, retail en e-commerce, contactcenters, enz. Kun je bespreken hoe de Generatieve AI die wordt gebruikt, verschilt achter de schermen voor elk van deze markten?

De mogelijkheid om zo’n breed scala aan segmenten aan te spreken, is een van de meest uniek waardevolle aspecten van Generatieve AI. Om toegang te hebben tot modellen die zijn getraind op het hele internet, met zo’n uitgebreide kennis in alle soorten domeinen, is een unieke kwaliteit van de doorbraak die we meemaken. Dit is hoe AI zich uiteindelijk zal bewijzen, in zijn alomtegenwoordigheid, en het is zeker binnenkort klaar om dat te doen, gezien zijn huidige pad.

Kun je bespreken hoe Pathlight machine learning gebruikt om gegevensanalyse te automatiseren en verborgen inzichten te ontdekken?

Ja, zeker! We hebben een diepe geschiedenis van het bouwen en leveren van verschillende machine learning-projecten gedurende vele jaren. Het generatieve model achter onze laatste functie Insight Streams, is een goed voorbeeld van hoe we machine learning hebben gebruikt om een product te creëren dat rechtstreeks is gericht op het ontdekken van wat je niet weet over je klanten. Deze technologie maakt gebruik van het AI-agent-concept dat in staat is om een constant evoluerend set van inzichten te produceren die zowel de actualiteit als de diepte van handmatige analyse onmogelijk maken. Na verloop van tijd kunnen deze streams vanzelf leren van zichzelf en

Gegevensanalisten of data scientists, businessanalisten, sales- of klantenservice- of welke titel een bedrijf ook gebruikt voor de mensen die verantwoordelijk zijn voor het analyseren van klantondersteuningsgegevens, zijn volledig overbelast met belangrijke verzoeken de hele tijd. De diepe soort analyse, die normaal gesproken meerdere lagen van complexe systemen en gegevens vereist.

Wat is uw persoonlijke visie op de soort doorbraken die we kunnen verwachten in de golf van LLM’s en AI in het algemeen?

Mijn persoonlijke visie is ongelooflijk optimistisch over het veld van LLM-training en -afstemmingmethoden om snel vooruit te gaan, evenals om winst te behalen in bredere domeinen, en multi-modale te worden een norm. Ik geloof dat FOSS al “net zo goed als” GPT4 is op veel manieren, maar de kosten van het hosten van deze modellen zullen voor de meeste bedrijven blijven een zorg.