Donny White, CEO & Co-Founder van Satisfi Labs – Interview Serie

Opgericht in 2016 is Satisfi Labs een toonaangevende conversational AI-onderneming. Vroeg succes kwam van hun werk met de New York Mets, Macy’s (M ) en de US Open, waardoor gemakkelijke toegang tot informatie mogelijk werd die vaak niet op websites beschikbaar was.

Donny heeft 15 jaar bij Bloomberg gewerkt voordat hij de wereld van start-ups inging en heeft een MBA van Cornell University en een BA van Baruch College. Onder Donny’s leiderschap heeft Satisfi Labs onder zijn leiding een aanzienlijke groei doorgemaakt in de sport-, entertainment- en toerismesector, met investeringen van Google (GOOGL ), MLB en Red Light Management.

U was 14 jaar bij Bloomberg toen u voor het eerst het ondernemersstreven voelde. Waarom was ondernemer plotseling op uw radar?

Tijdens mijn derde studiejaar solliciteerde ik naar een baan als receptionist bij Bloomberg. Zodra ik mijn voet tussen de deur kreeg, zei ik tegen mijn collega’s dat als ze me wilden leren, ik snel kon leren. Tegen het einde van mijn studie was ik een fulltime medewerker en had ik al mijn lessen naar de avond verplaatst zodat ik beide kon doen. In plaats van naar mijn afstudeerceremonie te gaan op 21-jarige leeftijd, bracht ik die tijd door met het beheren van mijn eerste team. Vanaf dat moment had ik het geluk om in een meritocratie te werken en werd ik meerdere keren gepromoveerd. Tegen mijn 25e liep ik mijn eigen afdeling. Vandaaruit ging ik naar regionaal management en vervolgens naar productontwikkeling, totdat ik uiteindelijk de verkoop leidde in heel Amerika. Rond 2013 begon ik me af te vragen of ik iets groters kon doen. Ik solliciteerde bij een paar jonge technologiebedrijven en een van de oprichters zei tegen me: “We weten niet of jij goed bent of Bloomberg goed is.” Toen wist ik dat er iets moest veranderen en zes maanden later was ik de verkoopdirecteur bij mijn eerste startup, Datahug. Kort daarna werd ik benaderd door een groep investeerders die Yelp wilden verstoren. Terwijl Yelp nog steeds goed en wel is, kwamen we in 2016 overeen met een nieuw visie en ik richtte Satisfi Labs op met dezelfde investeerders.

Kunt u het oorsprongsverhaal achter Satisfi Labs delen?

Ik was op een honkbalwedstrijd bij Citi Field met Randy, Satisfi’s huidige CTO en mede-oprichter, toen ik hoorde over een van hun specialiteiten, bacon op een stok. We liepen rond de concourse en vroegen het personeel ernaar, maar konden het nergens vinden. Het bleek dat het weggestopt was in een uiteinde van het stadion, wat de realisatie veroorzaakte dat het veel handiger zou zijn om rechtstreeks met het team te communiceren via chat. Hier werd ons eerste idee geboren. Randy en ik komen allebei uit een financiële en algoritmische handelsachtergrond, wat ons ertoe bracht om het concept van het koppelen van verzoeken aan antwoorden te nemen om onze eigen NLP te bouwen voor hyper-specifieke vragen die op locaties zouden worden gesteld. Het oorspronkelijke idee was om individuele bots te bouwen die elk expert zouden zijn in een bepaald vakgebied, vooral kennis die niet gemakkelijk toegankelijk is op een website. Vanaf daar zou ons systeem een “dirigent” hebben die elk bot kon aanspreken wanneer dat nodig was. Dit is de oorspronkelijke systeemarchitectuur die vandaag de dag nog steeds wordt gebruikt.

Satisfi Labs had zijn eigen NLP-motor ontworpen en stond op het punt een persbericht uit te geven toen OpenAI uw technische stack verstoorden met de release van ChatGPT. Kunt u deze periode bespreken en hoe dit Satisfi Labs dwong zijn bedrijfsmodel aan te passen?

We hadden een gepland persbericht om onze patent-aanvraag voor Context-based NLP-upgrade aan te kondigen op 6 december 2022. Op 30 november 2022 kondigde OpenAI ChatGPT aan. De aankondiging van ChatGPT veranderde niet alleen onze roadmap, maar ook de wereld. Aanvankelijk raceten we, net als iedereen, om de kracht en beperkingen van ChatGPT te begrijpen en te begrijpen wat dit voor ons betekende. We realiseerden ons al snel dat ons contextuele NLP-systeem niet concurreerde met ChatGPT, maar het LLM-ervaring daadwerkelijk kon verbeteren. Dit leidde tot een snelle beslissing om OpenAI-enterprise-partners te worden. Aangezien ons systeem begon met het idee om vragen te begrijpen en te beantwoorden op een granulair niveau, konden we de “bot-dirigent”-systeemontwerp en zeven jaar aan intentiedata combineren om het systeem te upgraden om LLM’s te integreren.

Satisfi Labs heeft onlangs een octrooi voor een Context LLM Response System gelanceerd, wat is dit specifiek?

Deze zomer hebben we ons patent-aanvraag voor Context LLM Response System onthuld. Het nieuwe systeem combineert de kracht van ons patent-aanvraag voor contextuele responsensysteem met grote taalmodelmogelijkheden om het hele Answer Engine-systeem te versterken. De nieuwe Context LLM-technologie integreert grote taalmodelmogelijkheden in het hele platform, variërend van het verbeteren van intentierouting tot antwoordgeneratie en intent-indexering, wat ook de unieke rapportagecapaciteiten aandrijft. Het platform brengt conversational AI verder dan de traditionele chatbot door de kracht van LLM’s zoals GPT-4 te benutten. Ons platform stelt merken in staat om te antwoorden met zowel generatieve AI-antwoorden als vooraf geschreven antwoorden, afhankelijk van de behoefte aan controle in het antwoord.

Kunt u de huidige disconnectie tussen de meeste bedrijfswebsites en LLM-platforms bespreken bij het leveren van antwoorden die overeenkomen met het merk?

ChatGPT is getraind om een breed scala aan informatie te begrijpen en heeft daarom niet het niveau van granulaire training nodig om industrie-specifieke vragen te beantwoorden met het niveau van specificiteit dat de meeste merken verwachten. Bovendien is de nauwkeurigheid van de antwoorden die LLM’s geven alleen zo goed als de gegeven gegevens. Wanneer u ChatGPT gebruikt, haalt het gegevens van over het internet, wat onnauwkeurig kan zijn. ChatGPT geeft geen prioriteit aan gegevens van een merk boven andere gegevens. We hebben verschillende industrieën gediend in de afgelopen zeven jaar, waardoor we waardevolle inzichten hebben verkregen in de miljoenen vragen die elke dag door klanten worden gesteld. Dit heeft ons in staat gesteld om te begrijpen hoe we het systeem kunnen afstemmen met meer context per industrie en robuuste en granulaire intent-rapportagecapaciteiten kunnen bieden, wat cruciaal is gegeven de opkomst van grote taalmodellen. Terwijl LLM’s effectief zijn in het begrijpen van intentie en het genereren van antwoorden, kunnen ze geen rapportage over de gestelde vragen geven. Met behulp van jarenlange uitgebreide intentiedata hebben we efficiënt gestandaardiseerde rapportage gecreëerd via hun Intent Indexing System.

Wat is de rol van taalkundigen bij het verbeteren van de mogelijkheden van LLM-technologie?

De rol van prompt-engineer is ontstaan met deze nieuwe technologie, die een persoon nodig heeft om prompts te ontwerpen en te verfijnen die een specifiek antwoord van de AI oproepen. Taalkundigen hebben een goed begrip van taalstructuur, zoals syntaxis en semantiek, en andere dingen. Een van onze meest succesvolle AI-engineers heeft een achtergrond in taalkunde, wat haar in staat stelt om nieuwe en nuanceuze manieren te vinden om de AI te prompten. Subtiele veranderingen in de prompt kunnen een diepgaand effect hebben op hoe nauwkeurig en efficiënt een antwoord wordt gegenereerd, wat een groot verschil maakt wanneer we miljoenen vragen voor meerdere klanten afhandelen.

Hoe ziet fine-tuning eruit op de backend?

We hebben ons eigen propriëtaire datamodel dat we gebruiken om de LLM in lijn te houden. Dit stelt ons in staat om onze eigen “hekkens” te bouwen om de LLM onder controle te houden, in plaats van te moeten zoeken naar hekkens. Ten tweede kunnen we tools en functies gebruiken die andere platforms gebruiken, waardoor we ze op onze platforms kunnen ondersteunen.

Fine-tuning van trainingsgegevens en het gebruik van versterking van het leren (RL) in ons platform kan helpen om het risico van desinformatie te mitigeren. Fine-tuning, in plaats van het opvragen van specifieke feiten om toe te voegen, creëert een nieuwe versie van de LLM die getraind is op deze extra kennis. Aan de andere kant leert RL een agent met menselijke feedback en leert een beleid over hoe vragen te beantwoorden. Dit heeft zich bewezen als succesvol in het opbouwen van kleinere voetafdrukmodellen die experts worden in specifieke taken.

Kunt u het proces voor het onboarden van een nieuwe klant en het integreren van conversational AI-oplossingen bespreken?

Aangezien we ons richten op bestemmingen en ervaringen zoals sport, entertainment en toerisme, profiteren nieuwe klanten van degenen die al in de community zitten, waardoor onboarden heel eenvoudig is. Nieuwe klanten identificeren waar hun meest actuele gegevensbronnen leven, zoals een website, medewerkershandboeken, blogs, enz. We nemen de gegevens op en trainen het systeem in real-time. Aangezien we met honderden klanten in dezelfde industrie werken, kan ons team snel aanbevelingen doen over welke antwoorden het beste geschikt zijn voor vooraf geschreven antwoorden versus gegenereerde antwoorden. Bovendien stellen we dynamische flows in, zoals onze dynamische Food & Beverage Finder, zodat klanten nooit met een bot-builder hoeven te werken.

Satisfi Labs werkt momenteel nauw samen met sportteams en -bedrijven, wat is uw visie voor de toekomst van het bedrijf?

We zien een toekomst waarin meer merken meer aspecten van hun chat-ervaring willen controleren. Dit zal leiden tot een grotere behoefte aan ons systeem om meer ontwikkelaar-niveau-toegang te bieden. Het heeft geen zin voor merken om ontwikkelaars in te huren om hun eigen conversational AI-systemen te bouwen, aangezien de benodigde expertise schaars en duur zal zijn. Echter, met ons systeem dat de backend voedt, kunnen hun ontwikkelaars zich meer richten op de klant-ervaring en -reis door meer controle te hebben over de prompts, eigen gegevens te koppelen om meer personalisatie toe te staan en het chat-UI voor specifieke gebruikersbehoeften te beheren. Satisfi Labs zal de technische ruggengraat zijn van de conversational ervaringen van merken.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Satisfi Labs bezoeken.