Donny White, CEO & Co-Founder of Satisfi Labs – Rozhovorová série

Založena v roce 2016, Satisfi Labs je přední společnost pro konverzační AI. Brzy přišel úspěch z práce s New York Mets, Macy’s a US Open, což umožnilo snadný přístup k informacím, které jsou často nedostupné na webových stránkách.

Donny strávil 15 let v Bloombergu, než vstoupil do světa startupů, a získal titul MBA na Cornell University a titul BA na Baruch College. Pod Donnym vedením Satisfi Labs zaznamenala významný růst v oblasti sportu, zábavy a cestovního ruchu, přičemž získala investice od Google (GOOGL ), MLB a Red Light Management.

Byl jste v Bloombergu 14 let, když jste poprvé pocítil chuť být podnikatel. Proč jste se najednou stal podnikatel?

Během třetího ročníku vysoké školy jsem se ucházel o práci jako recepční v Bloombergu. Jakmile jsem se dostal do dveří, řekl jsem svým kolegům, že pokud budou ochotni mě učit, mohu se rychle učit. Do konce čtvrtého ročníku jsem byl již plnohodnotným zaměstnancem a přesunul jsem všechny své kurzy na večerní hodiny, abych mohl dělat oboje. Místo toho, abych se zúčastnil absolventské ceremonie ve věku 21 let, strávil jsem ten čas řízením svého prvního týmu. Od té doby jsem měl štěstí pracovat v meritokracii a byl jsem několikrát povýšen. Ve věku 25 let jsem již vedl svůj vlastní odbor. Odtud jsem se přesunul do regionálního managementu a poté do produktového vývoje, až jsem nakonec vedl prodej po celé Americe. V roce 2013 jsem začal uvažovat, zda mohu udělat něco většího. Byl jsem na několika pohovorech v mladých technologických společnostech a jeden ze zakladatelů mi řekl: „Nevíme, zda jste dobrý nebo zda je dobrý Bloomberg.“ V tu chvíli jsem věděl, že něco musí změnit, a šest měsíců později jsem se stal viceprezidentem prodeje ve své první startupové společnosti, Datahug. Brzy poté jsem byl osloven skupinou investorů, kteří chtěli narušit Yelp. Ačkoli je Yelp stále dobrý a funkční, v roce 2016 jsme se shodli na nové vizi a založili Satisfi Labs se stejnými investory.

Můžete sdílet příběh o vzniku Satisfi Labs?

Byl jsem na baseballovém zápase v Citi Field s Randym, současným technickým ředitelem a spoluzakladatelem Satisfi, když jsem se dozvěděl o jedné z jejich specialit, baconu na tyči. Prošli jsme se po koncourse a zeptali se personálu, ale nemohli jsme ho nikde najít. Ukázalo se, že je schovaný na jednom konci stadionu, což mě vedlo k uvědomění, že by bylo mnohem pohodlnější se zeptat přímo týmu prostřednictvím chatu. Zde se narodila naše první myšlenka. Randy a já pocházejí z financí a algoritmického obchodování, což nás vedlo k tomu, abychom vzali koncept kombinování požadavků s odpověďmi a vytvořili svůj vlastní NLP pro hyper-specifické dotazy, které se budou klást na místech. Původní myšlenka byla postavit jednotlivé boty, které by byly odborníky v konkrétní oblasti znalostí, zejména znalostí, které nejsou snadno dostupné na webových stránkách. Naše systém by měl „dirigenta“, který by mohl zapnout každý bot, když je to potřeba. Tato je původní architektura systému, která se stále používá dnes.

Satisfi Labs navrhl svůj vlastní NLP engine a byl na pokraji vydání tiskové zprávy, když OpenAI narušil váš technologický stack vydáním ChatGPT. Můžete diskutovat o tomto období a o tom, jak to donutilo Satisfi Labs změnit směr?

Měli jsme naplánovanou tiskovou zprávu, aby oznámili náš patentovaný Context-based NLP upgrade, na 6. prosince 2022. Dne 30. listopadu 2022 OpenAI oznámil ChatGPT. Oznámení o ChatGPT změnilo nejen náš roadmap, ale také celý svět. Zpočátku jsme, jako všichni ostatní, závodili, abychom pochopili sílu a limity ChatGPT a pochopili, co to znamená pro nás. Brzy jsme si uvědomili, že náš kontextový NLP systém nesoupeří s ChatGPT, ale může jej vlastně vylepšit. To vedlo k rychlému rozhodnutí stát se partnery OpenAI. Jelikož náš systém začal s myšlenkou porozumění a odpovědi na otázky na granulární úrovni, mohli jsme kombinovat „bot conductor“ systém design a sedm let intent dat, abychom vylepšili systém a začlenili LLM.

Satisfi Labs nedávno vydal patent pro Context LLM Response System, co je to konkrétně?

V červenci jsme odhalili náš patentovaný Context LLM Response System. Nový systém kombinuje sílu našeho patentovaného kontextového odpovědního systému s funkcemi velkých jazykových modelů, aby posílil celý Answer Engine systém. Nová Context LLM technologie integruje funkce velkých jazykových modelů po celé platformě, od zlepšení intent routing až po generování odpovědí a intent indexing, což také pohání jeho jedinečné reportovací funkce. Platforma posouvá konverzační AI za hranice tradičních chatbotů tím, že využívá sílu LLM, jako je GPT-4. Naše platforma umožňuje značníkům odpovídat buď generovanými AI odpověďmi nebo předem napsanými odpověďmi, v závislosti na potřebě kontroly odpovědi.

Můžete diskutovat o současném rozporu mezi většinou firemních webových stránek a LLM platformami při poskytování značek?

ChatGPT je trénován, aby porozuměl širokému spektru informací, a proto nemá úroveň granulárního tréninku potřebnou k tomu, aby odpověděl na otázky specifické pro odvětví s úrovní specifičnosti, kterou většina značek očekává. Kromě toho je přesnost odpovědí, které LLM poskytuje, pouze tak dobrá, jako jsou data, která jsou poskytována. Když používáte ChatGPT, zdrojů dat z celého internetu, což může být nepřesné. ChatGPT neprioritizuje data z značky nad jinými daty. Během sedmi let jsme obsluhovali různé odvětví a získali cenné poznatky o milionech otázek, které zákazníci každodenně kladou. To nám umožnilo pochopit, jak nastavit systém s větší kontextem pro každé odvětví, a poskytnout robustní a granulární intent reportovací funkce, které jsou zásadní vzhledem k vzestupu velkých jazykových modelů. Zatímco LLM jsou efektivní při porozumění intentu a generování odpovědí, nemohou reportovat o otázkách, které jsou kladeny. Díky letům rozsáhlých intent dat jsme efektivně vytvořili standardizované reportování prostřednictvím jejich Intent Indexing System.

Jakou roli hrají lingvisté při vylepšování schopností LLM technologií?

Roli „prompt inženýra“ vznikla s touto novou technologií, která vyžaduje osobu, aby navrhovala a vylepšovala prompty, které vyvolávají specifickou odpověď od AI. Lingvisté mají hluboké porozumění jazykové struktury, jako je syntax a sémantika, mezi ostatními věcmi. Jedna z našich nejúspěšnějších AI inženýrů má lingvistický background, který jí umožňuje najít nové a nuancované způsoby, jak vyvolat AI. Jemné změny v promptu mohou mít hluboký dopad na to, jak přesná a efektivní odpověď je generována, což dělá velký rozdíl, když zpracováváme miliony otázek napříč mnoha klienty.

Co vypadá fine-tuning na backendu?

Máme svůj vlastní proprietární datový model, který používáme k udržení LLM v řadě. To nám umožňuje postavit své vlastní „ploty“, aby LLM zůstal pod kontrolou, namísto toho, abychom museli hledat „ploty“. Za druhé, můžeme využít nástroje a funkce, které ostatní platformy využívají, což nám umožňuje podporovat je na našich platformách.

Fine-tuning trénovacích dat a použití učení s posilováním (RL) v naší platformě může pomoci snížit riziko dezinformací. Fine-tuning, na rozdíl od dotazování znalostní báze pro konkrétní fakta, aby se přidala, vytváří novou verzi LLM, která je trénována na tomto dodatečném znalostech. Na druhé straně RL trénuje agenta s lidskou zpětnou vazbou a učí se politice, jak odpovědět na otázky. To se ukázalo jako úspěšné při budování menších modelů, které se stávají experty v konkrétních úkolech.

Můžete diskutovat o procesu pro onboardování nového klienta a integraci konverzačních AI řešení?

Pokud se zaměřujeme na destinace a zkušenosti, jako je sport, zábava a cestovní ruch, noví klienti těží z těch, kteří jsou již v komunitě, což činí onboardování velmi jednoduchým. Noví klienti identifikují, kde žijí jejich nejaktuálnější zdroje dat, jako je webová stránka, zaměstnanecké příručky, blogy atd. Zpracováváme data a trénujeme systém v reálném čase. Jelikož pracujeme se stovkami klientů ve stejném odvětví, náš tým může rychle poskytnout doporučení, welche odpovědi jsou nejlepší pro předem napsané odpovědi versus generované odpovědi. Kromě toho nastavíme řízené toky, jako je náš dynamický Food & Beverage Finder, aby klienti nikdy nemuseli pracovat s bot-builderem.

Satisfi Labs v současné době úzce spolupracuje se sportovními týmy a společnostmi, co je váš vize pro budoucnost společnosti?

Vidíme budoucnost, ve které budou více značek chtít kontrolovat více aspektů své chat zkušenosti. To povede k větší potřebě našeho systému, aby poskytoval více developer-level přístup. Není smysluplné, aby značky najímaly vývojáře, aby postavili své vlastní konverzační AI systémy, protože odborné znalosti, které budou potřeba, budou vzácné a drahé. Nicméně s naším systémem, který krmit backend, mohou se jejich vývojáři soustředit více na zákaznickou zkušenost a cestu, mít větší kontrolu nad prompty, propojit proprietární data, aby umožnily větší personalizaci, a spravovat chat UI pro specifické uživatelské potřeby. Satisfi Labs bude technickým základem konverzačních zkušeností značek.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Satisfi Labs.