Randall Newman, CPTO a spoluzakladatel Satisfi Labs – série rozhovorů

Randall Newman, CPTO a spoluzakladatel Satisfi Labs, je technologickým a produktovým lídrem s rozsáhlými zkušenostmi se stavěním AI platforem, finančních technologií a vysoce výkonných systémů. Od doby, kdy spoluzaložil Satisfi Labs, Newman sehrál ústřední roli při představování, navrhování a škálování konverzační AI technologie společnosti, přičemž dohlížel na vývoj produktů, architekturu, inženýrské týmy a strategické integrace. Před Satisfi Labs působil jako vedoucí produktů ve společnosti Satisfi Inc. a spoluzaložil mobilní marketingovou společnost Right On Mobile. Dříve ve své kariéře strávil Newman více než 17 let ve společnosti CIBC World Markets, kde zastával seniorní vedoucí pozice v oblasti strategického rizika, vysokofrekvenčního obchodování a arbitráže akcií, spojující kvantitativní obchodní odbornost s praktickým vývojem technologií.

Satisfi Labs je AI společnost zaměřená na nasazování specializovaných AI agentů pro sport, zábavu, turismus, atrakce a další podniky poskytující živé zážitky. Společnost byla založena v roce 2016 a vyvinula se z konverzační AI a jejího Answer Engine do agentické platformy navržené tak, aby pomáhala organizacím automatizovat podporu hostů, zvyšovat konverze vstupenek a obchodních transakcí a získávat poznatky z konverzací se zákazníky. Její AI agenti mohou fungovat ve více než 50 jazycích a propojit se s ticketingovými systémy, CRM, systémy pro správu obsahu a dalšími obchodními systémy, aby prováděli akce jako prodej vstupenek, eskalaci konverzací na lidský personál, sběr informací o zákaznících a poskytování personalizovaných odpovědí. Satisfi Labs uvádí, že její technologie je nyní důvěřována více než 775 značkám, s integracemi a partnerstvími zahrnujícími společnosti jako Ticketmaster, Simpleview, MappedIn, Ventrata a Vozzi.

Strávili jste téměř dvě dekády na finančních trzích, včetně vývoje nízkolatenčních obchodních systémů a vedení strategií vysokofrekvenčního obchodování v CIBC, než jste přešel do technologického podnikání a nakonec spoluzaložil Satisfi Labs. Jaké lekce z operačních systémů, kde rychlost, spolehlivost a řízení rizik byly zásadní, vás dnes nejvíce ovlivnily při budování produkčně připravených AI agentů?

Obchodování mě naučilo, že dobrý nápad a dobrý podnik jsou dvě odlišné věci. Můžete správně identifikovat příležitost a přesto ztratit peníze, protože vaše provedení je pomalé, náklady jsou příliš vysoké nebo jsou vaše předpoklady o riziku špatné. AI je to samé. Schopnost modelu je jeden vstup. Úspěch podniku závisí na tom, zda dokážete tuto schopnost přeměnit na opakovatelný výsledek za přijatelnou cenu a riziko.

Provozování knihy indexové arbitráže vás také učí nahlížet za jednotlivá rozhodnutí. Malá chyba opakovaná napříč portfoliem se stane velmi velkou expozicí. S AI můžete mít tisíce agentů, kteří činí jednotlivě rozumná rozhodnutí, ale kolektivně vytvoří problém. Všichni závisí na stejných špatných datech, nebo všichni opakovaně volají selhávající službu. Musíte řídit celý systém, ne jen jednotlivou odpověď.

A rychlost má smysl jen tehdy, když zlepšuje výsledek. V obchodování byly chvíle, kdy mikrosekundy hrály roli. V AI raději strávím o sekundu více potvrzením transakce, než okamžitě doručím špatný výsledek. Disciplína spočívá v tom, vědět, kde rychlost vytváří hodnotu a kde jen urychluje chybu.

Poslední lekce je ta, která celou firmu zahájila. Výhoda spočívá v tom, že odhalíte nesprávné ocenění dříve než ostatní. Myslím, že nesprávné ocenění právě teď je, že většina firem považuje AI agenty za prostředek ke snižování nákladů na podporu. V Satisfi Labs je vidíme jako zdroj příjmů. V našich sportovních zařízeních je přibližně 40 % konverzací agentů o vstupenkách. Tito fanoušci nepřicházejí si stěžovat. Přicházejí s penězi v ruce a ptají se, kde si mohou sednout. Najděte to, co trh špatně oceňuje, a zachyťte to. Stejný instinkt jako v arbitrážním podnikání.

Satisfi Labs byla založena v roce 2017, dlouho před současným boomem generativní AI, a vyvinula se z kontextového zpracování přirozeného jazyka a konverzační AI do agentické platformy. Jaké byly největší architektonické změny potřebné k přechodu od systémů navržených primárně k odpovídání na otázky k agentům schopným jednat jménem uživatelů?

Strávili jsme deset let vývojem tisíců AI agentů pro více než 800 podnikových klientů, včetně týmů MLB/NFL, zábavních zařízení a turistických organizací. Největší změna spočívá v tom, že systému poskytujete autoritu, nikoli jen informace.

Pokud vám asistent řekne, které vstupenky jsou k dispozici, poskytuje odpověď. Pokud vymění vaše vstupenky, mění inventář, záznamy zákazníků a potenciálně i peníze. Nyní potřebujete vědět, kdo autorizoval akci, co se skutečně stalo a jak se zotavit, pokud proces zastaví v polovině.

Proto oddělujeme úsudek modelu od pravomoci k provedení. Model může interpretovat požadavek a navrhnout další krok. Systémy pod ním vynucují oprávnění, obchodní pravidla a limity transakcí. Přesvědčivé vysvětlení od modelu nemůže tyto kontroly obejít.

Také potřebujete jasné rozlišení mezi „agent řekl, že úkol dokončil“ a „obchodní systém potvrdil dokončení“. To nejsou totéž. Pokud požadavek na nákup vyprší, je lepší zjistit, zda nákup proběhl, než se pokusíte znovu.

Strategicky by lepší modely neměly nutit k přestavbě vašich obchodních kontrol. Chci využít každé zlepšení v uvažování, aniž bychom při každém vydání nového modelu znovu vyjednávali, co systému je povoleno dělat.

Term \”agentic AI\” se nyní používá pro širokou škálu produktů. Z inženýrského pohledu, kde táhnete čáru mezi pokročilým chatbotem, AI kopilotem a skutečně autonomním AI agentem?

Zeptal bych se na jednu otázku: jakou odpovědnost skutečně delegovala osoba?

Chatbot poskytuje informace. Kopilot vám pomáhá vykonávat práci, ale stále řídíte a schvalujete důležité kroky. Autonomní agent má povolení sám činit některá z těch rozhodnutí při plnění cíle.

Rozhraní vám neříká, který z nich právě používáte. Konverzační produkt může mít skutečnou autonomii v pozadí. Něco, co je propagováno jako agent, může stále vyžadovat schválení každé užitečné akce člověkem.

Pro podnik by autonomie měla být konkrétní dohoda: tento systém může provádět tyto akce, pro tyto uživatele, v rámci těchto limitů, a musí se zastavit za těchto podmínek. To je něco, co můžete skutečně otestovat a řídit.

Také bych nedával maximální autonomii za cíl. Někdy nejlepší produkt položí jedinou dobře načasovanou otázku a postará se o zbytek. Odstranění této otázky učiní demo působivějším, ale podnik méně bezpečným. Cílem je odstranit zbytečnou lidskou práci, nikoli nezbytný lidský úsudek.

Satisfi Labs nedávno spustil Satisfi Forward, praxi nasazených inženýrů. Jaký mezera jste viděli mezi vytvořením schopné AI platformy a skutečným spolehlivým fungováním agentů v reálném prostředí zákazníka, která vás přiměla tento model vytvořit?

Poslední úsek se stal úzkým místem. Platforma může standardizovat mnoho věcí, ale nemůže předpokládat, že podnikání každého zákazníka funguje stejně. Jejich systém ticketování má určitá omezení. Jejich schvalovací proces prochází třemi odděleními. Jejich definice kvalifikovaného leadu se liší od té u dalšího klienta. Tyto detaily rozhodují o tom, zda je nasazení skutečně užitečné.

Můžete si koupit hotovou platformu a sestavit demo, které lidi ohromí. Komercializovat ji jako robustní zkušenost pro skutečné uživatele, to je něco jiného. Zde vstupují nasazení inženýři. Úkolem našeho týmu v Satisfi Forward je pochopit výsledek, zjistit, co jej blokuje, a postavit pracovní postupy a integrace na platformě, které to umožní.

Ale stanovujeme jasné hranice u každého zapojení. Než začneme stavět, dohodneme se, co úspěch znamená, kdo vlastní obchodní proces, co závisí na zákazníkovi a kdo to po spuštění udržuje. Jinak se poslední úsek projektu promění v neomezený závazek. A zapojení nekončí, když je kód odeslán. Končí, když pracovní postup funguje v provozu zákazníka a někdo je zodpovědný za jeho udržení.

Cena vývoje kódu také výrazně klesla, což činí tento model mnohem praktičtějším, než byl dříve. Ale nevidím Satisfi Forward jako servisní rameno připojené k SaaS produktu. Každé zapojení nás učí, jaký by měl být další produkt. Když tři zákazníci požadují stejný pracovní postup, nejde o zátěž podpory. Je to samotné psaní roadmapy s připojenými platícími zákazníky. Starý SaaS model hádal funkce a čekal na důkazy. Tímto způsobem získáváme důkazy jako první a příjmy, zatímco je sbíráme. Myslím, že takto se v AI éře budují produktové společnosti.

Vaši agenti se mohou připojit k ticketovacím systémům, platformám pro řízení vztahů se zákazníky, systémům pro správu obsahu a dalším zdrojům informací v reálném čase. Jakmile agenti získají schopnost provádět transakce a spouštět akce, jak vyvažujete přístup k datům v reálném čase a nízkou latenci s podložením, bezpečností a ochranou proti nesprávným akcím?

Nejprve bych nikdy nenechal rychlost kompenzovat selhání zabezpečení. Některé požadavky jsou omezeními. Optimalizujete v jejich rámci.

Pak rozlišujete mezi typy práce. Odpověď na otázku ohledně parkování a dokončení nákupu vstupenky nevyžadují stejnou čerstvost dat ani stejné kontroly. Stabilní informace můžete kešovat. Když se peníze mění, potřebujete autoritativní transakční systém, který potvrdí cenu, dostupnost a dokončení.

Nebezpečné případy jsou ty, kdy systém neví, co se stalo. Backend přijme nákup, ale odpověď nikdy nedorazí. Pokud agent předpokládá selhání a zkusí to znovu, máte dva nákupy. To není problém jazyka. Je to problém obnovy transakce.

A měříte zkušenost za podmínek, které jsou skutečně důležité. Průměrná latence v klidné úterý vám téměř nic neřekne. Pokud je akce zrušena deštěm, najednou máte tisíce lidí, kteří se ptají, co se stane s jejich vstupenkami, najednou. Pokud plánujete jen podle průměrného provozu za minutu, postrádáte kapacitu potřebnou v tomto špičkovém zatížení. Naučil jsem se to přímo od obchodních systémů.

Zde je také rozhodnutí o nákladech. Ne každá žádost vyžaduje nejdražší model nebo řetězec agentů. Použijte nejjednodušší cestu, která splňuje požadavek, a vynaložte další čas nebo výpočetní výkon tam, kde to podstatně zlepšuje rozhodnutí. Uživatel by měl získat upřímný výsledek, včetně upřímného prohlášení, že něco nelze potvrdit.

Satisfi Labs popisuje model, ve kterém specializovaní agenti mohou spolupracovat jako AI pracovní síla. Jaké jsou nejnáročnější technické problémy spojené s koordinací více specializovaných agentů, zejména v oblasti směrování, sdíleného kontextu, konfliktních rozhodnutí a určení, který agent by měl jednat?

Nejtěžší částí je zachovat odpovědnost při rozdělování práce.

Začněte otázkou, zda vůbec potřebujete dalšího agenta. Někdy potřebujete specialistu. Někdy stačí jen volání nástroje nebo jednoduchý pracovní postup. Každý přidaný agent představuje další interpretaci požadavku, další závislost, další místo pro chybu. A počet agentů běžících v pozadí by měl být pro uživatele neviditelný.

Když je oprávněno zapojení několika agentů, chci, aby jeden agent převzal odpovědnost za interakci. Specialisté mohou poskytovat informace nebo vykonávat omezenou práci. Agent pro prodej vstupenek spravuje inventář a výměny, agent zákaznického servisu řeší zásady. Ale někdo musí výsledky sladit a rozhodnout, zda uživatel skutečně získal to, co chtěl.

Směrování je obtížné, protože lidé nepoloží otázky v přehledných kategoriích. Jeden požadavek může zasáhnout tři agenty. Systém musí rozhodnout: zda to může vyřešit jeden agent, zda je potřeba spustit několik v sekvenci, nebo zda by se měl uživateli před jakýmkoli krokem položit další otázka.

Stejně tak s kontextem. Neposíláte vše každému agentovi. To zvyšuje latenci, vytváří šum a může odhalit informace, které agent nepotřebuje. A předpoklad agenta by se neměl stát faktem jen proto, že byl předán dalšímu agentovi.

Pokud se dva agenti neshodnou, nechci, aby se hádali, dokud jeden nevyzní přesvědčivěji. Musí existovat jasný autoritativní model. Systém pro prodej vstupenek stanovuje dostupnost. Podnik stanovuje politiku výměny. Data v reálném čase převažují nad cachovanými daty, obchodní pravidla převažují nad úsudkem modelu, a pokud se problém stále nepodaří vyřešit, zeptáte se uživatele nebo zapojíte člověka. Těžkost není v tom, aby agenti spolu komunikovali, ale v tom, být schopen přesně rekonstruovat, který agent co udělal a kde ležela odpovědnost.

Satisfi Labs se stále více zaměřuje na měření agentů podle cílů a obchodních výsledků místo metrik jako objem konverzací. Co by podniky měly skutečně měřit, aby zjistily, zda AI agent funguje dobře, a jak hodnotit spolehlivost před tím, než agentovi povolíte větší autonomii?

Začněte obchodním výsledkem a pak se zeptejte, jak velkou část tohoto výsledku agent skutečně způsobil.

Pokud si někdo koupí vstupenky po rozhovoru s agentem, neznamená to automaticky, že agent vytvořil prodej. Mohli si je koupit i tak. Kde můžete, chcete mít kontrolované srovnání nebo důvěryhodnou referenci, ne jen připisovat úspěch poslední interakci. Pro klienta prodávajícího vstupenky to znamená měřit, zda fanoušek získal místa, a ne zda agent odpověděl zdvořile. Pro místo, které se snaží zkrátit fronty u pokladen, to znamená měřit, co agent vyřešil, než se někdo musel postavit do řady.

Pak se podívejte na ekonomiku úspěšného výsledku: náklady na model, infrastrukturu, lidskou kontrolu, eskalace a náklady na opravu chyb. Agent, který se zdá levný, dokud nepočítáte lidi opravující jeho práci, není levný.

Spolehlivost potřebuje vlastní skórovací kartu. Dokončení, správnost, neautorizované akce, zotavení po selhání, kvalita eskalací. Závažný incident týkající se soukromí nepromícháváte do dobré míry konverze.

Pro větší autonomii bych požadoval důkazy o konkrétní třídě delegované akce. Otestujte to, sledujte pod dohledem, rozšiřujte v mezích a mějte možnost jej zastavit. Dobré celkové skóre přesnosti neprokazuje, že je systém připraven na každou transakci. A buďte opatrní s motivacemi. Někdy je správným řešením zapojit člověka. Pokud odměňujete agenta jen za vyhýbání se předání, nepřekvapujte se, když si ponechá problémy, které měl eskalovat.

Nedávno jste tvrdili, že hlasová AI musí být navržena kolem měřitelných výsledků, místo aby byla považována za další rozhraní pro stávající chatbot. Jaké technické průlomy jsou ještě potřeba, než se hlasoví agenti stanou hlavním rozhraním pro složité interakce v reálném čase, zejména v prostředích jako stadiony, atrakce a živé akce?

Mnoho klientů se ptá, jestli lze jen vzít chatovací aplikaci a připojit k ní hlas? Můžeme. Ale neznamená to, že to bude dobrý zážitek. Další skutečné zlepšení není hlas, který zní více lidsky. Je to interakce, která přežije podmínky, ve kterých ji lidé skutečně používají.

Na stadionu někdo mluví přes davový hluk, používá neznámé jméno hráče, během věty mění názor a snaží se dokončit nákup před otevřením bran. Systém musí zvládnout přerušení, nejistotu a zpoždění na pozadí, aniž by ztratil úkol.

Věnujte zvláštní pozornost kritickým detailům. Nesprávně slyšet neformální frázi je jedna věc. Nesprávně slyšet počet vstupenek nebo datum akce je jiná věc. Agent musí potvrdit podrobnosti, které mění důsledek akce, aniž by celá konverzace byla únavná.

A hlas by neměl být nucen dělat vše. Porovnání dvaceti možností sezení je lepší na obrazovce. Někdo může začít psát, nastoupit do auta a chtít pokračovat ve stejné konverzaci mluvením. Systém by měl zachovat tento kontext a používat hlas, text i vizuály tak, jak nejlépe vyhovuje danému okamžiku.

Některé z toho potřebuje lepší modely. Mnoho z toho vyžaduje lepší integraci a návrh interakcí. Čekání na průlom nevyřeší pracovní postup, který byl navržen kolem textu a následně čten nahlas. Hodnotil bych pokrok takto: dokážou lidé úkol splnit přesně, s menší námahou, za reálných podmínek?

Jak se agenti posouvají od poskytování informací k prodeji vstupenek, sběru zákaznických údajů, personalizaci zážitků a interakci s provozními systémy, jak by měly společnosti určit, která rozhodnutí může agent činit autonomně a která by vždy měla vyžadovat lidský dohled?

Jedná se o řízení rizik. Pokud se to vymkne kontrole, jaké škody to může způsobit? Otevírá agent dveře, které nedokáže zavřít?

Obrácitelnost je užitečný první test, ale je třeba se podívat i na celkovou expozici. Jedna refundace může být malá a obrácitelná. Deset tisíc nesprávných refundací, než si to někdo všimne, je jiný problém. Potřebujete limity na jednotlivé akce i na kumulativní aktivitu systému.

Pokud je akce nízkoriziková a obrácitelná, dejte jí více autonomie: aktualizujte preferenci, zkontrolujte objednávku, zadržte položku. Jakmile se důsledky zvyšují, přidejte potvrzení nebo schválení. Nákup může vyžadovat, aby zákazník potvrdil cenu. Velká refundace může vyžadovat schválení zaměstnance. Bezpečnostní hrozba se okamžitě eskaluje. A některá rozhodnutí by měla zůstat výhradně na osobě, tečka.

Souhlas zákazníka a schválení společnosti jsou různé věci, mimochodem. Potvrzení nákupu zákazníkem neautorizuje agenta obejít firemní politiku. Schválení výjimky zaměstnancem neznamená, že zákazník souhlasil s poplatkem.

Limity musí vynucovat systémy, které akci provádějí, ne jen být popsány v promptu. Nedáváte agentovi široký přístup a pak spolehnete na prompt, který mu říká, aby byl opatrný. A když je vyžadována osoba, poskytněte jí dostatek kontextu k učinění skutečného rozhodnutí. Dát někomu stovky schválení bez jakýchkoli informací znamená, že jste vytvořili razítko, ne dohled. Umístěte lidskou pozornost tam, kde snižuje významné riziko. Nenechávejte ji rozptýlenou napříč každou interakcí.

Do budoucna očekáváte, že technologie jako Model Context Protocol a komunikace mezi agenty zásadně změní způsob, jakým jsou budovány podnikové AI systémy, a posunou nás od izolovaných agentů k ekosystémům, ve kterých agenti mohou objevovat nástroje, vyměňovat si kontext a koordinovat akce napříč společnostmi a platformami?

Myslím, že protokoly jsou prostředkem k cíli. MCP poskytuje AI aplikacím společný způsob přístupu k nástrojům a kontextu. Protokoly mezi agenty zajišťují spolupráci mezi agenty. To je cenné. Neměli byste muset vytvářet vlastní integraci pokaždé, když agent potřebuje nástroj. Je to podobné tomu, co API udělaly pro softwarové integrace.

Společný formát však neznamená, že dvě firmy souhlasí s tím, co akce znamená, kdo ji může autorizovat, nebo co se stane, když selže. Pouze proto, že agent může objevit nástroj, neznamená, že by ho měl smět používat. Stále musíte vyřešit identitu, oprávnění, důvěru, odpovědnost. Pokud jeden agent požádá druhého o něco a něco se pokazí, kdo nese odpovědnost za to rozhodnutí?

Zde je to, co si myslím, že se skutečně mění. Dnes má místo web a aplikaci. Za několik let bude mít agenta, s nímž budou ostatní agenti vyjednávat. Osobní asistent fanouška požádá agenta místa o dvě místa za určitou cenu plus parkovací průkaz a celá transakce proběhne mezi těmito dvěma agenty. Najít správné schopnosti je snadný krok. Znalost útržkové pravomoci zákazníka, potvrzení celkové ceny a řešení situace, kdy vstupenky jsou úspěšné, ale parkování selže, jsou skutečné problémy.

A nevěřím, že provozování agenta automaticky přenáší vztah se zákazníkem na vás. To je třeba si vybudovat. Ale také nevěřím, že místa předají tyto transakce vyhledávací společnosti nebo tržišti vstupenek. Naším cílem v Satisfi Labs je být agentem, který představuje místo v této ekonomice, tím spolehlivým, že firma na něj nasadí své jméno. Všechno, co jsme vybudovali kolem spolehlivosti, oprávnění a odpovědnosti, je to, co si takové místo zaslouží.

Děkujeme za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit Satisfi Labs.