Yoav Naveh, spoluzakladatel a spoluředitel společnosti Reindeer – série rozhovorů

Yoav Naveh je spoluzakladatelem a spoluředitelem společnosti Reindeer. Má zkušenosti se zakládáním technologických firem, rozvojem podnikání a investováním do zakladatelů. Před Reindeer vybudoval společnost ConvertMedia, pokračoval ve své práci ve společnosti Taboola a investoval prostřednictvím INT3. Dnes se zaměřuje na to, aby podnikům pomáhal přejít od izolovaných nasazení umělé inteligence k agentům, kteří zvládnou složitou provozní práci, učí se z odborných znalostí lidí a zůstávají spolehliví i při změnách obchodních procesů.

Reindeer vyvíjí podnikové agenty umělé inteligence pro klíčové provozní činnosti v oblastech, jako jsou finance, dodavatelský řetězec, logistika a sdílené služby. Její platforma propojuje vykonávání pracovních postupů se zpětnou vazbou od odborníků, vyhodnocováním a schvalováním lidmi, takže se agenti mohou přizpůsobovat výjimkám i měnícím se pravidlům. V tomto rozhovoru Naveh hovoří o limitech modelů nasazování náročných na práci techniků, o tom, jak se institucionální znalosti stávají kontextem pro agenty, a o správě a měření potřebných ke snižování celkové lidské práce v průběhu času.

Po vybudování společnosti ConvertMedia, rozšiřování podnikání ve společnosti Taboola a investování do dalších zakladatelů prostřednictvím INT3: jaký problém vás přivedl zpět k budování firmy a jak ovlivnil vaše rozhodnutí spoluzaložit Reindeer?

Trh s umělou inteligencí byl příliš vzrušující na to, abychom ho jen přihlíželi z povzdálí. Mého spoluzakladatele Yaira i mě začal velmi zajímat rozdíl mezi tím, jak užitečná je dnes umělá inteligence při individuální práci, a tím, jak obtížné je pro podniky zavádět ji ve velkém měřítku. Technologie se vyvíjí neuvěřitelně rychle, většina organizací však stále zápasí s tím, jak její potenciál proměnit ve smysluplnou změnu provozu.

Umělá inteligence promění způsob fungování firem, ale k tomu je potřeba víc než jen lepší technologie. Vyžaduje vedení ochotné přehodnotit způsob práce a praktický způsob, jak začlenit umělou inteligenci do každodenního provozu, aniž by vznikaly další vrstvy složitosti.

Právě tato výzva dala podobu společnosti Reindeer. Vyvinuli jsme platformu, která podniky provede cestou od prvního agenta až k celému stádu agentů, kteří se učí ze zpětné vazby lidí a postupně se zlepšují. Naším cílem je překlenout propast mezi potenciálem umělé inteligence a jejím praktickým využitím a pomáhat firmám proměnit klíčové provozní činnosti v pracovní sílu založenou na agentech umělé inteligence, aniž by musely každého agenta znovu budovat nebo průběžně udržovat.

Řekl jste, že model techniků nasazovaných přímo u zákazníka může proměnit podnikovou umělou inteligenci v pracovně náročné podnikání založené na poskytování služeb. Kde přítomnost techniků přímo u zákazníka přináší trvalou hodnotu a kdy se z ní stává závislost, která zákazníkům brání v rozšiřování nasazení?

Technici nasazovaní přímo u zákazníka jsou užiteční při složitých integracích a při uvádění prvních agentů do provozu. Problém nastává, když se změní samotné pracovní procesy a technici nasazovaní přímo u zákazníka se stanou trvale nezbytnými k tomu, aby tito agenti mohli dál vykonávat svou práci. Zvlášť při nasazení ve velkém měřítku. Model techniků nasazovaných přímo u zákazníka funguje, když máte 5 agentů. Při stovce agentů selhává.

Pokud každý nový pracovní postup nebo neočekávaná výjimka vyžaduje další práci techniků, nerozšiřujete software, ale nákladnou lidskou práci.

Většina společností, které nasazují techniky přímo u zákazníka, tvrdí, že jejich technici se nakonec přesunou k jiným úkolům. Podniky by měly ještě před podpisem smlouvy, která nasazení těchto techniků vyžaduje, požadovat důkaz, že tomu tak skutečně je. Už jsme viděli, jak se RPA stala křehkou, když se vyvíjely obchodní procesy. Neměli bychom očekávat, že ručně vytváření agenti budou jiní.

Podnikové pracovní postupy často zahrnují nezdokumentované výjimky a protichůdné postupy napříč týmy. Jak Reindeer zjišťuje, jak se práce skutečně vykonává, a zároveň rozlišuje mezi užitečnými institucionálními znalostmi a návyky, které by se neměly automatizovat?

Většina podniků disponuje obrovským množstvím institucionálních znalostí, které nejsou nikde zdokumentovány. Uchovávají si je pracovníci v hlavě. Naši agenti začínají s částečnými znalostmi a učí se z reálných případů. Když narazí na neznámou situaci, požádají o radu odborníky na danou oblast.

Učení od zaměstnance však neznamená bezmyšlenkovité napodobování jeho chování. Náš systém rozlišuje mezi individuálními výjimkami a opakujícími se vzorci a navrhuje širší změny ke schválení člověkem.

Nesnažíme se automatizovat každý návyk. Chceme proměnit cenné institucionální znalosti ve spolehlivou inteligenci, aniž by technici museli předem počítat s každým možným scénářem.

Většina společností zaměřených na agentní umělou inteligenci začíná dokumentací a poté proces naprogramuje na základě rozhovorů a pečlivého rozboru historických dat. Ve skutečnosti se však lidé proces nejúčinněji učí při příchodu každého nového člena týmu: nenaučí se nazpaměť data za celý rok ani třítisícistránkový standardní operační postup. Osvojí si několik dovedností, prohlédnou si pár příkladů, začnou pracovat, kladou otázky, když narazí na něco, čemu nerozumějí, a postupně si rozšiřují znalosti. Právě takový proces jsme vytvořili.

Agentní umělá inteligence dává firmám také příležitost proces nově promyslet, místo aby ho pouze automatizovaly v jeho současné podobě. Týmy složené výhradně z lidí, automatizace založená na pravidlech i tradiční software utvářely procesy podle vlastních omezení. Díky agentům, kteří se učí společně s odborníky, pomáhá Reindeer podnikům znovu zvážit, jak by měl proces fungovat: které postupy zachovat, které opustit a kde přinášejí největší hodnotu agenti a kde lidé.

Když říkáte, že se agenti Reindeer v produkčním provozu průběžně učí, co se vlastně mění: váhy modelu, paměť, logika pracovního postupu, nebo explicitní zásady? Můžete nám na příkladu výjimky ukázat, jak se agent díky ní naučí jinak řešit budoucí případy?

Mění se kontext a dovednosti agenta: logika pracovního postupu, zásady a pokyny, kdy každou z nich uplatnit.

Představte si agenta pro zpracování faktur. Dostane fakturu, jejíž částka je o 4 % vyšší než částka na objednávce, a nenajde zásadu, která by se na ni vztahovala. Místo toho, aby ji zpracoval, předá případ odborníkovi. Ten vysvětlí, že u tohoto dodavatele byla schválena výjimka pro palivové příplatky. Agent případ vyřeší a vysvětlení se uloží jako kontext pouze pro tohoto dodavatele.

Pokud se stejný typ výjimky objeví znovu u jiných dodavatelů a další odborníci případy vyřeší stejně, systém navrhne změnu zásad, například „palivové příplatky do výše 5 % jsou přijatelné, pokud je umožňuje smlouva“. Než agent začne návrh používat, projde testováním a schválením člověkem. Odpověď jednoho odborníka vyřeší jeden případ. Vzorec opakující se napříč případy se může stát základem nového pravidla.

Rozhodnutí zaměstnance může být vhodné pro jednoho zákazníka nebo jednu transakci, aniž by se hodilo jako obecné pravidlo. Jak určujete, kdy má zpětná vazba zůstat jednorázovou výjimkou a kdy se z ní má stát návrh změny zásad?

Oddělujeme řešení jednotlivého případu od změny toho, jak bude agent postupovat v budoucnu.

Zaměstnanec může povolit výjimku pro jednoho zákazníka, ale to neznamená, že by se stejná výjimka měla uplatňovat obecně. Dokonce bych řekl, že dva různí zaměstnanci mohou tutéž výjimku u stejného zákazníka vyřešit odlišně. Náš systém vyhodnocuje okolnosti, rozpoznává opakující se vzorce, slaďuje rozpory a hledá možné konflikty se stávajícími zásadami.

Pokud existují důkazy podporující širší změnu, spustíme agenta na naší evaluační platformě – takové „Truman Show“ pro agenty, chcete-li – a navrhneme aktualizaci ke schválení člověkem.

Cílem je učit se od lidí, nikoli bezmyšlenkovitě napodobovat jejich rozhodnutí. Jinak pouze automatizujete chyby.

Agent se může zlepšit při řešení nedávných případů, a přitom být méně spolehlivý v situacích, které dříve zvládal správně. Jakým testováním a schvalovacím procesem musí navrhovaná změna projít, než se dostane do produkčního provozu, a jak odhalujete a napravujete zhoršení výkonu?

Průběžné učení bez dohledu je nebezpečné, proto každý navrhovaný změnový krok podléhá třem pojistkám: regresnímu testování, schválení člověkem a prahové hodnotě spolehlivosti, která určuje, kdy agent jedná samostatně.

Nejprve přichází testování, které je obtížnější, než se může zdát, protože provozní činnost nemá jednoznačný klíč správných odpovědí. Na základě zpětné vazby od odborníků vybereme reprezentativní případy, stanovíme kritéria pro porovnání výstupů a znovu je projdeme se současnou verzí agenta i s navrhovanou verzí. Akce s vedlejšími účinky, například odeslání e-mailu, se spouštějí v simulátoru vytvořeném na základě dřívějších běhů a testovací případy, které už neodpovídají platným zásadám, se vyřazují. Abychom mohli změřit skutečný dopad změny, musí agenti věřit, že fungují v reálném světě, a jejich akce musejí mít skutečné důsledky – například vložení záznamu do SAP nebo odeslání e-mailu zákazníkovi. Jen tak lze pro každého agenta vytvořit skutečně funkční evaluační rámec.

Lidský manažer pak posoudí změnu, důkazy, o které se opírá, i výsledky testů a může ji schválit, upravit nebo zamítnout. Dokud ji neschválí, způsob fungování agenta se nezmění.

Prahová hodnota spolehlivosti chrání firmu i poté, co se změna začne používat. Agent jedná samostatně pouze tehdy, když jeho míra spolehlivosti překročí stanovený práh; vše pod touto hranicí předá odborníkovi. Provozní týmy si tuto hranici nastavují samy, takže mohou začít obezřetně a agentovi postupně svěřovat větší samostatnost, jak se osvědčuje.

Pokud se po změně zhorší kvalita, systém automaticky zpřísní prahové hodnoty pro kontrolu, takže více případů předá odborníkům. Jejich zpětná vazba pak odhalí problém prostřednictvím stejné smyčky, která změnu navrhla. Každá změna zásad má číslo verze, je dohledatelná a zaznamenaná, takže tým může zjistit, co se změnilo, kdo změnu schválil a proč, a vrátit se k předchozí verzi.

Omezení práce pro technické týmy může provozním týmům stále ponechat značné množství práce spojené s kontrolou výjimek a opravami agentů. Jak měříte, zda Reindeer snižuje celkové množství lidské práce, místo aby ji pouze přesouval na jiný tým?

Ve většině firem už dnes tuto práci ručně vykonává tým lidí. Naším cílem není přesunout tuto zátěž na jiný tým, ale postupně ji snižovat. Z tohoto stávajícího týmu zapojujeme nejzkušenější pracovníky a umožňujeme jim učit agenta, jak řešit výjimky a samostatně se lépe rozhodovat.

Problém modelu FDE spočívá v tom, že často přesouvá práci od relativně levných provozních zaměstnanců k drahým technikům. Tím se problém s pracovní silou neřeší, ale prodražuje. Reindeer do tohoto procesu techniky nezapojuje. Úspěch měříme tím, o kolik více práce dokážou agenti postupem času vyřešit samostatně a o kolik méně lidských zásahů je potřeba v celém procesu.

Sledujeme tři ukazatele: podíl případů, které agent vyřeší od začátku do konce bez zásahu člověka, počet zásahů odborníků na případ a celkovou dobu zpracování jednoho případu, a to dohromady za agenty i lidi. Pokud třetí ukazatel neklesá, pouze přesouváme práci jinam.

Mohl byste uvést konkrétní příklad nasazení ve společnosti Hellmann Worldwide Logistics nebo Papaya Global a popsat, co se změnilo od spuštění až po běžný provoz? Jak se vyvíjela přesnost, četnost výjimek, doba zpracování a míra potřebného zásahu člověka?

Hellmann Worldwide Logistics je skvělým příkladem toho, jak mohou agenti postupně zlepšovat provoz v praxi. Cenový tým společnosti trávil obrovské množství času ručním zpracováváním požadavků na přepravu z e-mailů, tabulek a dalších dokumentů. Vypracování cenové nabídky často trvalo několik dní.

Začali jsme s přibližně 20 vzorovými požadavky, abychom porozuměli pracovnímu postupu a agenta natrénovali. Poté začali cenoví specialisté společnosti Hellmann se systémem pracovat přímo, poskytovali mu zpětnou vazbu a pomáhali mu zvládat výjimky. Během testování jsme sledovali přesnost a rychlost a po uvedení agenta do ostrého provozu jsme jeho výkon dál monitorovali.

Dnes se běžné požadavky vyřizují automaticky, zatímco složitější případy se předávají týmu. Podstatné je, že agent rozpozná chybějící informace, místo aby si je domýšlel, takže zaměstnanci mohou zasáhnout tam, kde je jejich odbornost skutečně potřeba.

Výsledkem je kratší doba vyřízení cenových nabídek, méně ručního zadávání údajů a více času na práci se zákazníky. Ve společnosti Hellmann se také zvýšila úspěšnost nabídek. Cílem není lidi z procesu odstranit, ale průběžně snižovat objem rutinní práce, která vyžaduje jejich zásah.

Co jste se dozvěděli o limitech tohoto přístupu? Jaké vlastnosti pracovního postupu naznačují, že je připraven na adaptivního agenta, a které naopak ukazují, že by firma měla nejprve proces přepracovat nebo zůstat u konvenční automatizace?

Ne každý proces potřebuje agenta AI. Největší příležitosti představují opakující se pracovní postupy s velkým objemem práce, které vyžadují úsudek zohledňující kontext, zejména pokud jsou informace rozptýlené napříč několika systémy a zaměstnanci pravidelně řeší výjimky.

Nejjasnějším poučením z našich nasazení je, že ve firmách vzniká nová funkce, podobně jako se s CRM objevilo řízení výnosových operací a s cloudem DevOps. Když firmy přecházejí od několika agentů k celému zástupu, potřebují člověka nebo tým, který je bude řídit podobně, jako vedoucí oddělení řídí své zaměstnance: ponese odpovědnost za jejich klíčové ukazatele výkonnosti a návratnost investic, bude rozhodovat, kde mají agenti převzít práci a kde ne, a schvalovat, jak se mění. Firmy, které tuto funkci budují už nyní, postupují nejrychleji a mají nejlepší předpoklady k úspěchu.

Rozdílné postupy nejsou důvodem k odkladu. Odborníci se neshodnou téměř v každé oblasti provozu a náš systém je navržen tak, aby tyto rozpory odhaloval a proměňoval je v návrhy pravidel. Jejich řešení patří k úkolům osoby odpovědné za tuto oblast, což je další důvod, proč tuto roli ustavit ještě před rozšířením nasazení agentů.

Tento přístup má také své limity. Klíčové provozní činnosti nebudou plně automatizovány a ani o to neusilujeme. Agenti postupně rozšiřují rozsah úloh, které zvládnou, zatímco vysoce rizikové případy záměrně zůstávají v rukou lidí.

Které části nasazování ve firmách se podle vás stanou běžnou komoditou s tím, jak se budou zlepšovat základní modely a nástroje pro tvorbu agentů, a v čem si Reindeer buduje výhodu, která s každým nasazením do ostrého provozu sílí?

Základní modely budou stále zaměnitelnější, protože budou levnější, rychlejší a schopnější. Snazší je už také vytvářet základní agenty a propojovat je s podnikovými systémy.

Vytvořit agenta ale není totéž jako zajistit, aby v průběhu času spolehlivě fungoval ve složitém podniku.

Skutečnou konkurenční výhodou jsou vlastní znalosti toho, jak podnik ve skutečnosti funguje — a to se neustále mění. Každý případ z ostrého provozu dává našim agentům příležitost učit se, řešit budoucí výjimky a omezovat potřebu lidských zásahů.

Modely budou levnější. Tvorba agentů bude snazší.

Vítězi budou ti, kdo odstraní nákladnou infrastrukturu lidského inženýrského zázemí potřebnou k tomu, aby agenti dlouhodobě fungovali a zůstávali relevantní.

Děkuji za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více o adaptivních podnikových agentech AI, automatizaci provozu a učení vedeném člověkem, by měli navštívit Reindeer.