Ali Sarrafi, generální ředitel a zakladatel společnosti Kovant – série rozhovorů

Ali Sarrafi, generální ředitel a zakladatel společnosti Kovant, je zkušený technologický a AI manažer se sídlem ve Stockholmu s bohatými zkušenostmi s budováním a rozvojem rychle rostoucích společností zaměřených na AI. Od založení Kovant na konci roku 2024 využívá hluboké zkušenosti v oblasti podnikové AI strategie, realizace strategie vstupu na trh a rozšiřování provozu. Předtím působil jako viceprezident pro strategii ve společnosti Silo AI po jejím odkupu společností AMD, kde byl odpovědný za utváření podnikové strategie AI a řízení rozsáhlého přijetí. V ranější fázi své kariéry spoluzaložil Combient Mix, vedl společnost během rychlého růstu a úspěšného odkupu společností Silo AI a od té doby zastával poradenské role a funkce v představenstvech v oblasti vzdělávání a AI startupů, což odráží jeho stálou snahu o přeměnu pokročilé AI v reálné obchodní přínosy.

Kovant je podniková AI společnost zaměřená na umožnění organizacím přechodu od experimentálního AI použití k plně funkčním, autonomním obchodním procesům. Společnost vyvíjí agentní platformu navrženou pro orchestraci týmů AI agentů v komplexních provozních doménách, jako je nákup, dodavatelské řetězce, compliance a zákaznické operace. Díky zdůrazňování zabezpečeného, podnikového nasazení a rychlého času na návratnost investic se Kovant profiluje jako most mezi strategickou AI ambicí a denními operacemi, pomáhaje velkým organizacím vložit AI přímo do jádra pracovních postupů, místo aby ji pojímaly jako samostatný nástroj nebo pilotní projekt.

Měl jste na starosti velké AI iniciativy ve Spotify, rozšiřoval a prodával Combient Mix a později formoval podnikovou AI strategii ve společnosti Silo AI, než jste založil Kovant. Jaké konkrétní mezery nebo frustrace jste zažil v těchto rolích, které vás přesvědčily, že je čas postavit autonomní podnikovou platformu, a jak tato historie formovala základní designovou filozofii Kovant?

Při svých předchozích rolích jsem opakovaně narazil na několik konzistentních mezer. První z nich je, že většina “vertikálních” AI nástrojů je efektivně vázaná na jeden software stack: dělají jednu věc o něco lépe uvnitř této hranice, ale bojují, když pracovní postup potřebuje překročit více systémů. Současně jsou podniková data rozptýlena napříč mnoha nástroji a mnohá automatizační řešení se k nim jednoduše nedostanou. Přidejte roky bodových integrací a získáte klasickou špagetovou architekturu: komplexita roste, změna se zpomaluje a týmy nakonec automatizují jednotlivé kroky, spíše než aby přehodnotily pracovní postup od začátku do konce. Výsledkem je, že návratnost investic často přichází později a je nižší – než organizace očekávají.

Kovant je navržen jako odpověď na tuto realitu. Naše základní filozofie je, že agenti by se měli chovat více jako zaměstnanci: pracují napříč více nástroji, jsou “najati” pro konkrétní úkoly, nikoli pro automatizaci jediné skriptované sekvence. To je důvod, proč jsou integrace a orchestrace vestavěny a proč předpokládáme, že podniková data jsou často špinavá a nestrukturovaná – potřebují lidský přístup k zpracování výjimek a nejednoznačnosti.

Používáme základní agenty k dosažení rychlosti a rozsahu, zatímco držíme suverenitu dat v popředí: podniky mohou přistupovat a využívat svá vlastní data horizontálně, aniž by tato data opustila jejich prostory.

Kovant se profiluje jako autonomní podniková platforma schopná provozovat celé operace a oddělení pomocí AI agentů. Jak definujete “autonomní” v podnikovém kontextu a jak se to liší od automatizace a agentních nástrojů, se kterými společnosti již experimentují?

V podnikovém kontextu, když říkáme “autonomní”, nemyslíme “bez dohledu”. Myslíme, že AI agenti mohou provádět skutečné akce od začátku do konce operace s jasnými cíli a ochrannými opatřeními a že budou eskalovat k lidem, když je potřeba dohled.

To, co dělá Kovant jiný, jsou naši základní agenti. Na rozdíl od automatizace jediného, pevného procesu nebo následování předem vytvořené sekvence, mohou agenti Kovant pracovat jako tým (nebo roj) na operaci pomocí pouze instrukcí a přehledu operace, který nazýváme plánem neboli blueprintem. Nejsou navrženi pro jediný úzce vymezený úkol; spolupracují na řešení komplexních pracovních postupů, přizpůsobují se, jak se podmínky mění, a předávají lidem, když je vyžadován dohled.

Například tým agentů pro správu inventáře může provádět všechny následující úkoly bez nutnosti je přestavovat od začátku, včetně: komunikace s dodavateli prostřednictvím e-mailu, monitorování úrovní inventáře a signálů pro vyprodání, sledování dodávek a objednávek, aktualizace statusů napříč systémy, vytváření tiketů pro nesrovnalosti pro schválení plánovači inventáře, redistribuce inventáře mezi sklady a konsolidace zpráv o inventáři.

Takže posun je místo “chat plus nástroje” nebo křehké automatizace, které se láme v měřítku, podniky přecházejí z budování agentů na jejich provoz v měřítku.

Přes masivní zájem o agentní AI, mnoho organizací zůstává uvíznutých v pilotním režimu. Z čeho jste viděli v reálných nasazeních, jaké jsou hlavní důvody, proč společnosti zápasí s přechodem z experimentování na škálovatelnou produkci?

Co vidíme, je, že většina organizací nezůstává uvíznutá v pilotním režimu, protože myšlenka je špatná; zůstávají uvíznuté, protože prostředí je nepřátelské ke škálování.

První brzda je fragmentovaná podniková technická krajina. Pracovní postupy překračují mnoho systémů, data žijí na více místech a spojení všeho dohromady spolehlivě je obtížné. A agentní AI je často nasazena jako doplněk k existujícím nástrojům, spíše než jako způsob, jak přehodnotit, jak by měl pracovní postup běžet od začátku do konce.

Existuje také skutečný architektonický a datový problém. Mnozí dodavatelé SaaS se stále snaží uzamknout data, což vytváří nekompatibilitu a omezuje, co mohou agenti skutečně dělat napříč systémy. A mnoho týmů podceňuje fakt, že většina podnikových dat je nestrukturovaná (e-maily, dokumenty, tikety, PDF, chat logy). Pokud váš přístup předpokládá čistá, strukturovaná data, čas na návratnost investic se stává dlouhým, bolestivým a obtížným na replikaci za hranicemi pilotního projektu.

V krátkosti: fragmentace, uzamčení a nestrukturovaná data vytvářejí brzdu – a piloty se nikdy nestanou produkční, dokud nejsou tyto skutečnosti zohledněny při návrhu.

Spolehlivost je často citována jako největší brzda pro nasazení AI agentů ve skutečném světě. Proč tolik agentních systémů selhává, když opouští kontrolovaná prostředí, a jak přístup Kovant snižuje problémy, jako jsou halucinace a nepředvídatelné chování?

Některé agentní systémy vypadají skvěle v demo, pak selhávají ve skutečném světě, protože prostředí je špinavé a nepředvídatelné. Data jsou neúplná nebo nekonzistentní, krajní případy se objevují neustále (refundace, spory, speciální schválení). Pracovní postupy překračují mnoho nástrojů, platforem a integrací, které se mění v čase, a oprávnění se liší. Když je AI agent požádán, aby zpracoval velký úkol a je mu poskytnuto příliš mnoho kontextu najednou, riziko halucinací a podivného chování se zvyšuje.

Kovant snižuje toto riziko navržením. Naše unikátní architektura zužuje problémový prostor, rozhodovací prostor a kontext, se kterým modely pracují, aby snížily halucinace. Také rozdělujeme operace na úzké, zaměřené úkoly pro jednotlivé agenty a kroky. To činí chování předvídatelnějším a přidává stopovatelnost a ovladatelnost do systému a může lépe zvládat halucinace. Můžeme vidět, co každý agent udělal, kde selhání začalo, a zasáhnout nebo eskalovat, když je to potřeba.

Halucinace nezmizí magicky, ale omezením odpovědnosti každého agenta, a omezením kontextu, na jehož základě může jednat, můžeme snížit jejich frekvenci a omezit jejich dopad. Tento “zužující se úkol/kontext” přístup byl také podpořen nedávnou prací výzkumného týmu Nvidia (NVDA ), který nalezl podobné výhody z omezení rozhodování agentů.

Odpovědnost je velkou starostí, když AI agenti začínají provádět skutečné akce v obchodních systémech. Jak podrobné akční protokoly mění konverzaci kolem důvěry, compliance a operačního rizika?

S podrobnými akčními protokoly můžeme vidět, co se stalo, proč se to stalo a co se stane dál.

Podrobné protokoly přemění agenta z tajemného robota pracujícího v systému na systém, který lze prozkoumat.

U Kovant, s každým nasazením AI agenta, bude existovat mapa rizika, na kterou může organizace reagovat, máme zabudované schvalování rizikových akcí člověkem, což znamená, že agenti mohou tyto úkoly provádět pouze tehdy, pokud je lidská osoba přezkoumá a schválí rozhodnutí. Všechny tyto jsou protokolovány stejným způsobem jako systém záznamů a jsou stopovatelné.

Domníváme se, že je důležité kombinovat akční protokoly s lidským dohledem a pozorovatelností, aby se minimalizovalo riziko. To znamená, že stále získáte výhody rychlosti a rozsahu agentů, kteří provozují skutečné operace.

Existuje rostoucí diskuse o tom, zda AI agenti mohou být vůbec pojištěni kvůli jejich neprůhlednému rozhodování. Jak možnost auditovat a znovu přehrát pracovní postupy agentů pomáhá řešit problém „černé skříňky“ a otevírá cestu k pojistitelnosti?

“Černá skříňka” problém je to, co činí pojišťování obtížným. Pokud nemůžete jasně ukázat, co agent udělal, proč to udělal a jaká opatření byla v místě, je obtížné pro pojišťovnu, aby ocenila riziko.

Náš přístup je prakticky rozšířením nastavení odpovědnosti z předchozí odpovědi. Rozdělujeme rozhodovací rozsah a dopad akcí na menší části, takže model nedělá jedno velké, neprůhledné rozhodnutí, které může ovlivnit celou operaci. Každý krok je užší, předvídatelnější a snazší na vyhodnocení.

Pak přidáme podrobné protokoly, pozorovatelnost a lidský dohled. Pro nejdůležitější a nejvýraznější rozhodnutí používáme lidského strážce, aby agent mohl pokračovat pouze po přezkoumání a schválení. To vytváří mnohem větší viditelnost do toho, jak pracovní postup funguje v praxi.

Možnost auditovat a znovu přehrát pracovní postupy je posledním dílem skládačky. Pokud něco jde špatně, můžete reprodukovat, co se stalo, prozkoumat to rychle, ověřit opravy a prokázat, jak často je lidské schválení vyžadováno a kde jsou bezpečnostní opatření. Z hlediska posuzování a upisování pojistných rizik to mění tajemné AI chování na něco bližšího standardnímu operačnímu riziku.

S iniciativami, jako je Agentic AI Foundation, která se snaží vytvořit sdílené standardy pro agentní systémy, co považujete za nejperspektivnější aspekty těchto snah a kde ještě chybí pro skutečné podnikové operace?

Standardizace je obecně dobrá věc. AAIF může udělat nezábavnou, ale nezbytnou práci, aby agentní systémy mluvily stejným jazykem, což by mělo usnadnit integrace a snížit závislost na jediném dodavateli v čase.

Kde jsem opatrný, je perspektiva, kdo formuje standardy. Pokud většina práce je vedena modelovými tvůrci a rychle rostoucími technologickými firmami, existuje riziko, že “standardy” optimalizují to, co je nejsnazší postavit nebo demonstrovat, spíše než to, co velké organizace skutečně potřebují k bezpečnému provozu agentů denně.

Pro skutečné podnikové operace se nedostatky obvykle týkají méně konektorů a více kontroly: k čemu může agent přistupovat a co může měnit, schvalovací pracovní postupy pro akce s velkým dopadem, auditovatelné protokoly a pozorovatelnost, aby týmy mohly monitorovat chování, prozkoumat incidenty a prokázat compliance. Podniky také potřebují praktické standardy pro provoz v špinavé realitě: testování proti krajním případům, zpracování měnících se systémů a schopnost bezpečně pozastavit, omezit nebo vrátit zpět akce napříč legacy nástroji a regulovanými datovými prostředími.

Takže to je slibný směr, ale dopad bude omezený, pokud se podnikové požadavky a řízení provozních rizik nezohlední už od počátku.

Kovant již generoval významný příjem z velkých severských podniků, zatímco operoval převážně v utajení. Jaké typy obchodních funkcí nebo pracovních postupů jsou nejvíce připraveny pro autonomní AI agenty dnes?

Z čeho jsme viděli v reálných nasazeních, pracovní postupy, které jsou “připraveny” dnes, jsou ty, které se skládají z reaktivní kancelářské práce: sledování, urgování, kontrola, aktualizace systémů, zpracování výjimek a udržování operací v chodu napříč více nástroji.

Ve výrobě a širších podnikových dodavatelských řetězcích se to projevuje napříč:

• Zajišťování zdrojů a nákup: dostupnost surovin, udržitelné zdroje, compliance operace, výběr dodavatele (včetně využití dvou či více dodavatelů), správa smluv, řízení rizik dodavatele a řízení tendrů.
• Výroba: plánování kapacity, plánování výroby, správa údržby, řízení kvality, řízení úzkých míst a prevence ztrát.
• Skladování: příjem a inspekce, správa inventáře, rotace zásob (FIFO/FEFO) a cyklické počítání/auditing.
• Doprava / logistika: výběr režimu a dopravce, celní vyřízení/dokumentace, sledování a viditelnost, monitoring emisí a compliance obchodu.
• Prodej a servis: dostupnost produktu, prevence vyprodání, správa prodejů a vrácení, analýza spotřebitelského chování, plus servisní oblasti, jako jsou opravy, sledování konce životnosti, provoz dílen a servisní smlouvy.

Když podniky nasazují AI agenty napříč kritickými operacemi, jak doporučujete vyvážit autonomii s lidským dohledem, aby zajistily kontrolu, aniž by zpomalily vše?

Rovnováha je řízená autonomie. Musíte nechat agenty pohybovat se rychle na nízko-rizikové práci v rámci jasných ochranných opatření a eskalovat k lidem, když akce překročí definovaný práh rizika.

Velké množství selhání pochází z toho, že modelu je dán příliš velký rozsah a příliš mnoho kontextu najednou. Doporučuji rozdělit operace na menší, úzce vymezená rozhodnutí, kde každý krok má jasná oprávnění a omezený dopad. To snižuje nepředvídatelné chování a usnadňuje monitorování a zlepšování výkonu.

Pak kombinujete tři věci: pozorovatelnost, akční protokoly a lidské brány. Vše, co agent dělá, by mělo být stopovatelné, abyste mohli prozkoumat, co se stalo, a prozkoumat rychle. Pro akce s velkým dopadem nebo rizikové akce umístíte lidský schvalovací krok do pracovního postupu, aby agent mohl navrhnout a připravit, ale pouze vykonat, až člověk schválí.

To udržuje věci v pohybu. Pokud cokoliv, zpomalí to pouze mírně na lidském dohledovém kroku, ale to je důležitá část procesu. Lidé nejsou uvíznutí v dohledu nad každým kliknutím, ale jsou stále v kontrole okamžiků, které mají význam. Výsledkem je rychlost, kde je to bezpečné, a dohled, kde je to nutné.

Pohledem do budoucna, jak očekáváte, že se role autonomních AI agentů bude vyvíjet uvnitř velkých organizací v příštích několika letech, a co bude oddělovat společnosti, které uspějí s agentní AI, od těch, které budou zápasit?

V příštích několika letech se autonomní AI agenti přesunou z zajímavých experimentů na skutečnou operační vrstvu uvnitř velkých organizací. Budou používány pro operace, zákaznický servis, finance a HR. Jak se spolehlivost, governance a dohled zlepšují, uvidíme, že podniky přecházejí z izolovaných pilotů na provoz agentních týmů napříč koncovými pracovními postupy.

Největší změna je, že rychlost, agilita, rozsah, efektivita a náklady se stanou mnohem přímější konkurenční výhodou. Domnívám se, že “Uber hnutí” je na cestě pro podniky. Ty, které skutečně zvládnou agentní AI, budou moci operovat v fundamentálně rychlejším tempu než zaostávající konkurenti, zachytit trhy rychleji a reagovat na změnu bez obvyklé operační brzdy.

Co odděluje vítěze, není jen nasazení agentů, ale nasazení jich dobře. Řízená autonomie, silná pozorovatelnost a akční protokoly a architektury, které zužují rozhodovací rozsah, budou klíčové k tomu. Společnosti, které pohlížejí na agentní AI jako na základní operační schopnost, s pravými kontrolami, integrací a vlastnictvím, budou ji používat, aby dělaly více, ne méně. To osvobodí týmy, aby se soustředily na růst a inovace, spíše než trávit dny uvíznuté v administrativě. Stručně řečeno, radikální rychlost a efektivita se stanou skutečnou konkurenční výhodou na podnikové úrovni.

Děkuji za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit Kovant.