Ali Sarrafi, generální ředitel a zakladatel společnosti Kovant – série rozhovorů

Ali Sarrafi, Generální ředitel a zakladatel společnosti Kovant je zkušený manažer v oblasti technologií a umělé inteligence se sídlem ve Stockholmu s výsledky v oblasti budování a rozšiřování rychle rostoucích společností v oblasti umělé inteligence. Od založení společnosti Kovant koncem roku 2024 čerpá z rozsáhlých zkušeností v oblasti podnikové strategie umělé inteligence, jejího uvádění na trh a provozního rozšiřování. Dříve působil jako viceprezident pro strategii ve společnosti Silo AI po její akvizici společností AMD, kde byl zodpovědný za formování podnikové strategie umělé inteligence a za její rozsáhlé zavádění. Na začátku své kariéry spoluzaložil společnost Combient Mix, kterou vedl k rychlému růstu a úspěšné akvizici společností Silo AI. Od té doby zastával poradní a správní rady ve vzdělávacích a AI startupech, což odráží jeho důsledné zaměření na převod pokročilé umělé inteligence do reálného obchodního dopadu.

Kovant je podniková společnost zabývající se umělou inteligencí, která se zaměřuje na to, aby organizacím umožnila přejít od experimentálního používání umělé inteligence k plně funkčním, autonomním obchodním procesům. Společnost vyvíjí platformu založenou na agentech, která je navržena pro řízení týmů agentů umělé inteligence napříč složitými provozními oblastmi, jako je nákup, dodavatelské řetězce, dodržování předpisů a zákaznický provoz. Díky důrazu na bezpečné nasazení na podnikové úrovni a rychlé dosažení hodnoty se Kovant pozicionuje jako most mezi strategickými ambicemi v oblasti umělé inteligence a každodenní realizací. Pomáhá velkým organizacím začlenit umělou inteligenci přímo do základních pracovních postupů, spíše než aby s ní zacházely jako se samostatným nástrojem nebo pilotním projektem.

Vedl jste významné iniciativy v oblasti umělé inteligence ve Spotify, rozšířil a opustil Combient Mix a později jste před založením Kovantu formoval strategii podnikové umělé inteligence ve společnosti Silo AI. S jakými konkrétními nedostatky nebo frustracemi jste se v těchto rolích setkal, které vás přesvědčily, že je ten správný čas vybudovat autonomní podnikovou platformu, a jak tato historie formovala základní filozofii designu Kovantu?

V mých předchozích rolích se neustále objevovalo několik konzistentních mezer. Zaprvé, většina „vertikálních“ nástrojů umělé inteligence je v podstatě vázána na jeden softwarový stack: v rámci této hranice dělají jednu věc o něco lépe, ale potýkají se s nimi v okamžiku, kdy je třeba, aby pracovní postup zahrnoval více systémů. Zároveň jsou podniková data rozptýlena mezi mnoha nástroji a mnoho automatizačních řešení k nim jednoduše nedosáhne. Když k tomu přidáte roky bodových integrací, dostanete klasickou špagetovou architekturu: složitost roste, změny se zpomalují a týmy nakonec automatizují jednotlivé kroky, místo aby kompletně přepracovávaly pracovní postup. Výsledkem je, že návratnost investic (ROI) často dosahuje pomaleji – a je menší – než organizace očekávají.

Kovant je navržen jako reakce na tuto realitu. Naší základní filozofií je, že agenti by se měli chovat spíše jako zaměstnanci: pracují napříč různými nástroji, jsou „najati“ k plnění úkolů, ne k automatizaci jediné skriptované sekvence. Proto jsou integrovány integrace a orchestrace a proto předpokládáme, že podniková data jsou často chaotická a nestrukturovaná – potřebují lidštější přístup k řešení výjimek a nejednoznačností.

Pro dosažení rychlosti a škálovatelnosti používáme základní agenty a zároveň dbáme na to, aby datová suverenita byla v popředí: podniky mohou přistupovat ke svým vlastním datům a používat je horizontálně, aniž by opustily své prostory.

Kovant se prezentuje jako autonomní podniková platforma schopná řídit celé operace a oddělení pomocí agentů s umělou inteligencí. Jak definujete „autonomii“ v podnikovém kontextu a jak se liší od automatizace a nástrojů agentů, se kterými společnosti již dnes experimentují?

V podnikovém kontextu, když říkáme „autonomní“, nemyslíme tím „bez dozoru“. Máme na mysli, že agenti umělé inteligence mohou provádět skutečné akce v rámci celého provozu s jasnými cíli a ochrannými opatřeními a v případě potřeby dohledu eskalují k lidem.

Kovant se liší díky našim základním agentům. Namísto automatizace jediného pevně stanoveného procesu nebo dodržování předem připravené sekvence mohou agenti Kovant pracovat jako tým (nebo roj) na operaci pouze s použitím instrukcí a přehledu operací, kterému říkáme plán. Nejsou navrženi pro jeden úzký úkol; spolupracují na řešení složitých pracovních postupů, přizpůsobují se měnícím se podmínkám a předávají úkoly lidem, když situace vyžaduje dohled.

Například tým agentů pro správu zásob může provádět všechny následující úkoly, aniž by je musel znovu sestavovat od nuly, včetně: komunikace s dodavateli prostřednictvím e-mailu, sledování stavu zásob a signálů o nedostatku zásob, sledování dodávek a objednávek, aktualizace stavů napříč systémy, vytváření evidencí nesrovnalostí pro schválení plánovači zásob, přerozdělování zásob mezi sklady a konsolidace reportů o zásobách.

Posun tedy spočívá v tom, že místo „chatu s nástroji“ nebo křehkých automatizací, které se ve velkém měřítku porouchají, podniky přecházejí od vytváření agentů k jejich provozování ve velkém měřítku.

Navzdory obrovskému zájmu o agentní umělou inteligenci mnoho organizací zůstává v pilotním režimu. Na základě toho, co pozorujete v reálných nasazeních, jaké jsou hlavní důvody, proč se firmy potýkají s přechodem od experimentování k hromadnému produkci?

Vidíme, že většina organizací neuvízne v pilotním režimu proto, že by myšlenka byla špatná; uvíznou proto, že prostředí je nepřátelské k škálování.

První překážkou je fragmentovaná technologická krajina podniků. Pracovní postupy zahrnují spoustu systémů, data se nacházejí na více místech a spolehlivé propojení všeho dohromady je obtížné. Agentní umělá inteligence se často nasazuje jako doplněk ke stávajícím nástrojům, spíše než jako způsob, jak přehodnotit, jak by měl pracovní postup probíhat od začátku do konce.

Existuje také skutečný problém s architekturou a daty. Mnoho dodavatelů SaaS se stále snaží uzamknout data, což vytváří nekompatibility a omezuje, co agenti mohou ve skutečnosti dělat napříč systémy. A mnoho týmů podceňuje skutečnost, že většina podnikových dat je nestrukturovaná (e-maily, dokumenty, tikety, PDF soubory, protokoly chatu). Pokud váš přístup předpokládá čistá, strukturovaná data, doba dosažení hodnoty se stává dlouhou, bolestivou a obtížně replikovatelnou i po pilotním projektu.

Stručně řečeno: fragmentace, uzamčení a nestrukturovaná data vytvářejí brzdu – a pilotní projekty se nikdy nedostanou do produkce, dokud nejsou tyto skutečnosti navrženy.

Spolehlivost je často uváděna jako největší překážka nasazení agentů s umělou inteligencí v reálném světě. Proč tolik systémů agentů selhává, jakmile opustí kontrolované prostředí, a jak Kovantův přístup snižuje problémy, jako jsou halucinace a nepředvídatelné chování?

Některé agentové systémy vypadají v demech skvěle, ale v reálném světě selhávají, protože prostředí je chaotické a nepředvídatelné. Data jsou neúplná nebo nekonzistentní, neustále se objevují mezní případy (vrácení peněz, spory, zvláštní schválení). Pracovní postupy zahrnují více nástrojů, platforem a integrací, které se v průběhu času mění, a oprávnění se liší. Když je agent s umělou inteligencí požádán o zpracování velkého úkolu a je mu najednou poskytnuto příliš mnoho kontextu, zvyšuje se riziko halucinací a podivného chování.

Kovant tento problém redukuje již od začátku. Naše unikátní architektura zužuje problémový prostor, rozhodovací prostor a kontext, se kterým modely pracují, aby se snížily halucinace. Operace také rozdělujeme na úzké, cílené úkoly pro jednotlivé agenty a kroky. Díky tomu je chování předvídatelnější, systém získává sledovatelnost a ovladatelnost a dokáže lépe zvládat halucinace. Můžeme vidět, co každý agent udělal, kde došlo k selhání, a v případě potřeby zasáhnout nebo eskalovat.

Halucinace sice magicky nezmizí, ale omezením toho, za co je každý agent zodpovědný, a omezením kontextu, na který může reagovat, můžeme snížit jejich frekvenci a omezit jejich dopad. Tento přístup „zúženého úkolu/kontextu“ byl také podpořen v nedávné práci výzkumného týmu společnosti Nvidia, který zjistil podobné výhody omezení rozhodování agentů.

Odpovědnost je hlavním problémem, protože agenti umělé inteligence začínají podnikat skutečné kroky v podnikových systémech. Jak podrobné protokoly akcí mění konverzaci o důvěře, dodržování předpisů a provozních rizicích?

Díky podrobným protokolům akcí můžeme vidět, co se stalo, proč se to stalo a co se bude dít dál.

Podrobné protokoly promění agenta z tajemného bota pracujícího ve stroji v systém, který si můžete prohlédnout.

Ve společnosti Kovant bude u každého nasazení agenta s umělou inteligencí existovat mapa rizik, na základě které může organizace reagovat. Máme vestavěný systém pro sledování rizikových akcí, který umožňuje lidem provádět tyto úkoly pouze tehdy, pokud rozhodnutí zkontroluje a schválí člověk. Všechny tyto kroky jsou zaznamenávány stejným způsobem jako systém záznamů a jsou sledovatelné.

Věříme, že je důležité kombinovat protokolování akcí s lidským dohledem a pozorovatelností, aby se minimalizovalo riziko. To znamená, že stále získáte výhody rychlosti a rozsahu, které poskytují agenti provádějící skutečné operace.

Stále více se diskutuje o tom, zda lze agenty s umělou inteligencí vůbec pojistit kvůli jejich neprůhlednému rozhodování. Jak může auditovatelnost a opakovatelnost pracovních postupů agentů pomoci řešit problém „černé skříňky“ a otevřít dveře k pojistitelnosti?

Problém „černé skříňky“ ztěžuje pojistitelnost. Pokud nelze jasně prokázat, co agent udělal, proč to udělal a jaké kontroly byly zavedeny, je pro kohokoli, zejména pro pojišťovny, obtížné stanovit cenu rizika.

Náš přístup je v podstatě rozšířením nastavení odpovědnosti v předchozí odpovědi. Rozdělujeme rozsah rozhodnutí a dopad akcí na menší části, takže model nečiní jedno obrovské, neprůhledné rozhodnutí, které může ovlivnit celou operaci. Každý krok je užší, předvídatelnější a snáze vyhodnotitelný.

Poté přidáváme podrobné protokoly, sledovatelnost a lidský dohled. Pro nejdůležitější a nejvlivnější rozhodnutí používáme lidského strážce, takže agent může pokračovat až po kontrole a schválení. To vytváří mnohem větší přehled o tom, jak se pracovní postup v praxi chová.

Poslední částí je zajištění auditovatelnosti a opakovatelnosti pracovních postupů. Pokud se něco pokazí, můžete reprodukovat, co se stalo, rychle to prošetřit, ověřit opravy a demonstrovat, jak často je vyžadováno lidské schválení a kde se nacházejí ochranná opatření. Z hlediska upisování se to stává záhadné chování umělé inteligence do něčeho bližšího standardnímu operačnímu riziku.

Vzhledem k iniciativám, jako je Agentic AI Foundation, jejichž cílem je vytvořit sdílené standardy pro agentní systémy, jaké aspekty těchto snah považujete za nejslibnější a kde stále selhávají pro skutečné podnikové operace?

Standardizace je obecně dobrá věc. AAIF může vykonat nenápadnou, ale zásadní práci, aby systémy agentů mluvily stejným jazykem, což by mělo usnadnit integraci a časem snížit závislost na dodavateli.

Opatrný jsem v tom, čí perspektiva formuje standardy. Pokud většinu práce vedou tvůrci modelů a technologické společnosti, existuje riziko, že se „standardy“ optimalizují pro to, co se nejsnadněji vytváří nebo demonstruje, spíše než pro to, co velké organizace skutečně potřebují k bezpečnému každodennímu provozu agentů.

V reálných podnikových operacích se mezery obvykle týkají méně konektorů a více kontroly: k čemu má agent přístup a co může měnit, schvalovacích pracovních postupů pro akce s vysokým dopadem, auditovatelných protokolů a pozorovatelnosti, aby týmy mohly monitorovat chování, vyšetřovat incidenty a prokazovat soulad s předpisy. Podniky také potřebují praktické standardy pro provoz v chaotické realitě: testování proti hraničním případům, zvládání měnících se systémů a možnost bezpečného pozastavení, omezení nebo vrácení akcí napříč staršími nástroji a regulovanými datovými prostředími.

Je to tedy slibný směr, ale dopad bude omezený, pokud se podnikové požadavky a kontroly operačních rizik nebudou považovat za druhořadé.

Společnost Kovant již generovala značné příjmy od velkých severských podniků, a to i přes to, že fungovala převážně v utajení. Jaké typy obchodních funkcí nebo pracovních postupů se dnes ukazují jako nejpřipravenější pro autonomní agenty s umělou inteligencí?

Z toho, co jsme viděli v reálných nasazeních, vyplývá, že nejvíce „připravenými“ pracovními postupy jsou dnes ty, které se skládají z reaktivní administrativní práce: monitorování, sledování, kontrola, aktualizace systémů, zpracování výjimek a zajištění provozu v rámci více nástrojů.

Ve výrobě a širších podnikových dodavatelských řetězcích se to projevuje v:

• Zajišťování zdrojů/obstarávánídostupnost surovin, udržitelné získávání zdrojů, dodržování předpisů, výběr dodavatelů (včetně duálního/vícenásobného získávání zdrojů), správa smluv, řízení rizik u dodavatelů a správa nabídek/výběrových řízení.
• Výrobaplánování kapacity, plánování výroby, řízení údržby, řízení kvality, řízení úzkých míst a prevence ztrát.
• SkladováníPříjem a kontrola, správa zásob, rotace zásob (FIFO/FEFO) a počítání/audit cyklů.
• / logistika: výběr druhu dopravy a dopravce, celní odbavení/dokumentace, sledování a viditelnost, monitorování emisí a dodržování obchodních předpisů.
• Prodej a servisdostupnost produktů, prevence nedostatků zboží, řízení prodeje/vrácení zboží, analýza chování spotřebitelů a oblasti poprodejních služeb, jako jsou opravy, sledování konce životnosti, servisní operace a servisní smlouvy.

Když podniky nasazují agenty umělé inteligence v kritických operacích, jak doporučujete vyvážit autonomii s lidským dohledem, aby byla zajištěna kontrola bez zpomalení?

Rovnováhou je řízená autonomie. Musíte nechat agenty rychle se pohybovat v práci s nízkým rizikem v rámci jasných ochranných pásek a eskalovat na lidi, když akce překročí definovaný práh rizika.

Mnoho selhání vzniká tím, že se modelu dává příliš velký rozsah a příliš mnoho kontextu najednou. Doporučuji rozdělit operace na menší, úzce vymezená rozhodnutí, kde každý krok má jasná oprávnění a omezený poloměr dopadu. To snižuje nepředvídatelné chování a usnadňuje sledování a zlepšování výkonu.

Pak zkombinujete tři věci: pozorovatelnost, protokoly akcí a lidský gatekeeping. Všechno, co agent dělá, by mělo být sledovatelné, abyste mohli zkontrolovat, co se stalo, a rychle to vyšetřit. U akcí s vysokým dopadem nebo rizikových akcí zařadíte do pracovního postupu krok lidského schválení, takže agent může navrhnout a připravit, ale provede akci až po podpisu dané osoby.

Díky tomu se věci rychle pohybují. Spíše se to jen nepatrně zpomaluje v fázi lidského dohledu, ale to je důležitá součást procesu. Lidé sice nemusí dohlížet na každé kliknutí, ale stále mají kontrolu nad důležitými okamžiky. Výsledkem je rychlost tam, kde je to bezpečné, a dohled tam, kde je to nutné.

Jak se podle vás bude v příštích několika letech vyvíjet role autonomních agentů umělé inteligence ve velkých organizacích a co odliší společnosti, které s agentní umělou inteligencí uspějí, od těch, které se s tím potýkají?

Během několika příštích let se autonomní agenti s umělou inteligencí posunou od zajímavých experimentů ke skutečné operační vrstvě ve velkých organizacích. Budou využíváni pro provoz, zákaznický servis, finance a lidské zdroje. S tím, jak se bude zlepšovat spolehlivost, řízení a dohled, uvidíme, jak se podniky přesouvají od izolovaných pilotních projektů k provozování týmů agentů napříč komplexními pracovními postupy.

Největší změnou je, že rychlost, agilita, rozsah, efektivita a náklady se stanou mnohem přímější konkurenční pákou. Myslím, že pro podniky přichází „hnutí Uber“. Ty, které skutečně zvládnou agentní umělou inteligenci, budou schopny fungovat zásadně rychlejším tempem než zaostávající podniky, rychleji se prosadí na trhu a budou reagovat na změny bez obvyklých provozních zátěží.

Vítěze se neliší jen nasazením agentů, ale jejich dobrým nasazením. Klíčem k tomu bude řízená autonomie, silná pozorovatelnost a protokolování akcí a architektura, která zužuje rozsah rozhodování. Společnosti, které s agentickou umělou inteligencí zacházejí jako s klíčovou provozní schopností se správnými kontrolami, integrací a vlastnictvím, ji využijí k dosažení většího, ne menšího cíle. To týmům umožní soustředit se na růst a inovace, spíše než trávit dny pohřbené v administrativě. Stručně řečeno, radikální rychlost a efektivita se stávají skutečnou konkurenční výhodou v podnikovém měřítku.

Děkuji za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit Kovant.