Efrain Ruh, technický ředitel EMEA ve společnosti Digitate – rozhovor

Efrain Ruh je technickým ředitelem společnosti Digitate pro region EMEA, kde vede regionální technologickou strategii se silným zaměřením na podnikový AI, automatizaci a rozsáhlou operativní transformaci. Úzce spolupracuje se zákazníky po celé Evropě, na Blízkém východě a v Africe, aby pomohl organizacím nasadit AI zodpovědně, se zaměřením na praktickou realizaci, řízení a měřitelné výsledky. Ruh je častým přispěvatelem do diskusí o agentic AI, MLOps a realitě přechodu od pilotních projektů AI k produkčním systémům.

Digitate je softwarová společnost a dceřiná společnost Tata Consultancy Services (TCS.BO ), která se specializuje na AI poháněnou automatizaci pro IT a obchodní operace. Jejich hlavní platforma, ignio, umožňuje autonomní operace kombinací strojového učení, znalostních grafů a inteligentní automatizace pro detekci problémů, předpověď výsledků a samoopravu systémů v komplexních podnikových prostředích. Digitate slouží velkým globálním organizacím, které hledají snížení operační složitosti a zlepšení odolnosti a efektivity prostřednictvím aplikovaného AI.

Vzhledem k vašim rozsáhlým technickým vedoucím rolím ve společnosti Digitate a vaší dřívější praktické zkušenosti v oblasti IT operací, architektury a podnikových systémů, jak se změnil váš názor na důležitost vysvětlitelného AI ve srovnání s černými skříňkami automatizace, na které se masih mnoho organizací spoléhá?

Dřívější generace automatizace byly většinou reaktivní a založené na pravidlech, což činilo černou skříňku více tolerovatelnou, protože výsledky byly velmi předvídatelné. Když se systémy AI nyní pohybují směrem k proaktivním agentům, kteří mohou rozumět a generovat vlastní odpovědi, tolerance pro neprůhlednost mizí. IT lídři jsou zodpovědní za udržování kriticky důležitých systémů dostupných 24 hodin denně, a tato zodpovědnost ponechává velmi málo prostoru pro experimenty se systémy, jejichž logika nemůže být ověřena. Vysvětlitelnost se proto změnila z technické funkce na operační požadavek, který umožňuje důvěru ve velkém měřítku. Abychom mohli těmto novým agentům AI důvěřovat, je důležité, aby sdíleli svou cestu myšlení (základní, jak dospěli k řešení) a své výsledky.

Proč se důvěra a vysvětlitelnost stávají největšími bariérami pro širší přijetí pokročilé AI poháněné automatizace v podnikovém IT?

Podnikové IT operují pod stálou zodpovědností a rizikem. Když systémy AI činí rozhodnutí autonomně, zejména v preventivních nebo samoopravných operačních modelech, dohlížející týmy musí být schopny pochopit, proč byla provedena určitá akce. Bez viditelnosti do důkazů, kontextu a logiky rozhodnutí AI zavádí nejistotu místo jejího snižování. Tato absence transparentnosti a nejistoty ovlivňuje důvěru, a proto zpomaluje přijetí mezi IT týmy více než přesnost modelu nebo výkon by mohl.

Co vlastně znamená vysvětlitelnost v AI poháněných IT operacích, a jak může pomoci týmům ověřit rozhodnutí před tím, než systémy budou jednat autonomně?

Skutečná vysvětlitelnost je praktická a zaměřená na operátora. To znamená, že technologie musí jasně ukázat data použité pro logiku, ověřit, že systém rozumí správnému operačnímu kontextu, a vysvětlit doporučený postup v lidsky čitelné formě. Zahrnuje také historické ověření, zda podobná rozhodnutí byla učiněna dříve a jaké byly výsledky. To umožňuje týmům ověřit akce rychle a s jistotou rozšířit autonomní provedení, kde je riziko nízké. Pokud lidé nemohou rychle pochopit a jednat podle jeho výstupu, pak nástroj pro vysvětlitelnost selhává ve své funkci.

Jak se nedostatek vysvětlitelnosti překládá do skutečných operačních, finančních nebo obchodních rizik pro velké organizace?

Pokud byste vedli továrnu a důležitý kus vybavení postrádal výstrahy pro označení problému se servisem, nakonec by začal selhávat bez upozornění týmu – vedoucí k špatné kvalitě produktů nebo neplánovanému výpadku. Podobně AI bez vysvětlitelnosti může proměnit malé problémy se daty v velké obchodní incidenty. Systém AI pro předpověď kapacity, který funguje na neúplných datech, může snížit kapacitu infrastruktury, aby ušetřil náklady, ale způsobí vážné zhoršení výkonu během špičkového zpracování. V případě podnikových systémů AI často vidíte dopad špatné vysvětlitelnosti prostřednictvím zmeškaných SLA, finančních pokut a dopadu na zákazníky. Podobně agresivní potlačení výstrah může skrýt kritické selhání, umožňující výpadkům zůstat nedetekovanými, dokud není skutečná nouze.

Jak by podle vás měly AI platformy hrát roli v tom, aby jejich logika byla auditovatelná a srozumitelná pro IT týmy, které provozují kriticky důležité systémy?

Dobře navržený AI agent nebo platforma má vysvětlitelnost zabudovanou, jednoduše řečeno. Autonomní systémy by měly dokumentovat použité data, aplikovanou logiku, doporučené nebo provedené akce a následující výsledky. Tyto informace musí být prezentovány v operačním jazyce, který používají IT týmy, jako jsou závislosti, historické incidenty a obchodní dopad, spíše než abstraktní AI skóre. Auditovatelnost je nezbytná pro zodpovědnost, učení a dlouhodobou důvěru.

Jaké architektonické nebo návrhové přístupy pomáhají podnikům přecházet od neprůhledné automatizace k transparentnější, skleněné rozhodovací procesu?

Podniky přijímají architektury, které zakládají rozhodnutí AI na vysoké kvalitě operačních dat a jasně oddělují ověření dat od logiky rozhodnutí. Transparentní systémy zajišťují, že AI pracuje s správnými vstupy a předpoklady před provedením akce. Mnoho organizací také používá etapovou autonomii, začínající doporučeními a postupující k autonomnímu provedení, jakmile roste důvěra. Otevřený přístup k datům a jasná politika vrstev jsou kritické pro vyhnutí se černé skříňce, jak autonomie roste. Ještě je mnoho prostoru pro růst průmyslu v oblasti vysvětlitelnosti, a myslím, že budeme svědky boomu funkcí vysvětlitelnosti v tomto roce.

Jak organizace dosahují správné rovnováhy mezi autonomním AI rozhodováním a lidským dohledem, aniž by zpomalovaly operace?

Rovnováha je dosažena prostřednictvím rizikově založených kontrol, spíše než celkové kontroly. Úkoly s nízkým rizikem a vysokou frekvencí mohou být automatizovány od začátku do konce s ochrannými zábranami, zatímco rozhodnutí s větším dopadem zůstanou lidsky ověřena, dokud systémy neprokáží spolehlivost. Jakmile se vysvětlitelnost zlepšuje a AI konzistentně prokazuje zdravý úsudek, autonomie se přirozeně rozšiřuje bez zavedení operačních tření.

Jakou radu byste dali CIO a CTO, kteří chtějí škálovat AI napříč IT operacemi, ale čelí internímu odporu kvůli obavám o viditelnost a zodpovědnost?

Začněte s transparentností, ne s autonomií. Zahrňte své IT týmy brzy a priorizujte viditelnost jak ve designu, tak v nasazení, aby se vybudila důvěra. Odpor obvykle pramení z nedostatku vhledu do rozhodnutí AI, ne z odporu k inovacím samotným. Poté se zaměřte na případy použití, které snižují hluk, eliminují únavu z výstrah a jasně vysvětlují, jak jsou rozhodnutí učiněna, předtím než systémy budou moci jednat nezávisle.

Jak by podle vás měly vedení týmy přehodnotit řízení, ověření a modely důvěry, když systémy AI přebírají větší rozhodovací zodpovědnost?

Řízení musí přejít ze statických schvalovacích procesů na nepřetržité ověření. Vedení týmu potřebuje definovat, kde je povolena autonomie, jaké důkazy jsou vyžadovány a kdy je nutný lidský zásah. Důvěra by měla být získána prostřednictvím měřitelných výsledků, jako je přesnost, snížení incidentů a rychlejší doby řešení, spíše než předpoklady o složitosti modelu.

Jak vidíte budoucnost vysvětlitelného a transparentního AI, který mění budoucnost autonomních IT operací v příštích několika letech?

Vysvětlitelný AI bude základní součástí puzzle, když budeme budovat proaktivní a autonomní IT operace, aby škálovaly bezpečně, bez ztráty důvěry IT týmu. Generativní AI již zlepšuje transparentnost tím, že umožňuje systémům povrchovat důkazy, ověřovat fakta a vysvětlovat rozhodnutí v lidsky čitelné formě. V příštích několika letech se tato úroveň vysvětlitelnosti stane standardem, umožňující organizacím jít za hranice experimentování a hluboce integrovat AI do operací, řízení a pracovních postupů jako důvěryhodného partnera, spíše než neprůhledného rozhodovatele. V příštích letech budou AI agenti v místě, aby spravovali různé činnosti organizace, stanou se součástí našeho každodenního života, ale pro tyto je důležité, abychom jim mohli důvěřovat, a přesnost a transparentnost jsou klíčovými aspekty pro dosažení tohoto cíle. Díky za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Digitate.