Efrain Ruh, CTO of EMEA at Digitate – Interview Series

Efrain Ruh je Chief Technology Officer pro EMEA ve společnosti Digitate, kde vede regionální technologickou strategii s důrazem na podnikový AI, automatizaci a rozsáhlou operativní transformaci. Úzce spolupracuje se zákazníky napříč Evropou, Blízkým východem a Afrikou, aby pomohl organizacím nasadit AI zodpovědně, s důrazem na praktickou realizaci, řízení a měřitelné výsledky. Ruh je častým přispěvatelem do diskusí o agentic AI, MLOps maturity a realitě přechodu z AI pilotů na produkční systémy.

Digitate je podnikový software company a dceřiná společnost Tata Consultancy Services, která se specializuje na AI poháněnou automatizaci pro IT a podnikové operace. Jeho hlavní platforma, ignio, umožňuje autonomní operace kombinací strojového učení, znalostních grafů a inteligentní automatizace pro detekci problémů, předpověď výsledků a samoopravu systémů napříč komplexními podnikovými prostředími. Digitate slouží velkým globálním organizacím, které hledají snížení operativní složitosti, zatímco zlepšují odolnost a efektivitu prostřednictvím aplikovaného AI.

Ve světle vašich rozsáhlých technických vedoucích rolí v Digitate a vaší dřívější praktické zkušenosti napříč IT operacemi, architekturou a podnikovými systémy, jak se vyvinul váš názor na důležitost explainable AI ve srovnání s černou-skříňkovou automatizací, na kterou se masih mnoho organizací spoléhá?

Dřívější generace automatizace byly většinou reaktivní a založené na pravidlech, což dělalo černou-skříňkové chování více tolerovatelným, protože výsledky byly velmi předvídatelné. Když se AI systémy nyní pohybují směrem k proaktivním agentům, kteří mohou rozumět a generovat své vlastní odpovědi, tolerance pro neprůhlednost mizí. IT lídři jsou zodpovědní za udržení kriticky důležitých systémů dostupných 24/7, a tato zodpovědnost zanechává velmi málo prostoru pro experimentování se systémy, jejichž úsudek nelze ověřit. Explainability se tedy posunula z technické funkce na operativní požadavek, který umožňuje důvěru v měřítku. Abyste mohli těmto novým AI Agentům důvěřovat, je důležité, aby sdíleli svou linii myšlení (základní, jak dospěli k řešení) a své výsledky.

Proč jsou důvěra a explainability vznikající jako největší bariéry pro širší přijetí pokročilé AI-poháněné automatizace v podnikovém IT?

Podnikové IT operují pod stálou zodpovědností a rizikem. Když AI systémy činí rozhodnutí autonomně, zejména v preventivních nebo samoopravných operačních modelech, dohlížející týmy musí být schopny pochopit, proč byla přijata určitá akce. Bez viditelnosti do důkazů, kontextu a logiky rozhodnutí AI zavádí nejistotu místo snížení. Tato absence transparentnosti a nejistoty dopadá na důvěru, a proto zpomaluje přijetí mezi IT týmy více než modelová přesnost nebo výkon by mohl.

Co vlastně vypadá explainability v AI-poháněných IT operacích, a jak může pomoci týmům ověřit rozhodnutí předtím, než systémy jednají autonomně?

Skutečná explainability je praktická a zaměřená na operátora. To znamená, že vyžaduje technologii jasně ukázat data použité pro úsudek, ověřit, zda systém rozumí správnému operačnímu kontextu, a vysvětlit doporučený postup v lidsky čitelných termínech. Zahrnuje také historickou validaci, jako je například, zda byly učiněny podobná rozhodnutí dříve a jaké byly výsledky. To umožňuje týmům rychle ověřit akce a sebevědomě rozšiřovat autonomní provedení, kde je riziko nízké. Pokud lidé nemohou rychle strávit a jednat na základě jeho výstupu, pak explainability nástroj selhává ve své službě.

Jak se nedostatek explainability překládá do skutečných operativních, finančních nebo obchodních rizik pro velké organizace?

Pokud byste vedli továrnu a životně důležitý kus zařízení postrádal upozornění na označení problému se servisem, nakonec by začal fungovat špatně bez upozornění týmu – vedoucí k špatné kvalitě produktů nebo neplánovanému výpadku. Podobně AI bez explainability může proměnit malé datové problémy v hlavní obchodní incidenty. AI-založený systém pro předpověď kapacity, který funguje na neúplných datech, může snížit kapacitu infrastruktury, aby ušetřil náklady, pouze aby způsobil vážné snížení výkonu během špičkových zpracovatelských období. V případě podnikových AI systémů často vidíte dopad špatné explainability prostřednictvím zmeškaných SLA, finančních pokut a zákaznického dopadu. Podobně agresivní potlačení upozornění může skrýt kritické selhání, umožňující výpadkům zůstat nedetekovanými, dokud nebude skutečná nouze.

Jak by podle vás měly AI platformy hrát roli v tom, aby jejich úsudek byl auditable a srozumitelný pro IT týmy, které fungují s kriticky důležitými systémy?

Dobře navržený AI agent nebo platforma má explainability zabudovanou, jednoduše. Autonomní systémy by měly dokumentovat data použité, logiku aplikovanou, akce doporučené nebo provedené a výsledky, které následovaly. Tyto informace potřebují být prezentovány v operačním jazyce, který IT týmy používají, jako jsou závislosti, historické incidenty a obchodní dopad, spíše než abstraktní AI skóre. Auditovatelnost je nezbytná pro zodpovědnost, učení a dlouhodobou důvěru.

Jaké architektonické nebo designové přístupy pomáhají podnikům odcházet od neprůhledné automatizace směrem k transparentnější, skleněné krabici?

Podniky přijímají architektury, které zakládají AI rozhodnutí na vysoce kvalitních operačních datech a jasně oddělují validaci dat od logiky rozhodnutí. Transparentní systémy zajišťují, že AI funguje s správnými vstupy a předpoklady, než jedná. Mnoho organizací také používá stupňovitou autonomii, začínající s doporučeními a postupující k omezené autonomní realizaci, jakmile roste důvěra. Otevřený přístup k datům a jasná politická vrstva jsou kritické pro vyhnutí se černé-skříňkovému chování, jak se zvyšuje autonomie. Ještě je много prostoru pro růst explainability, a myslím, že budeme vidět boom v explainability funkcích tento rok

Jak organizace nacházejí správnou rovnováhu mezi autonomním AI aktem a lidským dohledem, aniž by zpomalovaly operace?

Rovnováha je dosažena prostřednictvím rizikově založených kontrol, spíše než celkové kontroly. Úkoly s nízkým rizikem a vysokou frekvencí mohou být automatizovány koncově s ochrannými prostředky, zatímco rozhodnutí s vyšším dopadem zůstávají lidsky ověřené, dokud systémy neprokáží spolehlivost. Jak explainability zlepšuje a AI konzistentně prokazuje zdravý úsudek, autonomie se přirozeně rozšiřuje bez zavedení operativního tření.

Jakou radu byste dali CIO a CTO, kteří chtějí škálovat AI napříč IT operacemi, ale čelí vnitřnímu odporu kvůli obavám o viditelnost a zodpovědnost?

Začněte s transparentností, ne s autonomií. Zahrňte své IT týmy brzy a priorizujte viditelnost v návrhu a nasazení, aby se vybudila důvěra. Odpor obvykle pramení z nedostatku vhledu do AI rozhodnutí, ne z odporu k inovacím samým. Pak se zaměřte na use-cases, které snižují hluk, eliminují upozornění na únavu a jasně vysvětlují, jak jsou rozhodnutí učiněna, než umožní systémem jednat nezávisle.

Jak by měly leadership týmy přehodnotit řízení, validaci a důvěru modely, když AI systémy přebírají více rozhodovací zodpovědnost?

Řízení musí posunout z statických schvalovacích procesů na nepřetržitou validaci. Leadership týmy potřebují definovat, kde je povolena autonomie, jaké důkazy jsou vyžadovány a kdy je nutná lidská intervence. Důvěra by měla být získána prostřednictvím měřitelných výsledků, jako je přesnost, snížení incidentů a rychlejší doby řešení, spíše než předpoklady o modelové sofistikovanosti.

Jak vidíte explainable a transparentní AI přetvářet budoucnost autonomních IT operací v příštích několika letech?

Explainable AI bude фундаментální částí puzzle, když se bude budovat proaktivní a autonomní IT operace, aby škálovaly bezpečně, bez ztráty důvěry IT týmu. Generativní AI již zlepšuje transparentnost tím, že umožňuje systémům povrchovat důkazy, ověřovat fakta a vysvětlovat rozhodnutí v lidsky čitelných termínech. V příštích několika letech se tato úroveň explainability stane standardem, umožňující organizacím jít za hranice experimentování a vložit AI hluboko do operací, řízení a pracovních postupů jako důvěryhodného partnera, spíše než neprůhledného rozhodčího. V příštích několika letech budou AI agenti na místě, aby spravovali různé činnosti organizace, stanou se součástí našeho každodenního života, ale pro tyto je důležité, aby jim mohli důvěřovat a přesnost a transparentnost jsou klíčovými aspekty pro dosažení tohoto cíle.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí dozvědět se více, by měli navštívit Digitate.