Efrain Ruh, CTO för EMEA på Digitate – Intervjuserie

Efrain Ruh är Chief Technology Officer för EMEA på Digitate, där han leder den regionala tekniska strategin med fokus på företagsomfattande AI, automation och storstora operativa transformationer. Han arbetar nära kunder i hela Europa, Mellanöstern och Afrika för att hjälpa organisationer att distribuera AI på ett ansvarsfullt sätt, med fokus på praktiskt genomförande, styrning och mätbara resultat. Ruh är en frekvent bidragsgivare till branschdiskussioner om agensbaserad AI, MLOps-mognad och verkligheten kring att gå från AI-piloter till produktionsystem.

Digitate är ett företag som utvecklar företagsprogramvara och är ett dotterbolag till Tata Consultancy Services som specialiserar sig på AI-driven automation för IT- och företagsverksamhet. Dess kärnplattform, ignio, möjliggör autonom drift genom att kombinera maskinlärning, kunskapsgrafer och intelligent automation för att upptäcka problem, förutsäga resultat och självläka system i komplexa företagsmiljöer. Digitate servar stora globala organisationer som söker minska operativ komplexitet samtidigt som de förbättrar motståndskraft och effektivitet genom tillämpad AI.

Med tanke på din omfattande tekniska ledarskapsroll på Digitate och din tidigare praktiska erfarenhet inom IT-drift, arkitektur och företagssystem, hur har din syn på vikten av förklarbar AI utvecklats jämfört med de svarta lådor som många organisationer fortfarande förlitar sig på idag?

Tidigare generationer av automation var i huvudsak reaktiva och regelbaserade, vilket gjorde att svarta lådor var mer acceptabla eftersom resultaten var mycket förutsägbara. När AI-system nu rör sig mot proaktiva agenter som kan resonera och generera sina egna svar, försvinner toleransen för opacitet. IT-chefer är ansvariga för att hålla kritiska system tillgängliga dygnet runt, och det ansvar lämnar mycket litet utrymme för experiment med system vars resonemang inte kan valideras. Förklarbarhet har därför förskjutits från en teknisk funktion till en operativ krav som möjliggör förtroende i stor skala. För att kunna lita på dessa nya AI-agenter är det viktigt att de delar sin tankegång (hur de kom fram till lösningen) och sina resonemang.

Varför är förtroende och förklarbarhet de största hindren för en bredare tillämpning av avancerad AI-driven automation i företags-IT?

Företags-IT fungerar under ständig ansvarighet och risk. När AI-system fattar beslut på egen hand, särskilt i förebyggande eller självläkande driftsmodeller, måste tillsynslag kunna förstå varför en viss åtgärd vidtogs. Utan insyn i bevis, sammanhang och beslutslogik introducerar AI osäkerhet snarare än att minska den. Den bristen på transparens och osäkerhet påverkar förtroendet, vilket därmed bromsar upp antagandet bland IT-lag mer än modellens noggrannhet eller prestanda någonsin kunde.

Vad ser sann förklarbarhet ut som i AI-driven IT-drift, och hur kan den hjälpa team att validera beslut innan system agerar autonomt?

Sann förklarbarhet är praktisk och inriktad på operatörer. Detta innebär att tekniken måste tydligt visa den data som används för resonemang, validera att systemet förstår den korrekta operativa sammanhanget och förklara den rekommenderade åtgärden på ett sätt som är läsbart för människor. Det inkluderar också historisk validering, såsom om liknande beslut har fattats tidigare och vad resultaten var. Detta möjliggör för lag att validera åtgärder snabbt och utöka autonom utförande där risken är låg. Om människor inte kan snabbt ta till sig och agera på dess utdata, misslyckas ett förklarbart verktyg med att uppfylla sitt syfte.

Hur översätter sig bristen på förklarbarhet till verkliga operativa, finansiella eller affärsmässiga risker för stora organisationer?

Om du drev en fabrik och en viktig del av utrustningen saknade varningar för att flagga för ett underhållsproblem, skulle den så småningom börja fungera dåligt utan att varna teamet – vilket leder till dåliga produkter eller oplanerad nedtid. På samma sätt kan AI utan förklarbarhet förvandla små dataproblem till stora affärsincidenter. Ett AI-baserat system för kapacitetsprognos som körs på ofullständig data kan minska infrastrukturkapaciteten för att spara kostnader, men orsaka allvarlig prestandaförsämring under toppbelastningsperioder. I fallet med företags AI-system ser man ofta effekten av dålig förklarbarhet genom missade SLA, finansiella straff och kundpåverkan. På samma sätt kan aggressiv varningsundertryckning dölja kritiska fel, vilket tillåter att driftstopp förblir oupptäckta tills det är en riktig nödsituation.

Ur ditt perspektiv, vilken roll bör AI-plattformar spela för att göra sin resonemang granskningsbar och förståelig för IT-lag som driver kritiska system?

En väl utformad AI-agent eller plattform har förklarbarhet inbyggt, utan tvekan. Autonoma system bör dokumentera den data som används, den logik som tillämpas, de åtgärder som rekommenderas eller vidtas och de resultat som följer. Denna information måste presenteras på det operativa språk som IT-lag använder, såsom beroenden, historiska incidenter och affärspåverkan, snarare än abstrakta AI-poäng. Granskningsbarhet är avgörande för ansvarighet, lärande och långsiktig tillit.

Vilka arkitektoniska eller designmetoder hjälper företag att gå bort från ogenomskinlig automation mot mer transparent, glasbox-baserat beslutsfattande?

Företag antar arkitekturer som grundar AI-beslut i högkvalitativ operativ data och tydligt separerar datavalidering från beslutslogik. Transparenta system säkerställer att AI arbetar med rätt indata och antaganden innan det agerar. Många organisationer använder också stegvis autonomi, börjar med rekommendationer och går vidare till att begränsa autonomt utförande allteftersom förtroendet växer. Öppen dataåtkomst och tydliga policyskikt är avgörande för att undvika svarta lådor när autonomi ökar. Det finns fortfarande gott om utrymme för branschen att växa förklarbarhet, och jag tror att vi kommer att se en boom i förklarbarhetsfunktioner i år

Hur kan organisationer uppnå rätt balans mellan autonom AI-åtgärd och mänsklig tillsyn utan att sakta ner verksamheten?

Balansen uppnås genom riskbaserade kontroller snarare än generell tillsyn. Lågrisk-, högfrekventa uppgifter kan automatiseras från slut till slut med skyddsräcken, medan beslut med större påverkan förblir mänskligt validerade tills system visar sig vara tillförlitliga. När förklarbarhet förbättras och AI konsekvent visar sund bedömning, expanderar autonomi naturligt utan att införa operativ friktion.

Vad råd skulle du ge till CIO:er och CTO:er som vill skala upp AI över IT-drift men möter intern motstånd på grund av synlighets- och ansvarighetsproblem?

Börja med transparens, inte autonomi. Inkludera dina IT-lag tidigt och prioritera synlighet både i design och distribution för att bygga förtroende. Motstånd beror vanligtvis på brist på insikt i AI-beslut, snarare än motstånd mot innovation i sig. Fokusera sedan på användningsfall som minskar brus, eliminerar varningsutmattning och tydligt förklarar hur beslut fattas innan system tillåts agera oberoende.

När AI-system tar på sig mer beslutsansvar, hur bör ledningsgrupper ompröva styrning, validering och förtroendemodeller?

Styrning måste skifta från statiska godkännandeprocesser till kontinuerlig validering. Ledningsgrupper behöver definiera var autonomi är tillåten, vilken bevisning som krävs och när mänskligt ingripande är nödvändigt. Förtroende bör tjänas genom mätbara resultat som noggrannhet, minskade incidenter och snabbare lösentider, snarare än antaganden om modellens sofistikering.

Om du ser framåt, hur ser du att förklarbar och transparent AI omformar framtiden för autonom IT-drift under de närmaste åren?

Förklarbar AI kommer att vara en grundläggande del av pusslet när man bygger proaktiva och autonoma IT-drift för att skala säkert, utan att förlora det viktiga förtroendet från IT-laget. Generativ AI förbättrar redan transparensen genom att möjliggöra för system att yta bevis, validera fakta och förklara beslut på ett sätt som är läsbart för människor. Under de närmaste åren kommer denna nivå av förklarbarhet att bli standard, vilket möjliggör för organisationer att gå bortom experiment och införliva AI djupt i drift, styrning och arbetsflöden som en pålitlig partner snarare än en ogenomskinlig beslutsfattare. Under de närmaste åren kommer AI-agenter att finnas på plats för att hantera olika aktiviteter inom en organisation, de kommer att bli en del av vår vardag, men för att uppnå detta mål behöver vi kunna lita på dem och noggrannhet och transparens är nyckelaspekter för att uppnå detta mål. Tack för den utmärkta intervjun, läsare som vill lära sig mer kan besöka Digitate.