Efrain Ruh, CTO regionu EMEA w Digitate – Wywiad

Efrain Ruh jest Dyrektorem Technicznym (CTO) dla regionu EMEA w firmie Digitate, gdzie kieruje regionalną strategią technologiczną ze szczególnym naciskiem na sztuczną inteligencję dla przedsiębiorstw, automatyzację oraz transformację operacyjną na dużą skalę. Ściśle współpracuje z klientami w całej Europie, na Bliskim Wschodzie i w Afryce, pomagając organizacjom wdrażać AI w sposób odpowiedzialny, kładąc nacisk na praktyczną realizację, zarządzanie i mierzalne rezultaty. Ruh jest częstym uczestnikiem dyskusji branżowych na temat agentowej AI, dojrzałości MLOps oraz realiów przechodzenia od pilotażowych projektów AI do systemów produkcyjnych.

Digitate to firma zajmująca się oprogramowaniem dla przedsiębiorstw oraz spółka zależna Tata Consultancy Services, specjalizująca się w automatyzacji napędzanej AI dla operacji IT i biznesowych. Jej podstawowa platforma, ignio, umożliwia autonomiczne operacje poprzez połączenie uczenia maszynowego, grafów wiedzy i inteligentnej automatyzacji w celu wykrywania problemów, przewidywania wyników i samonaprawy systemów w złożonych środowiskach przedsiębiorstw. Digitate obsługuje duże globalne organizacje, które dążą do zmniejszenia złożoności operacyjnej przy jednoczesnym poprawianiu odporności i efektywności poprzez stosowaną AI.

Biorąc pod uwagę Pana rozległe role przywódcze w obszarze technologii w Digitate oraz wcześniejsze praktyczne doświadczenie w operacjach IT, architekturze i systemach przedsiębiorstw, jak ewoluował Pana pogląd na znaczenie wyjaśnialnej AI w porównaniu z modelami automatyzacji typu “czarna skrzynka”, na których wiele organizacji wciąż polega?

Wcześniejsze generacje automatyzacji były w dużej mierze reaktywne i oparte na regułach, co sprawiało, że zachowanie typu “czarna skrzynka” było bardziej tolerowane, ponieważ wyniki były bardzo przewidywalne. Gdy systemy AI zmierzają teraz w kierunku proaktywnych agentów, które potrafią rozumować i generować własną odpowiedź, tolerancja dla nieprzejrzystości znika. Liderzy IT są odpowiedzialni za utrzymanie systemów o kluczowym znaczeniu dostępnych przez całą dobę, a ta odpowiedzialność pozostawia bardzo mało miejsca na eksperymentowanie z systemami, których rozumowania nie można zweryfikować. Wyjaśnialność przesunęła się zatem z cechy technicznej do wymogu operacyjnego, który umożliwia zaufanie na dużą skalę. Aby zaufać tym nowym agentom AI, ważne jest, aby dzieliły się one swoim tokiem myślenia (zasadniczo tym, jak doszły do rozwiązania) oraz wynikami swojego rozumowania.

Dlaczego zaufanie i wyjaśnialność stają się największą przeszkodą dla szerszego przyjęcia zaawansowanej automatyzacji napędzanej AI w IT przedsiębiorstw?

IT przedsiębiorstw funkcjonuje w warunkach ciągłej odpowiedzialności i ryzyka. Gdy systemy AI podejmują decyzje autonomicznie, szczególnie w prewencyjnych lub samonaprawczych modelach operacyjnych, zespoły nadzorujące muszą być w stanie zrozumieć, dlaczego podjęto daną akcję. Bez wglądu w dowody, kontekst i logikę decyzyjną, AI wprowadza niepewność, zamiast ją redukować. Ten brak przejrzystości i niepewność wpływa na zaufanie, a zatem spowalnia adopcję wśród zespołów IT bardziej niż kiedykolwiek mogłaby to zrobić dokładność czy wydajność modelu.

Jak prawdziwa wyjaśnialność faktycznie wygląda w operacjach IT napędzanych AI i jak może pomóc zespołom weryfikować decyzje, zanim systemy zaczną działać autonomicznie?

Prawdziwa wyjaśnialność jest praktyczna i skoncentrowana na operatorze. Oznacza to, że wymaga ona od technologii jasnego pokazania danych użytych do rozumowania, zweryfikowania, że system rozumie właściwy kontekst operacyjny, oraz wyjaśnienia zalecanego działania w zrozumiałym dla człowieka języku. Obejmuje to również walidację historyczną, taką jak to, czy podobne decyzje były podejmowane wcześniej i jakie były ich wyniki. Pozwala to zespołom szybko weryfikować działania i z większą pewnością rozszerzać autonomiczne wykonanie tam, gdzie ryzyko jest niskie. Jeśli ludzie nie mogą szybko przyswoić i działać na podstawie jego odczytu, to narzędzie wyjaśnialności nie spełnia swojego celu.

Jak brak wyjaśnialności przekłada się na realne ryzyko operacyjne, finansowe lub biznesowe dla dużych organizacji?

Gdybyś prowadził fabrykę, a kluczowy element wyposażenia nie miał alertów sygnalizujących problem z konserwacją, w końcu zacząłby działać nieprawidłowo bez powiadamiania zespołu – prowadząc do produktów niskiej jakości lub nieplanowanych przestojów. Podobnie, AI bez wyjaśnialności może przekształcić małe problemy z danymi w poważne incydenty biznesowe. System prognozowania pojemności oparty na AI, działający na niekompletnych danych, może zmniejszyć pojemność infrastruktury, aby zaoszczędzić koszty, tylko po to, by spowodować poważne pogorszenie wydajności w okresach szczytowego przetwarzania. W przypadku systemów AI przedsiębiorstw często widzimy wpływ słabej wyjaśnialności poprzez niespełnione SLA, kary finansowe i wpływ na klienta. Podobnie, agresywne tłumienie alertów może ukryć krytyczne awarie, pozwalając na to, by przerwy w działaniu pozostały niewykryte, aż stanie się to prawdziwym kryzysem.

Z Pana perspektywy, jaką rolę powinny odgrywać platformy AI w uczynieniu swojego rozumowania audytowalnym i zrozumiałym dla zespołów IT obsługujących systemy o kluczowym znaczeniu?

Dobrze zaprojektowany agent lub platforma AI ma wbudowaną wyjaśnialność, po prostu. Systemy autonomiczne powinny dokumentować użyte dane, zastosowaną logikę, zalecane lub podjęte działania oraz wyniki, które po nich nastąpiły. Informacje te muszą być przedstawione w języku operacyjnym używanym przez zespoły IT, takim jak zależności, historyczne incydenty i wpływ biznesowy, a nie abstrakcyjne wyniki AI. Audytowalność jest niezbędna dla odpowiedzialności, uczenia się i długoterminowego zaufania.

Jakie podejścia architektoniczne lub projektowe pomagają przedsiębiorstwom odchodzić od nieprzejrzystej automatyzacji w kierunku bardziej przejrzystego, “szklanego” podejmowania decyzji?

Przedsiębiorstwa przyjmują architektury, które opierają decyzje AI na wysokiej jakości danych operacyjnych i wyraźnie oddzielają walidację danych od logiki decyzyjnej. Przejrzyste systemy zapewniają, że AI działa na właściwych danych wejściowych i założeniach przed podjęciem działania. Wiele organizacji stosuje również stopniowaną autonomię, zaczynając od rekomendacji i przechodząc do ograniczonego autonomicznego wykonania w miarę wzrostu zaufania. Otwarty dostęp do danych i przejrzyste warstwy polityk są kluczowe dla uniknięcia zachowania typu “czarna skrzynka” w miarę wzrostu autonomii. W branży wciąż jest dużo miejsca na rozwój wyjaśnialności i myślę, że w tym roku zobaczymy boom na funkcje wyjaśnialności.

Jak organizacje znajdują właściwą równowagę między autonomicznym działaniem AI a nadzorem człowieka, nie spowalniając przy tym operacji?

Równowagę osiąga się poprzez kontrolę opartą na ryzyku, a nie przez ogólny nadzór. Zadania niskiego ryzyka i wysokiej częstotliwości mogą być zautomatyzowane od końca do końca z zabezpieczeniami, podczas gdy decyzje o większym wpływie pozostają weryfikowane przez człowieka, dopóki systemy nie zademonstrują niezawodności. W miarę jak wyjaśnialność się poprawia, a AI konsekwentnie udowadnia trafność osądu, autonomia naturalnie się rozszerza bez wprowadzania tarcia operacyjnego.

Jakiej rady udzieliłby Pan CIO i CTO, którzy chcą skalować AI w operacjach IT, ale napotykają wewnętrzny opór z powodu obaw o widoczność i odpowiedzialność?

Zacznij od przejrzystości, a nie autonomii. Zaangażuj swoje zespoły IT wcześnie i priorytetowo traktuj widoczność zarówno w projektowaniu, jak i wdrażaniu, aby budować zaufanie. Opór zazwyczaj wynika z braku wglądu w decyzje AI, a nie z opozycji wobec samej innowacji. Następnie skup się na przypadkach użycia, które redukują szum, eliminują zmęczenie alertami i jasno wyjaśniają, jak podejmowane są decyzje, zanim pozwolisz systemom działać niezależnie.

Gdy systemy AI przejmują większą odpowiedzialność za podejmowanie decyzji, jak zespoły kierownicze powinny przemyśleć modele zarządzania, walidacji i zaufania?

Zarządzanie musi przejść od statycznych procesów zatwierdzania do ciągłej walidacji. Zespoły kierownicze muszą zdefiniować, gdzie autonomia jest dozwolona, jakie dowody są wymagane i kiedy konieczna jest interwencja człowieka. Zaufanie powinno być zdobywane poprzez mierzalne wyniki, takie jak dokładność, zmniejszona liczba incydentów i szybsze czasy rozwiązywania problemów, a nie założenia dotyczące zaawansowania modelu.

Patrząc w przyszłość, jak Pana zdaniem wyjaśnialna i przejrzysta AI ukształtuje przyszłość autonomicznych operacji IT w ciągu najbliższych kilku lat?

Wyjaśnialna AI będzie fundamentalnym elementem układanki przy budowaniu proaktywnych i autonomicznych operacji IT, aby skalować się bezpiecznie, nie tracąc niezbędnego zaufania zespołu IT. Generatywna AI już poprawia przejrzystość, umożliwiając systemom przedstawianie dowodów, weryfikowanie faktów i wyjaśnianie decyzji w zrozumiałym dla człowieka języku. W ciągu najbliższych kilku lat ten poziom wyjaśnialności stanie się standardem, pozwalając organizacjom wyjść poza eksperymentowanie i głęboko osadzić AI w operacjach, zarządzaniu i przepływach pracy jako zaufanego partnera, a nie nieprzejrzystego decydenta. W ciągu najbliższych kilku lat agenci AI będą wdrażani do zarządzania różnymi działaniami organizacji, staną się częścią naszego codziennego życia, ale aby tak się stało, musimy im ufać, a dokładność i przejrzystość są kluczowymi aspektami do osiągnięcia tego celu.

Dziękuję za świetny wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Digitate.