Efrain Ruh, CTO of EMEA at Digitate – Interview Series

Efrain Ruh jest Chief Technology Officerem dla EMEA w firmie Digitate, gdzie kieruje regionalną strategią technologiczną z silnym naciskiem na sztuczną inteligencję przedsiębiorstw, automatyzację i dużą skalę transformacji operacyjnej. Współpracuje ściśle z klientami w Europie, na Bliskim Wschodzie i w Afryce, aby pomóc organizacjom wdrożyć sztuczną inteligencję w sposób odpowiedzialny, podkreślając praktyczną realizację, zarządzanie i mierzenie efektów. Ruh jest częstym uczestnikiem dyskusji branżowych na temat agentic AI, dojrzałości MLOps i rzeczywistych konsekwencji przechodzenia od pilotów AI do systemów produkcyjnych.

Digitate jest firmą oprogramowania przedsiębiorstw i spółką zależną Tata Consultancy Services, specjalizującą się w automatyzacji napędzanej przez sztuczną inteligencję dla IT i operacji biznesowych. Jego podstawowa platforma, ignio, umożliwia autonomiczne operacje, łącząc uczenie maszynowe, grafy wiedzy i inteligentną automatyzację w celu wykrywania problemów, przewidywania wyników i samonaprawy systemów w złożonych środowiskach przedsiębiorstw. Digitate obsługuje duże organizacje globalne, które szukają redukcji złożoności operacyjnej, poprawy odporności i efektywności za pomocą zastosowanej sztucznej inteligencji.

Uwzględniając Twoje obszerne doświadczenie w kierowniczych rolach technicznych w Digitate oraz wcześniejsze doświadczenie praktyczne w dziedzinie IT, architektury i systemów przedsiębiorstw, jak Twoja perspektywa na temat znaczenia wyjaśnialnej sztucznej inteligencji ewoluowała w porównaniu z modelem czarnej skrzynki, na którym wiele organizacji nadal polega dziś?

Wcześniejsze generacje automatyzacji były w dużej mierze reaktywne i oparte na regułach, co sprawiało, że zachowanie czarnej skrzynki było bardziej tolerowane, ponieważ wyniki były bardzo przewidywalne. W miarę jak systemy sztucznej inteligencji przechodzą w kierunku proaktywnych agentów, które mogą rozumieć i generować własne odpowiedzi, tolerancja dla nieprzezroczystości znika. Liderzy IT są odpowiedzialni za utrzymanie krytycznych systemów misji przez całą dobę, a ta odpowiedzialność pozostawia bardzo mało miejsca na eksperymenty z systemami, których uzasadnienie nie może być zweryfikowane. Wyjaśnialność przeszła więc z cechy technicznej do wymogu operacyjnego, który umożliwia zaufanie w skali. Aby ufać tym nowym agentom sztucznej inteligencji, ważne jest, aby udostępniali swoją linię myślenia (podstawowo, w jaki sposób doszli do rozwiązania) i wyniki swojego rozumowania.

Dlaczego zaufanie i wyjaśnialność stają się największymi barierami dla szerszego przyjęcia zaawansowanej automatyzacji napędzanej przez sztuczną inteligencję w IT przedsiębiorstw?

IT przedsiębiorstw działa pod ciągłą odpowiedzialnością i ryzykiem. Kiedy systemy sztucznej inteligencji podejmują decyzje autonomicznie, szczególnie w modelach operacyjnych prewencyjnych lub samonaprawy, zespoły nadzorujące muszą być w stanie zrozumieć, dlaczego podjęto określone działanie. Bez widoczności dowodów, kontekstu i logiki decyzyjnej, sztuczna inteligencja wprowadza niepewność zamiast ją redukować. Brak przejrzystości i niepewność wpływa na zaufanie, co spowalnia przyjęcie wśród zespołów IT bardziej niż dokładność modelu lub wydajność mogłaby kiedykolwiek.

Czym jest prawdziwa wyjaśnialność w IT operacjach napędzanych przez sztuczną inteligencję, i jak może pomóc zespołom zwalidować decyzje przed autonomicznym działaniem systemów?

Prawdziwa wyjaśnialność jest praktyczna i ukierunkowana na operatora. Oznacza to, że technologia musi wyraźnie pokazać dane użyte do rozumowania, zwalidować, czy system rozumie odpowiedni kontekst operacyjny, i wyjaśnić zalecany przebieg działania w czytelnej dla człowieka formie. Zawiera również historyczną weryfikację, taką jak czy podobne decyzje były podejmowane wcześniej i jakie były ich wyniki. Pozwala to zespołom na szybką weryfikację działań i pewne rozszerzenie autonomicznej realizacji tam, gdzie ryzyko jest niskie. Jeśli ludzie nie mogą szybko strawić i działać na podstawie jej odczytu, wówczas narzędzie wyjaśnialności nie spełnia swojego celu.

Jak brak wyjaśnialności przekłada się na rzeczywiste operacyjne, finansowe lub biznesowe ryzyko dla dużych organizacji?

Gdybyś prowadził fabrykę, a kluczowy element sprzętu nie miał alertów, aby zasygnalizować problem z konserwacją, ostatecznie zacząłby działać nieprawidłowo bez powiadomienia zespołu – prowadząc do niskiej jakości produktów lub nieplanowanego przestoju. Podobnie, sztuczna inteligencja bez wyjaśnialności może zamienić małe problemy z danymi w duże incydenty biznesowe. System sztucznej inteligencji do prognozowania pojemności działający na niekompletnych danych może zmniejszyć pojemność infrastruktury w celu oszczędności, co spowoduje ciężkie pogorszenie wydajności podczas szczytowych okresów przetwarzania. W przypadku systemów sztucznej inteligencji przedsiębiorstw często widzimy wpływ słabej wyjaśnialności poprzez niezrealizowane umowy SLA, kary finansowe i wpływ na klienta. Podobnie, agresywne tłumienie alertów może ukryć krytyczne awarie, pozwalając na niezauważone przerwy aż do prawdziwej sytuacji awaryjnej.

Jaką rolę powinny odegrać platformy sztucznej inteligencji w uczynieniu ich rozumowania audytowalnym i zrozumiałym dla zespołów IT operujących systemami misji krytycznych?

Dobrze zaprojektowany agent sztucznej inteligencji lub platforma ma wyjaśnialność wbudowaną, po prostu. Autonomiczne systemy powinny udokumentować dane użyte, logikę zastosowaną, działania zalecane lub podjęte, oraz wyniki, które nastąpiły. Informacje te muszą być przedstawione w języku operacyjnym, którym używają zespoły IT, takim jak zależności, historyczne incydenty i wpływ biznesowy, a nie abstrakcyjne wyniki sztucznej inteligencji. Audytowalność jest niezbędna do odpowiedzialności, uczenia się i długoterminowego zaufania.

Jakie podejścia architektoniczne lub projektowe pomagają przedsiębiorstwom odejść od nieprzezroczystej automatyzacji w kierunku bardziej transparentnych, szklanych decyzji?

Przedsiębiorstwa przyjmują architektury, które opierają decyzje sztucznej inteligencji na wysokiej jakości danych operacyjnych i wyraźnie oddzielają walidację danych od logiki decyzyjnej. Przezroczyste systemy zapewniają, że sztuczna inteligencja działa z odpowiednimi danymi wejściowymi i założeniami przed podjęciem działania. Wiele organizacji używa również stopniowej autonomii, zaczynając od rekomendacji i przechodząc do ograniczonej autonomii wykonawczej, gdy rośnie zaufanie. Otwarty dostęp do danych i wyraźne warstwy polityki są kluczowe dla uniknięcia zachowania czarnej skrzynki wraz ze wzrostem autonomii. Jest jeszcze wiele miejsca na rozwój branży w kierunku wyjaśnialności, i myślę, że zobaczymy boom cech wyjaśnialności w tym roku.

Jak organizacje znajdują odpowiednią równowagę między autonomicznym działaniem sztucznej inteligencji a nadzorem ludzkim, nie spowalniając operacji?

Równowaga jest osiągana za pomocą kontroli opartych na ryzyku, a nie powszechnego nadzoru. Zadania o niskim ryzyku i wysokiej częstotliwości mogą być zautomatyzowane od końca do końca z barierami, podczas gdy decyzje o większym wpływie pozostają walidowane przez ludzi, dopóki systemy nie wykażą się niezawodnością. W miarę jak wyjaśnialność się poprawia, a sztuczna inteligencja konsekwentnie udowadnia słuszne osądy, autonomia naturalnie się rozszerza bez wprowadzania tarcia operacyjnego.

Jakie porady dałbyś CIO i CTO, którzy chcą skalować sztuczną inteligencję w całych operacjach IT, ale napotykają wewnętrzny opór z powodu problemów z widocznością i odpowiedzialnością?

Zacznij od przejrzystości, a nie autonomii. Włącz swoje zespoły IT na wczesnym etapie i priorytetowo traktuj widoczność w projektowaniu i wdrożeniu, aby budować zaufanie. Opór wynika zwykle z braku wglądu w decyzje sztucznej inteligencji, a nie z samej opozycji wobec innowacji. Następnie skoncentruj się na przypadkach użycia, które redukują hałas, eliminują zmęczenie alertów i wyraźnie wyjaśniają, w jaki sposób decyzje są podejmowane, zanim systemy będą mogły działać niezależnie.

Jak liderzy powinni przemyśleć zarządzanie, weryfikację i modele zaufania, gdy systemy sztucznej inteligencji przejmują coraz większą odpowiedzialność za podejmowanie decyzji?

Zarządzanie musi przesunąć się od statycznych procesów zatwierdzania do ciągłej weryfikacji. Zespoły liderów muszą określić, gdzie autonomia jest dozwolona, jakie dowody są wymagane, oraz kiedy interwencja ludzka jest konieczna. Zaufanie powinno być zdobywane poprzez mierzenie wyników, takich jak dokładność, zmniejszona ilość incydentów i szybsze rozwiązywanie problemów, a nie założenia o złożoności modelu.

Jak widzisz przyszłość operacji IT autonomicznych z wyjaśnialną i transparentną sztuczną inteligencją w ciągu najbliższych kilku lat?

Wyjaśnialna sztuczna inteligencja będzie podstawowym elementem układanki przy budowaniu proaktywnych i autonomicznych operacji IT, aby skalować bezpiecznie, bez utraty zaufania zespołu IT. Sztuczna inteligencja generatywna już poprawia przejrzystość, umożliwiając systemom ujawnianie dowodów, weryfikację faktów i wyjaśnianie decyzji w czytelnej dla człowieka formie. W ciągu najbliższych kilku lat ten poziom wyjaśnialności stanie się standardem, pozwalając organizacjom przenieść się poza eksperymenty i głęboko osadzić sztuczną inteligencję w operacjach, zarządzaniu i przepływach pracy jako zaufanego partnera, a nie nieprzezroczystego decydenta. W ciągu najbliższych kilku lat agenci sztucznej inteligencji będą obsadzani do zarządzania różnymi działaniami organizacji, staną się częścią naszego codziennego życia, ale aby to osiągnąć, musimy umieć im zaufać, a dokładność i przejrzystość są kluczowymi aspektami do osiągnięcia tego celu.

Dziękujemy za wspaniałe wywiady, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Digitate.