Efrain Ruh, Dyrektor Techniczny EMEA w Digitate – Seria wywiadów

Efrain Ruh jest Dyrektorem Technicznym EMEA w Digitate, gdzie kieruje regionalną strategią technologiczną z silnym naciskiem na sztuczną inteligencję, automatyzację i dużą skalę transformacji operacyjnej. Współpracuje ściśle z klientami w Europie, na Bliskim Wschodzie i w Afryce, aby pomóc organizacjom wdrożyć sztuczną inteligencję w sposób odpowiedzialny, podkreślając praktyczną realizację, zarządzanie i mierzalne wyniki. Ruh jest częstym uczestnikiem dyskusji branżowych na temat agentywnej sztucznej inteligencji, dojrzałości MLOps i rzeczywistości przechodzenia od pilotów sztucznej inteligencji do systemów produkcyjnych.

Digitate to firma oprogramowania dla przedsiębiorstw i spółka zależna Tata Consultancy Services (TCS.BO ), specjalizująca się w automatyzacji napędzanej przez sztuczną inteligencję dla IT i operacji biznesowych. Jej podstawowa platforma, ignio, umożliwia autonomiczne operacje łącząc uczenie maszynowe, grafy wiedzy i inteligentną automatyzację w celu wykrywania problemów, przewidywania wyników i samonaprawy systemów w złożonych środowiskach przedsiębiorstw. Digitate obsługuje duże organizacje globalne, które szukają redukcji złożoności operacyjnej, poprawy odporności i wydajności dzięki zastosowaniu sztucznej inteligencji.

Uwzględniając Twoje doświadczenie w kierowniczych rolach technicznych w Digitate i wcześniejsze doświadczenie w dziedzinie IT, architektury i systemów przedsiębiorstw, jak Twoja perspektywa na temat znaczenia wyjaśnialnej sztucznej inteligencji ewoluowała w porównaniu z modelem czarnej skrzynki, którym wiele organizacji nadal używa dzisiaj?

Wcześniejsze generacje automatyzacji były w dużej mierze reakcyjne i oparte na regułach, co sprawiało, że zachowanie czarnej skrzynki było bardziej tolerowane, ponieważ wyniki były bardzo przewidywalne. Gdy systemy sztucznej inteligencji przechodzą w stronę proaktywnych agentów, które mogą rozumieć i generować własne odpowiedzi, tolerancja dla nieprzezroczystości znika. Liderzy IT są odpowiedzialni za utrzymanie krytycznych systemów dostępnych przez całą dobę, a ta odpowiedzialność pozostawia bardzo mało miejsca na eksperymenty z systemami, których uzasadnienie nie może być zweryfikowane. Wyjaśnialność stała się więc cechą techniczną, a raczej wymogiem operacyjnym, który umożliwia zaufanie na dużą skalę. Aby ufać tym nowym agentom sztucznej inteligencji, ważne jest, aby udostępniali swoją linię myślenia (podstawę, jak doszli do rozwiązania) i wyniki swojego rozumowania.

Dlaczego zaufanie i wyjaśnialność stają się największymi barierami w szerszym przyjęciu zaawansowanej automatyzacji napędzanej przez sztuczną inteligencję w IT?

IT przedsiębiorstw działa pod stałą odpowiedzialnością i ryzykiem. Gdy systemy sztucznej inteligencji podejmują decyzje autonomicznie, szczególnie w modelach operacyjnych zapobiegawczych lub samonaprawy, zespoły nadzorujące muszą być w stanie zrozumieć, dlaczego podjęto określoną akcję. Bez widoczności dowodów, kontekstu i logiki decyzyjnej, sztuczna inteligencja wprowadza niepewność zamiast ją redukować. Brak przejrzystości i niepewność wpływa na zaufanie, co spowalnia przyjęcie wśród zespołów IT bardziej niż dokładność modelu lub wydajność mogłaby kiedykolwiek.

Co tak naprawdę oznacza wyjaśnialność w IT napędzanym przez sztuczną inteligencję, i jak może pomóc zespołom w walidacji decyzji przed autonomicznym działaniem systemów?

Prawdziwa wyjaśnialność jest praktyczna i ukierunkowana na operatora. Oznacza to, że technologia musi wyraźnie pokazać dane użyte do rozumowania, zwalidować, że system rozumie odpowiedni kontekst operacyjny, i wyjaśnić zalecaną linię działania w czytelnej dla człowieka formie. Obejmuje to również historyczną walidację, taką jak czy podobne decyzje były podejmowane wcześniej i jakie były ich wyniki. Pozwala to zespołom na szybką walidację działań i rozszerzanie autonomicznej realizacji tam, gdzie ryzyko jest niskie. Jeśli ludzie nie mogą szybko strawić i działać zgodnie z jego odczytem, wtedy narzędzie wyjaśnialności nie spełnia swojego celu.

Jak brak wyjaśnialności przekłada się na rzeczywiste ryzyko operacyjne, finansowe lub biznesowe dla dużych organizacji?

Gdybyś prowadził fabrykę i kluczowy element sprzętu nie miał alertów, aby zasygnalizować problem konserwacyjny, ostatecznie zacząłby działać nieprawidłowo bez powiadomienia zespołu – prowadząc do słabej jakości produktów lub niezaplanowanych przestojów. Podobnie, sztuczna inteligencja bez wyjaśnialności może zamienić małe problemy z danymi w duże incydenty biznesowe. System prognozowania pojemności oparty na niepełnych danych może zmniejszyć pojemność infrastruktury w celu oszczędności, co spowoduje poważne pogorszenie wydajności podczas szczytowych okresów przetwarzania. W przypadku systemów sztucznej inteligencji przedsiębiorstw często widzimy wpływ słabej wyjaśnialności poprzez niezrealizowane umowy SLA, kary finansowe i wpływ na klientów. Podobnie, agresywne tłumienie alertów może ukryć krytyczne awarie, pozwalając na niezauważone przerwy aż do prawdziwego kryzysu.

Jaką rolę powinny odgrywać platformy sztucznej inteligencji w uczynieniu ich rozumowania audytowalnym i zrozumiałym dla zespołów IT obsługujących systemy krytyczne dla misji?

Dobrze zaprojektowany agent sztucznej inteligencji lub platforma ma wyjaśnialność wbudowaną, po prostu. Autonomiczne systemy powinny udokumentować użyte dane, zastosowaną logikę, zalecane lub podjęte działania oraz wyniki, które nastąpiły. Informacje te muszą być przedstawione w języku operacyjnym, którym używają zespoły IT, takim jak zależności, historyczne incydenty i wpływ biznesowy, a nie abstrakcyjne oceny sztucznej inteligencji. Audytowalność jest niezbędna do odpowiedzialności, uczenia się i długoterminowego zaufania.

Jakie podejścia architektoniczne lub projektowe pomagają przedsiębiorstwom odejść od nieprzezroczystej automatyzacji w stronę bardziej transparentnej, szklanej decyzji?

Przedsiębiorstwa przyjmują architektury, które opierają decyzje sztucznej inteligencji na wysokiej jakości danych operacyjnych i wyraźnie oddzielają walidację danych od logiki decyzyjnej. Przezroczyste systemy zapewniają, że sztuczna inteligencja działa z odpowiednimi danymi wejściowymi i założeniami przed podjęciem działania. Wiele organizacji używa również stopniowej autonomii, zaczynając od rekomendacji i postępując do ograniczonej autonomii wykonawczej, gdy rośnie zaufanie. Otwarty dostęp do danych i wyraźne warstwy polityki są kluczowe dla uniknięcia zachowania czarnej skrzynki, gdy autonomia wzrasta. Jest jeszcze wiele miejsca na rozwój wyjaśnialności w branży, i myślę, że zobaczymy boom cech wyjaśnialności w tym roku.

Jak organizacje osiągają odpowiednią równowagę między autonomicznym działaniem sztucznej inteligencji a nadzorem ludzkim, bez spowalniania operacji?

Równowaga jest osiągana poprzez kontrolę opartą na ryzyku, a nie na ogólnym nadzorze. Zadania o niskim ryzyku i wysokiej częstotliwości mogą być zautomatyzowane od końca do końca z barierami, podczas gdy decyzje o większym wpływie pozostają walidowane przez ludzi, dopóki systemy nie wykażą się niezawodnością. Gdy wyjaśnialność się poprawia i sztuczna inteligencja konsekwentnie wykazuje zdrowy osąd, autonomia naturalnie się rozszerza bez wprowadzania tarcia operacyjnego.

Jakie rady dałbyś CIO i CTO, którzy chcą skalować sztuczną inteligencję w IT, ale napotykają opór wewnętrzny z powodu problemów z widocznością i odpowiedzialnością?

Zacznij od transparentności, a nie autonomii. Włącz swoje zespoły IT na wczesnym etapie i priorytetem transparentność w projektowaniu i wdrożeniu, aby zbudować zaufanie. Opór wynika zwykle z braku wglądu w decyzje sztucznej inteligencji, a nie z oporu przed innowacjami samej w sobie. Następnie skoncentruj się na przypadkach użycia, które redukują hałas, eliminują zmęczenie alertami i wyraźnie wyjaśniają, jak są podejmowane decyzje, zanim systemy będą mogły działać niezależnie.

Jak liderzy powinni przemyśleć zarządzanie, walidację i modele zaufania, gdy systemy sztucznej inteligencji przejmują coraz więcej odpowiedzialności za podejmowanie decyzji?

Zarządzanie musi przesunąć się od statycznych procesów zatwierdzania do ciągłej walidacji. Zespoły kierownicze muszą określić, gdzie autonomia jest dozwolona, jakie dowody są wymagane i kiedy interwencja ludzka jest konieczna. Zaufanie powinno być zdobyte poprzez mierzalne wyniki, takie jak dokładność, zmniejszona liczba incydentów i szybsze czasy rozwiązania, a nie założenia o złożoności modelu.

Jak widzisz przyszłość wyjaśnialnej i transparentnej sztucznej inteligencji w kształtowaniu przyszłości autonomicznych operacji IT w ciągu najbliższych kilku lat?

Wyjaśnialna sztuczna inteligencja będzie podstawowym elementem układanki, gdy budujemy proaktywne i autonomiczne operacje IT, aby bezpiecznie skalować, bez utraty zaufania zespołu IT. Sztuczna inteligencja generatywna już poprawia przejrzystość, umożliwiając systemom ujawnianie dowodów, walidację faktów i wyjaśnianie decyzji w czytelnej dla człowieka formie. W ciągu najbliższych kilku lat ten poziom wyjaśnialności stanie się standardem, pozwalając organizacjom na przeniesienie się poza eksperymenty i głębokie wbudowanie sztucznej inteligencji w operacje, zarządzanie i przepływy pracy jako zaufanego partnera, a nie nieprzezroczystego decydenta. W ciągu najbliższych kilku lat agenci sztucznej inteligencji będą w miejscu, aby zarządzać różnymi działaniami organizacji, staną się częścią naszego codziennego życia, ale aby to osiągnąć, musimy być w stanie im ufać, a dokładność i przejrzystość są kluczowymi aspektami, aby to osiągnąć. Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Digitate.