Efrain Ruh, CTO al EMEA la Digitate – Seria de interviuri

Efrain Ruh este Directorul Tehnologic al EMEA la Digitate, unde conduce strategia tehnologică regională cu un accent puternic pe inteligența artificială pentru întreprinderi, automatizare și transformare operațională la scară largă. El lucrează îndeaproape cu clienții din Europa, Orientul Mijlociu și Africa pentru a ajuta organizațiile să implementeze inteligența artificială în mod responsabil, subliniind executarea practică, guvernanța și rezultatele măsurabile. Ruh este un contributor frecvent la discuțiile din industrie despre inteligența artificială agențială, maturitatea MLOps și realitățile trecerii de la proiecte-pilot de inteligență artificială la sisteme de producție.

Digitate este o companie de software pentru întreprinderi și o filială a Tata Consultancy Services, care se specializează în automatizarea bazată pe inteligență artificială pentru operațiunile IT și de afaceri. Platforma sa principală, ignio, permite operațiuni autonome prin combinarea învățării automate, a grafurilor de cunoaștere și a automatizării inteligente pentru a detecta probleme, a prezice rezultate și a repara sistemele de sine stătător în medii complexe de întreprindere. Digitate deservește organizații globale mari care caută să reducă complexitatea operațională, îmbunătățind în același timp reziliența și eficiența prin inteligența artificială aplicată.

Având în vedere rolurile dvs. extinse de conducere tehnică la Digitate și experiența dvs. anterioară practică în operațiunile IT, arhitectură și sisteme de întreprindere, cum s-a schimbat perspectiva dvs. asupra importanței inteligenței artificiale explicabile în comparație cu modelele de automatizare black-box pe care multe organizații le folosesc încă astăzi?

Generațiile anterioare de automatizare erau în mare parte reactive și bazate pe reguli, ceea ce făcea comportamentul black-box mai tolerabil, deoarece rezultatele erau foarte previzibile. Pe măsură ce sistemele de inteligență artificială trec acum spre agenți proactivi care pot raționa și genera propriile răspunsuri, toleranța pentru opacitate dispare. Liderii IT sunt responsabili pentru menținerea sistemelor critice pentru misiune disponibile non-stop, și această responsabilitate lasă foarte puțin spațiu pentru experimentarea sistemelor ale căror raționament nu poate fi validat. Explicabilitatea a devenit, prin urmare, o cerință operațională care permite încrederea la scară. Pentru a avea încredere în acești noi agenți de inteligență artificială, este important ca ei să împărtășească linia lor de gândire (în esență, cum au ajuns la soluție) și rezultatele raționamentului lor.

De ce încrederea și explicabilitatea devin cele mai mari bariere în calea adoptării mai largi a automatizării avansate bazate pe inteligență artificială în IT-ul de întreprindere?

IT-ul de întreprindere funcționează sub responsabilitate și risc constant. Când sistemele de inteligență artificială iau decizii autonom, în special în modele de operare preventive sau de auto-vindecare, echipele de supraveghere trebuie să poată înțelege de ce a fost luată o anumită acțiune. Fără vizibilitate în ceea ce privește probele, contextul și logica deciziei, inteligența artificială introduce incertitudine în loc să o reducă. Această lipsă de transparență și incertitudine afectează încrederea, încetinind astfel adoptarea în rândul echipelor IT mai mult decât acuratețea modelului sau performanța ar putea face vreodată.

Ce înseamnă, de fapt, explicabilitatea adevărată în operațiunile IT conduse de inteligență artificială, și cum poate ajuta echipele să valideze deciziile înainte ca sistemele să acționeze autonom?

Explicabilitatea adevărată este practică și orientată spre operator. Acest lucru înseamnă că tehnologia trebuie să arate clar datele utilizate pentru raționament, să valideze că sistemul înțelege contextul operațional corect și să explice cursul de acțiune recomandat în termeni lizibili de către oameni. Acesta include, de asemenea, validarea istorică, cum ar fi dacă au fost luate decizii similare înainte și care au fost rezultatele. Acest lucru permite echipelor să valideze acțiunile rapid și să extindă cu încredere execuția autonomă acolo unde riscul este scăzut. Dacă oamenii nu pot digera și acționa rapid pe baza rezultatului, atunci un instrument de explicabilitate nu își îndeplinește scopul.

Cum se traduce lipsa de explicabilitate în riscuri operaționale, financiare sau de afaceri reale pentru organizațiile mari?

Dacă conduceați o fabrică și o piesă vitală de echipament ar lipsi alerte pentru a semnala o problemă de întreținere, aceasta ar începe în cele din urmă să funcționeze defectuos fără a alerta echipa – ducând la produse de calitate slabă sau întreruperi neplanificate. În mod similar, inteligența artificială fără explicabilitate poate transforma problemele mici de date în incidente majore de afaceri. Un sistem de previziune a capacității bazat pe inteligență artificială, care funcționează pe date incomplete, poate reduce capacitatea de infrastructură pentru a economisi costuri, dar poate cauza o deteriorare severă a performanței în timpul perioadelor de procesare de vârf. În cazul sistemelor de inteligență artificială pentru întreprinderi, se observă adesea impactul explicabilității slabe prin neîndeplinirea acordurilor de nivel de serviciu, penalități financiare și impact asupra clienților. În mod similar, suprimarea agresivă a alertelor poate ascunde eșecuri critice, permițând întreruperilor să rămână nedetectate până când devin o adevărată urgență.

Din perspectiva dvs., ce rol ar trebui să joace platformele de inteligență artificială în a face raționamentul lor auditabil și inteligibil pentru echipele IT care operează sisteme critice pentru misiune?

Un agent de inteligență artificială sau o platformă bine proiectată are explicabilitatea încorporată, pur și simplu. Sistemele autonome ar trebui să documenteze datele utilizate, logica aplicată, acțiunile recomandate sau luate și rezultatele care au urmat. Aceste informații trebuie prezentate în limba operațională pe care echipele IT o folosesc, cum ar fi dependențe, incidente istorice și impact de afaceri, și nu în scoruri abstracte de inteligență artificială. Auditabilitatea este esențială pentru responsabilitate, învățare și încredere pe termen lung.

Care sunt abordările arhitecturale sau de proiectare care ajută întreprinderile să se îndepărteze de automatizarea opacă și să se îndrepte către decizii transparente, de tip “cutie de sticlă”?

Întreprinderile adoptă arhitecturi care fundamentează deciziile de inteligență artificială în date operaționale de înaltă calitate și separă clar validarea datelor de logica deciziei. Sistemele transparente asigură că inteligența artificială lucrează cu intrări și ipoteze corecte înainte de a acționa. Multe organizații folosesc, de asemenea, autonomie etapizată, începând cu recomandări și progresând către executarea autonomă constrânsă pe măsură ce crește încrederea. Accesul deschis la date și straturile de politică clare sunt critice pentru evitarea comportamentului black-box pe măsură ce autonomia crește. Există încă mult spațiu pentru industrie să crească funcțiile de explicabilitate, și cred că vom vedea o explozie de funcții de explicabilitate în acest an.

Cum reușesc organizațiile să găsească un echilibru corect între acțiunea autonomă a inteligenței artificiale și supravegherea umană, fără a încetini operațiunile?

Echilibrul se realizează prin controale bazate pe risc, mai degrabă decât prin supraveghere generală. Sarcinile cu risc scăzut și frecvență ridicată pot fi automate de la capăt la capăt cu baraje, în timp ce deciziile cu impact mai mare rămân validate de către oameni până când sistemele demonstrează fiabilitate. Pe măsură ce explicabilitatea se îmbunătățește și inteligența artificială demonstrează în mod constant judecată sănătoasă, autonomia se extinde în mod natural fără a introduce fricțiuni operaționale.

Ce sfaturi ați da CIO-urilor și CTO-urilor care doresc să extindă inteligența artificială la operațiunile IT, dar se confruntă cu rezistență internă din cauza problemelor de vizibilitate și responsabilitate?

Începeți cu transparența, nu cu autonomia. Implicați-vă echipele IT de la început și prioritați vizibilitatea atât în proiectare, cât și în implementare pentru a construi încredere. Rezistența provine, de obicei, din lipsa de insight în deciziile de inteligență artificială, și nu din opoziția față de inovație în sine. Apoi, concentrați-vă pe cazurile de utilizare care reduc zgomotul, elimină oboseala alertelor și explică clar cum se iau deciziile înainte de a permite sistemelor să acționeze independent.

Cum ar trebui să reconsidere echipele de conducere guvernanța, validarea și modelele de încredere, pe măsură ce sistemele de inteligență artificială preiau mai multă responsabilitate pentru luarea deciziilor?

Guvernanța trebuie să se schimbe de la procese de aprobare statice la validare continuă. Echipele de conducere trebuie să definească unde este permisă autonomia, ce probe sunt necesare și când este necesară intervenția umană. Încrederea ar trebui să fie câștigată prin rezultate măsurabile, cum ar fi acuratețea, reducerea incidentelor și timpul de rezolvare mai rapid, mai degrabă decât prin presupuneri despre sofisticarea modelului.

Cum anticipați că inteligența artificială explicabilă și transparentă va remodela viitorul operațiunilor IT autonome în următorii ani?

Inteligența artificială explicabilă va fi o piesă fundamentală a puzzle-ului atunci când se construiesc operațiuni IT proactive și autonome pentru a scala în siguranță, fără a pierde încrederea vitală a echipei dvs. IT. Inteligența artificială generativă îmbunătățește deja transparența, permițând sistemelor să prezinte probe, să valideze fapte și să explice decizii în termeni lizibili de către oameni. În următorii ani, acest nivel de explicabilitate va deveni standard, permițând organizațiilor să meargă dincolo de experimentare și să încorporeze inteligența artificială profund în operațiuni, guvernanță și fluxuri de lucru ca un partener de încredere, mai degrabă decât un decident opac. În următorii ani, agenții de inteligență artificială vor fi în loc să gestioneze diferite activități ale unei organizații, vor deveni parte a vieții noastre de zi cu zi, dar pentru acestea avem nevoie de a putea să ne încredem în ele, iar acuratețea și transparența sunt aspecte cheie pentru a atinge acest obiectiv. Vă mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe ar trebui să viziteze Digitate.