Rowan Stewart, Director Senior de Produs, Siguranța și Platforma IA la Transcend – Seria de Interviuri

Rowan Stewart, Director Senior de Produs, Siguranța și Platforma IA la Transcend, conduce inițiative de produs axate pe ajutarea organizațiilor să descopere, să guverneze și să utilizeze în siguranță datele în sistemele de inteligență artificială. Ea aduce peste un deceniu de experiență care acoperă dezvoltarea de produse de inteligență artificială și învățare automată, software pentru întreprinderi, procesare a limbajului natural, strategie de date și conducerea de produse de la zero la unu. Înainte de a se alătura Transcend, Stewart a petrecut aproape șase ani la BCG X, unde a ajutat mari întreprinderi să dezvolte strategii de inteligență artificială, să reinventeze procesele interne și să creeze produse menite să ofere rezultate comerciale măsurabile. Mai devreme în cariera sa, ea a gestionat dezvoltarea de API-uri de procesare a limbajului natural pentru inteligența influențatorilor, inclusiv analiza sentimentului, grafuri de cunoaștere, evaluarea personalității, detectarea bot-urilor și capacități de siguranță a brand-ului.

Transcend este singura platformă autonomă de decizie a datelor care răspunde la întrebarea “pot folosi aceste date?” pentru a scala creșterea clienților. Companiile din Fortune 500 și liderii categoriilor emergente folosesc Transcend pentru a încorpora permisiunile complete de utilizare a datelor direct în sistemele de întreprindere care procesează datele clienților, oferind o sursă de adevăr în timp real pentru consimțământ, preferințe și reguli de afaceri. Rezultatul este o calitate superioară a datelor, utilizare etică care protejează brand-ul și conformitate auditabilă la scară. Cu Transcend, companiile pot debloca venituri din inteligență artificială, personalizare și alte inițiative de date de primă parte cu încredere. Fondată în 2017 de Ben Brook (CEO) și Mike Farrell (CTO), Transcend are sediul în zona Golfului San Francisco.

Ați petrecut aproape șase ani la BCG X, ajutând unele dintre cele mai mari organizații din lume să implementeze soluții de inteligență artificială și învățare automată, înainte de a vă muta în siguranța și guvernanța IA la Transcend. Care au fost eșecurile recurente de guvernanță sau punctele oarbe pe care le-ați observat și care v-au convins că guvernanța IA ar trebui să fie construită în sisteme de la început, în loc de a fi adăugată mai târziu?

La BCG, am lucrat cu companii din toate etapele de maturitate a IA, și un model mi-a rămas în minte: guvernanța a apărut întotdeauna târziu. Echipele se mișcă repede pentru a lansa un model sau un produs, și discuția despre permisiunile de date, consimțământ sau supraveghere devine cu adevărat relevantă chiar înainte de producție și se simte ca o “capcană”. Orice se construiește la acel punct devine un patch pe un sistem care nu a fost proiectat cu guvernanță în minte.

Asta e parte din motivul pentru care am fost atât de entuziasmat să mă alătur Transcend. A consilia companiile cu privire la ceea ce ar trebui să facă nu merge suficient de departe. Am vrut să ajut la construirea infrastructurii care face ca guvernanța să fie alegerea ușoară.

Multi organizații se grăbesc să implementeze agenți IA în sprijinul clienților, operațiuni și muncă de cunoaștere. Cum diferă guvernanța agenților IA autonomi de guvernanța sistemelor de software tradiționale sau a generațiilor anterioare de modele IA?

Majoritatea arhitecturilor de securitate a întreprinderilor presupun că există un om la capătul fiecărei acțiuni, și că acel om poate fi identificat, încredințat și, atunci când ceva merge prost, ținut responsabil. Dar agenții nu sunt oameni. Ei acționează singuri, deleagă sarcini altor agenți și lansează decizii împreună în moduri care rareori se pot mapă la o singură persoană responsabilă.

A da unui agent aceleași permisiuni statice pe care le-ați da unui angajat creează un decalaj pentru că agenții lipsesc de simțul comun. Guvernanța trebuie să evalueze acțiunea specifică pe care un agent urmează să o ia, în acel moment, cu acele date specifice. Majoritatea companiilor rulează încă playbook-ul de gestionare a identității și accesului pe care l-au construit pentru oameni, și multe dintre ele vor descoperi decalajul odată ce implementarea agenților va depăși guvernanța construită pentru a o gestiona.

Ați lucrat de-a lungul mai multor valuri de inovație IA, de la produse NLP și platforme de inteligență a influențatorilor la inițiative de transformare a IA pentru întreprinderi. Cum a evoluat conversația despre siguranța IA în ultimul deceniu, și ce vă îngrijorează cel mai mult în continuare?

Compararea IA de astăzi (și a celei de mâine!) cu generațiile anterioare este fascinantă, deoarece este un spațiu care se mișcă incredibil de repede. Cele mai importante evoluții din ultimul an sau doi au fost, desigur, apariția agenților și importanța managementului memoriei de lungă durată (OpenClaw, cineva?). Acești agenți pot face atât de multe mai mult și la o calitate atât de ridicată, ceea ce îi face și mai valoroși, și, desigur, și mai riscanți.

Pe măsură ce sistemele IA iau decizii utilizând datele clienților și ale întreprinderilor, care sunt cele mai mari concepții greșite pe care le au companiile despre consimțământ, permisiuni și guvernanța datelor în medii conduse de IA?

Concepția greșită cea mai comună este tratarea consimțământului ca ceva ce se capturează o singură dată și se depozitează. Un client agreează un set de termeni la înregistrare, și companiile presupun că acordul ține indefinit, indiferent cum se mișcă datele ulterior sau care sisteme noi le hrănesc. Consimțământul trebuie să călătorească cu datele. Dacă cineva actualizează preferințele sale, sau o nouă reglementare schimbă ceea ce este permis, acea schimbare trebuie să apară peste tot unde trăiesc datele, nu doar în sistemul în care consimțământul a fost colectat inițial.

A doua concepție greșită este tratarea permisiunilor ca un detaliu tehnic pe care IT sau departamentul juridic îl gestionează în mod discret în fundal. Odată ce sistemele IA încep să ia decizii bazate pe acele date, permisiunile devin o întrebare de produs și de afaceri, și orice lacune în permisiuni sunt moștenite direct de orice inițiativă IA care stă deasupra.

De ce abordările bazate pe politici statice și revizuiri periodice de conformitate nu reușesc într-o eră în care sistemele IA pot învăța, adapta și interacționa continuu cu alți agenți?

O politică statică capturează ceea ce arăta un sistem și ce era considerat acceptabil în momentul în care cineva a scris-o. IA nu stă pe loc suficient de mult pentru ca acea imagine să rămână exactă. Modelul pentru care a fost scrisă politica poate să nu mai fie modelul pe care îl rulează șase luni mai târziu, și o revizuire trimestrială sau anuală de conformitate nu poate ține pasul cu un sistem care ia decizii și se adaptează tot timpul.

Guvernanța unui lucru care se mișcă atât de repede necesită politici care se mișcă la aceeași viteză. Acest lucru înseamnă impunerea guvernanței în punctul în care datele sunt efectiv utilizate, în timp real, și nu doar verificarea lor după fapt împotriva unui document care era deja învechit în ziua în care a fost publicat.

Ce înseamnă guvernanță eficientă atunci când organizațiile încep să implementeze rețele de agenți IA care colaborează unii cu alții și accesează multiple sisteme interne?

Aici limitele arhitecturii tradiționale de control al accesului devin evidente. Un agent poate fi autorizat să citească un înregistrare, să apeleze un instrument și să transmită rezultate altui agent, și fiecare dintre aceste pași poate părea rezonabil în sine. Acțiunea compusă (lucrul care a fost de fapt făcut odată ce acești pași au fost legați împreună) este adesea ceva pe care niciun om nu l-a aprobat explicit. Controlul tradițional al accesului poate confirma dacă un agent a avut permisiunea de a atinge un sistem, deși are puțin de spus despre faptul dacă datele pe care le-a atins au fost colectate sub un consimțământ care acoperă această utilizare particulară, sau dacă lanțul de acțiuni care a rezultat a fost vreodată ceva pe care o persoană a aprobat-o cu adevărat.

Transcend se axează pe încorporarea permisiunilor de utilizare a datelor direct în fluxurile de lucru ale întreprinderilor. Cât de importantă este infrastructura de guvernanță în timp real pe măsură ce organizațiile trec de la experimentarea IA la implementarea la scară de producție?

În timpul testării, o echipă poate adesea face față cu revizuiri manuale și audituri periodice, pentru că mizele sunt mici. În producție, în special cu IA agenților, acest lucru se rupe pentru că scala este pur și simplu masivă. Sistemul actual de liste de verificare și ședințe este un pierzător-pierzător. Echipele de conformitate și securitate primesc practic o promisiune cu degetul mic și fără impunere continuă, în timp ce echipa de produs este acum angajată în revizuiri manuale incomode care oferă puțină valoare reală utilizatorului final. Acesta este momentul în care infrastructura în timp real devine singura abordare care funcționează. Impunerea permisiunilor în momentul în care datele se mișcă sau o decizie este luată, în loc de a reconstitui ce s-a întâmplat după ce ceva a mers prost, este ceea ce face guvernanța semnificativă pentru conformitate și valoroasă pentru utilizatori.

În opinia dvs., care sunt cele mai semnificative riscuri asociate cu IA agenților în următorii trei până la cinci ani, și care dintre aceste riscuri sunt subestimate în prezent de către liderii de afaceri?

Cred că modelul de a avea agenți care moștenesc permisiunile unui utilizator este mai riscant decât ne dăm seama. Oamenii au judecată, dar un IA va urma instrucțiunile dvs. direct până la marginea prăpastiei.

Cum ar trebui echipele de produs să echilibreze presiunea de a lansa rapid funcții IA cu nevoia de a stabili cadre de guvernanță, transparență și responsabilitate?

Cred că un lucru concret este repararea a ceea ce numesc “Taxa de Slop”.

Ne-am recalibrat rapid răspunsurile pentru a discredita valabilitatea și valoarea ieșirilor IA. De aceea, toată lumea ne sfătuiește să înlăturăm liniile de pauză (chiar dacă sunt adecvate) și de ce un site care utilizează paleta de culori standard Claude pare ieftin (chiar dacă arată bine) și de ce informațiile furnizate de IA sunt tratate ca suspecte (chiar dacă sunt adevărate). Acest lucru afectează puternic valoarea percepută a produsului dvs.

Repararea Taxei de Slop este de fapt o guvernanță și o transparență mai bună. De exemplu, am lansat recent o funcție numită Utilizarea IA de către furnizori, care extrage informații disponibile public despre funcțiile IA și postura de guvernanță a companiilor de top, pentru a ajuta echipele de implementare IA, securitate și achiziții să-și facă treaba mai rapid. Am descoperit că utilizarea unui cadru de orchestrare multi-agent, împreună cu colectarea și prezentarea de dovezi cu legături de sursă și citate pentru constatările noastre, a dus la o îmbunătățire masivă a calității rezultatelor noastre. Această practică de colectare a dovezilor și de verificare a agenților este un câștig-câștig, deoarece rezultatele reale pentru utilizator sunt mai bune, și conformitatea este mai robustă.

Privind înainte, credeți că guvernanța IA va deveni în cele din urmă un avantaj competitiv, și nu doar o cerință de conformitate, și ce va diferenția organizațiile care o fac corect de cele care rămân în urmă?

Da, și se întoarce la același model pe care l-am observat la BCG. Companiile care au tratat guvernanța ca pe ceva de adăugat odată ce un produs era deja pe piață au fost întotdeauna prinse la ultima verificare înainte de a scala, și au tendința de a rămâne în “Purgatoriul de pilot”. Companiile care construiesc guvernanța în sistem de la început pot să se miște cu o anumită încredere pe care grupul celălalt nu o are, pentru că nu se întreabă mereu ce vor găsi atunci când vor examina îndeaproape modul în care IA lor utilizează realmente datele.

Acest decalaj va crește doar pe măsură ce implementarea agenților se va accelera. Organizațiile care se grăbesc să implementeze agenți fără a reevalua modul în care acești agenți sunt autorizați sunt cele mai susceptibile de a întâmpina probleme, și până când o vor face, companiile care au infrastructura corectă vor already be operating at a speed the latecomers can’t easily match. Governance stops being a compliance line item once it’s the thing that lets you deploy AI faster and with more confidence than everyone still doing it manually. Thank you for the great interview, readers who wish to learn more should visit Transcend.