Lideri de opinie

Schimbarea arhitecturală necesară pentru guvernanța agenților AI

Sergio Gago
Adaugă Unite.AI la sursele tale preferate pe Google
A photorealistic widescreen image of a technician viewed from behind, seated at a dark command center with multiple monitors. A large glass wall in front of him displays a complex, glowing architectural blueprint made of blue and green light. The hologram features intricate pathways, interconnected nodes, and two small silhouettes of figures standing together, representing a human and an AI
Puncte cheieTratați agenții ca pe colegi digitali cu insigne de acces și limite de dezvăluire, nu…
Vezi mai mult
  • Tratați agenții ca pe colegi digitali cu insigne de acces și limite de dezvăluire, nu ca pe soluții rapide.
  • Guvernanța prin design necesită un plan de control unificat pentru a aplica politici în mod consecvent în toate mediile.
  • Fără observabilitate și trasabilitate în timp real, întreprinderile nu pot audita acțiunile agenților sau demonstra conformitatea în timpul execuției.

Inteligența artificială nu mai este doar un chatbot care generează text. În medii de întreprindere, agenții AI efectuează acțiuni precum recuperarea de date sensibile, declanșarea de fluxuri de lucru, apelarea de instrumente și înregistrarea de activități în sisteme. Autonomia schimbă complet discuția despre guvernanță; controalele și procedurile inițial concepute pentru utilizatori umani și aplicații tradiționale nu au fost create pentru a guverna software-ul care poate executa acțiuni multietapă în timpul execuției.

Riscul nu este teoretic. Lacunele mici în vizibilitate, controlul accesului și auditabilitate se pot cumula rapid, transformându-se în eșecuri în timpul execuției care sunt dificil de detectat și ale căror efecte sunt și mai greu de anulat.

Pentru a ține pasul cu această nouă eră, guvernarea agenților AI nu poate fi realizată prin adăugarea de documente de politică suplimentare. Aceasta necesită guvernanță integrată din faza de proiectare: o abordare arhitecturală în care controalele sunt încorporate în planul de control și impuse continuu în timpul execuției. Dacă agenții vor acționa ca colegi digitali, aceștia trebuie să moștenească aceleași mecanisme de protecție ale întreprinderii ca și oamenii, plus o supraveghere mai puternică în timpul execuției.

De ce guvernanța eșuează în era convergenței

Arhitectura întreprinderii a intrat într-o eră de convergență. Datele și sarcinile de lucru se întind acum pe multiple clouduri, centre de date private și medii edge.

Există organizații care rulează platformele lor în sisteme paralele, deoarece au multiple procese de gestionat simultan. Acest lucru include sisteme de identitate separate, fluxuri de procesare a jurnalelor, cataloage și procese aprobate. Rezultatul este ceea ce unii numesc o “platformă Frankenstein”, unde efortul suplimentar de integrare crește odată cu fiecare nou instrument sau mediu cloud. De fapt, această fragmentare se manifestă în realitatea de zi cu zi.

Conform unui sondaj recent, 47% dintre respondenți menționează cerințele și procesele complicate de acces, iar 44% menționează vizibilitatea limitată în ceea ce privește locul în care se află datele ca bariere pentru utilizarea eficientă a datelor.

Acesta este exact locul în care agenții expun cusăturile dintre sisteme.

Pentru a răspunde la o întrebare de business, un agent poate trebui să extragă date dintr-un sistem ERP on-premises, un CRM cloud, telemetrie operațională într-un alt cloud și documente într-un pachet de colaborare. Dacă organizația aplică politica diferit în fiecare loc, agentul va eșua sau, mai rău, va reuși în moduri pe care nu le puteți explica sau controla.

Acesta este momentul în care liderii întreprinderilor trebuie să acorde atenție. Agenții ridică standardele, impunând consecvență între medii și responsabilitate în timpul execuției.

Din acest motiv, autoritățile de reglementare și agențiile de securitate aduc guvernanța în prim-plan. Un exemplu în acest sens este Cadrul de gestionare a riscurilor AI NIST, care subliniază gestionarea riscurilor pe tot parcursul ciclului de viață al inteligenței artificiale, nu doar la momentul construirii. Acesta este un memento că atât conformitatea, cât și încrederea sunt responsabilități operaționale, nu liste de verificare completate o singură dată.

De la politică la platformă

Guvernanța integrată din faza de proiectare înseamnă că guvernarea călătorește cu sarcina de lucru, în loc să fie reimplementată în fiecare siloz. În practică, acest lucru depinde de trei elemente de bază:

  • Un plan de control unificat

Un loc în care să definiți și să aplicați identitatea, accesul, politica, cataloagele și drepturile de utilizare pe clouduri și centre de date.

Scopul este să scrieți politici o singură dată și să le aplicați oriunde rulează datele și modelele, mai degrabă decât să reconstruiți sistemele de control sistem cu sistem. Acest lucru previne deriva comportamentului agentului, unde același agent se comportă în siguranță într-un mediu, dar periculos în altul.

Un test practic este simplu: dacă un utilizator nu poate accesa o coloană, verificați că un agent care acționează în numele său nu poate accesa acea coloană. Acest lucru ar trebui să indice dacă politicile scrise sunt aplicate în întregul plan de control.

  • O structură data fabric bazată pe standarde deschise

Agenții au nevoie de context pentru a opera. Când acel context este răspândit pe structuri diferite deținute de echipe diferite, o structură data fabric ajută la standardizarea semanticii și a modelelor de acces, astfel încât agenții să nu trebuiască să învețe un nou set de reguli pentru fiecare set de date.

Formatele de tabel deschise, cum ar fi Apache Iceberg, susțin acest lucru, permițând multiplelor motoare să partajeze aceleași date guvernate fără a copia datele într-un nou siloz. Acest lucru este important, deoarece duplicarea datelor este locul în care guvernarea de obicei eșuează. Odată ce echipele încep să copieze “doar ceea ce are nevoie agentul”, ați creat un mediu nou, mai puțin guvernat.

Dacă agenții pot opera pe seturi de date fără a introduce noi lacune de permisiune, guvernanța funcționează conform intenției.

  • Observabilitate și trasabilitatea datelor în timp real

Agenții sunt guvernabili doar dacă puteți vedea ce fac ei în timpul execuției.

Observabilitatea aici nu este doar un “nice-to-have”, ci este fundamentul pentru controalele în timpul execuției și răspunsul la incidente.

În mod specific, trebuie să existe o dovadă de la capăt la capăt a acțiunilor agenților. Agenții ar trebui să poată dovedi acțiuni, cum ar fi care date au fost accesate și care instrumente au fost apelate, și de acolo, trasabilitatea datelor poate lega ieșirile de intrările din care provin. Acest lucru permite echipelor să auditeze acele decizii și să investigheze și să remedieze defecțiunile, dacă este necesar, demonstrând astfel conformitatea generală.

Tratați agenții ca “colegi digitali”

Unul dintre cele mai utile modele mentale este tratarea agenților ca colegi digitali.

Iată o comparație care explică acest lucru: la fel cum angajații au ecusoane de acces care le permit intrarea în anumite clădiri și încăperi, dar nu și în altele, guvernarea permite agenților să aibă acces cu restricții. O completare cheie este că agenții trebuie să fie conștienți de situație cu privire la ceea ce li se permite să dezvăluie.

Luați în considerare un agent de suport. Acesta poate avea nevoie să acceseze cazuri de suport anterioare pentru a rezolva o problemă, dar nu poate divulga detalii private ale altor clienți în timp ce face acest lucru. Altfel spus, agentul poate utiliza cunoștințe cu acces restricționat pentru raționament, dar totuși trebuie să impună limite de divulgare. Aceasta nu este o problemă de redactare a prompturilor de tipul celor pe care am învățat să le gestionăm în trecut; mai degrabă, este o problemă de identitate și de aplicare în timpul execuției.

Ce se schimbă în 2026: agenții trec de la experimente la producție

2026 este anul în care experimentele se încheie, iar agenții iau locul în producție.

Această tranziție obligă întreprinderile să opereze la două viteze. Una este viteza de inovare, unde echipele testează noi modele, instrumente și fluxuri de lucru ale agenților pentru a obține un avantaj competitiv. Și cealaltă este viteza de securitate, unde sistemele trebuie să îndeplinească cerințele de conformitate și operaționale, care pot include controale de acces stricte și puncte oarbe.

Fără o guvernare arhitecturală stabilită, aceste două viteze vor intra în conflict.

Dacă echipele implementează acești agenți înainte de a fi guvernați, va exista un amalgam de controale punctuale și defecțiuni operaționale. Și dacă se întâmplă contrariul, veți obține un mod de eșec în care securitatea blochează totul, iar inovația se mută în IT-ul din umbră, subminând guvernarea.

Obiectivul nu este să alegeți o viteză. Este să construiți o arhitectură care să susțină ambele.

O listă de verificare practică pentru guvernarea agenților în timpul execuției

  • Dacă construiți sau scalați agenți, este imperativ să vă puneți următoarele întrebări pentru a descoperi dacă guvernarea este cu adevărat arhitecturală: Puteți explica, de la capăt la capăt, ce date a accesat un agent pentru a produce un răspuns sau a efectua o acțiune?
  • Sunt deciziile de acces consistente pe medii hibride, sau diferă de la o platformă la alta?
  • Aveți telemetrie pentru acțiunile agenților, inclusiv apeluri de instrumente, verificări de politică și escaladări către oameni?
  • Puteți limita ritmul de lucru, suspenda sau izola un agent în timpul execuției dacă se comportă neașteptat?
  • Aveți un plan de monitorizare după implementare care se aliniază cu obligațiile dvs. regulatorii și apetitul pentru risc?

Dacă nu puteți răspunde la aceste întrebări, tratați implementarea agentului dumneavoastră ca pe un incident de producție care așteaptă să se întâmple.

Schimbarea de guvernare trebuie să fie arhitecturală, sau nu există

Agenții vor deveni o parte standard a operațiunilor întreprinderilor. Întrebarea este dacă vor deveni o parte de încredere a operațiunilor întreprinderilor.

Dacă agenții nu sunt guvernați cu cel puțin aceeași siguranță ca oamenii și software-ul critic pentru misiune, consecințele vor fi reale. Vom vedea aceste repercusiuni în scurgeri de date, eșecuri de conformitate, întreruperi operaționale și pierderea încrederii în programele de inteligență artificială.

Liderii trebuie să înceteze să trateze guvernarea agenților ca pe un exercițiu de documentare. Pe măsură ce capacitățile platformei se extind, guvernarea agenților ar trebui să fie una dintre acestea care să preia supravegherea altor roluri. Acest lucru înseamnă încorporarea controalelor în planul de control, făcând acțiunile observabile și deciziile auditabile. Și apoi să scalați.

Acesta este modul în care obțineți agenți care se mișcă rapid fără a afecta funcționarea întreprinderii.

Sergio Gago este CTO al Cloudera, aducând peste 20 de ani de experiență în AI/ML, calcul cuantic și arhitecturi bazate pe date. Anterior, a fost Director General al AI/ML și Quantum la Moody's Analytics, iar în trecut a deținut roluri de CTO la Rakuten, Qapacity și Zinio. Sergio este un puternic susținător al infrastructurii de date de încredere, considerând că AI va evolua în sistemul de operare al întreprinderii până în 2030.