Lideri de opinie

De la intenție la acțiune autonomă: guvernanța agenților AI în întreprindere

Casey Kindiger
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieGuvernanța trebuie să facă parte din produs, deoarece definește ce responsabilități…
Vezi mai mult
  • Guvernanța trebuie să facă parte din produs, deoarece definește ce responsabilități poate delega în siguranță o organizație.
  • Un plan de control agentic leagă identitatea agentului și capacitățile aprobate de aplicarea politicilor și supravegherea execuției.
  • Organizațiile ar trebui să înceapă cu un flux de lucru restrâns și să extindă autoritatea agentului doar pe măsură ce dovezile operaționale o susțin.

O instrucțiune precum „restabiliți serviciul” pare simplă până când un agent AI trebuie să decidă ce anume îl autorizează să facă. Repornirea unei aplicații, modificarea unei configurații și alocarea infrastructurii pot contribui toate la atingerea acestui obiectiv, dar fiecare are consecințe diferite. Pe măsură ce agenții trec de la recomandarea unor acțiuni la executarea lor, organizațiile au nevoie de o legătură explicită între intenția de afaceri și autoritatea operațională.

Guvernanța trebuie integrată în produs, deoarece stabilește ce responsabilități poate delega cu încredere o organizație. Un agent care poate îndeplini o sarcină în mod fiabil, în limitele convenite și furnizând dovezi ale acțiunilor sale, oferă o bază mai solidă pentru adoptarea în întreprinderi decât unul a cărui autoritate rămâne ambiguă. Provocarea arhitecturală este ca aceste limite să facă parte din modul în care funcționează sistemul.

Aplicarea acestor limite necesită o modalitate consecventă de a guverna acțiunile agenților. Un plan de control al agenților poate oferi această bază, conectând identitatea agentului, capacitățile aprobate, aplicarea politicilor, controalele memoriei și supravegherea execuției în cadrul sistemelor existente ale întreprinderii. Acesta stabilește cine a solicitat o acțiune, ce autoritate o justifică, ce resurse poate afecta și cum va fi verificat rezultatul.

Iată trei recomandări practice pe care le propunem pentru guvernanța agenților AI în întreprindere:

Corelați capacitățile cu autoritatea explicită

Fiecare agent ar trebui să aibă un responsabil identificabil, un scop bine definit și permisiuni adecvate sarcinii sale. Acest lucru este în concordanță cu Cadrul NIST de management al riscurilor legate de AI, care tratează guvernanța ca pe o funcție continuă pe tot parcursul ciclului de viață al AI. În cazul agenților, acest principiu trebuie să se aplice până în momentul în care o acțiune modifică un sistem al întreprinderii. Atunci când un agent deleagă o sarcină altuia, aceste limite ar trebui să rămână intacte.

Identificarea capacităților necesită o disciplină similară: un catalog aprobat ar trebui să descrie scopul, datele de intrare, rezultatele, mediile permise și potențialele efecte secundare ale fiecărui instrument. Descoperirea unui instrument nu conferă permisiunea de a-l executa, așadar autorizarea trebuie verificată în momentul în care se încearcă o acțiune. Recomandările OWASP privind agenția excesivă întăresc această distincție, îndemnând la limitarea funcționalităților și a permisiunilor, precum și la aplicarea autorizării în sistemele din aval.

Să luăm ca exemplu un flux de lucru pentru restabilirea serviciului, în care un agent investighează încetinirea unei aplicații și propune repornirea unei componente. Politica permite accesul la datele de telemetrie aprobate, în timp ce repornirea unui sistem de producție necesită dovezi că redundanța funcționează corespunzător și aprobarea responsabilului serviciului. Aceste condiții transformă o instrucțiune generală într-o decizie operațională bine delimitată.

Transformați intenția operațională în instrumente guvernate

Dacă există un instrument de recuperare aprobat, agentul poate pregăti o solicitare folosind capacitatea respectivă. Dacă nu există un astfel de instrument, agentul poate contribui la crearea unui script, a unui ghid de operare, a unei scheme de date de intrare și a unei descrieri a instrumentului, transformând intenția operațională într-o capacitate propusă, pe care alții o pot analiza. Aceasta este valoarea practică a programării instrumentelor de către agenți: aceștia pot contribui la mecanismele operaționale, nu doar le pot folosi.

Totuși, generarea acestor mecanisme nu ar trebui să le facă automat executabile în mediul de producție. O capacitate propusă are nevoie de un proces independent de lansare, cu responsabilități clare, verificări de securitate, controlul versiunilor și teste care să acopere date de intrare nevalide, un domeniu de aplicare excesiv, eșecuri parțiale și execuții repetate. Testele generate de agenți pot furniza dovezi utile, însă o validare independentă ar trebui să stabilească dacă acea capacitate îndeplinește cerințele operaționale înainte de a fi inclusă în catalogul aprobat.

Limitele de execuție ar trebui apoi să restrângă domeniul resurselor, accesul la rețea, durata și cheltuielile, iar orice aprobare necesară ar trebui asociată acțiunii, țintei și versiunii respective. Măsurile de recuperare merită aceeași atenție, deoarece unele modificări pot fi anulate, în timp ce altele necesită acțiuni compensatorii sau nu pot fi inversate. Fiecare capacitate ar trebui să precizeze clar aceste limitări și să le ofere operatorilor o modalitate testată de a suspenda execuțiile ulterioare.

Memoria introduce o altă responsabilitate de guvernanță, deoarece observațiile păstrate pot influența decizii viitoare mult timp după ce contextul lor inițial s-a schimbat. Organizațiile ar trebui să definească ce informații pot stoca agenții, cât timp rămân acestea disponibile și ce limite de acces se aplică, susținând aceste măsuri prin mecanisme de stabilire a provenienței și de corectare. O permisiune reținută în memorie nu trebuie să devină niciodată o autoritate permanentă, iar cunoștințele operaționale învechite nu ar trebui să influențeze în mod tacit acțiuni noi.

Extindeți autonomia pe baza dovezilor

O supraveghere eficientă depinde de dovezi care leagă solicitarea inițială de politica aplicabilă, aprobare, versiunea instrumentului, rezultatul execuției și verificarea ulterioară. Evaluatorii umani au nevoie de suficient context pentru a analiza modificarea propusă, gradul ei de incertitudine și opțiunile de recuperare, fără a fi copleșiți de detalii inutile. Pentru a susține această supraveghere, escaladarea ar trebui să urmeze condiții definite, precum observații contradictorii sau o stare necunoscută a sistemului, în loc să se bazeze exclusiv pe încrederea pe care și-o exprimă agentul.

Liderii IT ar trebui să înceapă cu un flux de lucru restrâns și să extindă autoritatea pe măsură ce dovezile operaționale o justifică, măsurând atât rezultatele obținute cu succes, cât și excepțiile, timpul de recuperare, încălcările politicilor și efortul de supraveghere. Aceste măsurători ajută la stabilirea gradului în care un agent este pregătit să-și asume mai multe responsabilități și a domeniilor în care sunt necesare măsuri de protecție sau testări suplimentare.

Oportunitatea constă în a face delegarea repetabilă, fiecare capabilitate aprobată stabilind ce poate face un agent, în ce condiții și cu ce răspundere. Această disciplină poate consolida reziliența și eficiența, oferind totodată organizațiilor o bază justificabilă pentru a acorda o autonomie mai mare. Ideea esențială este aceasta: guvernanța își justifică locul în produs făcând posibilă această evoluție.

Casey Kindiger este Fondator și CEO al Droma (fostă Grokstream), o companie de AI pentru întreprinderi care avansează operațiuni predictive și agențiale, și un antreprenor serial care anterior a fondat Resolve Systems. Cu peste 25 de ani de experiență în tehnologia pentru întreprinderi, un deceniu de conducere a echipelor de cercetare aplicată AI/ML și o diplomă de master în Psihologie & Neuroștiința Sănătății Mintale de la King's College London, el aduce o perspectivă distinctivă asupra modului în care cogniția umană poate informa dezvoltarea unor sisteme AI mai capabile și de încredere.