Agenții AI sunt gata să acționeze. Majoritatea companiilor nu sunt pregătite să le permită.

Pentru cea mai mare parte a erei AI generative, ne-am concentrat pe ceea ce spun modelele și pe ceea ce le introducem. Inspectăm solicitările, filtrăm răspunsurile, supunem modelele la teste de tip red‑team și construim controale în jurul intrărilor și ieșirilor. Aceste protecții sunt încă importante, dar au fost concepute pentru o lume în care AI genera în principal ceva pentru a fi consumat de un om.

Agenții schimbă această ecuație. Nu doar consumă sau generează informații. Acționează.

Un agent poate executa instrumente, invoca sub‑agenți, colabora cu alți agenți, apela API‑uri, accesa date, folosi acreditări, apela servere MCP, genera și executa cod și poate lua o serie de decizii în mod autonom în urmărirea unui obiectiv. O urmărire neîncetată. Odată ce se întâmplă acest lucru, întrebarea centrală nu mai este pur și simplu dacă modelul a produs un răspuns sigur. Este dacă acțiunile pe care le ia sunt sigure pentru execuție.

Divulgările recente de la OpenAI fac ca această distincție să devină din ce în ce mai importantă. OpenAI a început raportând sistematic comportamente neașteptate sau îngrijorătoare ale modelului, în timp ce munca sa mai amplă de siguranță abordează din ce în ce mai mult riscurile care apar pe măsură ce modelele dobândesc o autonomie mai mare și acces la instrumente.

Lecția nu este că agenții sunt în mod inerent nesiguri. Este că limita de securitate s-a mutat.

Sistemele agențiale necesită un model operațional diferit

AI-ul agențial nu este pur și simplu o altă arhitectură de aplicație. Software‑ul în sine determină din ce în ce mai mult modul în care munca este realizată.

Un agent poate întâlni un obstacol, poate interpreta ce s‑a întâmplat și poate alege o altă cale. Poate combina instrumente în moduri care nu au fost proiectate explicit în prealabil. Poate genera cod și poate executa acel cod ca parte a aceluiași flux de lucru. Secvența de acțiuni se poate schimba de fiecare dată când agentul rulează.

În același timp, populația care creează acest software se extinde dramatic. Așa cum am scris despre ascensiunea dezvoltatorului cetățean, AI transformă oamenii care nu s‑au considerat niciodată dezvoltatori în creatori de software. Un marketer, un analist financiar sau un lider de operațiuni poate acum să descrie ce își dorește și să creeze un agent capabil să interacționeze cu sistemele de afaceri reale.

Aceasta reprezintă o extindere extraordinară a celor care pot construi software și a ceea ce acel software poate face. De asemenea, înseamnă că organizațiile vor avea mult mai mult software autonom care operează în multe mai multe părți ale afacerii.

Răspunsul nu poate fi pur și simplu să aplicăm controalele de ieri în acest nou mediu. Dacă întreprinderile nu pot opera în siguranță aceste sisteme, alternativa va fi să le restricționeze și, în final, să încetinească câștigurile de productivitate pe care încearcă să le obțină.

Controlul trebuie să existe acolo unde agenții acționează

Pe măsură ce AI devine mai autonom, provocarea se mută de la controlul a ceea ce intră într-un model la controlul a ceea ce se întâmplă când deciziile sale devin acțiuni.

Un agent poate începe cu un utilizator aprobat, o solicitare acceptabilă, acreditări legitime și acces autorizat la un instrument. Niciunul dintre aceste elemente nu garantează că fiecare acțiune ulterioară ar trebui să fie executată.

Aici devine critic timpul de execuție. Organizațiile trebuie să înțeleagă nu doar cine este agentul, ci să pună întrebări despre ce face în prezent:

• Ce instrumente invocă,
• Ce resurse accesează, ce cod încearcă să execute, 
• Ce sub‑agenți și alte comunicații ale agenților au loc,
• Ce s‑a întâmplat imediat înainte de acea acțiune și dacă comportamentul său rămâne în limitele acceptabile,
• Ce face agentul în fundal în timpul execuției.

Și când nu o face, sistemul are nevoie de capacitatea de a interveni în timp real înainte de execuție.

Aceasta este o distincție importantă. Observabilitatea îți spune ce s‑a întâmplat. Controlul în timp de execuție îți oferă capacitatea de a conține stratul de execuție al agentului.

Acest lucru devine deosebit de important deoarece comportamentul agențial este atât nedeterminist, cât și multidimensional.. O acțiune blocată va determina un agent să încerce o altă abordare pentru obiectivul său. Un apel de instrument aparent inofensiv poate deveni riscant din cauza a ceea ce l‑a precedat. Simplă observare sau „detectarea și răspunsul” este prea târziu în joc pentru a controla efectiv accesul și execuția agentului.  

Timpul de execuție trebuie să fie în linie și sincron pentru a putea ține pasul cu viteza AI.  Provocarea fundamentală în adoptarea unor astfel de abordări se bazează pe gândirea din era pre‑AI, care se bazează pe o metodologie de analiză și detectare mai îndelungată.  Aceste principii nu mai se aplică în lumea de astăzi..

Securitatea în timp de execuție necesită context, nu doar controale

Există o tendință de a răspunde la riscurile emergente ale IA prin reducerea autonomiei: acordarea agenților a unui număr mai mic de permisiuni, solicitarea aprobării umane mai frecvent sau restricționarea mediilor în care aceștia operează. Aceste controale vor fi uneori adecvate, în special pentru acțiuni cu risc ridicat.

Însă nu pot fi modelul de operare pe termen lung.

Dacă un om trebuie să aprobe fiecare decizie semnificativă, am eliminat mare parte din valoarea unui agent autonom. Prin dependența de interacțiuni stricte de tipul om‑în‑circuit, am transformat unele dintre cele mai talentate persoane în „apăsători de butoane”. Acest lucru are un impact direct asupra capacității de a înțelege domeniul și interdependențele bazei de cod pe care organizațiile agentice o rulează.

Promisiunea economică a IA agentice provine tocmai din permiterea software‑ului să finalizeze lucrări semnificative în mod independent și continuu – 24/7. Prin urmare, obiectivul nu ar trebui să fie eliminarea autonomiei, ci să facem autonomia mai mare sigură pentru operare.

Aceasta necesită controale independente în afara procesului de raționament al agentului. Cercetarea Anthropic asupra nealinierii agentice, desfășurată în simulări construite deliberat, ilustrează de ce este importantă. Pe măsură ce sistemele devin mai autonome, comportamentul lor poate diverge de așteptările operatorilor, chiar și atunci când obiectivul inițial pare clar.

Implicația practică este simplă: organizațiile nu se pot baza exclusiv pe înțelegerea a ceea ce i s‑a cerut unui agent. Trebuie să înțeleagă și să controleze ceea ce acesta face efectiv.

Agentul nu mai este partea dificilă

Industria a investit o energie enormă în creșterea capacităților agenților. Ne apropiem rapid de punctul în care capacitatea nu mai reprezintă principalul obstacol pentru adoptarea la nivel de întreprindere.

Constrângerea este controlul.

Pe măsură ce agenții devin mai autonomi, consecințele acțiunilor lor cresc – iar controalele concepute pentru software predictibil devin mai puțin eficiente. Întreprinderile au nevoie de vizibilitate continuă asupra a ceea ce fac agenții, de context pentru a înțelege de ce aceste acțiuni contează și de capacitatea de a interveni fără a plasa un om în mijlocul fiecărei decizii.

Acest lucru schimbă ceea ce înseamnă operarea software‑ului.

• Dezvoltatorii trebuie să înțeleagă cum se comportă efectiv agenții, nu doar cum au fost proiectați să se comporte.
• Echipele de platformă și securitate trebuie să stabilească limite care să rămână aplicabile pe măsură ce agenții acționează în diverse sisteme și instrumente.
• Conducătorii de afaceri trebuie să aibă încredere că o autonomie sporită nu înseamnă renunțarea la control.

Aceasta este fundamental diferită de securizarea unei alte aplicații sau de guvernarea unui alt model. Introducem actori autonomi în mediile de întreprindere: sisteme care pot raționa, pot lua decizii și pot acționa. Dacă organizațiile nu pot vedea și controla acele acțiuni pe măsură ce se întâmplă, vor fi nevoite în cele din urmă să restricționeze ce pot face agenții, limitând astfel mare parte din valoarea pe care autonomia trebuia să o creeze.

Răspunsul nu este să presupunem că putem preveni fiecare decizie greșită. Pe măsură ce sistemele devin mai autonome și nedeterministe, devine din ce în ce mai dificil să garantăm acest lucru.

Scopul este să ne asigurăm că o acțiune greșită sau distructivă nu duce la un rezultat advers.

Acest lucru necesită un nou strat operațional în jurul agenților: unul care să poată observa comportamentul în mod continuu, să înțeleagă acțiunile în context, să aplice limite pe întregul stack de execuție agentic și să intervină înainte ca o acțiune neintenționată sau inacceptabilă să devină un rezultat ireversibil.

Faza următoare a IA în întreprindere nu va fi definită doar de cât de capabili devin agenții. Va fi definită de câtă autonomie pot organizațiile să le ofere în siguranță.