Securitate cibernetică
Cato Networks lansează AgentSense pentru a opri acțiunile dăunătoare ale agenților IA înainte de executare

Puncte cheieAgentSense vizează injecția indirectă de prompturi prin urmărirea modului în care…
Vezi mai mult
- AgentSense vizează injecția indirectă de prompturi prin urmărirea modului în care conținutul nesigur direcționează acțiunile unui agent.
- Acreditările valide nu garantează un comportament sigur, deoarece un agent poate fi manipulat să efectueze acțiuni dăunătoare.
- Provocarea de 10.000 de dolari a Cato invită cercetătorii să testeze dacă AgentSense rezistă redirecționării adversariale a fluxului de lucru.
Cato Networks a lansat AgentSense, o funcționalitate de securitate în timpul execuției, concepută pentru a opri acțiunile dăunătoare ale agenților IA înainte ca acestea să fie executate. Dezvoltată de Cato AI Labs, tehnologia urmărește modul în care conținutul nefiabil influențează comportamentul unui agent și abordează un risc pe care permisiunile obișnuite de acces nu îl elimină pe deplin: un agent poate avea acreditări legitime și, totuși, poate fi manipulat să facă ceva greșit.
Cato afirmă că AgentSense este integrat în platforma sa și va fi inclus fără costuri suplimentare în licențele Cato AI Usage. Anunțul prezintă și o provocare de testare adversarială, care oferă câte 10.000 de dolari primilor trei participanți eligibili care reușesc să redirecționeze un flux de lucru protejat către acțiuni rău intenționate.
Permisiunile valide pot duce totuși la o acțiune nesigură
Un agent dintr-o întreprindere poate avea nevoie să citească e-mailuri, să caute în documente, să consulte site-uri web și să apeleze instrumente pentru a îndeplini o sarcină. Fiecare sursă extinde informațiile pe care le poate folosi, dar creează și o posibilitate ca textul din exterior să îi influențeze următorul pas.
Injectarea indirectă de prompturi exploatează această vulnerabilitate. În loc să transmită o instrucțiune direct, în calitate de utilizator autorizat, un atacator o ascunde în materialele întâlnite de agent în timp ce lucrează. Un document, un tichet, o pagină web sau răspunsul unui instrument poate conține text care încearcă să redirecționeze fluxul de lucru, să expună informații sau să declanșeze o acțiune fără legătură cu sarcina.
Este în continuare important să se verifice dacă un agent poate accesa o aplicație. Această verificare răspunde la o întrebare diferită de cea dacă o anumită acțiune servește sarcinii autorizate de utilizator. De exemplu, unui agent i se poate permite să citească înregistrări comerciale fără a fi autorizat să le trimită la o destinație sugerată de un document recuperat.
AgentSense își propune să evalueze acest comportament în timpul execuției, oferind posibilitatea de a interveni înainte ca o acțiune sensibilă să fie efectuată.
Urmărirea influenței conținutului nefiabil în sesiunea IA
Funcționalitatea anunțată Untrusted Influence Detection separă instrucțiunile de încredere de conținutul nefiabil în cadrul unei sesiuni IA și urmărește modul în care acesta din urmă afectează comportamentul și rezultatele. Cato afirmă că blochează o acțiune atunci când detectează că materialul nefiabil îndrumă agentul către un pas nesigur.
Distincția este importantă, deoarece un atac nu trebuie să semene cu un prompt malițios cunoscut. Cato descrie AgentSense ca evaluând influența, în loc să se bazeze pe clasificatoare statice sau pe un catalog de tipare de atac observate anterior. Astfel, funcționalitatea este concepută să abordeze atât formele noi, cât și pe cele cunoscute de injectare indirectă de prompturi.
Comunicatul descrie tehnologia ca fiind brevetată, dar nu oferă un identificator de brevet, detalii despre implementare sau un etalon independent al eficacității. Prin urmare, afirmația că protejează împotriva atacurilor nevăzute anterior trebuie înțeleasă ca descriind capacitatea de securitate pe care produsul urmărește să o ofere, nu ca o garanție că va opri toate tentativele de injectare a prompturilor.
Întrebarea operațională este dacă un nivel de securitate dispune de suficient context despre sesiune și acțiuni pentru a distinge între folosirea unui document ca sursă de informații și tratarea lui ca autoritate. AgentSense vizează direct această distincție.
Detectarea abaterilor este o funcționalitate planificată separată
Cato descrie, de asemenea, AgentSense Drift Detection ca pe o funcționalitate viitoare. Funcționalitatea planificată va evalua dacă acțiunile unui agent continuă să servească sarcinii inițiale pe măsură ce avansează un flux de lucru.
Aceasta completează detectarea influenței, fără a aborda exact aceeași problemă. Untrusted Influence Detection verifică dacă un conținut din exterior îndrumă o acțiune. Drift Detection este concepută să verifice dacă acțiunea continuă să servească obiectivului, chiar dacă pasul respectiv este permis din punct de vedere tehnic.
Un flux de lucru poate acumula treptat pași care nu îi mai servesc scopul. Pentru a detecta această abatere, este necesar să se păstreze, pe parcursul sesiunii, o imagine de ansamblu asupra obiectivului autorizat, în loc să fie evaluat fiecare apel către un instrument în mod izolat. Comunicatul nu precizează o dată separată de disponibilitate pentru Drift Detection.
Cum se integrează AgentSense în platforma de securitate IA existentă a Cato
Oferta Cato de securitate pentru IA agentică descrie deja măsuri de control pentru descoperirea agenților și a serverelor Model Context Protocol, profilarea apelurilor către instrumente și aplicarea politicilor privind interacțiunile agenților. Platforma sa mai largă îmbină contextul de rețea, acces și securitate.
Compania separă, de asemenea, securitatea utilizării IA de către angajați de protecția aplicațiilor. Oferta sa de securitate IA pentru aplicații descrie vizibilitate în timpul execuției, inspectarea prompturilor și a răspunsurilor, precum și măsuri de protecție configurabile pentru aplicațiile IA implementate. Aceasta oferă context pentru accentul pus de AgentSense pe integritatea acțiunilor întreprinse în timpul unui flux de lucru.
În practică, controlul utilizării IA implică mai multe decizii conexe: ce servicii permite o organizație, ce date pot ajunge la acestea și ce poate face un agent cu informațiile pe care le întâlnește. AgentSense adaugă la acest ansamblu o promisiune privind comportamentul: identifică situațiile în care conținutul nefiabil determină chiar acțiunea.
Cercetările privind injectarea prompturilor arată de ce este importantă delimitarea
Cercetarea Cato privind EchoLeak descrie un lanț de atac prin care conținutul furnizat din surse externe putea determina Microsoft 365 Copilot să divulge informații din contextul său. Pentru securitatea agenților, miza este trecerea de la citirea materialelor externe la acționarea pe baza instrucțiunilor încorporate în acestea.
Cercetarea Cato privind CurXecute a analizat un alt rezultat: injectarea prompturilor prin conținut extern putea determina un agent de programare să modifice o configurație MCP și să declanșeze executarea unor comenzi. Potrivit relatării Cato, Cursor a remediat vulnerabilitatea în versiunea 1.3. Exemplul ilustrează un mod de eșec; nu trebuie interpretat ca o afirmație că problema, între timp remediată, este încă nerezolvată.
Ambele cazuri arată de ce proveniența conținutului contează atunci când un asistent poate accesa date sensibile sau instrumente de execuție. O interacțiune care începe ca o căutare de informații se poate transforma într-un incident de securitate atunci când textul recuperat schimbă fluxul de control al procesului.
O provocare publică pentru testarea protecției
AgentSense Challenge invită comunitatea de securitate să introducă instrucțiuni într-un flux de lucru protejat și să încerce să abată agentul de la intenția utilizatorului. Cato spune că rezultatele și feedbackul participanților vor contribui la evaluări și îmbunătățiri ulterioare.
Potrivit anunțului, primii trei participanți eligibili care reușesc vor primi fiecare câte 10.000 USD. Comunicatul furnizat nu include URL-ul final al provocării sau regulile detaliate, astfel că eligibilitatea și limitele testării vor depinde de termenii programului publicați.
Pentru companiile care extind autonomia agenților, AgentSense răspunde unei nevoi concrete: păstrarea legăturii dintre sarcina autorizată de utilizator și acțiunile executate în cele din urmă de un sistem de inteligență artificială. Valoarea tehnologiei va depinde de consecvența cu care poate impune această limită, permițând în același timp continuarea activităților legitime.












