Kindo lansează Deep Hat Sift pentru a reduce rulările inutile ale agenților AI

Un agent AI care citește fiecare alertă de securitate sau înregistrare din jurnal generează costuri chiar și atunci când concluzionează că nu este nevoie de nicio intervenție. La volumele întâlnite în întreprinderi, aceste investigații fără incidente pot deveni, în sine, un volum substanțial de lucru. Kindo a lansat Deep Hat Sift, un model conceput să decidă care dintre evenimentele primite justifică rularea unui agent, înainte ca modelul mai mare să înceapă să le proceseze.

Anunțat pe 28 octombrie, Sift învață din verdictele agentului pe care îl deservește, apoi filtrează evenimentele pe care agentul le-ar respinge în mod normal. La început, produsul doar observă, fără să rețină evenimente: fiecare eveniment ajunge în continuare la agent până când o persoană examinează comportamentul de filtrare propus și aprobă un prag.

Abordarea introduce un mecanism de control al costurilor diferit de alegerea unui model lingvistic mai ieftin. În loc să reducă prețul fiecărei investigații, Sift urmărește să evite investigațiile care, cel mai probabil, nu vor necesita nicio intervenție. Eficacitatea sa depinde atât de calitatea acestor decizii, cât și de controalele aplicate asupra evenimentelor omise.

Un model de decizie înaintea modelului lingvistic

Kindo descrie Deep Hat Sift drept un model de decizie System One: un model rapid și ieftin, care răspunde unei întrebări de selecție, în loc să genereze un răspuns. Fiecare model este asociat unei anumite surse, unui agent-țintă și unei sarcini de filtrare, astfel încât ceea ce învață să reflecte volumul de lucru pentru care este destinat.

Această specificitate contează. Un eveniment relevant pentru o investigație de securitate poate fi irelevant pentru un flux de lucru al serviciului de asistență. Sift învață ce evenimente respinge agentul-țintă, folosind verdictele returnate de agent drept semnal de antrenare. Potrivit Kindo, astfel nu mai este nevoie de un proiect separat de etichetare manuală pentru fiecare flux.

La început, sistemul funcționează în modul de observare. Sift atribuie scoruri evenimentelor primite, în timp ce agentul continuă să le examineze pe toate, ceea ce permite sistemului să-și compare predicțiile cu deciziile agentului. Înainte de activarea filtrării, operatorii primesc o previzualizare a evenimentelor care ar fi fost reținute, pe baza propriilor date.

Apoi, o persoană trebuie să aprobe un prag și să ofere un motiv în scris. Astfel, decizia privind comportamentul de filtrare acceptabil îi revine echipei responsabile de fluxul de lucru, în loc ca activarea să fie considerată o consecință automată a instalării modelului.

Eșantionarea și mecanismele fail-open ajută la gestionarea evenimentelor omise

Filtrarea introduce o problemă dificilă de măsurare: dacă un eveniment nu ajunge niciodată la agent, cum poate echipa să știe dacă ar fi trebuit să ajungă? Sift continuă să trimită un eșantion aleatoriu de evenimente pe care altfel le-ar reține, permițând ca verdictele agentului asupra acestui eșantion să contribuie la măsurarea continuă a ratei de omitere.

Pagina produsului precizează clar punctul de referință: rata de regăsire și rata de omitere sunt măsurate în raport cu evaluările agentului. Aceste valori arată în ce măsură Sift reproduce deciziile agentului respectiv. Ele nu stabilesc în mod independent dacă agentul însuși identifică în mod corect fiecare incident de securitate sau problemă operațională.

Potrivit Kindo, dacă nivelul de calitate scade, Sift permite trecerea evenimentelor, trimițându-le din nou agentului pentru examinare, în loc să continue să le suprime. Compania descrie și limite de activitate care pot readuce sistemul în modul de observare în timpul unui vârf de activitate. Evenimentele filtrate și deciziile de aprobare sunt înregistrate, astfel încât echipele să poată examina ce a fost reținut și de ce.

„Nu filtrează nimic până când o persoană nu aprobă pragul, iar dacă nivelul de calitate scade, sistemul permite trecerea tuturor evenimentelor și le trimite modelului lingvistic de mari dimensiuni (LLM) pentru evaluare”, a declarat Troy Presley, inginer Deep Hat Sift la Kindo, în anunț.

Aceste mecanisme fac vizibil compromisul, nu îl elimină. O filtrare mai prudentă poate menține gradul de acoperire, dar economisește mai puține rulări. O filtrare mai agresivă poate evita mai multă muncă, însă sporește importanța eșantionării, a detectării degradării și a calității agentului din aval.

Conceput pentru alerte, tichete și fluxuri continue de înregistrări

Lansarea vizează fluxuri de lucru cu volume mari de evenimente primite, dintre care doar o proporție mică necesită intervenție. Kindo menționează alertele SIEM și de detectare a amenințărilor la nivelul terminalelor, cozile de tichete, raportările de phishing, înregistrările de sistem și de rețea, precum și fluxurile de pe platforme precum Kafka. Printre sursele de monitorizare se numără Splunk, Datadog și New Relic.

Sift este plasat înaintea agentului, fără să înlocuiască aceste sisteme-sursă. O platformă de securitate continuă să genereze detecții, un sistem de gestionare a tichetelor continuă să-și păstreze coada, iar agentul rămâne responsabil de cazurile care ajung la el. Noul nivel decide ce evenimente declanșează această muncă suplimentară realizată cu ajutorul AI.

Același model s-ar putea aplica fluxurilor de lucru din domeniul financiar și al conformității, care examinează fluxuri de tranzacții sau de politici. Și aici, selectarea evenimentelor pentru examinare este distinctă de emiterea unei decizii privind detectarea fraudelor sau conformitatea. Agentul-țintă și procesul de afaceri din jurul său rămân componente importante ale rezultatului.

Cum se integrează Sift în platforma de gestionare a agenților Kindo

Mai ampla platformă Kindo conectează agenții la sistemele întreprinderilor pentru securitate, infrastructură și operațiuni IT. Aceasta combină execuția cu contextul, permisiunile și supravegherea operațională, oferind echipelor un loc în care să gestioneze activitatea după selectarea unui model.

Site-ul companiei descrie atribuirea agenților, politicile de acces și alocarea costurilor în funcție de agent, responsabil și echipă. Sift adaugă un punct de control într-o etapă anterioară a acestui flux de lucru: decide dacă un eveniment ar trebui să declanșeze rularea unui agent. Astfel, o decizie tehnică de filtrare este conectată la întrebarea operațională privind sarcinile de lucru care generează costuri de inferență.

Potrivit anunțului de lansare, Deep Hat Sift este disponibil acum pentru instalare locală, în cloud autogestionat, în cloudul Kindo și în medii izolate de rețea. Calcularea scorurilor are loc acolo unde este instalat Kindo, în timp ce apelurile către modele sunt gestionate prin platformă. Produsul funcționează împreună cu agenții Kindo.

Economiile vor depinde de fluxul de evenimente

Kindo nu a furnizat un procent general al economiilor și nici un criteriu universal de evaluare a acurateței pentru Sift. În schimb, pagina produsului le recomandă echipelor să previzualizeze ce evenimente ar fi reținute, folosind propriile fluxuri de evenimente. Această distincție este utilă pentru cumpărători: rezultatul economic depinde de volumul evenimentelor, de costul fiecărei rulări evitate, de proporția evenimentelor care necesită o acțiune și de pragul operațional acceptat de echipă.

În cazul fluxurilor de evenimente cu mult zgomot, evitarea rulărilor inutile ale agenților ar putea face analiza continuă cu ajutorul IA mai accesibilă. Pentru fluxurile în care omiterea unui eveniment poate avea consecințe grave, controalele de eșantionare și escaladare sunt la fel de importante ca factura pentru inferență. Deep Hat Sift integrează aceste decizii în fluxul de lucru al agenților, mutând întrebarea centrală de la ce model ar trebui să gestioneze un eveniment la dacă este nevoie ca acel model să îl gestioneze.