Kindo lancerer Deep Hat Sift for at reducere unødvendige kørsler af AI-agenter

En AI-agent, der gennemgår hver eneste sikkerhedsadvarsel eller logpost, medfører en omkostning, selv når konklusionen er, at der ikke er behov for at gøre noget. Ved store mængder i virksomheder kan disse hændelser, der ikke fører til handling, blive en betydelig arbejdsbyrde i sig selv. Kindo har lanceret Deep Hat Sift, en model, der skal afgøre, hvilke indgående hændelser der kræver en kørsel af en agent, før den større model begynder at behandle dem.

Sift blev annonceret den 28. oktober. Modellen lærer af afgørelserne fra den agent, den understøtter, og filtrerer derefter hændelser fra, som agenten ellers ville afvise. Produktet begynder med at observere frem for at tilbageholde: Alle hændelser når stadig frem til agenten, indtil en person gennemgår den foreslåede filtreringsadfærd og godkender en tærskelværdi.

Denne tilgang indfører en anden mekanisme til omkostningsstyring end at vælge en billigere sprogmodel. I stedet for at sænke prisen på hver undersøgelse forsøger Sift at undgå undersøgelser, der næppe vil kræve handling. Effektiviteten afhænger både af kvaliteten af disse beslutninger og af kontrollerne for, hvad der springes over.

En beslutningsmodel før sprogmodellen

Kindo beskriver Deep Hat Sift som en System 1-beslutningsmodel: en hurtig og billig model, der besvarer et udvælgelsesspørgsmål i stedet for at generere et svar. Hver model knyttes til en bestemt kilde, mål-agent og filtreringsopgave, så dens læring afspejler den arbejdsbyrde, den er beregnet til at håndtere.

Den præcision er vigtig. En hændelse, der er relevant for en sikkerhedsundersøgelse, kan være irrelevant for en arbejdsgang i en servicedesk. Sift lærer, hvilke hændelser mål-agenten afviser, og bruger agentens tilbagemeldte afgørelser som træningssignal. Ifølge Kindo betyder det, at der ikke er behov for et særskilt projekt med menneskelig mærkning for hver datastrøm.

Den indledende implementering kører i skyggetilstand. Sift vurderer indgående hændelser, mens agenten fortsat gennemgår dem alle. Dermed kan systemet sammenligne sine forudsigelser med agentens beslutninger. Før filtreringen begynder, får operatørerne en forhåndsvisning af, hvad der ville være blevet tilbageholdt på baggrund af deres egne data.

En person skal derefter godkende en tærskelværdi og angive en skriftlig begrundelse. Dermed ligger beslutningen om, hvilken filtreringsadfærd der er acceptabel, hos det team, der er ansvarligt for arbejdsgangen, i stedet for at aktiveringen automatisk følger af, at modellen installeres.

Stikprøver og fail-open-kontroller skal håndtere det, der overses

Filtrering skaber et vanskeligt måleproblem: Hvis en hændelse aldrig når frem til agenten, hvordan ved teamet så, om den burde have gjort det? Sift sender fortsat en tilfældig stikprøve af de hændelser, det ellers ville tilbageholde, så agentens afgørelser om stikprøven kan indgå i en løbende måling af andelen af oversete hændelser.

Produktsiden gør sammenligningsgrundlaget tydeligt: Genfindingsgrad og andelen af oversete hændelser måles i forhold til agentens vurderinger. Disse målinger viser, hvor tæt Sift følger agentens beslutninger. De fastslår ikke i sig selv, om agenten korrekt identificerer alle sikkerhedshændelser eller driftsproblemer.

Ifølge Kindo lader Sift hændelser passere, hvis kvaliteten falder, så de igen bliver gennemgået af agenten i stedet for fortsat at blive undertrykt. Virksomheden beskriver også aktivitetsgrænser, der kan sætte systemet tilbage i skyggetilstand under en pludselig stigning i aktiviteten. Filtrerede hændelser og godkendelsesbeslutninger logføres, så teams kan undersøge, hvad der blev tilbageholdt, og hvorfor.

»Det filtrerer intet fra, før en person har godkendt tærskelværdien, og hvis kvaliteten falder, lader det alt passere, så en LLM kan vurdere det,« sagde Troy Presley, ingeniør på Deep Hat Sift hos Kindo, i meddelelsen.

Disse mekanismer synliggør afvejningen i stedet for at fjerne den. Mere forsigtig filtrering kan bevare dækningen, men sparer færre kørsler. Mere aggressiv filtrering kan reducere arbejdsbyrden yderligere, men gør stikprøver, registrering af kvalitetsfald og kvaliteten af den efterfølgende agent vigtigere.

Udviklet til advarsler, sager og løbende logstrømme

Lanceringen retter sig mod arbejdsbyrder med store mængder indgående data, hvor kun en lille andel kræver handling. Kindo nævner SIEM- og endpoint detection-advarsler, sagskøer, indberetninger om phishing, system- og netværkslogfiler samt datastrømme fra platforme som Kafka. Overvågningskilder omfatter Splunk, Datadog og New Relic.

Sift placeres foran agenten i stedet for at erstatte disse kildesystemer. En sikkerhedsplatform fortsætter med at generere registreringer, et sagsstyringssystem fortsætter med at håndtere sin kø, og agenten er fortsat ansvarlig for de sager, der når frem til den. Det nye lag afgør, hvilke hændelser der sætter dette ekstra AI-arbejde i gang.

Det samme mønster kan anvendes i arbejdsgange inden for finans og compliance, hvor transaktions- eller politikstrømme gennemgås. Også her er udvælgelse af hændelser til gennemgang noget andet end at træffe en afgørelse om svindel eller compliance. Mål-agenten og den omgivende forretningsproces er fortsat vigtige dele af resultatet.

Sådan indgår Sift i Kindos platform til administration af agenter

Kindos bredere platform forbinder agenter med virksomhedssystemer inden for sikkerhed, infrastruktur og IT-drift. Den kombinerer udførelse med kontekst, tilladelser og driftsmæssigt tilsyn, så teams har ét sted at administrere arbejdet, efter at en model er blevet valgt.

Virksomhedens website beskriver ejerskab af agenter, adgangspolitikker og fordeling af omkostninger efter agent, ejer og team. Sift tilføjer et kontrolpunkt tidligere i arbejdsgangen: om en hændelse overhovedet skal få en agent til at køre. Det forbinder en teknisk beslutning om filtrering med det operationelle spørgsmål om, hvilke arbejdsbelastninger der genererer inferensomkostninger.

Ifølge lanceringsmeddelelsen er Deep Hat Sift nu tilgængelig lokalt, i en selvadministreret cloud, i Kindos cloud og i miljøer uden forbindelse til eksterne netværk. Scoringen udføres dér, hvor Kindo er installeret, mens modelkald administreres via platformen. Produktet fungerer sammen med Kindo-agenter.

Besparelserne afhænger af hændelsesstrømmen

Kindo har ikke oplyst en generel procentvis besparelse eller et universelt nøjagtighedsbenchmark for Sift. I stedet opfordrer produktsiden teams til at få vist, hvilke af deres egne hændelser der ville blive tilbageholdt. Det er en nyttig skelnen for købere: Det økonomiske resultat afhænger af hændelsesvolumen, omkostningen ved hver undgået kørsel, andelen af handlingsrelevante hændelser og den driftstærskel, teamet accepterer.

For støjfyldte hændelsesstrømme kan det at undgå unødvendige agentkørsler gøre løbende AI-gennemgang mere økonomisk overkommelig. For hændelsesstrømme, hvor en overset hændelse kan få alvorlige konsekvenser, er kontrollerne for sampling og eskalering lige så vigtige som inferensomkostningerne. Deep Hat Sift integrerer disse beslutninger i agentens arbejdsgang, så det centrale spørgsmål skifter fra, hvilken model der skal håndtere en hændelse, til om modellen overhovedet behøver at håndtere den.