Kindo lanserer Deep Hat Sift for å redusere unødvendige kjøringer av KI-agenter

En KI-agent som leser hvert sikkerhetsvarsel eller hver loggoppføring, påfører kostnader selv når den konkluderer med at ingenting må gjøres. Ved volumer på virksomhetsnivå kan slike udramatiske undersøkelser bli en betydelig arbeidsmengde i seg selv. Kindo har lansert Deep Hat Sift, en modell som skal avgjøre hvilke innkommende hendelser som krever en agentkjøring, før den større modellen begynner å behandle dem.

Sift ble kunngjort 28. oktober. Modellen lærer av vurderingene fra agenten den betjener, og filtrerer deretter bort hendelser som agenten ellers ville ha avvist. Produktet begynner med å observere i stedet for å holde tilbake hendelser: Alle hendelser når fortsatt agenten inntil en person gjennomgår den foreslåtte filtreringsatferden og godkjenner en terskelverdi.

Tilnærmingen introduserer en annen mekanisme for kostnadskontroll enn å velge en rimeligere språkmodell. I stedet for å redusere prisen på hver undersøkelse forsøker Sift å unngå undersøkelser som sannsynligvis ikke krever handling. Hvor effektiv modellen er, avhenger både av kvaliteten på beslutningene og av kontrollene rundt det som hoppes over.

En beslutningsmodell før språkmodellen

Kindo beskriver Deep Hat Sift som en System One-beslutningsmodell: en rask og rimelig modell som besvarer et spørsmål om utvelgelse, i stedet for å generere et svar. Hver modell knyttes til en bestemt kilde, mål-agent og filtreringsoppgave, slik at læringen gjenspeiler arbeidsmengden den er ment å håndtere.

Denne spesifisiteten er viktig. En hendelse som er relevant for en sikkerhetsundersøkelse, kan være irrelevant for en arbeidsflyt for brukerstøtte. Sift lærer hvilke hendelser mål-agenten avviser, ved å bruke agentens tilbakemeldte vurderinger som treningssignal. Kindo sier at dette gjør det unødvendig å gjennomføre et eget prosjekt for menneskelig merking for hver datastrøm.

Den første utrullingen skjer i skyggemodus. Sift gir innkommende hendelser poengsummer mens agenten fortsatt undersøker dem alle, slik at systemet kan sammenligne sine forutsigelser med agentens beslutninger. Før filtreringen begynner, får operatørene en forhåndsvisning av hva som ville blitt holdt tilbake, basert på deres egne data.

Deretter må en person godkjenne en terskelverdi og oppgi en skriftlig begrunnelse. Dermed legges beslutningen om hvilken filtreringsatferd som er akseptabel, hos teamet som har ansvaret for arbeidsflyten, i stedet for at aktivering behandles som en automatisk følge av å installere modellen.

Stikkprøver og sikkerhetsmekanismer for gjennomslipp håndterer det som går tapt

Filtrering skaper et krevende måleproblem: Hvis en hendelse aldri når agenten, hvordan kan teamet vite om den burde ha gjort det? Sift fortsetter å sende et tilfeldig utvalg av hendelsene modellen ellers ville ha holdt tilbake. Agentens vurderinger av dette utvalget brukes til løpende måling av hvor ofte modellen overser relevante hendelser.

Produktsiden gjør referansepunktet tydelig: Gjenfinningsgrad og andel oversette hendelser måles opp mot agentens vurderinger. Disse måltallene viser hvor godt Sift gjenskaper agentens beslutninger. De fastslår ikke uavhengig av dette om agenten selv identifiserer hver sikkerhetshendelse eller hvert driftsproblem korrekt.

Kindo sier at Sift går over til å slippe gjennom hendelser dersom kvaliteten svekkes, slik at de igjen sendes til agenten for vurdering i stedet for å fortsette å bli undertrykt. Selskapet beskriver også aktivitetsgrenser som kan sette systemet tilbake i skyggemodus ved en plutselig økning. Filtrerte hendelser og godkjenningsbeslutninger loggføres, slik at teamene kan undersøke hva som ble holdt tilbake, og hvorfor.

«Den filtrerer ingenting før en person godkjenner terskelverdien, og hvis kvaliteten svekkes, slipper den gjennom alt slik at en språkmodell kan vurdere det», sa Troy Presley, ingeniør for Deep Hat Sift hos Kindo, i kunngjøringen.

Disse mekanismene synliggjør avveiningen i stedet for å fjerne den. Mer forsiktig filtrering kan bevare dekningen, men sparer færre kjøringer. Mer aggressiv filtrering kan redusere arbeidsmengden mer, men gjør stikkprøver, oppdagelse av kvalitetsfall og kvaliteten på den etterfølgende agenten desto viktigere.

Utformet for varsler, saker og kontinuerlige loggstrømmer

Lanseringen retter seg mot arbeidsmengder med høyt volum av innkommende data, der andelen som krever handling, er lav. Kindo nevner SIEM-varsler og varsler fra endepunktdeteksjon, sakskøer, innsendte rapporter om nettfisking, system- og nettverkslogger samt datastrømmer fra plattformer som Kafka. Overvåkingskildene omfatter Splunk, Datadog og New Relic.

Sift ligger foran agenten i arbeidsflyten i stedet for å erstatte disse kildesystemene. En sikkerhetsplattform fortsetter å generere deteksjoner, et saksbehandlingssystem fortsetter å håndtere køen sin, og agenten har fortsatt ansvar for sakene som når den. Det nye laget avgjør hvilke hendelser som setter i gang dette ekstra KI-arbeidet.

Det samme mønsteret kan brukes i arbeidsflyter innen finans og etterlevelse, der transaksjons- eller policystrømmer gjennomgås. Også her er utvelgelse av hendelser for gjennomgang noe annet enn å treffe en avgjørelse om svindel eller etterlevelse. Mål-agenten og den omkringliggende forretningsprosessen er fortsatt viktige deler av resultatet.

Slik passer Sift inn i Kindos plattform for agentadministrasjon

Kindos bredere plattform kobler agenter til virksomhetssystemer for sikkerhet, infrastruktur og IT-drift. Den kombinerer kjøring med kontekst, tillatelser og driftsmessig tilsyn, slik at teamene får et sted der de kan administrere arbeidet etter at en modell er valgt.

På selskapets nettsted beskrives eierskap til agenter, tilgangsregler og kostnadsfordeling etter agent, eier og team. Sift legger til en kontroll tidligere i arbeidsflyten: om en hendelse i det hele tatt skal utløse kjøring av en agent. Dermed knyttes en teknisk filtreringsbeslutning til det operative spørsmålet om hvilke arbeidsbelastninger som genererer inferenskostnader.

Ifølge lanseringskunngjøringen er Deep Hat Sift nå tilgjengelig lokalt, i en selvadministrert sky, i Kindos sky og i miljøer uten nettverkstilkobling. Poengberegningen skjer der Kindo er installert, mens modellkall håndteres via plattformen. Produktet fungerer sammen med Kindo-agenter.

Besparelsene avhenger av datastrømmen

Kindo har ikke oppgitt noen generell prosentvis besparelse eller en universell nøyaktighetsreferanse for Sift. I stedet ber produktsiden team om å forhåndsvise hvilke av deres egne hendelser som ville blitt holdt tilbake. Dette er et nyttig skille for kjøpere: Det økonomiske resultatet avhenger av hendelsesvolumet, kostnaden for hver kjøring som unngås, andelen hendelser som krever handling, og hvilken driftsterskel teamet godtar.

For støyende datastrømmer kan det å unngå unødvendige agentkjøringer gjøre kontinuerlig AI-gjennomgang rimeligere. For datastrømmer der en oversett hendelse kan få alvorlige konsekvenser, er kontrollene for utvalg og eskalering like viktige som inferenskostnadene. Deep Hat Sift integrerer disse beslutningene i agentens arbeidsflyt, slik at hovedspørsmålet går fra hvilken modell som skal håndtere en hendelse, til om modellen i det hele tatt trenger å håndtere den.