Kindo lanserar Deep Hat Sift för att minska onödiga AI-agentkörningar

En AI-agent som läser varje säkerhetslarm eller loggpost medför en kostnad även när den kommer fram till att inget behöver göras. Vid företagsvolymer kan sådana händelselösa undersökningar bli en betydande arbetsbörda i sig. Kindo har lanserat Deep Hat Sift, en modell som är utformad för att avgöra vilka inkommande händelser som motiverar en agentkörning innan den större modellen börjar behandla dem.

Sift presenterades den 28 oktober och lär sig av utlåtandena från agenten som den betjänar. Därefter filtrerar den bort händelser som agenten annars skulle avfärda. Produkten börjar med att observera i stället för att hålla tillbaka händelser: varje händelse når fortfarande agenten tills en person granskar det föreslagna filtreringsbeteendet och godkänner en tröskelnivå.

Metoden innebär en annan mekanism för kostnadskontroll än att välja en billigare språkmodell. I stället för att sänka kostnaden för varje undersökning försöker Sift undvika undersökningar som sannolikt inte kräver någon åtgärd. Hur effektiv modellen är beror både på kvaliteten i dessa beslut och på kontrollerna för vad som hoppas över.

En beslutsmodell före språkmodellen

Kindo beskriver Deep Hat Sift som en beslutsmodell av System 1-typ: en snabb och billig modell som besvarar en urvalsfråga i stället för att generera ett svar. Varje modell tilldelas en specifik källa, målagent och filtreringsuppgift, så att dess inlärning speglar den arbetsbelastning den är avsedd att hantera.

Denna specificitet är viktig. En händelse som är relevant för en säkerhetsundersökning kan vara irrelevant för ett arbetsflöde i en servicedesk. Sift lär sig vilka händelser målagenten avfärdar och använder agentens utlåtanden som träningssignal. Kindo uppger att detta gör att man slipper ett separat projekt för mänsklig märkning av varje dataström.

Den första driftsättningen sker i skuggläge. Sift poängsätter inkommande händelser medan agenten fortsätter att granska dem allihop, vilket gör det möjligt för systemet att jämföra sina förutsägelser med agentens beslut. Innan filtreringen börjar får operatörerna en förhandsvisning av vad som skulle ha hållits tillbaka, baserad på deras egna data.

Därefter måste en person godkänna en tröskelnivå och ange ett skriftligt skäl. På så sätt ligger beslutet om vilket filtreringsbeteende som är acceptabelt hos teamet som ansvarar för arbetsflödet, i stället för att aktiveringen automatiskt följer av att modellen installeras.

Stickprov och kontroller som släpper igenom allt hanterar risken för missade händelser

Filtrering innebär ett svårt mätproblem: om en händelse aldrig når agenten, hur ska teamet då veta om den borde ha gjort det? Sift fortsätter att skicka ett slumpmässigt urval av händelser som den annars skulle ha hållit tillbaka. Agentens utlåtanden om urvalet bidrar därmed till en löpande mätning av andelen missade händelser.

På produktsidan anges tydligt vad jämförelsen utgår från: återkallning och andelen missade händelser mäts mot agentens bedömningar. Måtten visar hur nära Sift ligger agentens beslut. De fastställer inte i sig om agenten själv korrekt identifierar varje säkerhetsincident eller driftsproblem.

Kindo uppger att Sift släpper igenom allt om kvaliteten försämras och skickar då tillbaka händelser för granskning av agenten i stället för att fortsätta undertrycka dem. Företaget beskriver också aktivitetsgränser som kan återföra systemet till skuggläge vid en plötslig ökning. Filtrerade händelser och godkännandebeslut loggas så att teamen kan granska vad som hölls tillbaka och varför.

”Inget filtreras förrän en person godkänner tröskelnivån, och om kvaliteten försämras släpper systemet igenom allt för bedömning av en LLM”, sade Troy Presley, ingenjör för Deep Hat Sift på Kindo, i tillkännagivandet.

De här mekanismerna synliggör avvägningen i stället för att undanröja den. Mer försiktig filtrering kan bevara täckningen, men ger färre sparade körningar. Mer aggressiv filtrering kan minska arbetsmängden mer, men gör stickprov, upptäckt av kvalitetsförsämringar och den efterföljande agentens kvalitet viktigare.

Utformad för larm, ärenden och kontinuerliga loggströmmar

Lanseringen riktar sig till arbetsbelastningar med stora inkommande volymer där endast en liten andel kräver åtgärd. Kindo nämner SIEM-larm och larm från endpointdetektering, ärendeköer, rapporter om nätfiske, system- och nätverksloggar samt strömmar från plattformar som Kafka. Bland övervakningskällorna finns Splunk, Datadog och New Relic.

Sift placeras framför agenten i stället för att ersätta dessa källsystem. En säkerhetsplattform fortsätter att generera identifieringar, ett ärendehanteringssystem fortsätter att hålla sin kö och agenten ansvarar fortfarande för de ärenden som når den. Det nya lagret avgör vilka händelser som ska utlösa det extra AI-arbetet.

Samma upplägg skulle kunna användas i ekonomi- och regelefterlevnadsflöden där transaktions- eller policyströmmar granskas. Även här skiljer sig valet av händelser för granskning från själva bedömningen av om något utgör bedrägeri eller bristande regelefterlevnad. Målagenten och den omgivande affärsprocessen är fortsatt viktiga delar av resultatet.

Så passar Sift in i Kindos plattform för agenthantering

Kindos bredare plattform kopplar samman agenter med företagssystem för säkerhet, infrastruktur och IT-drift. Den kombinerar körning med kontext, behörigheter och operativ tillsyn, så att teamen får en plats där de kan hantera arbetet efter att en modell har valts.

Företagets webbplats beskriver vem som äger agenterna, åtkomstpolicyer och hur kostnader fördelas på agenter, ägare och team. Sift lägger till en kontroll tidigare i arbetsflödet: att avgöra om en händelse över huvud taget ska leda till att en agent körs. Det kopplar samman ett tekniskt filtreringsbeslut med den operativa frågan om vilka arbetsbelastningar som genererar inferenskostnader.

Enligt lanseringsmeddelandet finns Deep Hat Sift nu tillgängligt lokalt, i ett självhanterat moln, i Kindos moln och i isolerade nätverksmiljöer. Poängsättningen körs där Kindo är installerat, medan modellförfrågningar hanteras via plattformen. Produkten fungerar tillsammans med Kindo-agenter.

Besparingarna beror på händelseströmmen

Kindo har inte angett någon generell besparingsprocent eller något universellt riktmärke för noggrannhet för Sift. I stället uppmanar produktsidan teamen att förhandsgranska vilka av deras egna händelser som skulle hållas tillbaka. Det är en viktig skillnad för köpare: det ekonomiska utfallet beror på händelsevolymen, kostnaden för varje körning som undviks, andelen händelser som kräver åtgärd och den operativa tröskel som teamet accepterar.

För brusiga händelseströmmar kan färre onödiga agentkörningar göra kontinuerlig AI-granskning mer överkomlig. För händelseströmmar där en missad händelse kan få allvarliga följder är kontroller för urval och eskalering lika viktiga som inferenskostnaden. Deep Hat Sift för in de besluten i agenternas arbetsflöde, så att den centrala frågan skiftar från vilken modell som ska hantera en händelse till om modellen över huvud taget behöver hantera den.