Kindo lanceert Deep Hat Sift om onnodige AI-agentruns te beperken

Een AI-agent die elke beveiligingswaarschuwing of logregel leest, brengt kosten met zich mee, zelfs als hij concludeert dat er niets hoeft te gebeuren. Bij volumes op ondernemingsschaal kunnen zulke onderzoeken zonder vervolgwerk zelf een aanzienlijke werklast vormen. Kindo heeft Deep Hat Sift gelanceerd, een model dat bepaalt welke binnenkomende gebeurtenissen een agentrun rechtvaardigen voordat het grotere model ze gaat verwerken.

Sift werd op 28 oktober aangekondigd. Het leert van de oordelen van de agent waarvoor het werkt en filtert vervolgens gebeurtenissen die de agent anders zou afwijzen. Aanvankelijk observeert het product alleen: elke gebeurtenis wordt nog steeds aan de agent doorgegeven totdat iemand het voorgestelde filtergedrag beoordeelt en een drempelwaarde goedkeurt.

Deze aanpak biedt een ander mechanisme voor kostenbeheersing dan het kiezen van een goedkoper taalmodel. In plaats van de kosten per onderzoek te verlagen, probeert Sift onderzoeken te voorkomen waarvoor waarschijnlijk geen actie nodig is. De effectiviteit hangt zowel af van de kwaliteit van die beslissingen als van de maatregelen rond wat wordt overgeslagen.

Een beslismodel vóór het taalmodel

Kindo omschrijft Deep Hat Sift als een System One-beslismodel: een snel, goedkoop model dat een selectievraag beantwoordt in plaats van een reactie te genereren. Elk model wordt toegewezen aan een specifieke bron, doelagent en filtertaak, zodat het leert van de werklast waarvoor het bedoeld is.

Die specifieke afstemming is belangrijk. Een gebeurtenis die relevant is voor een beveiligingsonderzoek, kan irrelevant zijn voor een servicedeskproces. Sift leert welke gebeurtenissen de doelagent afwijst en gebruikt de teruggegeven oordelen van de agent als trainingssignaal. Volgens Kindo is daardoor voor elke gegevensstroom geen afzonderlijk project nodig om gegevens handmatig te labelen.

De eerste implementatie draait in de schaduwmodus. Sift beoordeelt binnenkomende gebeurtenissen terwijl de agent ze allemaal blijft inspecteren, zodat het systeem zijn voorspellingen kan vergelijken met de beslissingen van de agent. Voordat het filteren begint, krijgen operators een voorbeeld te zien van wat op basis van hun eigen gegevens zou zijn tegengehouden.

Vervolgens moet iemand een drempelwaarde goedkeuren en daarvoor een schriftelijke reden geven. Zo ligt de beslissing over aanvaardbaar filtergedrag bij het team dat verantwoordelijk is voor de workflow, in plaats van dat activering automatisch volgt op de installatie van het model.

Steekproeven en fail-openmaatregelen helpen te achterhalen wat wordt gemist

Filteren brengt een lastig meetprobleem met zich mee: als een gebeurtenis de agent nooit bereikt, hoe weet het team dan of dat wel had gemoeten? Sift blijft een willekeurige steekproef versturen van gebeurtenissen die het anders zou tegenhouden. De oordelen van de agent over die steekproef leveren zo input voor een doorlopende meting van het mispercentage.

Op de productpagina wordt het referentiepunt expliciet genoemd: recall en het mispercentage worden gemeten aan de hand van de oordelen van de agent. Deze statistieken geven aan hoe nauwkeurig Sift de beslissingen van die agent nabootst. Ze tonen op zichzelf niet aan of de agent zelf elk beveiligingsincident of operationeel probleem correct herkent.

Volgens Kindo schakelt Sift over op fail-open als de kwaliteit terugloopt: gebeurtenissen worden dan weer doorgestuurd voor beoordeling door de agent, in plaats van onderdrukt te blijven. Het bedrijf beschrijft ook activiteitslimieten die het systeem tijdens een piekperiode kunnen terugzetten naar de schaduwmodus. Gefilterde gebeurtenissen en goedkeuringsbeslissingen worden vastgelegd, zodat teams kunnen nagaan wat is tegengehouden en waarom.

‘Het filtert niets totdat iemand de drempelwaarde goedkeurt. En als de kwaliteit terugloopt, schakelt het over op fail-open en wordt alles doorgestuurd voor beoordeling door een LLM’, zei Troy Presley, een Deep Hat Sift-engineer bij Kindo, in de aankondiging.

Deze mechanismen maken de afweging zichtbaar in plaats van die weg te nemen. Voorzichtiger filteren kan de dekking behouden, maar bespaart minder runs. Agressiever filteren kan meer werk voorkomen, maar maakt steekproeven, detectie van kwaliteitsverlies en de kwaliteit van de agent die het vervolgwerk uitvoert belangrijker.

Ontworpen voor waarschuwingen, tickets en doorlopende logstromen

De lancering richt zich op werklasten met een groot volume aan binnenkomende gegevens, waarvan slechts een klein deel actie vereist. Kindo noemt SIEM- en endpointdetectiewaarschuwingen, ticketwachtrijen, meldingen van phishing, systeem- en netwerklogboeken en gegevensstromen van platforms zoals Kafka. Tot de ondersteunde bewakingsbronnen behoren Splunk, Datadog en New Relic.

Sift werkt vóór de agent en vervangt deze bronsystemen niet. Een beveiligingsplatform blijft detecties genereren, een ticketsysteem blijft zijn wachtrij beheren en de agent blijft verantwoordelijk voor de gevallen die hem bereiken. De nieuwe laag bepaalt welke gebeurtenissen dit aanvullende AI-werk in gang zetten.

Ditzelfde patroon zou ook kunnen worden toegepast op financiële en complianceworkflows die transactiestromen of beleidsstromen beoordelen. Ook hier is het selecteren van gebeurtenissen voor beoordeling iets anders dan het vaststellen van fraude of compliance. De doelagent en het omliggende bedrijfsproces blijven belangrijke onderdelen van de uitkomst.

Hoe Sift past binnen het agentbeheerplatform van Kindo

Het bredere platform van Kindo verbindt agents met bedrijfssystemen voor beveiliging, infrastructuur en IT-beheer. Het combineert uitvoering met context, machtigingen en operationeel toezicht, zodat teams de werkzaamheden kunnen beheren nadat een model is geselecteerd.

Op de website van het bedrijf staat informatie over wie eigenaar is van agents, toegangsbeleid en de toerekening van kosten per agent, eigenaar en team. Sift voegt eerder in die workflow een controle toe: bepalen of een gebeurtenis überhaupt aanleiding moet zijn om een agent uit te voeren. Zo wordt een technische filterbeslissing gekoppeld aan de operationele vraag welke workloads inferentiekosten veroorzaken.

Volgens de aankondiging is Deep Hat Sift nu beschikbaar op locatie, in een zelf beheerde cloud, in de cloud van Kindo en in omgevingen zonder netwerkverbinding. De scoring wordt uitgevoerd op de plek waar Kindo is geïnstalleerd, terwijl modelaanroepen via het platform worden beheerd. Het product werkt met Kindo-agents.

De besparingen hangen af van de gegevensstroom

Kindo heeft geen algemeen besparingspercentage of universele nauwkeurigheidsbenchmark voor Sift gegeven. In plaats daarvan verwijst de productpagina teams naar een voorbeeldweergave van welke gebeurtenissen op hun eigen gegevensstromen worden tegengehouden. Dat is een nuttig onderscheid voor kopers: het economische resultaat hangt af van het aantal gebeurtenissen, de kosten van elke vermeden uitvoering, het aandeel gebeurtenissen waarop actie moet worden ondernomen en de operationele drempel die het team accepteert.

Bij gegevensstromen met veel ruis kan het vermijden van onnodige agentuitvoeringen continue AI-beoordeling betaalbaarder maken. Bij gegevensstromen waar een gemiste gebeurtenis ernstige gevolgen heeft, zijn de instellingen voor steekproeven en escalatie minstens zo belangrijk als de inferentiekosten. Deep Hat Sift brengt die beslissingen onder in de workflow van agents. De centrale vraag verschuift daarbij van welk model een gebeurtenis moet afhandelen naar de vraag of dat model die gebeurtenis überhaupt moet afhandelen.