Kindo uruchamia Deep Hat Sift, aby ograniczyć zbędne uruchomienia agentów AI

Agent AI, który analizuje każde alerty bezpieczeństwa lub wpisy w dziennikach, generuje koszty nawet wtedy, gdy dochodzi do wniosku, że nie trzeba podejmować żadnych działań. Przy skali typowej dla przedsiębiorstw takie bezowocne analizy mogą same w sobie stać się znacznym obciążeniem. Kindo uruchomiło Deep Hat Sift — model, który ma decydować, które przychodzące zdarzenia uzasadniają uruchomienie agenta, zanim większy model rozpocznie ich przetwarzanie.

Sift ogłoszono 28 października. Model uczy się na podstawie werdyktów obsługiwanego agenta, a następnie odfiltrowuje zdarzenia, które agent w przeciwnym razie by odrzucił. Początkowo produkt jedynie obserwuje zdarzenia, nie blokując ich: każde z nich nadal trafia do agenta, dopóki człowiek nie sprawdzi proponowanego sposobu filtrowania i nie zatwierdzi progu.

To podejście wprowadza inny mechanizm kontroli kosztów niż wybór tańszego modelu językowego. Zamiast obniżać koszt każdej analizy, Sift ma zapobiegać analizom, które prawdopodobnie nie będą wymagały działania. Skuteczność rozwiązania zależy zarówno od trafności tych decyzji, jak i od zabezpieczeń dotyczących pomijanych zdarzeń.

Model decyzyjny przed modelem językowym

Kindo opisuje Deep Hat Sift jako model decyzyjny System One: szybki i niedrogi model, który odpowiada na pytanie selekcyjne, zamiast generować odpowiedź. Każdy model jest przypisany do określonego źródła, docelowego agenta i zadania filtrowania, dzięki czemu jego proces uczenia odzwierciedla obciążenie, któremu ma służyć.

Ta precyzja ma znaczenie. Zdarzenie istotne w przypadku analizy bezpieczeństwa może być nieistotne dla obsługi zgłoszeń. Sift uczy się, które zdarzenia odrzuca docelowy agent, wykorzystując zwracane przez niego werdykty jako sygnał treningowy. Kindo twierdzi, że dzięki temu nie trzeba osobno angażować ludzi do etykietowania danych dla każdego strumienia.

Początkowo rozwiązanie działa w trybie obserwacji. Sift ocenia przychodzące zdarzenia, a agent nadal analizuje je wszystkie, co pozwala systemowi porównywać własne prognozy z decyzjami agenta. Zanim rozpocznie się filtrowanie, operatorzy otrzymują podgląd tego, co zostałoby pominięte na podstawie ich własnych danych.

Następnie człowiek musi zatwierdzić próg i podać pisemne uzasadnienie. Dzięki temu decyzję o dopuszczalnym sposobie filtrowania podejmuje zespół odpowiedzialny za dany proces, zamiast traktować aktywację jako automatyczny skutek zainstalowania modelu.

Próbkowanie i zabezpieczenia typu fail-open pomagają wykrywać pominięte zdarzenia

Filtrowanie wiąże się z trudnym problemem pomiarowym: jeśli zdarzenie nigdy nie dotrze do agenta, skąd zespół ma wiedzieć, czy powinno do niego trafić? Sift nadal przesyła losową próbkę zdarzeń, które w przeciwnym razie by pominął. Werdykty agenta dotyczące tej próbki pozwalają na bieżąco mierzyć wskaźnik pominięć.

Strona produktu jasno wskazuje punkt odniesienia: czułość i wskaźnik pominięć mierzy się w porównaniu z ocenami agenta. Wskaźniki te pokazują, jak dokładnie Sift odtwarza decyzje tego agenta. Same w sobie nie dowodzą jednak, że agent prawidłowo wykrywa każdy incydent bezpieczeństwa ani każdy problem operacyjny.

Kindo twierdzi, że w razie pogorszenia jakości Sift przechodzi w tryb fail-open i ponownie kieruje zdarzenia do analizy przez agenta, zamiast nadal je blokować. Firma opisuje również limity aktywności, które w razie nagłego wzrostu obciążenia mogą przywrócić system do trybu obserwacji. Rejestrowane są odfiltrowane zdarzenia i decyzje zatwierdzające, aby zespoły mogły sprawdzić, co pominięto i dlaczego.

„Filtrowanie nie rozpoczyna się, dopóki człowiek nie zatwierdzi progu, a jeśli jakość się pogorszy, system przechodzi w tryb fail-open i przekazuje wszystkie zdarzenia do oceny przez LLM” — powiedział w komunikacie Troy Presley, inżynier Deep Hat Sift w Kindo.

Mechanizmy te pokazują kompromis, zamiast go eliminować. Bardziej zachowawcze filtrowanie może pozwolić zachować zakres analizy, ale przyniesie mniejsze oszczędności na liczbie uruchomień. Bardziej agresywne filtrowanie może ograniczyć nakład pracy, ale zwiększa znaczenie próbkowania, wykrywania pogorszenia jakości i jakości dalszego agenta.

Rozwiązanie zaprojektowane z myślą o alertach, zgłoszeniach i ciągłych strumieniach danych z dzienników

Produkt jest przeznaczony do zadań, w których napływa dużo danych, ale tylko niewielka ich część wymaga działania. Kindo wymienia alerty z systemów SIEM i narzędzi do wykrywania zagrożeń na punktach końcowych, kolejki zgłoszeń, zgłoszenia prób phishingu, dzienniki systemowe i sieciowe oraz strumienie z platform takich jak Kafka. Wśród obsługiwanych źródeł monitorowania są Splunk, Datadog i New Relic.

Sift działa przed agentem, a nie zamiast systemów źródłowych. Platforma bezpieczeństwa nadal wykrywa zagrożenia, system zgłoszeniowy nadal obsługuje swoją kolejkę, a agent pozostaje odpowiedzialny za sprawy, które do niego trafią. Nowa warstwa decyduje, które zdarzenia uruchomią dodatkowe przetwarzanie z użyciem AI.

Ten sam schemat można zastosować w procesach finansowych i związanych ze zgodnością, które obejmują analizę strumieni transakcji lub danych dotyczących polityk. Również w tych przypadkach wybór zdarzeń do analizy różni się od wydania oceny dotyczącej wykrywania oszustw lub zgodności. Docelowy agent i powiązany z nim proces biznesowy nadal mają istotny wpływ na wynik.

Jak Sift wpisuje się w platformę do zarządzania agentami Kindo

Szersza platforma Kindo łączy agentów z systemami przedsiębiorstw obsługującymi bezpieczeństwo, infrastrukturę i operacje IT. Łączy wykonywanie zadań z kontekstem, uprawnieniami i nadzorem operacyjnym, zapewniając zespołom miejsce do zarządzania pracą po wybraniu modelu.

Na stronie internetowej firmy opisano kwestie własności agentów, zasady dostępu oraz przypisywanie kosztów do agentów, właścicieli i zespołów. Sift wprowadza kontrolę na wcześniejszym etapie tego procesu: pozwala zdecydować, czy dane zdarzenie powinno w ogóle uruchomić agenta. Łączy to techniczną decyzję o filtrowaniu z operacyjnym pytaniem o to, które obciążenia generują koszty wnioskowania.

Zgodnie z komunikatem o premierze Deep Hat Sift jest już dostępny lokalnie, w chmurze zarządzanej samodzielnie, w chmurze Kindo oraz w środowiskach odizolowanych od sieci. Ocena zdarzeń odbywa się tam, gdzie zainstalowano Kindo, natomiast wywołania modeli są obsługiwane za pośrednictwem platformy. Produkt współpracuje z agentami Kindo.

Oszczędności będą zależeć od strumienia danych

Kindo nie podało ogólnego procentowego poziomu oszczędności ani uniwersalnego wskaźnika dokładności dla Sift. Zamiast tego strona produktu zachęca zespoły do sprawdzenia na własnych zdarzeniach podglądu tych, które zostaną wstrzymane. To istotne rozróżnienie dla potencjalnych nabywców: wynik ekonomiczny zależy od liczby zdarzeń, kosztu każdego unikniętego uruchomienia, udziału zdarzeń wymagających działania oraz akceptowanego przez zespół progu operacyjnego.

W przypadku zaszumionych strumieni unikanie niepotrzebnego uruchamiania agentów może sprawić, że ciągły przegląd z użyciem AI stanie się bardziej przystępny cenowo. W strumieniach, w których przeoczenie zdarzenia może mieć poważne konsekwencje, mechanizmy próbkowania i eskalacji są równie ważne jak koszty wnioskowania. Deep Hat Sift wprowadza te decyzje do procesu pracy agentów, przesuwając główne pytanie z tego, który model powinien obsłużyć zdarzenie, na to, czy dany model w ogóle musi się nim zajmować.