Kindo, 불필요한 AI 에이전트 실행을 줄이는 Deep Hat Sift 출시

모든 보안 경보나 로그 항목을 읽는 AI 에이전트는 아무 조치도 필요 없다는 결론을 내리더라도 비용이 발생한다. 기업 규모로 처리할 때는 별다른 조치가 필요 없는 조사만으로도 상당한 작업량이 생길 수 있다. Kindo는 대규모 모델이 처리를 시작하기 전에 어떤 수신 이벤트에 에이전트를 실행할 필요가 있는지 판단하도록 설계된 모델 Deep Hat Sift를 출시했다.

Sift는 10월 28일 발표됐다. 이 모델은 담당 에이전트의 판정 결과를 학습한 다음, 에이전트가 처리하지 않고 넘길 이벤트를 걸러낸다. 제품은 이벤트를 차단하는 대신 관찰하는 방식으로 시작한다. 담당자가 필터링 제안 동작을 검토하고 기준값을 승인할 때까지 모든 이벤트는 계속 에이전트에 전달된다.

이 접근 방식은 더 저렴한 언어 모델을 선택하는 것과는 다른 비용 관리 방식을 제시한다. Sift는 조사 한 건당 비용을 낮추는 대신, 조치가 필요할 가능성이 낮은 조사를 피하는 것을 목표로 한다. 효과는 판단의 품질뿐 아니라 어떤 이벤트를 건너뛸지 결정하는 제어 장치에도 달려 있다.

언어 모델보다 먼저 작동하는 의사결정 모델

Kindo는 Deep Hat Sift를 시스템 1(System One) 의사결정 모델로 설명한다. 빠르고 저렴한 이 모델은 응답을 생성하는 대신 이벤트를 선별하는 질문에 답한다. 각 모델은 특정 소스, 대상 에이전트, 필터링 작업에 할당되므로, 학습 내용은 실제로 지원하도록 설계된 작업량을 반영한다.

이처럼 구체적으로 설정하는 것이 중요하다. 보안 조사에 관련된 이벤트라도 서비스 데스크 업무 흐름에는 무관할 수 있다. Sift는 대상 에이전트가 어떤 이벤트를 넘기는지 학습하며, 에이전트가 반환한 판정 결과를 학습 신호로 사용한다. Kindo는 이 방식으로 각 이벤트 흐름마다 별도의 사람 라벨링 프로젝트를 진행할 필요가 없다고 설명한다.

초기 배포는 섀도 모드로 실행된다. 에이전트가 모든 이벤트를 계속 검사하는 동안 Sift는 수신 이벤트의 점수를 매겨, 시스템이 예측한 결과와 에이전트의 판단을 비교할 수 있게 한다. 필터링을 시작하기 전에 운영자는 자체 데이터에서 어떤 이벤트가 차단될 예정인지 미리 확인한다.

그런 다음 담당자가 기준값을 승인하고 서면 사유를 제시해야 한다. 이로써 필터링 동작을 어디까지 허용할지 결정하는 권한은 해당 업무 흐름을 책임지는 팀에 주어진다. 모델을 설치했다는 이유만으로 필터링이 자동 활성화되지는 않는다.

표본 추출과 페일오픈 제어로 누락 문제에 대응

필터링을 도입하면 측정하기 어려운 문제가 생긴다. 이벤트가 에이전트에 전달되지 않는다면, 해당 이벤트를 처리했어야 하는지 팀은 어떻게 알 수 있을까? Sift는 차단할 예정이었던 이벤트 중 무작위 표본을 계속 전달한다. 이를 통해 해당 표본에 대한 에이전트의 판정 결과를 지속적인 누락률 측정에 반영할 수 있다.

제품 페이지에는 비교 기준이 명시돼 있다. 재현율과 누락률은 에이전트의 판단을 기준으로 측정한다. 이 지표는 Sift가 해당 에이전트의 결정을 얼마나 가깝게 재현하는지 보여준다. 하지만 에이전트 자체가 모든 보안 사고나 운영상 문제를 정확히 식별하는지까지 독립적으로 입증하지는 않는다.

Kindo에 따르면 품질이 저하되면 Sift는 페일오픈 방식으로 전환해, 이벤트를 계속 억제하는 대신 에이전트가 검토하도록 다시 전달한다. 회사는 활동량이 급증할 때 시스템을 섀도 모드로 되돌릴 수 있는 활동량 상한도 설명한다. 필터링된 이벤트와 승인 결정은 로그에 기록되므로 팀은 무엇이 왜 차단됐는지 살펴볼 수 있다.

Kindo의 Deep Hat Sift 엔지니어인 Troy Presley는 발표문에서 “담당자가 기준값을 승인하기 전에는 아무것도 필터링하지 않습니다. 품질이 저하되면 페일오픈 방식으로 전환해 모든 이벤트를 LLM의 판단을 받도록 전달합니다”라고 말했다.

이러한 장치는 절충점을 없애기보다 명확히 드러낸다. 보수적으로 필터링하면 탐지 범위를 유지할 수 있지만 실행 횟수 절감 효과는 줄어든다. 더 공격적으로 필터링하면 작업을 더 많이 줄일 수 있지만, 표본 추출과 성능 저하 감지, 후속 에이전트의 품질이 더욱 중요해진다.

경보, 티켓, 지속적으로 유입되는 로그 스트림을 위해 설계

이번 출시는 수신량은 많지만 실제 조치가 필요한 비율은 낮은 작업을 대상으로 한다. Kindo는 SIEM 및 엔드포인트 탐지 경보, 티켓 대기열, 피싱 신고 제출물, 시스템 및 네트워크 로그, Kafka 같은 플랫폼에서 들어오는 스트림을 사용 사례로 꼽는다. 모니터링 소스로는 Splunk, Datadog, New Relic을 들었다.

Sift는 이러한 소스 시스템을 대체하는 대신 에이전트 앞단에 배치된다. 보안 플랫폼은 계속 탐지 결과를 생성하고, 티켓 관리 시스템은 티켓 대기열을 유지하며, 에이전트는 자신에게 전달된 사례를 계속 처리한다. 새로 추가된 계층은 어떤 이벤트가 추가 AI 작업을 시작하게 할지 결정한다.

같은 방식을 거래 내역이나 정책 관련 스트림을 검토하는 금융 및 규정 준수 업무 흐름에도 적용할 수 있다. 이 경우에도 검토할 이벤트를 선별하는 일은 사기 탐지나 규정 준수 여부를 판단하는 일과 다르다. 대상 에이전트와 이를 둘러싼 업무 프로세스 역시 결과에 중요한 요소로 남는다.

Kindo의 에이전트 관리 플랫폼에서 Sift의 역할

Kindo의 더 광범위한 플랫폼은 보안, 인프라, IT 운영을 위한 기업 시스템과 에이전트를 연결한다. 실행 기능에 맥락 정보, 권한, 운영 감독 기능을 결합해 모델을 선택한 뒤 팀이 작업을 관리할 수 있는 환경을 제공한다.

회사의 웹사이트는 에이전트, 소유자, 팀별로 에이전트 소유권과 접근 정책, 비용 귀속을 설명합니다. Sift는 이 워크플로의 더 앞단에 제어 기능을 추가해 이벤트가 애초에 에이전트를 실행할 필요가 있는지 판단합니다. 이를 통해 기술적인 필터링 결정과 어떤 워크로드가 추론 비용을 발생시키는지에 관한 운영상의 질문을 연결합니다.

출시 발표에 따르면 Deep Hat Sift는 현재 온프레미스, 자체 관리형 클라우드, Kindo 클라우드 및 에어갭 환경에서 사용할 수 있습니다. 점수 산정은 Kindo가 설치된 곳에서 실행되며, 모델 호출은 플랫폼을 통해 관리됩니다. 이 제품은 Kindo 에이전트와 함께 작동합니다.

절감 효과는 스트림에 따라 달라집니다

Kindo는 Sift의 일반적인 절감률이나 보편적인 정확도 벤치마크를 제시하지 않았습니다. 대신 제품 페이지에서 각 팀이 자체 이벤트를 대상으로 어떤 항목이 보류되는지 미리 확인하도록 안내합니다. 이는 구매자에게 유용한 구분입니다. 경제적 효과는 이벤트 규모, 실행을 피할 때마다 절감되는 비용, 조치가 필요한 이벤트의 비중, 그리고 팀이 받아들이는 운영 임계값에 따라 달라집니다.

잡음이 많은 스트림에서는 불필요한 에이전트 실행을 줄여 AI를 지속적으로 검토하는 데 드는 비용을 낮출 수 있습니다. 놓친 이벤트가 심각한 결과를 초래할 수 있는 스트림에서는 샘플링과 에스컬레이션 제어가 추론 비용만큼이나 중요해집니다. Deep Hat Sift는 이러한 결정을 에이전트 워크플로에 통합해, 어떤 모델이 이벤트를 처리해야 하는지에서 해당 모델이 이벤트를 처리할 필요가 있는지로 핵심 질문을 바꿉니다.