Kindo ra mắt Deep Hat Sift, giúp giảm các lượt chạy AI agent không cần thiết

Một AI agent đọc mọi cảnh báo bảo mật hoặc mục nhật ký đều phát sinh chi phí, ngay cả khi kết luận rằng không cần xử lý gì. Ở quy mô doanh nghiệp, những lần kiểm tra không phát hiện vấn đề này có thể tự chúng tạo thành một khối lượng công việc đáng kể. Kindo đã ra mắt Deep Hat Sift, một mô hình được thiết kế để quyết định sự kiện nào đến cần kích hoạt agent trước khi mô hình lớn hơn bắt đầu xử lý.

Sift được công bố vào ngày 28 tháng 10. Mô hình học từ các kết luận của agent mà nó hỗ trợ, sau đó lọc những sự kiện mà agent vốn sẽ loại bỏ. Ban đầu, sản phẩm chỉ quan sát chứ chưa chặn sự kiện: mọi sự kiện vẫn được chuyển đến agent cho đến khi một người xem xét cách lọc được đề xuất và phê duyệt ngưỡng.

Cách tiếp cận này đưa ra một cơ chế kiểm soát chi phí khác với việc chọn một mô hình ngôn ngữ rẻ hơn. Thay vì giảm chi phí cho mỗi lần kiểm tra, Sift hướng đến việc tránh những lần kiểm tra ít có khả năng cần hành động. Hiệu quả của mô hình phụ thuộc cả vào chất lượng của các quyết định đó lẫn những biện pháp kiểm soát đối với nội dung bị bỏ qua.

Mô hình ra quyết định đứng trước mô hình ngôn ngữ

Kindo mô tả Deep Hat Sift là một mô hình ra quyết định System One: một mô hình nhanh, ít tốn kém, trả lời câu hỏi có nên chọn hay không thay vì tạo ra phản hồi. Mỗi mô hình được gán cho một nguồn, agent đích và nhiệm vụ lọc cụ thể, nhờ đó mô hình học theo đúng khối lượng công việc mà nó được thiết kế để hỗ trợ.

Tính đặc thù đó rất quan trọng. Một sự kiện có liên quan đến cuộc điều tra bảo mật có thể không liên quan đến quy trình làm việc của bộ phận hỗ trợ dịch vụ. Sift học cách nhận diện những sự kiện mà agent đích loại bỏ, sử dụng kết luận do agent trả về làm tín hiệu huấn luyện. Kindo cho biết cách này giúp tránh phải triển khai một dự án gán nhãn thủ công riêng cho từng luồng dữ liệu.

Giai đoạn triển khai ban đầu vận hành ở chế độ giám sát ngầm. Sift chấm điểm các sự kiện đến trong khi agent vẫn tiếp tục kiểm tra tất cả, cho phép hệ thống so sánh dự đoán của mình với quyết định của agent. Trước khi bắt đầu lọc, người vận hành sẽ được xem trước những gì có thể bị giữ lại nếu áp dụng bộ lọc trên dữ liệu của chính họ.

Sau đó, một người phải phê duyệt ngưỡng và nêu lý do bằng văn bản. Nhờ vậy, nhóm chịu trách nhiệm về quy trình làm việc sẽ quyết định cách lọc nào là chấp nhận được, thay vì coi việc kích hoạt là hệ quả tự động của quá trình cài đặt mô hình.

Lấy mẫu và cơ chế cho phép thông suốt khi có lỗi giúp xử lý những gì có thể bị bỏ sót

Việc lọc đặt ra một vấn đề khó đo lường: nếu một sự kiện không bao giờ đến được agent, làm sao nhóm biết liệu sự kiện đó có đáng được xem xét hay không? Sift tiếp tục gửi ngẫu nhiên một mẫu các sự kiện vốn sẽ bị giữ lại, để các kết luận của agent về mẫu này góp phần đo lường tỷ lệ bỏ sót liên tục.

Trang sản phẩm nêu rõ mốc tham chiếu: độ bao phủ và tỷ lệ bỏ sót được đo dựa trên các nhận định của agent. Những chỉ số này cho biết Sift tái hiện quyết định của agent đó sát đến mức nào. Bản thân chúng không xác định độc lập liệu agent có nhận diện chính xác mọi sự cố bảo mật hoặc vấn đề vận hành hay không.

Kindo cho biết nếu chất lượng suy giảm, Sift sẽ chuyển sang cơ chế cho phép sự kiện đi qua, đưa chúng trở lại quy trình để agent xem xét thay vì tiếp tục chặn. Công ty cũng mô tả các ngưỡng giới hạn hoạt động có thể đưa hệ thống trở lại chế độ giám sát ngầm khi lưu lượng tăng đột biến. Các sự kiện bị lọc và quyết định phê duyệt đều được ghi nhật ký để các nhóm có thể xem xét nội dung nào đã bị giữ lại và lý do.

“Hệ thống không lọc gì cho đến khi có người phê duyệt ngưỡng; nếu chất lượng suy giảm, hệ thống sẽ chuyển sang cơ chế cho phép tất cả sự kiện đi qua để LLM đánh giá”, Troy Presley, kỹ sư Deep Hat Sift tại Kindo, cho biết trong thông báo.

Những cơ chế này làm rõ sự đánh đổi chứ không loại bỏ nó. Lọc thận trọng hơn có thể duy trì độ bao phủ nhưng tiết kiệm được ít lượt chạy hơn. Lọc mạnh tay hơn có thể giảm nhiều công việc hơn, nhưng khi đó việc lấy mẫu, phát hiện suy giảm và chất lượng của agent xử lý phía sau càng trở nên quan trọng.

Được thiết kế cho cảnh báo, phiếu yêu cầu và luồng nhật ký liên tục

Sản phẩm nhắm đến những khối lượng công việc có lượng dữ liệu đến lớn nhưng tỷ lệ cần xử lý thấp. Kindo nêu các cảnh báo từ SIEM và hệ thống phát hiện trên thiết bị đầu cuối, hàng đợi phiếu yêu cầu, báo cáo email lừa đảo, nhật ký hệ thống và mạng, cùng các luồng dữ liệu từ những nền tảng như Kafka. Các nguồn giám sát gồm Splunk, Datadog và New Relic.

Sift hoạt động ở trước agent chứ không thay thế các hệ thống nguồn này. Nền tảng bảo mật vẫn tạo ra cảnh báo phát hiện, hệ thống quản lý phiếu yêu cầu vẫn duy trì hàng đợi và agent vẫn chịu trách nhiệm xử lý những trường hợp được chuyển đến. Lớp mới quyết định sự kiện nào sẽ khởi động phần việc AI bổ sung đó.

Cách làm tương tự cũng có thể áp dụng cho các quy trình tài chính và tuân thủ khi cần rà soát luồng giao dịch hoặc chính sách. Ở đây cũng vậy, việc chọn sự kiện để xem xét khác với việc đưa ra kết luận về phát hiện gian lận hoặc tuân thủ. Agent đích và quy trình kinh doanh xung quanh vẫn là những phần quan trọng quyết định kết quả.

Sift phù hợp như thế nào với nền tảng quản lý agent của Kindo

Nền tảng rộng hơn của Kindo kết nối các agent với những hệ thống doanh nghiệp phục vụ bảo mật, hạ tầng và vận hành CNTT. Nền tảng kết hợp việc thực thi với ngữ cảnh, quyền hạn và giám sát vận hành, tạo một nơi để các nhóm quản lý công việc sau khi đã chọn mô hình.

Trang web của công ty mô tả quyền sở hữu tác tử, chính sách truy cập và cách phân bổ chi phí theo tác tử, chủ sở hữu và nhóm. Sift bổ sung một bước kiểm soát sớm hơn trong quy trình đó: xác định liệu một sự kiện có nên kích hoạt tác tử hay không. Điều này kết nối quyết định lọc về mặt kỹ thuật với câu hỏi vận hành: những khối lượng công việc nào đang phát sinh chi phí suy luận.

Theo thông báo ra mắt, Deep Hat Sift hiện có thể được triển khai tại chỗ, trên đám mây do khách hàng tự quản lý, trên đám mây của Kindo và trong các môi trường biệt lập. Việc chấm điểm diễn ra tại nơi Kindo được cài đặt, còn các lệnh gọi mô hình được quản lý thông qua nền tảng. Sản phẩm hoạt động cùng các tác tử Kindo.

Mức tiết kiệm sẽ phụ thuộc vào luồng dữ liệu

Kindo chưa đưa ra tỷ lệ tiết kiệm chung hay chuẩn độ chính xác áp dụng phổ quát cho Sift. Thay vào đó, trang sản phẩm hướng dẫn các nhóm xem trước những sự kiện sẽ bị giữ lại bằng chính dữ liệu sự kiện của họ. Đây là điểm khác biệt hữu ích đối với người mua: hiệu quả kinh tế phụ thuộc vào khối lượng sự kiện, chi phí của mỗi lượt chạy có thể tránh được, tỷ lệ sự kiện cần xử lý và ngưỡng vận hành mà nhóm chấp nhận.

Với các luồng dữ liệu nhiều nhiễu, tránh những lượt chạy tác tử không cần thiết có thể giúp việc rà soát AI liên tục trở nên hợp túi tiền hơn. Với các luồng mà việc bỏ sót một sự kiện có thể gây hậu quả nghiêm trọng, các biện pháp kiểm soát lấy mẫu và nâng cấp xử lý cũng quan trọng không kém chi phí suy luận. Deep Hat Sift đưa những quyết định đó vào quy trình làm việc của tác tử, chuyển trọng tâm từ câu hỏi mô hình nào nên xử lý một sự kiện sang việc liệu mô hình đó có cần xử lý sự kiện ấy hay không.