Benchmark Hack The Box: Các đội được tăng cường bởi AI vượt trội so với các nhà phân tích an ninh mạng con người

Một nghiên cứu mới từ Hack The Box với tiêu đề “Báo cáo Benchmark Hiệu suất An ninh mạng: Các đội được tăng cường bởi AI so với các đội chỉ có con người” cho thấy rằng các đội an ninh mạng được tăng cường bởi AI có thể vượt trội so với các đội chỉ có con người, với các đội hàng đầu hoàn thành nhiệm vụ lên đến 4,1 lần nhanh hơn. Những phát hiện này dựa trên dữ liệu hiệu suất từ cuộc thi NeuroGrid Capture the Flag (CTF), một trong những benchmark thực tế lớn nhất so sánh các đội được hỗ trợ bởi AI và các đội con người truyền thống thực hiện các nhiệm vụ an ninh mạng.

Benchmark này phân tích dữ liệu từ cuộc thi NeuroGrid Capture the Flag (CTF), bao gồm 1.337 đội chỉ có con người và 156 đội có đại lý AI đăng ký, với 958 đội con người và 120 đội AI đang cố gắng hoàn thành 36 thách thức an ninh mạng thuộc chín lĩnh vực kỹ thuật và bốn mức độ khó.

Kết quả nhấn mạnh cả lợi ích về năng suất của các hoạt động an ninh mạng được tăng cường bởi AI và những thách thức về lực lượng lao động mà các tổ chức có thể gặp phải khi tự động hóa thay đổi cách các đội an ninh mạng hoạt động.

Các đội được tăng cường bởi AI mang lại lợi ích hiệu suất có thể đo lường

Benchmark chứng minh rằng việc tích hợp các đại lý AI vào các quy trình làm việc an ninh mạng có thể tăng đáng kể đầu ra, đặc biệt khi được kết hợp với các nhà vận hành con người có kinh nghiệm.

Các phát hiện chính bao gồm:

• Tăng tối đa 4,1 lần đầu ra cho các đội hàng đầu được tăng cường bởi AI so với các đội chỉ có con người
• Cải thiện năng suất 1,4 lần trên tất cả các đội trong cùng một khung thời gian
• Tỷ lệ giải quyết thách thức cao hơn 70% cho các đội được tăng cường bởi AI
• Tỷ lệ giải quyết 27% cho các đội AI so với 16% cho các đội hàng đầu chỉ có con người
• Tỷ lệ giải quyết tổng thể cao hơn 3,2 lần trên tất cả các tham gia

Theo CEO và người sáng lập Hack The Box Haris Pylarinos, kết quả cho thấy AI có thể tăng đáng kể tốc độ hoạt động nhưng vẫn phải được kết hợp với sự giám sát của con người.

“AI có thể nâng cao tiêu chuẩn hiệu suất an ninh mạng, nhưng nó không loại bỏ nhu cầu về chuyên môn con người,” Pylarinos nói. “Các tổ chức phải phát triển các đội có kỹ năng AI và các quy trình làm việc có con người trong vòng lặp để an toàn mở khóa những lợi ích này.”

Không giống như các benchmark tổng hợp thường được sử dụng trong các đánh giá AI, cuộc thi sử dụng các thách thức an ninh mạng chuyên nghiệp dưới áp lực cạnh tranh thực tế, cung cấp một sự so sánh hoạt động hơn giữa các đội được hỗ trợ bởi AI và các đội con người.

Mô hình Hybrid con người-AI xuất hiện như Chiến lược thắng

Mặc dù AI đã tăng tốc đáng kể hiệu suất, nhưng nghiên cứu cho thấy rằng các đội hybrid kết hợp các đại lý AI với các nhà vận hành con người đã tạo ra kết quả mạnh mẽ nhất tổng thể.

Trong cuộc thi:

• 73,3% các đội được tăng cường bởi AI đã hoàn thành ít nhất một thách thức, so với 46% các đội chỉ có con người
• Các đại lý AI thường cải thiện năng suất cơ bản nhưng vẫn yêu cầu xác nhận và chỉ đạo chiến lược của con người khi đối mặt với các nhiệm vụ phức tạp

Đối với các CISO và lãnh đạo an ninh, báo cáo nhấn mạnh rằng AI nên được xem chủ yếu như một nhân tố tăng cường, không phải là sự thay thế cho các chuyên gia an ninh mạng.

Tác động của AI thay đổi đáng kể theo cấp độ kỹ năng

Một trong những thông tin quan trọng nhất từ báo cáo là AI ảnh hưởng đến các chuyên gia an ninh mạng khác nhau tùy thuộc vào cấp độ kinh nghiệm của họ.

Sớm trong sự nghiệp: “Ảo tưởng về năng suất”

Đối với các nhà vận hành mới vào nghề, AI có thể đóng vai trò như một cây cầu về năng lực, giúp họ giải quyết các thách thức mà họ có thể gặp khó khăn. Tuy nhiên, báo cáo cảnh báo rằng điều này có thể tạo ra một ảo tưởng về năng suất nếu các nhà phân tích trẻ thiếu chuyên môn để xác nhận đầu ra AI hoặc hướng dẫn các quy trình làm việc của đại lý một cách hiệu quả.

Trong một số trường hợp, các đội được tăng cường bởi AI có hiệu suất thấp hơn thực sự chậm hơn 12,5%, thường bị kẹt trong các vòng lặp không hiệu quả khi các nhà vận hành thiếu kỹ năng giám sát đủ.

Giữa sự nghiệp: Điểm ngọt cho AI

Lợi ích về năng suất lớn nhất xảy ra trong số các nhà phân tích giữa sự nghiệp, đặc biệt khi giải quyết các nhiệm vụ có độ phức tạp trung bình.

Trong thể loại này:

• Lợi thế AI đạt đỉnh ở mức 3,89 lần cải thiện hiệu suất trên các vấn đề có độ khó trung bình
• Các đội trung cấp đã trải qua việc hoàn thành nhiệm vụ nhanh hơn 40-70% so với các đội chỉ có con người

Điều này cho thấy các doanh nghiệp có thể thấy lợi ích ngay lập tức từ việc đầu tư vào AI bằng cách triển khai các hệ thống đại lý bên cạnh các nhà phân tích trung cấp.

Các nhà vận hành hàng đầu: Lợi thế về tốc độ, không phải thay thế khả năng

Trong số các nhà biểu diễn hàng đầu, khoảng cách giữa các đội được tăng cường bởi AI và các chuyên gia con người thu hẹp đáng kể.

Ví dụ:

• Đội con người tốt nhất đã giải quyết tất cả 36 thách thức, trong khi đội được tăng cường bởi AI tốt nhất đã hoàn thành 32 trong số 36
• Ở cấp độ hiệu suất 5% hàng đầu, lợi thế về tỷ lệ giải quyết thu hẹp xuống còn 1,69 lần

Tuy nhiên, AI vẫn mang lại một lợi thế lớn về tốc độ, với các đội được tăng cường bởi AI hàng đầu giải quyết các thách thức nhanh hơn 3-4 lần.

“Nghịch lý về độ khó” tiết lộ nơi AI gặp khó khăn

Nghiên cứu cũng xác định một “nghịch lý về độ khó” trong hiệu suất của AI.

Lợi thế của AI tăng lên với độ phức tạp của nhiệm vụ – cho đến một điểm:

• Thách thức rất dễ: ~2,4 lần lợi thế cho các đội AI
• Thách thức trung bình: 3,89 lần lợi thế, khu vực hiệu suất đỉnh
• Thách thức khó: lợi thế giảm xuống 2,97 lần, tiết lộ hạn chế trong lý luận của AI

Các lĩnh vực sáng tạo nhất định – như mã hóa và phân tích ngược – cho thấy sự gần như tương đương giữa các hệ thống AI và con người, nhấn mạnh các lĩnh vực mà trực giác và lý luận mới của con người vẫn còn quan trọng.

Trong các lĩnh vực, hiệu suất của AI thay đổi rộng rãi, từ lợi thế 5,15 lần trong các nhiệm vụ mã hóa an toàn đến 1,68 lần trong pháp y kỹ thuật số.

Một cuộc khủng hoảng về đường ống nhân tài tiềm năng

Ngoài lợi ích về năng suất, báo cáo cũng đặt ra một mối quan ngại về lực lượng lao động lâu dài: AI có thể làm gián đoạn quá trình đào tạo mà tạo ra các chuyên gia an ninh mạng tương lai.

Các nhiệm vụ an ninh mạng cấp nhập cảnh – truyền thống được sử dụng để đào tạo các nhà phân tích trẻ – đang ngày càng được tự động hóa. Các đội AI đã vượt trội so với các đội con người trên các cấp độ thách thức dễ nhất, cho thấy rằng công việc trước đây được sử dụng để đào tạo các nhà phân tích mới có thể ngày càng được xử lý bởi tự động hóa.

Nếu các tổ chức tự động hóa quá nhiều công việc cấp nhập cảnh, báo cáo cảnh báo họ có nguy cơ tạo ra một “khoảng trống trung gian” trong đường ống nhân tài, nơi ít nhà phân tích hơn phát triển các kỹ năng cần thiết để trở thành các chuyên gia an ninh mạng cao cấp.

Ý nghĩa đối với các nhà lãnh đạo an ninh

Đối với các CISO và lãnh đạo an ninh doanh nghiệp, những phát hiện này cho thấy rằng việc áp dụng các công cụ AI không còn là tùy chọn.

Các tổ chức không tích hợp AI vào hoạt động an ninh của họ có thể phải đối mặt với những kẻ tấn công đã tận dụng AI để tăng tốc các cuộc tấn công và khai thác các điểm yếu nhanh hơn các đội truyền thống có thể phản ứng.

Báo cáo khuyến nghị một chiến lược tích hợp AI ba cấp:

• Đào tạo lại các vai trò cấp nhập cảnh để tập trung vào quản lý và xác nhận AI thay vì các nhiệm vụ thủ công
• Triển khai AI bên cạnh các nhà phân tích giữa sự nghiệp đầu tiên, nơi lợi ích về năng suất cao nhất
• Giữ lại các tài năng hàng đầu và kết hợp chúng với các đồng pilot AI để tăng tốc phản hồi sự cố và phân tích mối đe dọa tiên tiến

Cuối cùng, báo cáo cho thấy rằng tương lai của an ninh mạng sẽ không phải là AI so với con người – mà là con người được tăng cường bởi AI hoạt động với tốc độ của máy.