해킹 박스 벤치마크: AI 강화 팀이 인간 사이버 보안 분석가를 능가하다

Hack The Box에서 발표한 새로운 연구 보고서인 “AI 강화 팀 대 인간 전용 팀의 사이버 보안 성능 벤치마크 보고서”는 AI 강화 사이버 보안 팀이 인간 전용 팀을 크게 능가할 수 있으며, 엘리트 팀은 작업을 최대 4.1 배 빠르게 완료할 수 있다고 밝혔다. 이러한 발견은 NeuroGrid Capture the Flag (CTF) 대회에서 얻어진 성능 데이터에 기반하며, 이는 가장 큰 실세계 벤치마크 중 하나로, 에이전트 AI 지원 팀과 전통적인 인간 팀의 사이버 보안 작업을 비교한다.

벤치마크는 NeuroGrid Capture the Flag (CTF) 대회에서 얻어진 데이터를 분석했으며, 1,337개의 인간 전용 팀과 156개의 에이전트 팀이 등록되어 있었으며, 958개의 인간 팀과 120개의 에이전트 팀이 36개의 사이버 보안 도전 과제에 걸쳐 9개의 기술 분야와 4개의 난이도 수준에서 도전을 시도했다.

결과는 AI 강화 사이버 보안 작업의 생산성 향상과 조직이 직면할 수 있는 새로운 인력 관련 과제를 강조한다. 자동화가 보안 팀의 운영 방식을 바꾸면서 이러한 문제가 나타날 수 있다.

AI 강화 팀이 측정 가능한 성능 향상을 제공한다

벤치마크는 사이버 보안 워크플로우에 에이전트를 통합하면 출력을 크게 증가시킬 수 있으며, 특히 경험이 풍부한 인간 운영자와 함께 사용할 때 그렇다.

주요 발견 사항은 다음과 같다:

• 엘리트 AI 강화 팀은 인간 전용 팀보다 최대 4.1 배 더 많은 출력을 제공한다.
• 동일한 시간 동안 모든 팀에서 1.4 배의 생산성 향상을 제공한다.
• AI 강화 팀은 도전 과제 해결률이 70% 더 높다.
• AI 팀의 해결률은 27%이며, 최고의 인간 전용 팀은 16%이다.
• 모든 참가자에서 전체 해결률 비율이 3.2 배 더 높다.

해킹 박스(Hack The Box) CEO이자 창립자인 하리스 피라리노스(Haris Pylarinos)는 결과가 AI가 운영 속도를 크게 증가시킬 수 있지만 여전히 인간의 감시가 필요하다는 것을 보여준다고 말했다.

“AI는 사이버 보안 성능의 기준을 높일 수 있지만, 인간 전문 지식의 필요성을 제거하지는 않는다.” 피라리노스는 말했다. “조직은 AI를 능숙하게 사용하는 팀과 인간이 참여하고 감독하는 워크플로우를 개발해야 이러한 이점을 안전하게 활용할 수 있다.”

합성 벤치마크와는 달리, 대회는 실제 경쟁 압박 아래 전문가 수준의 사이버 보안 과제를 사용했으며, 이는 에이전트 지원 팀과 인간 팀 간의 더 운영적으로 현실적인 비교를 제공한다.

인간-AI 하이브리드 모델이 승리 전략으로 나타난다

AI가 성능을 크게 향상시킨 반면, 연구는 AI 에이전트와 인간 운영자를 결합한 하이브리드 팀이 전체적으로 가장 강력한 결과를 냈다는 것을 발견했다.

대회에서:

• AI 강화 팀 중 73.3%가최소한 하나의 도전 과제를 완료했으며, 이는 인간 전용 팀의 46%를 능가한다.
• 에이전트는 종종 기준 생산성을 향상시켰지만, 복잡한 작업을 수행할 때는 여전히 인간의 검증과 전략적 지도가 필요했다.

CISO와 보안 리더를 위한 보고서는 AI를 주로 강화 요소로 간주해야 한다고 강조하며, 사이버 보안 전문가를 대체하는 것이 아님을 강조한다.

AI의 영향은 기술 수준에 따라 크게 다르다

보고서에서 가장 중요한 통찰 중 하나는 AI가 사이버 보안 전문가에게 미치는 영향이 그들의 경험 수준에 따라 다르다는 것이다.

초급: 생산성 환상

초급 운영자는 AI가 그들이 어려움을 겪을 수 있는 도전 과제를 해결하는 데 도움이 될 수 있으며, 이는 그들의 능력을 향상시키는 데 도움이 될 수 있다. 그러나 보고서는 이로 인해 생산성에 대한 거짓된 인상을 줄 수 있으며, 주니어 분석가가 AI 출력을 검증하거나 에이전트 워크플로우를 효과적으로 안내할 수 있는 전문 지식이 부족할 수 있다고 경고한다.

일부 저성과 AI 강화 팀은 실제로 12.5% 더 느렸으며, 운영자가 충분한 감시 능력이 없을 때 비효율적인 루프에 갇히는 경우가 많았다.

중급: AI가 가장 효과적인 영역

가장 큰 생산성 향상은 경력 중반 분석가에게 발생했으며, 특히 중간 난이도의 작업을 수행할 때 그렇다.

이 범주에서:

• AI의 성능 향상은 중간 난이도의 문제에서 3.89 배로 최고조에 달했다.
• 중간 수준의 팀은 인간 전용 팀보다 40-70% 더 빠른 작업 완료를 경험했다.

이는 기업이 중간 수준의 분석가와 함께 에이전트 시스템을 배치함으로써 AI 투자에 대한 가장 빠른 수익을 얻을 수 있을 것이라고 시사한다.

엘리트 운영자: 속도우위, 능력 대체 아님

최고의 수행자 중에서, AI 강화 팀과 인간 전문가 간의 격차는 크게 좁혀졌다.

예를 들어:

• 최상의 인간 팀은 36개의 도전 과제 모두를 해결했으며, 최상의 AI 강화 팀은 32개의 도전 과제를 해결했다.
• 최상위 5%의 수행 수준에서, 해결률우위는 1.69 배로 줄어들었다.

그러나 AI는 여전히 속도에서 큰우위를 제공했으며, 엘리트 AI 강화 팀은 도전 과제를 3-4 배 더 빠르게 해결했다.

난이도 역설이 AI의 어려움을 보여준다

연구는 또한 AI의 성능에서 난이도 역설을 발견했다.

AI의우위는 작업의 난이도에 따라 증가한다-일정한 지점까지:

• 매우 쉬운 도전 과제: AI 팀의 2.4 배의우위
• 중간 난이도의 도전 과제: 3.89 배의우위, 최고의 성능 구간
• 어려운 도전 과제:우위은 2.97 배로 떨어진다, AI의추론 능력의 한계를 보여준다.

일부 창의적인 영역, 예를 들어 코드 작성과 역공학,에서는 엘리트 인간과 AI 시스템 간에 거의 동등한 성능을 보였다. 이는 인간의 직관과 새로운추론이 여전히 중요한 영역임을 강조한다.

전체적으로 AI의 성능은 다양한 영역에서 크게 다르며, 안전한 코드 작성 작업에서는 5.15 배의 우위를 보였으며, 디지털 포렌식에서는 1.68 배의 우위를 보였다.

인재 파이프라인 위기 가능성

생산성 향상 외에도, 보고서는 장기적인 인력 문제를 제기한다: AI는 미래의 사이버 보안 전문가를 양성하는 훈련 파이프라인을 교란할 수 있다.

초급 보안 작업, 즉 전통적으로 주니어 분석가를 훈련하는 데 사용되던 작업은 점점 더 자동화하기 쉬워지고 있다. AI 팀은 가장 쉬운 과제에서 인간 팀보다 훨씬 좋은 성과를 냈다. 이는 신규 분석가를 훈련하는 데 쓰이던 업무가 점점 더 자동화로 처리될 수 있음을 시사한다.

보고서는 조직이 경력 초기의 업무를 지나치게 자동화하면 인재 양성 과정에서 ‘중간층 부재’가 생길 위험이 있다고 경고한다. 그 결과 고급 보안 전문가가 되는 데 필요한 기술을 개발하는 분석가가 줄어들 수 있다.

보안 리더를 위한 의미

조직이 AI 도구를 채택하지 않으면, 적이 이미 AI를 사용하여 공격을 가속화하고 취약점을 더 빠르게 악용할 수 있으므로, 보안 리더와 기업 보안 리더를 위한 발견은 AI 도구를 채택하는 것이 더 이상 선택이 아니라는 것을 시사한다.

보고서는 세 수준의 AI 통합 전략을 추천한다:

• 초급 역할을 재교육하여 수동 작업이 아닌 AI 거버넌스와 검증에 중점을 둔다.
• 생산성 향상이 가장 큰 경력 중반 분석가와 함께 AI를 먼저 배치하여 생산성 향상을 최대화한다.
• 엘리트 인재를 유지하고 AI 보조 도구와 함께 일하게 하여 사고 대응과 고급 위협 분석을 가속화한다.

최종적으로, 보고서는 사이버 보안의 미래는 AI와 인간의 대결이 아니라, 기계 속도로 작동하는 AI 강화 인간이 될 것이라고 시사한다.