๋ฆฌํฌํธ
ํดํฌ ๋ ๋ฐ์ค ๋ฒค์น๋งํฌ: AI ๊ฐํ ํ์ด ์ธ๊ฐ ์ฌ์ด๋ฒ ๋ณด์ ๋ถ์๊ฐ๋ฅผ ๋ฅ๊ฐํ๋ค
해크 더 박스의 새로운 연구인 “AI 강화 대 인간 전용 사이버 보안 성능 벤치마크 보고서”는 AI 강화 사이버 보안 팀이 인간 전용 팀을 크게 능가할 수 있으며, 엘리트 팀은 최대 4.1 배 빠르게 작업을 완료할 수 있다고 밝혔다. 이러한 발견은 뉴로그리드 캡처 더 플래그(CTF) 대회와 같은 대규모 실제 벤치마크에서 에이전트 AI 지원 팀과 전통적인 인간 팀의 비교에 기반한다.
벤치마크는 뉴로그리드 캡처 더 플래그(CTF) 대회에서 수집된 데이터를 분석했으며, 1,337개의 인간 전용 팀과 156개의 AI 에이전트 팀이 등록되었으며, 958개의 인간 팀과 120개의 AI 팀이 36개의 사이버 보안 챌린지와 9개의 기술 도메인, 4개의 난이도 수준에 걸쳐 챌린지를 시도했다.
결과는 AI 강화 사이버 보안 작전의 생산성 향상과 조직이 보안 팀이 작동하는 방식을 자동화로 재정의함에 따라 직면할 수 있는 새로운 직원 과제를 강조한다.
AI 강화 팀이 측정 가능한 성능 향상을 제공한다
벤치마크는 사이버 보안 워크플로에 AI 에이전트를 통합하면 특히 경험이 풍부한 인간 운영자와 결합할 때 출력을 크게 증가시킬 수 있음을 보여준다.
주요 발견 사항은 다음과 같다:
- 엘리트 AI 강화 팀은 인간 전용 팀에 비해 최대 4.1 배 더 높은 출력
- 모든 팀에서 동일한 시간 창에서 1.4 배의 생산성 향상
- AI 강화 팀의 챌린지 해결률은 70% 더 높다
- AI 팀의 해결률은 27%이며, 최고의 인간 전용 팀은 16%
- 모든 참가자에 걸쳐 3.2 배 더 높은 전체 해결률 비율
하리스 피라리노스 해크 더 박스 최고경영자는 결과가 AI가 운영 속도를 크게提高할 수 있음을 보여주지만, 여전히 인간의 감독이 필요하다고 말한다.
“AI는 사이버 보안 성능의 기준을 높일 수 있지만, 인간 전문 지식의 필요성을 제거하지는 않습니다.” 피라리노스는 말했다. “조직은 이러한 이점을 안전하게 잠금으로解除하기 위해 AI 플루언트 팀과 인간-인-루프 워크플로를 개발해야 합니다.”
합성 벤치마크는 종종 AI 평가에서 사용되지만, 대회는 실제 경쟁 압력을 받는 전문급 사이버 보안 챌린지를 사용하여, AI 지원 팀과 인간 팀 사이에 더 운영적으로 현실적인 비교를 제공했다.
인간-AI 하이브리드 모델이 우승 전략으로 등장한다
AI가 성능을 크게 가속화했지만, 연구는 AI 에이전트와 인간 운영자를 결합한 하이브리드 팀이 전체적으로 가장 강력한 결과를 생산한다는 것을 발견했다.
대회에서:
- AI 강화 팀의 73.3%가 최소한 하나의 챌린지를 완료했으며, 이는 인간 전용 팀의 46%를 능가했다
- AI 에이전트는 종종 기준 생산성을 향상시켰지만, 복잡한 작업에 직면했을 때 인간의 검증과 전략적 방향이 필요했다
CISO와 보안 리더를 위한 보고서는 AI를 사이버 보안 전문가의 대체물이 아닌 력 배가자로 간주해야 한다고 강조한다.
AI의 영향은 스킬 레벨에 따라 크게 다르다
보고서에서 가장 중요한 통찰 중 하나는 AI가 사이버 보안 실무자의 스킬 레벨에 따라 다르게 영향을 미친다는 것이다.
초급: 생산성의 환상
초급 운영자는 AI가 그들이 그렇지 않으면 어려움을 겪을 수 있는 챌린지를 해결하는 데 도움이 될 수 있지만, 보고서는 이것이 AI 출력을 검증하거나 에이전트 워크플로를 효과적으로 안내할 수 있는 전문 지식이 부족한 경우 생산성의 허상이 될 수 있다고 경고한다.
일부 경우에, 성과가 낮은 AI 강화 팀은 실제로 12.5% 더 느렸으며, 운영자가 충분한 감독 스킬을 갖지 못해 비효율적인 루프에 갇혔다.
중급: AI의 달콤한 점
가장 큰 생산성 향상은 중급 분석가를 포함한 팀에서 발생했으며, 특히 중간 수준의 작업을 해결할 때 더욱 두드러졌다.
이 범주에서:
- 중간 난이도의 문제에서 AI优势은 3.89 배의 성능 향상을 보였다
- 중간 티어 팀은 인간 전용 팀에 비해 작업 완료 속도가 40-70% 더 빠르다
이는 기업이 중간 수준의 분석가와 함께 에이전트 시스템을 배치하여 가장 즉각적인 ROI를 볼 수 있을 것이라고 제안한다.
엘리트 운영: 속도优势, 능력 대체 아님
최상위 성과자 중에서 AI 강화 팀과 인간 전문가 사이의 격차는 크게 좁혀졌다.
예를 들어:
- 최상의 인간 팀은 모든 36개의 챌린지를 해결했으며, 최상의 AI 강화 팀은 36개 중 32개를 해결했다
- 상위 5%의 성과 티어에서 해결률优势은 1.69 배로 좁혀졌다
그러나 AI는 여전히 속도에서 주요优势를 제공했으며, 엘리트 AI 강화 팀은 챌린지를 3-4 배 더 빠르게 해결했다.
困難度 역설이 AI의 어려움을 보여준다
연구는 또한 AI 성능에서 困難度 역설을 발견했다.
AI의优势는 작업의 복잡성과 함께 증가하지만, 한계에 도달한다:
- 매우 쉬운 챌린지: AI 팀의 2.4 배의优势
- 중간 챌린지: 3.89 배의优势, 피크 성능 영역
- 어려운 챌린지:优势은 2.97 배로 떨어지며, AI 推論의 한계를 보여준다
특정 창의적 영역, 즉 코딩 및 리버스 엔지니어링은 엘리트 인간과 AI 시스템 사이에서 거의 평형을 보여주며, 인간의 직관과 새로운 推論이 여전히 중요함을 강조한다.
도메인 전반에서 AI 성능은 넓은 범위로 다양했으며, 보안 코딩 작업에서 5.15 배의优势에서 디지털 포렌식에서 1.68 배의优势까지였다.
잠재적인 인재 파이프라인 위기
생산성 향상 외에도 보고서는 장기적인 직원 문제를 제기한다: AI는 미래의 사이버 보안 전문가를 생산하는 훈련 파이프라인을 방해할 수 있다.
초급 보안 작업, 즉 전통적으로 주니어 분석가를 훈련하는 데 사용되는 작업은 점점 더 자동화 가능하다. AI 팀은 인간 팀보다 가장 쉬운 챌린지 티어에서 훨씬 더 좋은 성과를 보였으며, 주니어 분석가에게 역사적으로 훈련을 제공하는 작업이 점점 더 자동화될 수 있음을 시사한다.
조직이 초기 경력 작업을 너무 많이 자동화하면 보고서는 “누락된 중간”을 tạo할 수 있다고 경고한다. 즉, 분석가가 선임 보안 전문가가 되기 위해 필요한 스킬을 개발하지 못하는 경우가 많아질 수 있다.
보안 리더를 위한 함의
CISO와 기업 보안 리더를 위한 발견은 AI 도구를 채택하는 것이 더 이상 선택이 아니라는 것을 시사한다.
AI를 보안 작전에 통합하지 못하는 조직은 이미 AI를 사용하여 공격을 가속화하고 전통적인 팀이 반응할 수보다 더 빠르게 취약점을 악용하는 적대자와 직면할 수 있다.
보고서는 3단계 전략을 추천한다:
- 초급 역할을 재훈련하여 수동 작업이 아닌 AI 거버넌스와 검증에 중점을 둔다
- 생산성 향상이 가장 높은 중간 경력 분석가와 함께 먼저 AI를 배치한다
- 엘리트 인재를 유지하고 사고 대응 및 고급 위협 분석을 가속화하기 위해 AI 공조자와 짝지어라
궁극적으로, 보고서는 사이버 보안의 미래가 AI 대 인간이 아니라 기계 속도로 작동하는 AI 강화 인간이 될 것이라고 제안한다.
