AI 보안 도구가 당신을 보호하지 않는다 – 단지 당신에게 더 나은感觉을 주기 때문이다

2025년 6월, Microsoft는 CVE-2025-32711, 즉 EchoLeak라고 알려진 Microsoft 365 Copilot의 0클릭 취약점을 패치했다. 이는 CVSS에서 9.3점을 기록했다. 공격자는 피해자가 열지 않은 이메일을 통해 Copilot의 검색 엔진을 조작하여 민감한 정보를 탈취할 수 있었다. 문제는 Microsoft의 자체 프롬프트 주입 분류기인 XPIA가 공격에 실패했다는 것이다.

브루스 슈나이더는 2009년에 이에 대해 설명했다. 그는 보안을 강화하는 것보다 사람들에게 보안을 느끼게 하는 것을 의미하는 ‘보안극’이라는 용어를 사용했다. 실제 보안과 느끼는 보안은 다르다.

17년 후, AI는 이 차이를 산업화했다. AI 기반 보안 도구는 측정할 수 없는 능력을 판매하고, AI를 위한 보안 도구는 문서에 따라 해결할 수 없는 문제를 해결한다고 주장한다. Gartner의 2025년 하이프 사이클은 AI 신뢰, 위험 및 보안 관리를 과대평가의 정점에 올려놓았다. 분석가들은 우리가 어디에 있는지 알려주고 있다. 질문은 무엇을 해야 하는지이다.

데이터 시트와 측정 간의 간격

Picus Blue Report 2025에 따르면, 2025년 상반기 동안 생산 환경에서 수행된 1억 6천만 개 이상의 실제 공격 시뮬레이션을 분석했다. 방어의 효과는 62%로, 이전 년도보다 7% 낮아졌다. 54%의 로깅 범위를 보유하고 있음에도 불구하고, 시뮬레이션된 공격 중 14%만이 경고를 생성했다. 유효한 자격증명서를 사용하는 공격은 98%의 경우 성공했다. 또한 데이터 유출 시도를 시뮬레이션한 결과, 현재의 통제는 3%만을 차단했다.

3%. 이는 현대적인 보안 스택을 갖춘 환경이며, 데이터 유출 테스트는 공격자가 원하는 것을 가장 직접적으로 나타낸다.

벤더 데크에 나타나는 벤치마크 점수도同じ 회의를 받는다. 벤더들이 MITRE ATT&CK 평가에서 완벽한 점수를 얻었다고 주장하기 시작했을 때, Forrester 분석가 Allie Mellen은 다음과 같이 지적했다. 평가에는 승자나 패자가 없으며, 100% 주장은 비현실적인 구성, 체리 피킹된 하위 결과 또는 실제 SOC를 노이즈로 묻히는 감지 설정에 기반한다.

이것은 새로운 것이 아니다. 2019년에 Skylight Cyber의 연구자들은 Cylance의 “순수 AI” 안티바이러스 프로그램을 Rocket League 비디오 게임에서 문자열을 맬웨어 샘플에 추가하여 분해했다. 이것은 당일의 상위 10개의 맬웨어 패밀리 중 100%, 더广い 샘플 세트 중 83%의 분류기를 무효화했다. 정적 기계 학습 모델이 이를 연구하는 적대자에 대해 실패한다는 교훈은 7년 전으로 거슬러 올라간다. 시장의 반응은 더 많은 정적 기계 학습 모델을 출荷하는 것이었다.

가드레일 문제는 더 심각하다

AI 기반 탐지는 과대광고한다. AI 자체를 보호하기 위한 도구는 더 이상한 위치에 있다. 위협을 정의하는 표준 기관은 위협이 해결할 수 없을 수 있다고 말한다.

Prompt injection은 OWASP Top 10 for LLM 애플리케이션에서 1위에 올랐다. OWASP의 지침은 다음과 같다. 모델의 확률적 특성으로 인해 “방지에 완전한 방법은 불분명하다”고 말한다. Fine-tuning과 RAG은 완전히 완화하지 않는다. 이것이 프롬프트 실드 시장의 문제이다. OWASP는 이를 해결할 수 없을 수 있다고 말한다.

실증적 연구는 비관적이다. 랭커스터 대학교와 Mindgard의 연구자들은 6개의 생산 가드레일 시스템,包括 Microsoft의 Azure Prompt Shield와 Meta의 Prompt Guard,을 테스트했다. 그들은 문자 주입 및 적대적 섭동 기술을 사용하여 최대 100%의 회피 성공을 달성했다. HiddenLayer는 모든 주요 모델을 우회하는 단일 전이 가능한 “Policy Puppetry” 프롬프트 템플릿을 발표했다. 이것은 벤더 연구이며 피어 리뷰가 되지 않았지만, 독립적인 매체는 핵심 주장을 재현했다.

가장 신뢰할 수 있는 증人は 제품을 판매하지 않는다. 영국의 AI 안전 연구소는 5개의 주요 LLM을 평가했다. “모든 모델이 기본 공격에 대해 매우 취약했다”고 보고했다. 내부 공격이 적용될 때 거의 모든 유해한 질문에 대해 5번의 시도 중 적어도 1번은 모델이 순종했다. 기본 공격이다. 국가의 전통적인 기술이 아니다. 정부 평가 기관은 공손하게皇帝의 입력 필터가 옷을 입지 않았다고 말한다.

위험한 부분은 느낌이다

안전 연구자들은 이것을 위험 보상 또는 펠츠만 효과라고 부른다. 보호된 사람들은 더 많은 위험을 감수한다. 시트벨트를 착용한 운전자는 더 빠르게 운전한다. 또한 AI 보안 대시보드를 갖춘 조직은 더 이상 지루한 일을 하지 않는다.

숫자는 불안하게 일치한다. 시스코의 2025년 사이버 보안 준비 지수는 8,000명의 보안 리더를 조사했다. 조사 결과, 86%의 조직이 지난 12개월 동안 AI 관련 보안 사고를 경험했다. 그러나 10%만이 AI를 가장 어려운 것으로 생각했으며, 60%는 직원이 생성된 AI를 사용하는 방식에 대한 가시성이 없다고 말했다. 사고는 거의 보편적이었지만, 우려는 반올림 오차였다.

IBM의 2025년 데이터 침해 비용 보고서는 그림을 완성한다. AI 모델 또는 애플리케이션의 침해를 경험한 조직 중 97%는 적절한 AI 액세스 제어가 없었다. 5분의 1의 침해는 그림자 AI로 인해 발생했으며, 평균 침해 비용에 약 67만 달러를 추가했다. 또한 63%의 침해된 조직은 AI 거버넌스 정책이 전혀 없었다. 이러한 숫자를 함께 읽으면 패턴이 나타난다. 실패는 지루한 것이다. 기본적인 사항이 отсутств한 조직에서 발생했다.

대시보드는 고장하지 않았다. 그것은 실제 제품인 자신감을 전달했다.

진짜 버전은 무엇인가?

이것은 AI 보안 도구가 완전히 쓸모없다는 것을 의미하지 않는다. Anthropic의 Constitutional Classifiers는 183명의 연구자에 의한 3,000시간의 적대적 테스트를 견뎌냈다. 이는 무방어 모델의 86%를 4.4%로 낮추었으며, 약 0.38점의 거부 오버헤드와 24%의 컴퓨팅 오버헤드가 발생했다. 그런 다음 Anthropic은 공개 도전을 수행했고, 339명의 참가자 중 4명이 모든 레벨을 통과했고, 1명은 여전히 작동하는 보편적인 탈옥을 발견했다.

이것은 전체 분야의 진실한 모양이다. 잘 구축된 가드레일은 공격자의 비용을 enorm하게 높였으며, 측정할 수 있는 세금을 지불했고, 여전히 충분히 결심한 인간에게 실패했다. 내가 이 기사를 구매 원칙으로 압축해야 한다면, 다음과 같다. 비용을 증가시키는 것으로 판매되는 컨트롤은 평가할 가치가 있다. 해결된 문제로 판매되는 컨트롤은 당신에게 느낌을 판매한다.

컨트롤 또는 위안의 담요: 세 가지 질문

연구 예산 없이도 이를 구별할 수 있다. 세 가지 질문, 당신이 소유하거나 구매할 AI 보안 도구에 대해.

내 환경에서 측정된 우회율은 무엇인가? 벤더의 벤치마크가 아니다. 당신의 것이다. 연속적인 검증과 퍼플 팀 연습이 존재하는 이유는 Picus 데이터가 보여주듯이 배치된 컨트롤이 조용히 실패로漂向한다는 것이다. 당신이 측정하지 않은 숫자는 신앙으로 받아들이는 숫자이다.

실패할 때 무슨 일이 일어나는가? OWASP의 실용적인 지침은 위에서 언급한 모든 사고와 같은 방향을 나타낸다. 모델에 대한 최소 특권 액세스, 민감한 동작에 대한 인간 승인 게이트, 필터가 결국 무엇인가를 통과시킬 것이라는 가정에 기반한 분리이다. EchoLeak은 Copilot가 훔치기에는 가치가 없는 것을 도달할 수 없었던 조직에게 생존했다.

벤더의 주장은 사실인가, 가설인가? 벤더 자신이 더 많이 인정한다. Vectra의 2,000명의 SOC 전문가에 대한 설문조사, 벤더 연구, 팀이 생성하는 경고 중 38%만을 처리할 수 있다고 나타났다. 60%는 벤더가 노이즈를 생성하는 도구를 판매한다고 말했다. 도움보다 방해가 된다고 말하는 팀은 절반이다. 고객이这样이라고 보고할 때, “데이터 시트를 신뢰하라”는 더 이상 전략이 아니다.

패턴은 패치를 살아남는다

EchoLeak은 패치 테스트에서 수정되었다. 그러나 그것이 보여준 패턴, 즉 생산 가드레일이 앞문으로 필터링하는 동안 공격이 우편함을 통해 들어오는 것은 수정되지 않았다. 위에 언급한 연구 기록은 곧 수정되지 않을 것이라고 말한다.

슈나이더의 구별은 17년 전으로 거슬러 올라간다. 그리고 그것은 무시하는 데 더 비싼 비용이 든다. 보안의 느낌은 제품이며, AI 시대는 구독 티어로 판매한다. 보안의 현실은 측정이며, 아무도 그것을 당신에게 판매할 수 없다. 당신이 가서 가져와야 한다.