2025년 AI 보안 현황: 시스코 보고서의 주요洞察

더 많은 기업이 AI를 도입하면서 보안 위험을 이해하는 일이 그 어느 때보다 중요해졌습니다. AI는 산업과 업무 흐름을 재편하고 있지만, 조직이 해결해야 할 새로운 보안 과제도 만들어 냅니다. 신뢰를 유지하고 개인정보를 보호하며 원활한 비즈니스 운영을 보장하려면 AI 시스템을 보호해야 합니다. 이 글은 시스코의 최신 보고서인 「2025년 AI 보안 현황(State of AI Security in 2025)」의 핵심 내용을 정리합니다. 현재 AI 보안이 어느 단계에 와 있는지, 그리고 기업이 미래를 위해 무엇을 고려해야 하는지 살펴봅니다.

커지는 AI 보안 위협

2024년이 우리에게 알려준 한 가지 사실은 AI 도입 속도가 많은 조직의 보안 대응 속도보다 빠르다는 것입니다. 시스코 보고서에 따르면 현재 약 72%의 조직이 비즈니스 기능에 AI를 사용하지만, AI의 잠재력을 안전하게 최대한 활용할 준비가 충분하다고 느끼는 조직은 13%에 불과합니다. 도입과 준비 상태 사이의 이러한 격차는 주로 보안 우려에서 비롯되며, 보안은 여전히 기업의 AI 활용 확대를 가로막는 가장 큰 장벽입니다. 더욱 우려스러운 점은 AI가 기존 사이버 보안 방식만으로는 충분히 대응하기 어려운 새로운 유형의 위협을 초래한다는 것입니다. 고정된 시스템을 보호하는 데 초점을 맞추는 경우가 많은 기존 사이버 보안과 달리, AI는 예측하기 어려운 역동적이고 적응적인 위협을 불러옵니다. 보고서는 조직이 주의해야 할 몇 가지 새로운 위협을 강조합니다.

• 인프라 공격: AI 인프라는 공격자의 주요 표적이 되었습니다. 대표적인 사례로 NVIDIA Container Toolkit이 침해된 사건이 있습니다. 이 취약점으로 공격자는 파일 시스템에 접근하고 악성 코드를 실행하며 권한을 상승시킬 수 있었습니다. 마찬가지로 GPU 관리를 위한 오픈소스 AI 프레임워크인 Ray도 실제 환경에서 발생한 최초의 AI 프레임워크 공격 중 하나에서 침해되었습니다. 이러한 사례는 AI 인프라의 약점이 수많은 사용자와 시스템에 영향을 줄 수 있음을 보여줍니다.
• 공급망 위험: AI 공급망의 취약성도 중대한 문제입니다. 약 60%의 조직이 오픈소스 AI 구성 요소나 생태계에 의존합니다. 공격자가 널리 사용되는 이러한 도구를 침해할 수 있으므로 위험이 커집니다. 보고서는 배포된 뒤에도 공격자가 AI 모델을 변조할 수 있게 하는 「Sleepy Pickle」이라는 기법을 언급합니다. 이 때문에 공격을 탐지하기가 매우 어렵습니다.
• AI 특화 공격: 새로운 공격 기법은 빠르게 진화하고 있습니다. 프롬프트 인젝션, 탈옥, 학습 데이터 추출 등의 방법을 이용하면 공격자는 안전 통제를 우회하고 학습 데이터세트에 포함된 민감한 정보에 접근할 수 있습니다.

AI 시스템을 노리는 공격 경로

보고서는 악의적인 행위자가 AI 시스템의 약점을 악용할 때 사용하는 새로운 공격 경로를 강조합니다. 이러한 공격은 데이터 수집과 모델 학습부터 배포와 추론에 이르기까지 AI 수명주기의 여러 단계에서 발생할 수 있습니다. 공격의 목적은 대개 AI가 의도하지 않은 방식으로 행동하게 만들거나, 비공개 데이터를 유출하거나, 해로운 작업을 수행하게 하는 것입니다.

최근 몇 년 동안 이러한 공격 방법은 더욱 정교해지고 탐지하기 어려워졌습니다. 보고서는 다음과 같은 공격 경로를 제시합니다.

• 탈옥: 모델의 안전장치를 우회하는 적대적 프롬프트를 만드는 기법입니다. AI 방어가 개선되었음에도 시스코의 연구에 따르면 단순한 탈옥도 DeepSeek R1과 같은 고급 모델에 여전히 효과적입니다.
• 간접 프롬프트 인젝션: 직접 공격과 달리 AI 모델이 사용하는 입력 데이터나 맥락을 간접적으로 조작하는 공격입니다. 공격자는 악성 PDF나 웹페이지처럼 오염된 자료를 제공하여 AI가 의도하지 않았거나 유해한 결과를 생성하도록 만들 수 있습니다. AI 시스템에 직접 접근하지 않고도 여러 전통적 방어 수단을 우회할 수 있으므로 특히 위험합니다.
• 학습 데이터 추출 및 오염: 시스코 연구진은 챗봇을 속여 학습 데이터의 일부를 공개하게 할 수 있음을 입증했습니다. 이는 데이터 개인정보 보호, 지식재산권, 규정 준수에 심각한 우려를 제기합니다. 공격자는 악성 입력을 주입해 학습 데이터를 오염시킬 수도 있습니다. 놀랍게도 데이터 오염을 통해 LAION-400M이나 COYO-700M 같은 대규모 데이터세트의 단 0.01%만 변조해도 모델 행동에 영향을 줄 수 있습니다. 비용도 약 60달러에 불과해 많은 악의적 행위자가 이 공격을 시도할 수 있습니다.

보고서는 이러한 공격의 현재 상황이 매우 심각하다고 지적합니다. 연구진은 DeepSeek R1과 Llama 2 같은 고급 모델을 상대로 100%의 공격 성공률을 달성했습니다. 이는 해당 모델 사용과 관련된 중대한 보안 취약점과 잠재적 위험을 드러냅니다. 또한 보고서는 멀티모달 AI 모델을 특별히 겨냥한 음성 기반 탈옥 같은 새로운 위협의 등장을 확인했습니다.

시스코 AI 보안 연구의 주요 결과

시스코 연구팀은 AI 보안의 여러 측면을 평가하고 다음과 같은 핵심 결과를 공개했습니다.

• 알고리즘을 이용한 탈옥: 연구진은 최고 수준의 AI 모델도 자동화된 방식으로 속일 수 있음을 보여주었습니다. 가지치기를 적용한 공격 트리(Tree of Attacks with Pruning, TAP)라는 방법을 사용해 GPT-4와 Llama 2의 보호 장치를 우회했습니다.
• 미세 조정의 위험: 많은 기업은 특정 분야와의 관련성을 높이기 위해 기반 모델을 미세 조정합니다. 그러나 연구진은 미세 조정이 내부 안전장치를 약화할 수 있음을 발견했습니다. 미세 조정된 모델은 원래 모델보다 탈옥에 세 배 이상 취약했고 유해한 콘텐츠를 생성할 가능성은 22배 더 높았습니다.
• 학습 데이터 추출: 시스코 연구진은 간단한 분해 방법으로 챗봇을 속여 뉴스 기사 조각을 재현하게 한 뒤 원본 자료를 재구성했습니다. 이는 민감하거나 독점적인 데이터가 노출될 위험을 초래합니다.
• 데이터 오염: 시스코 팀은 대규모 웹 데이터세트를 얼마나 쉽고 저렴하게 오염시킬 수 있는지 보여주었습니다. 연구진은 약 60달러로 LAION-400M이나 COYO-700M 같은 데이터세트의 0.01%를 오염시켰습니다. 또한 이 정도의 오염만으로도 모델 행동에 눈에 띄는 변화를 일으키기에 충분하다는 점을 강조했습니다.

사이버 범죄에서 AI가 하는 역할

AI는 공격 대상일 뿐 아니라 사이버 범죄자의 도구가 되고 있습니다. 보고서에 따르면 자동화와 AI 기반 사회공학으로 공격의 효과는 커지고 탐지는 어려워졌습니다. 피싱 사기부터 음성 복제까지, AI는 범죄자가 설득력 있고 개인화된 공격을 만드는 데 도움을 줍니다. 보고서는 피싱 이메일을 생성하거나 취약점을 악용해 사이버 범죄를 돕도록 설계된 「DarkGPT」 같은 악성 AI 도구의 증가도 지적합니다. 이러한 도구가 특히 우려스러운 이유는 접근성이 높기 때문입니다. 이제 기술 수준이 낮은 범죄자도 기존 방어를 피하는 고도로 개인화된 공격을 만들 수 있습니다.

AI 보안을 위한 모범 사례

급변하는 AI 보안 환경에 대응하기 위해 시스코는 조직이 취할 수 있는 몇 가지 실용적인 조치를 권고합니다.

1. AI 수명주기 전반의 위험 관리: 데이터 확보와 모델 학습부터 배포와 모니터링까지 AI 수명주기의 모든 단계에서 위험을 식별하고 줄여야 합니다. 여기에는 제3자 구성 요소 보호, 강력한 안전장치 적용, 접근 지점에 대한 엄격한 통제도 포함됩니다.
2. 검증된 사이버 보안 관행 활용: AI에는 고유한 특성이 있지만 전통적인 사이버 보안 모범 사례도 여전히 필수적입니다. 접근 통제, 권한 관리, 데이터 손실 방지 같은 기술이 중요한 역할을 할 수 있습니다.
3. 취약한 영역에 집중: 조직은 공급망과 제3자 AI 애플리케이션처럼 공격 표적이 될 가능성이 큰 영역에 집중해야 합니다. 취약점이 어디에 있는지 파악하면 기업은 더 정교하게 표적화된 방어 체계를 구현할 수 있습니다.
4. 직원 교육 및 훈련: AI 도구가 널리 확산됨에 따라 사용자에게 책임감 있는 AI 사용과 위험 인식을 교육해야 합니다. 충분한 정보를 갖춘 직원은 우발적인 데이터 노출과 오용을 줄이는 데 도움이 됩니다.

앞으로의 전망

AI 도입은 계속 증가하고 보안 위험도 함께 진화할 것입니다. 전 세계 정부와 조직은 이러한 과제를 인식하고 AI 안전을 이끌 정책과 규정을 마련하기 시작했습니다. 시스코 보고서가 강조하듯 AI의 안전과 발전 사이에서 균형을 잡는 일이 AI 개발과 배포의 다음 시대를 결정할 것입니다. 혁신과 함께 보안을 우선시하는 조직이 과제에 대응하고 새롭게 떠오르는 기회를 포착할 준비를 가장 잘 갖추게 될 것입니다.