2025년 AI 보안 현황: 시스코 보고서의 주요洞察

더 많은 비즈니스들이 AI를 채택함에 따라, 그들의 보안 위험성을 이해하는 것이 더욱 중요해졌습니다. AI는 산업과 워크플로우를 재정의하고 있지만, 동시에 새로운 보안 도전을 제기합니다. AI 시스템을 보호하는 것은 신뢰를 유지하고, 사생활을 보호하며, 비즈니스 운영을 원활하게 유지하는 데에 필수적입니다. 이 기사는 시스코의 최근 “2025년 AI 보안 현황” 보고서의 주요 내용을 요약합니다. 보고서는 현재 AI 보안이 어떤 상황인지와 미래를 위해 기업들이 고려해야 할 사항에 대해 개요를 제공합니다.

AI에 대한 증가하는 보안 위협

2024년이 우리에게 가르친 바는, AI를 채택하는 속도가 많은 조직이 이를 안전하게 사용할 수 있는 속도보다 빠르다는 것입니다. 시스코의 보고서에 따르면, 약 72%의 조직이 현재 비즈니스 기능에서 AI를 사용하고 있지만, chỉ 13%의 조직이 이를 안전하게 사용할 수 있다고 생각합니다. 이는 보안 우려로 인해 발생하는 것으로, 이러한 우려는 기업에서 AI를 더广泛하게 사용하는 데에 주요 장애물입니다. 더욱 우려되는 것은, AI가 전통적인 사이버 보안 방법으로는 다루기 어려운 새로운 유형의 위협을 제기한다는 것입니다. 전통적인 사이버 보안은 일반적으로 정적인 시스템을 보호하는 반면, AI는 예측하기 어려운 동적이고 적응적인 위협을 제기합니다. 보고서는 조직이 인식해야 할 몇 가지 새로운 위협에 대해 강조합니다:

• 인프라 공격: AI 인프라는 공격者的 주요 목표가 되었습니다. NVIDIA의 Container Toolkit의 경우, 공격者가 파일 시스템에 접근하고, 악성 코드를 실행하며, 권한을 상승시킬 수 있었습니다. Ray, 오픈소스 AI 프레임워크도 공격者에 의해 손상되었습니다. 이러한 사례는 AI 인프라의 취약성이 많은 사용자와 시스템에 영향을 미칠 수 있음을 보여줍니다.
• 공급망 위험: AI 공급망 취약성은 또 다른 주요 우려事項입니다. 약 60%의 조직이 오픈소스 AI 구성 요소 또는 생태계를 사용하고 있습니다. 이는 공격者가 이러한 널리 사용되는 도구를 손상시킬 수 있음을 의미합니다. 보고서는 “Sleepy Pickle”라는 기술에 대해 언급합니다. 이는 배포된 후에도 AI 모델을 손상시킬 수 있는 방법입니다. 이는 탐지가 매우 어려워집니다.
• AI 특정 공격: 새로운 공격 기법이 빠르게 진화하고 있습니다. 프롬프트 주입, 탈옥, 훈련 데이터 추출과 같은 방법으로 공격者는 안전성 제어를 우회하고, 훈련 데이터셋 내에 포함된 민감한 정보에 접근할 수 있습니다.

AI 시스템을 대상으로 하는 공격 벡터

보고서는 AI 시스템의 취약성을 악용하는 공격 벡터의 등장에 대해 강조합니다. 이러한 공격은 데이터 수집, 모델 훈련, 배포, 추론과 같은 AI 수명주기에서 발생할 수 있습니다. 목표는 종종 AI가 의도하지 않은 방식으로 작동하거나, 사적인 데이터를 누출하거나, 유해한 행동을 수행하도록 하는 것입니다.
최근 몇 년 동안 이러한 공격 방법은 더 발전하고 탐지가 어려워졌습니다. 보고서는 몇 가지 유형의 공격 벡터에 대해 강조합니다:

• 탈옥: 이 기술은 모델의 안전성 조치를 우회하는 적대적 프롬프트를 생성하는 것을 포함합니다.尽管 AI 방어가 개선되었습니다, 시스코의 연구에 따르면, 심플한 탈옥은 여전히 고급 모델에 대해 효과적입니다.
• 간접 프롬프트 주입: 직접 공격과는 달리, 이 공격 벡터는 입력 데이터나 AI 모델이 사용하는 컨텍스트를 간접적으로 조작하는 것을 포함합니다. 공격자는 악성 소스 자료를 제공하여, AI가 의도하지 않은 출력을 생성하도록 할 수 있습니다. 이러한 공격은 전통적인 방어를 우회할 수 있으므로, 특히 위험합니다.
• 훈련 데이터 추출 및 독성: 시스코의 연구진은 채팅봇이 훈련 데이터의 일부를 노출하도록 속일 수 있음을 보여주었습니다. 이는 데이터 개인정보, 지적재산권, 및 규제 준수와 관련된 심각한 우려를 제기합니다. 공격자는 또한 훈련 데이터에 악성 입력을 주입하여 독성을 유발할 수 있습니다. 경보적으로, 이러한 독성은 모델의 행동에 영향을 미칠 수 있으며, 이는 공격자에게 접근성이 용이합니다.

보고서는 이러한 공격에 대한 심각한 우려를 강조하며, 연구진이 고급 모델에 대해 100%의 성공률을 달성했음을 보여줍니다. 이는 이러한 모델의 사용과 관련된 잠재적인 보안 취약성과 위험을 나타냅니다. 또한, 보고서는 새로운 위협의 등장, 예를 들어 음성 기반 탈옥 공격에 대해 강조합니다.

시스코의 AI 보안 연구 결과

시스코의 연구 팀은 다양한 AI 보안 측면을 평가하고, 몇 가지 주요 결과를 도출했습니다:

• 알고리즘 탈옥: 연구진은 최고의 AI 모델도 자동으로 속일 수 있음을 보여주었습니다. TAP(Tree of Attacks with Pruning)라는 방법을 사용하여, 연구진은 GPT-4와 Llama 2의 보호를 우회했습니다.
• 세부 튜닝의 위험: 많은 비즈니스들이 기초 모델을 특정 도메인에 맞게 세부 튜닝합니다. 그러나 연구진은 세부 튜닝이 내부 안전성 방어를 약화시킬 수 있음을 발견했습니다. 세부 튜닝된 버전은 원래 모델보다 탈옥에 취약하고, 유해한 내용을 생성할 가능성이 22배 더 높았습니다.
• 훈련 데이터 추출: 시스코의 연구진은 간단한 분해 방법을 사용하여 채팅봇이 뉴스 기사 조각을 재생산하도록 속였습니다. 이는 민감하거나 기밀 데이터가 노출될 수 있는 위험을 제기합니다.
• 데이터 독성: 시스코의 팀은 대규모 웹 데이터셋을 독성시킬 수 있음을 보여주었습니다. 약 60달러로, 연구진은 LAION-400M이나 COYO-700M과 같은 데이터셋의 0.01%를 독성시킬 수 있음을 보여주었습니다. 또한, 이러한 독성은 모델의 행동에 영향을 미칠 수 있음을 강조했습니다.

사이버 범죄에서 AI의 역할

AI는 단순히 목표가 아니라, 사이버 범죄자들에게도 도구가 되고 있습니다. 보고서는 자동화와 AI 기반 사회 공학이 공격을 더 효과적이고 탐지가 어려워지도록 만들고 있음을 강조합니다. 피싱 스캠에서 음성 클로닝에 이르기까지, AI는 공격자가 더 개인화된 공격을 생성하도록 도와줍니다. 보고서는 또한 사이버 범죄를 위해 설계된 악성 AI 도구의 등장, 예를 들어 “DarkGPT”에 대해 강조합니다. 이러한 도구는 피싱 이메일을 생성하거나 취약성을 악용하는 데에 사용될 수 있습니다. 이러한 도구가 특히 우려되는 것은, 저숙련 사이버 범죄자도 이러한 공격을 생성할 수 있음을 의미합니다.

AI 보안을 위한 모범 사례

AI 보안의 불안정한 특성에鑑み, 시스코는 조직이 다음의 실제적인 단계를 취할 것을 권고합니다:

1. AI 수명주기 전반의 위험 관리: 데이터 소싱, 모델 훈련, 배포, 모니터링과 같은 AI 수명주기 전반의 모든 단계에서 위험을 식별하고 줄이는 것이 중요합니다. 이는 또한 제3자 구성 요소를 보호하고, 강력한 방어를 적용하며, 접근 지점을 엄격히 제어하는 것을 포함합니다.
2. 既存의 사이버 보안 모범 사례 사용: AI는 고유하지만, 전통적인 사이버 보안 모범 사례는 여전히 필수적입니다. 접근 제어, 권한 관리, 데이터 손실 방지와 같은 기술은 중요한 역할을 할 수 있습니다.
3. 취약한 영역에 집중: 조직은 공급망이나 제3자 AI 애플리케이션과 같은 취약한 영역에 집중해야 합니다. 이러한 취약성에 대한 이해를 통해, 비즈니스들은 더 타겟팅된 방어를 구현할 수 있습니다.
4. 직원 교육 및 훈련: AI 도구가 보편화됨에 따라, 사용자에게 책임있는 AI 사용과 위험 인식을 교육하는 것이 중요합니다. 잘 교육된 직원은 실수로 데이터를 노출하거나 악용하는 것을 줄일 수 있습니다.

미래를 향해

AI 채택은 계속 증가할 것이며, 그에 따른 보안 위험도 진화할 것입니다. 전 세계의 정부와 조직은 이러한 도전을 인식하고, AI 안전을 위한 정책과 규정을 구축하기 시작했습니다. 시스코의 보고서에 따르면, AI 안전과 진보 사이의 균형은 향후 AI 개발과 배포를 정의할 것입니다. 보안을 혁신과 함께 우선순위로 하는 조직은 이러한 도전을 극복하고, 새로운 기회를 잡을 수 있을 것입니다.