우리가 구축한 보안 취약점: AI 에이전트와 복종 문제

LLM 기반 AI 에이전트는 공격자가 데이터에 악성 명령을 삽입하여 도움이 되는 시스템을 무의식적인 공범으로 만드는 새로운 종류의 취약점을 도입하고 있습니다.

Microsoft Copilot은 전통적인 의미의 해킹을 당하지 않았습니다. 맬웨어, 피싱 링크, 악성 코드도 없었습니다. 아무도 아무것도 클릭하거나 악용 사례를 실행하지 않았습니다.

위협 행위자는 단순히 요청만 했습니다. Microsoft 365 Copilot은 본래의 기능을 정확히 수행하며 요청을 수락했습니다. 최근 에코리크 제로 클릭 공격에서 AI 에이전트는 데이터로 위장한 프롬프트에 의해 조종당했습니다. AI 에이전트는 고장이 아니라, 설계된 대로 작동했기 때문에 명령을 따랐습니다.

이 취약점은 소프트웨어 버그를 악용한 것이 아니라 언어를 악용했습니다. 이는 사이버 보안의 중요한 전환점을 의미하며, 공격 표면은 더 이상 코드가 아닌 대화입니다.

새로운 AI 복종 문제

AI 에이전트 도움을 주기 위해 설계되었습니다. 사용자의 의도를 이해하고 효율적으로 처리하는 것이 목적입니다. 하지만 이러한 유용성에는 위험이 따릅니다. 파일 시스템, 생산성 플랫폼 또는 운영 체제에 내장된 이러한 에이전트는 자연어 명령을 최소한의 저항으로 수행합니다.

위협 행위자들은 바로 그 특징을 악용하고 있습니다. 무해해 보이는 즉각적인 주입을 통해 민감한 행동을 유발할 수 있습니다. 이러한 자극에는 다음이 포함될 수 있습니다.

• 다국어 코드 조각
• 모호한 파일 형식 및 내장된 지침
• 영어가 아닌 언어 입력
• 일상 언어에 숨겨진 다단계 명령

대규모 언어 모델(LLM)은 복잡성과 모호성을 이해하도록 훈련되므로 프롬프트가 페이로드가 됩니다.

시리와 알렉사의 유령

이 패턴은 새로운 것이 아닙니다. Siri와 Alexa 초창기에는 연구원들이 시연 "내 모든 사진을 이 이메일로 보내줘"와 같은 음성 명령을 실행하면 사용자 확인 없이 작업이 트리거될 수 있습니다.

이제 위협은 더욱 커졌습니다. Microsoft Copilot과 같은 AI 에이전트는 Office 365, Outlook 및 OS에 깊이 통합되어 있습니다. 이 에이전트는 이메일, 문서, 자격 증명 및 API에 접근합니다. 공격자는 합법적인 사용자로 위장하여 중요한 데이터를 추출하기 위해 적절한 프롬프트만 필요합니다.

컴퓨터가 명령을 데이터로 착각하는 경우

이것은 사이버 보안의 새로운 원칙이 아닙니다. 다음과 같은 주입 SQL 공격 시스템이 입력과 지시를 구분할 수 없었기 때문에 성공할 수 있었습니다. 오늘날에도 동일한 결함이 존재하는데, 바로 언어 계층에 존재합니다.

AI 에이전트는 자연어를 입력과 의도 모두로 취급합니다. JSON 객체, 질문, 심지어 문구조차도 동작을 시작할 수 있습니다. 이러한 모호성을 악용하여 위협 행위자는 무해해 보이는 콘텐츠에 명령을 삽입합니다.

우리는 인프라에 의도를 심어 놓았습니다. 이제 위협 행위자들은 자신의 명령에 따라 의도를 추출하는 방법을 터득했습니다.

AI 도입이 사이버 보안을 앞지르고 있습니다

많은 기업이 LLM 통합에 서두르면서 중요한 질문 하나를 간과하게 됩니다. AI는 무엇에 접근할 수 있을까요?

Copilot이 OS에 접촉하면 폭발 반경이 받은 편지함을 훨씬 넘어 확장됩니다. Check Point의 AI 보안 보고서:

• 전 세계 최고 정보 보안 책임자(CISO)의 62%가 AI 관련 침해에 대해 개인적으로 책임을 져야 할 수 있다고 우려합니다.
• 거의 40%의 조직이 보안 감독 없이 승인되지 않은 AI의 내부 사용을 보고합니다.
• 사이버 범죄 집단의 20%가 피싱 및 정찰 수행을 포함하여 운영에 AI를 통합하고 있습니다.

이는 단순히 새롭게 나타난 위험이 아닙니다. 이미 피해를 입히고 있는 현존하는 위험입니다.

기존 안전장치가 부족한 이유

일부 공급업체는 위험한 메시지나 의심스러운 동작을 포착하도록 훈련된 보조 모델인 감시 장치를 사용합니다. 이러한 필터는 기본적인 위협을 탐지할 수는 있지만, 회피 기법에 취약합니다.

위협 행위자는 다음을 수행할 수 있습니다.

• 노이즈가 있는 필터에 과부하가 걸립니다.
• 여러 단계에 걸쳐 의도를 분할합니다.
• 탐지를 우회하기 위해 명확하지 않은 표현을 사용하세요

에코리크의 경우, 안전장치가 존재했음에도 불구하고 이를 우회했습니다. 이는 정책의 실패뿐 아니라 아키텍처의 실패를 보여줍니다. 에이전트가 높은 수준의 권한은 가지고 있지만 낮은 수준의 컨텍스트를 가지고 있다면, 아무리 좋은 안전장치라도 부족합니다.

완벽함이 아닌 탐지

모든 공격을 예방하는 것은 비현실적일 수 있습니다. 목표는 신속한 탐지와 신속한 봉쇄여야 합니다.

조직은 다음과 같은 방법으로 시작할 수 있습니다.

• 실시간으로 AI 에이전트 활동을 모니터링하고 신속한 감사 로그를 유지합니다.
• AI 도구에 엄격한 최소 권한 액세스 적용, 관리자 수준 제어 미러링
• 확인 요구와 같은 민감한 작업에 마찰 추가
• 검토를 위해 특이하거나 적대적인 프롬프트 패턴을 플래그로 표시합니다.

언어 기반 공격은 기존에는 나타나지 않습니다. 엔드포인트 탐지 및 대응 (EDR) 도구. 새로운 탐지 모델이 필요합니다.

조직이 자신을 보호하기 위해 지금 해야 할 일

조직에서는 AI 에이전트를 배치하기 전에 해당 시스템이 어떻게 작동하는지, 어떤 위험이 발생하는지 이해해야 합니다.

주요 권장 사항은 다음과 같습니다.

1. 모든 액세스 감사: 에이전트가 무엇을 만지거나 트리거할 수 있는지 알아보세요.
2. 범위 제한: 필요한 최소한의 권한 부여
3. 모든 상호 작용 추적: 프롬프트, 응답 및 결과 작업 기록
4. 스트레스 테스트: 적대적 입력을 내부적으로 자주 시뮬레이션합니다.
5. 회피 계획: 필터가 우회될 것이라고 가정
6. 보안에 맞춰 조정: LLM 시스템이 보안 목표를 손상시키지 않고 지원하도록 보장합니다.

새로운 공격 표면

에코리크는 앞으로 다가올 공격의 예고편입니다. LLM이 발전함에 따라, LLM의 유용성은 오히려 위협으로 다가옵니다. 비즈니스 시스템에 깊이 통합된 에코리크는 간단하고 잘 만들어진 프롬프트를 통해 공격자에게 새로운 침투 경로를 제공합니다.

이제 단순히 코드 보안만을 의미하는 것이 아닙니다. 언어, 의도, 그리고 맥락을 보호하는 것이 중요합니다. 너무 늦기 전에 지금 당장 플레이북을 바꿔야 합니다.

하지만 좋은 소식이 있습니다. AI 에이전트를 활용하여 방어 새롭게 부상하는 사이버 위협에 대응합니다. 이러한 자율 AI 에이전트를 적절히 활용하면, 인간보다 빠르게 위협에 대응하고, 다양한 환경에서 협업하며, 단일 침입 시도를 통해 학습하여 새롭게 발생하는 위험에 대해 선제적으로 방어할 수 있습니다.

에이전트 AI는 모든 공격으로부터 학습하고 실시간으로 적응하며 위협이 확산되기 전에 예방할 수 있습니다. 이는 사이버 복원력의 새로운 시대를 열 잠재력을 가지고 있지만, 이는 우리가 이 순간을 포착하고 사이버 보안의 미래를 함께 만들어갈 때에만 가능합니다. 그렇지 않으면, 이 새로운 시대는 이미 AI를 구현한 (때로는 섀도 IT 도구를 통해 자신도 모르게 도입한) 조직들에게 사이버 보안 및 데이터 프라이버시 측면에서 악몽과 같은 상황을 초래할 수 있습니다. 지금이 바로 AI 에이전트가 우리의 파멸이 아닌 우리의 이익을 위해 활용되도록 조치를 취해야 할 때입니다.