다가오는 다중 모드 공격의 물결: AI 도구가 새로운 공격 표면이 될 때

대규모 언어 모델(LLM)이 발전함에 따라 복합 시스템 텍스트, 이미지, 음성 및 코드를 처리할 수 있을 뿐만 아니라 외부 도구 및 커넥터를 강력하게 통합하는 역할도 하는 이러한 도구들은 점점 더 발전하고 있습니다. 이러한 진화와 함께 공격 표면이 확대되었으므로 조직은 이를 인지해야 합니다.

대표적인 예로 사회공학적 기법을 들 수 있는데, 에이전트는 인간처럼 행동하도록 훈련받았기 때문에 사회공학적 기법에 취약하며, 인간보다 의심이 훨씬 적습니다. 예를 들어, 에이전트는 위조된 이메일과 합법적인 판매업체에서 보낸 이메일을 구분하기 어려울 가능성이 높습니다.

다양한 모드와 도구 접근성의 융합은 AI를 단순한 보조 도구에서 공격 수단으로 변모시키고 있습니다. 공격자는 이제 간단한 텍스트 명령만으로 도구 오용을 유발하고, 승인되지 않은 작업을 실행하거나, 합법적인 채널을 통해 민감한 데이터를 유출할 수 있습니다. 이러한 기능들은 방어가 아닌 접근성을 위해 설계되었기 때문에, 숙련도가 낮은 공격자조차도 단 한 줄의 코드도 작성하지 않고 AI 시스템을 이용하여 복잡한 작업을 수행할 수 있습니다.

다중 모달 AI가 어떻게 익스플로잇 체인이 되는가

LLM(법률 문서 관리자)은 외부 시스템의 오케스트레이터 역할을 점점 더 많이 수행하고 있으며, 오늘날 통합 범위는 API부터 이메일, 클라우드 스토리지, 코드 실행 도구에 이르기까지 모든 것을 포함합니다. 이러한 커넥터는 보안보다는 접근성을 위해 구축되는 경우가 많습니다.

하지만 이로 인해 새로운 취약점들이 대거 발생할 수 있다는 단점이 있습니다.

하나는 프롬프트 기반 도구 오용입니다. 예를 들어 공격자는 프롬프트 삽입 지침이 포함된 이미지를 이메일에 삽입하여 사용할 수 있습니다. 광학 문자 인식(OCR) 이미지에서 텍스트를 추출하려면 도구가 필요합니다. 요원은 이메일에 답장하여 대상의 집 주소가 표시된 구글 지도를 첨부함으로써 피해자의 위치를 ​​파악하도록 지시받습니다.

또 다른 메커니즘은 교차 모달 가드레일 회피입니다. 이는 도구의 진입점과 출구점 사이에 있는 가드레일과 관련이 있습니다. 예를 들어, OCR 추출기의 출력을 분석할 때, 출력에서 ​​발견된 프롬프트 주입에 대한 강력한 가드레일이 없을 수 있습니다.

또한 악용될 수 있는 구조적 취약점도 존재합니다. 그중 하나는 모델과 모델이 호출할 수 있는 외부 도구 간의 연결이 느슨하고 지나치게 관대하다는 점입니다. 즉, 간단한 자연어 프롬프트만으로도 코드 실행, 파일 접근, 이메일 상호 작용과 같은 실제 작업이 트리거될 수 있다는 뜻입니다. 게다가 이러한 시스템들은 대부분 엄격한 접근 제어가 부족하여 AI가 사람이 절대 허용하지 않을 권한을 훨씬 넘어서는 수준으로 데이터를 쓰거나 삭제하거나 수정할 수 있습니다. 커넥터와 MCP 스타일 확장 기능을 살펴보면 문제는 더욱 심각해집니다. 이러한 기능은 안전장치가 거의 없이 제공되는 경우가 많으며, 일단 연결되면 AI가 개인 저장소, 이메일 수신함, 클라우드 플랫폼까지 거의 아무런 감독 없이 접근할 수 있게 됩니다. 이러한 구조적 취약점들이 복합적으로 작용하여 교묘하게 조작된 프롬프트 하나만으로도 데이터 유출, 샌드박스 탈출, 심지어 메모리 오염과 같은 고전적인 보안 문제가 발생할 수 있는 환경을 조성합니다.

새롭게 떠오르는 위협: 앞으로 어떤 일이 벌어질까?

이러한 새로운 일상 속에서 AI 기반 이메일 및 소셜 엔지니어링 공격은 불가피합니다. 피싱 (Phishing) 공격자가 LLM(Local Mail Mail)을 사용함에 따라 공격량이 증가할 것이며, 핵심적인 약점은 구글과 같은 이메일 제공업체의 일반 스팸 필터를 우회하는 것입니다. 받은 편지함에 연결된 AI 에이전트는 피싱 공격의 성공 확률을 높입니다. 사용자들이 Gmail이나 Outlook에 에이전트를 연결함에 따라 이메일 기반 위협이 증가할 가능성이 높습니다.

공격자는 AI에게 스팸이나 스피어 피싱 캠페인 전체를 실행하도록 지시할 수 있습니다. 이러한 시나리오에서,

인공지능 간 피싱 공격이 현실화될 가능성이 높아지고 있다.

멀티모달 시스템은 점점 더 코드 실행 기능을 제공하고 있습니다. 이러한 탈출 경로는 공격자가 기본 인프라를 침해할 수 있도록 허용합니다. 그리고 샌드박스 탈출은 공급업체에게 가장 큰 평판 손상 위협이 됩니다.

장기 기억 오염과 지연된 트리거는 추가적인 위협 요소입니다. 영구적인 기억은 숨겨진 악성 프로그램이 향후 자극에 반응하여 활성화될 수 있도록 합니다. 다양한 모달리티를 넘나드는 트리거(예: 이미지 또는 텍스트 조각)는 시한폭탄과 같은 악의적인 행동을 유발할 수 있습니다.

다중 모드 공격이 왜 그렇게 쉽게 이루어지고 왜 그렇게 위험한가

인공지능(AI)은 공격 능력을 민주화했습니다. 이제 사용자들은 코딩이나 악성코드 개발 기술이 필요하지 않습니다. 자연어가 악성코드 생성이나 데이터 유출을 위한 인터페이스가 되었습니다. 즉, 기술적인 지식이 없는 사람이라도 프롬프트를 통해 악성코드를 생성하거나 공격 캠페인을 실행할 수 있게 된 것입니다.

인공지능은 또한 유해한 작전의 속도와 규모를 가속화할 수 있게 해줍니다. 멀티모달 에이전트는 한때 전문가의 노력이 필요했던 작업을 자동화할 수 있습니다. 코드, 이메일, 조사 및 정찰 자료를 즉시 생성할 수 있습니다.

사용자의 과도한 신뢰와 의도치 않은 정보 노출은 AI의 잠재적 위험성을 높입니다. 사용자들은 AI가 어떤 정보에 접근할 수 있는지 제대로 이해하지 못하는 경우가 많으며, 기본 설정에서 AI 통합 기능이 자동으로 활성화되는 경우가 점점 늘어나고 있습니다. 많은 사람들이 자신이 AI에게 이메일이나 문서에 대한 과도한 접근 권한을 부여했다는 사실조차 인지하지 못합니다.

다중 모드 보안을 위한 원칙 및 통제

조직은 다중 모드 공격에 대비한 보안 조치를 마련해야 합니다. 보안 팀은 기본적으로 도구 접근을 제한해야 하며, 자동 활성화 통합 대신 사용자가 직접 접근 권한을 부여하는 방식을 도입해야 합니다. 또한 모든 AI 연결 시스템에 최소 권한 접근을 적용하고 쓰기/삭제 권한을 제거해야 합니다. 여기에는 교차 출처 규칙 및 도메인 화이트리스트(LLM 수준의 화이트리스트가 아닌 인프라 화이트리스트)가 포함되어야 합니다.

또 다른 중요한 단계는 도구 호출에 대한 명확한 가이드라인을 구축하는 것입니다. 자연어 기반 트리거를 구조화되고 유형화된 명령 유효성 검사로 대체하십시오. 가이드라인은 입력 및 출력 모두에서 병목 현상을 유발해야 합니다.

추가적인 중요 원칙 및 통제 사항은 다음과 같습니다.

• 민감한 작업에 대해서는 강력한 승인 절차를 시행하십시오.
• 사용자 데이터를 영구 모델 메모리에 저장하지 마십시오. 자동화된 메모리 정리 및 출처 검사를 적용하십시오.
• 코드 실행 환경을 강화하고 격리하십시오.
• 의심스러운 행동이나 탈출 시도를 감시하십시오.
• 사용자 교육 및 투명성을 강화합니다.
• 상담원이 위험한 작업을 수행할 때 사용자 확인 절차를 강화하세요.
• AI 도구가 이메일, 파일 또는 클라우드 리소스에 접근할 때는 이를 명확히 밝히십시오.
• 위험성이 높은 커넥터에 대해 사용자에게 경고하십시오.

다중 모드 공격에 성공적으로 대응하는 방법

AI 기술은 비즈니스 운영의 핵심 도구로 빠르게 진화하면서 자연어 자체가 공격의 수단으로 변모하는 상황을 초래했습니다. 다중 모드와 도구 접근성의 융합은 공격 표면을 넓혀 AI를 단순한 비서에서 공격 매개체로 탈바꿈시켰습니다. 다중 모드 공격은 언어 관리자(LLM)와 API, 파일 저장소, 자동화 플랫폼 등 LLM이 제어하는 ​​외부 시스템 간의 느슨한 통합을 악용합니다.

위협이 진화함에 따라 조직은 다양한 공격 경로를 명시적으로 고려하는 전략을 채택해야 합니다. 위에 제시된 모범 사례를 활용하여 방어를 강화하는 것은 AI 도구가 의도치 않게 공격자의 공격 연결 고리 역할을 하는 것을 방지하는 데 필수적입니다.