AI가 AI를 해킹할 때: 사이버 위협의 새로운 최전선

지난 몇 년 동안 AI 기술은 크게 발전했습니다. 간단한 챗봇이 자주 묻는 질문과 전화를 응답하는 수준에서 정밀 수술 및 거의 자율적인 사이버 공격에 이르기까지. 사건는 2026년 1월 Hugging Face에서 발생한 사건으로, AI 에이전트가 처음으로 AI 플랫폼을 자율적으로 해킹할 수 있는 능력을 보여준 충격적인 이정표가 되었습니다. 이 사례는 근본적인 문제를 드러냈습니다: 기존 보안 조치는 공격하는 AI에 대해 효과가 없습니다. 하지만 이것이 AI 산업에 어떤 의미를 갖는지, 그리고 실제로 무엇을 우려해야 하는지에 대해 생각해 봐야 합니다.

오늘날 공격자들이 AI를 활용할 수 있는 방법

해커들의 AI 활용 능력은 공격자의 기술 수준과 목표에 따라 달라진다는 사실을 알려도 놀라운 일은 아닙니다. 대규모 캠페인을 수행하는 위협 행위자들은 정찰, 피싱 사이트 개발, 미끼 등에 AI를 점점 더 많이 사용하고 있습니다. 또한, AI는 공격자들이 코드를 생성하는 데 자주 활용됩니다 — 이른바 바이브 코딩이죠. 

바이브 코딩 자체는 IT 직종 진입 장벽을 크게 낮출 뿐만 아니라, 해커들이 사이버 범죄 사업에 참여하기 쉽게 만들어, 이들이 악성코드를 개발하고 디버깅하는 데 기술을 활용하도록 했습니다.

지난 1년 동안 수십 개의 APT 그룹이 AI 기반 공격이 더 이상 이론에 그치지 않음을 확인했습니다. 또한, 저는 AI가 공격자들의 손에 위험한 도구가 되고 있다는 점에 확신합니다 — 이는 과장이 아닙니다. 하이브리드 APT 공격이 현대의 현실입니다. 제가 말하는 것은 인간이 주도하는 작전에서 AI가 주요 도구로 작용하는 경우를 의미합니다.

여기서 중요한 것은 AIM3 (AI Malware Maturity Model)이며, 이는 AI 기반 위협의 정교함을 다섯 단계로 정의합니다. L1은 실험적 공격을, L5는 완전 자율 AI 공격을 포함합니다.

2025년에 최초로 알려진 L4 공격 사례가 감지되었습니다 — GTG-1002가 수행한 작전입니다. 이 경우, 공격자는 Claude Code 인스턴스를 그룹으로 운영되는 자율 침투 테스트 오케스트레이터 및 에이전트로 활용했으며, 위협 행위자는 AI를 이용해 전술 작업의 80–90%를 독립적으로 수행할 수 있었습니다.

또 다른 주목할 만한 추세는 공격자가 공격 중에 둘 이상의 AI 솔루션을 사용하는 것입니다. 예를 들어, TAT26-12은 보완적인 역할을 하는 두 개의 AI 시스템을 사용해 왔습니다. 또한, OpenAI는 내부 피해자 서버에 대한 자동 대량 분석에 활용되었습니다: 공격자는 OpenAI의 보고서를 분석하고 관련 결과를 Claude 세션에 전달했으며, 이는 인터랙티브한 악용 보조 도구로 작동했습니다.

2026년 7월에 또 다른 유사 사례가 공개되었는데, 익명 위협 행위자들이 Claude Code와 DeepSeek-v4-pro를 공격에 사용했습니다. Claude Code는 실행 엔진으로서 에이전트 도구 사용, bash 명령 실행, 세션 지속성 및 작업 병렬화를 관리합니다. DeepSeek-v4-pro는 기본 추론 모델로서 공격 논리, 스크립트 생성 및 의사결정을 담당합니다.

실제로 야생에서 구현된 L5 AI 공격 사례는 확인된 바 없습니다. 저는 고도화된 행위자들이 AI 위협의 L3–L4 수준을 목표로 할 것으로 추정합니다. 이는 그들이 규모를 확대하고 충분한 공격을 수행하는 데 도움이 되기 때문입니다. L5 공격은 구현이 복잡하므로, 적어도 가까운 미래에는 이론에 머물 가능성이 높습니다.

다크 웹에서의 AI

비공개 포럼에서 AI는 일반적으로 언급되었습니다 각 솔루션의 전반적인 능력과 프롬프트 생성 맥락에서 논의되었습니다.. 하지만 게시물의 상당 부분이 악의적인 활동과 직접적으로 관련되어 있었습니다. 잘 알려진 사이버 범죄자 플랫폼의 게시물은 공격자 인프라 구성 지침을 찾기 위해 AI를 사용하거나, 인기 있는 안티바이러스 솔루션을 회피하는 방법, 인기 암호화폐 거래소의 KYC 절차를 우회하기 위해 AI를 활용하는 사례, 알려진 AI 기반 공격을 논의하는 내용, 악성코드 개발 및 배포, 온라인 서비스를 모방한 피싱 페이지를 AI로 생성하는 방법 등을 다루었습니다.

포럼에서 가장 많이 언급된 세 가지 AI 솔루션은 사이버 범죄 그룹의 공격에서 가장 흔히 관찰되는 솔루션과 일치합니다: Gemini, OpenAI 도구, 그리고 Claude Code. Gemini는 주요 공격에서 더 자주 사용된 반면, ChatGPT는 포럼에서 더 많이 논의되었습니다. 

AI 산업 자체가 표적이 되는 경우

AI를 이용해 공격을 수행하는 것 외에도, 위협 행위자들은 AI 솔루션 자체를 표적으로 삼습니다. AI 도구에 대한 공격은 거의 공개되지 않지만, 한 번의 공격이 다수 기업에 큰 영향을 미칠 수 있습니다. AI 공급업체에 대한 공격은 공급망 캠페인을 야기하여, 공격자가 직접 고객을 목표로 하지 않고도 고객을 침해할 수 있게 합니다.

게다가 AI 개발자들도 공급망 공격의 피해자가 될 수 있습니다. 예를 들어, 2026년 5월 초에 TeamPCP는 악성 Mini Shai-Hulud 임플란트를 손상된 npm 패키지에 삽입했습니다; 이 캠페인은 최소 두 개의 AI 벤더를 포함한 여러 조직에 영향을 미쳤습니다. 위협 행위자 그룹은 한 AI 공급업체의 내부 저장소 일부를 탈취해 다크 웹 포럼에서 판매했습니다.

APT41가 Gemini를 사용하여 인프라와 시스템에 대한 정보를 얻으려는 또 다른 유형의 공격을 시도했습니다. 시도는 성공하지 못했지만, 아이디어 자체는 꽤 독특했습니다.

또한, 연구자들은 Microsoft 365 Copilot의 CVE-2025-32711(일명 EchoLeak), Cursor IDE의 CVE-2025-54135(일명 CurXecute), Model Context Protocol의 CVE-2025-53109, Amazon Q Developer VS Code 확장 프로그램의 CVE-2025-8217, 그리고 Langflow AI의 CVE-2025-34291 등 다양한 AI 솔루션에서 중대한 취약점이 반복적으로 보고되고 있습니다. 마지막 두 취약점은 실제 공격에 이용된 것으로 관찰되었습니다.

구식 방어, 새로운 위협

잘 알려진 바와 같이 AI 솔루션에는 클라우드 기반과 로컬 기반의 다양한 유형이 있습니다. 제가 AI 커뮤니티가 이해해야 한다고 생각하는 핵심은 AI 솔루션이 다른 데스크톱 및 클라우드 기반 애플리케이션과 최소한 동일한 보안 문제를 가지고 있으며, 경우에 따라 더 심각할 수도 있다는 점입니다. 

첫 번째 명백한 위협은 합법적인 로컬 AI 도구로 위장한 악성코드 배포이며, 공격자는 종종 GitHub와 같은 신뢰받는 소스를 이용합니다. 

또 다른 유사한 사례는 사용자 활동을 수동적으로 모니터링하도록 설계된 악성 AI 어시스턴트 확장 프로그램으로, 일상적인 브라우징 중에 방문한 URL 및 AI 생성 채팅 내용의 일부를 수집합니다.

대부분의 경우, 공격자가 사용자의 검색 기록에 접근하면 개인 생활 및 다양한 업무 프로세스에 관한 정보를 얻을 수 있습니다. 따라서 이는 사용자와 기업 모두에 위협이 됩니다.

또 다른 유형은 AI 토큰 하이재킹이라고 불리는 기술로, 손상된 API 키, 세션 토큰 및 장치를 목표로 하는 공격자는 해당 접근 권한을 판매하거나 도난된 비밀을 사용해 숨겨진 작업을 수행하는 등 공격에 활용합니다. 공격 범위는 피해자의 세션에 이미 존재하는 데이터와 권한에 따라 달라집니다. 

제가 언급하고 싶은 AI 분야의 또 다른 흔한 기술은 프롬프트 인젝션으로, 악성 입력(프롬프트)을 삽입해 개발자가 의도한 범위를 넘어 시스템으로부터 의도치 않거나 민감한 정보를 추출하는 방법입니다.

민감한 데이터에 대한 무제한 접근은 침해 위험을 높입니다. 다시 말해, AI가 단일 진입점이 되면서 종종 높은 권한을 갖게 되고, 이는 공격자들의 관심을 크게 끌게 됩니다.

보안을 유지하는 방법

사이버 보안 맥락에서, 일부 기본 원칙은 특정 기술보다 더 중요할 수 있습니다. 첫째, AI에 최소 권한 원칙을 적용하십시오. 둘째, 외부 콘텐츠를 절대 신뢰하지 마십시오. 마지막으로, 인간을 루프에 두고 모델이 단독으로 접근 권한을 결정하도록 해서는 안 됩니다. 저는 여러분의 AI 솔루션에 모든 포인트 가 제대로 적용되어 있는지 확인할 것을 강력히 권장합니다.