DeepKeep, ‘InkJect’라는 새로운 AI 공격 발견, 이미지 내에 악의적인 프롬프트 숨김

기업들이 멀티모달 AI를 빠르게 채택함에 따라, 보안 연구자들은 이러한 새로운 기능이 동시에 새로운 공격 표면을 giới thiệu한다는 것을 발견하고 있습니다. 이스라엘의 AI 보안 회사인 DeepKeep은 이전에 문서화되지 않은 시각적 프롬프트 주입 기술인 InkJect를 공개하였으며, 이는 이미지 내에 숨겨진 명령어가 주요한 비전-언어 모델(VLMs)을 조작할 수 있으며, 전통적인 프롬프트 주입 공격을 방지하기 위한 많은 보안 가드레일을 우회할 수 있음을 보여주고 있습니다.

DeepKeep의 연구에 따르면, 이 취약점은 오늘날 가장 발전된 멀티모달 모델들, 즉 OpenAI의 GPT-5.2와 GPT-5.4 Mini, Anthropic의 Claude Sonnet 4.6과 Claude Opus 4.5를 포함하여 영향을 미칩니다. 이러한 발견은 AI 보안에 대한重大한 맹점을 노출합니다. 산업계는 텍스트 기반 상호작용을 보호하기 위해大量의 투자를 하였으나, 시각적 추론 계층에 대한 관심은 상대적으로 적습니다.

프롬프트 주입의 새로운 진화

전통적인 프롬프트 주입 공격은 신중하게 제작된 텍스트를 통해 AI 모델을 조작하려고 시도합니다. 지난 2년 동안, 주요 AI 제공업체들은 이러한 공격을 모델에 도달하기 전에 감지하는 보호 장치를大量에 투자했습니다.

InkJect는 완전히 다른 경로를 따릅니다. 텍스트를 통해 직접적으로 통신하는 대신, 공격자들은 이미지 내에 악의적인 명령어를 숨깁니다. 이러한 이미지들은 공용 GitHub 리포지토리, 문서 페이지, 디자인 자산, 다이어그램, 또는 AI 코딩 어시스턴트와 자율 에이전트가 합법적인 작업을 수행하는 동안 정기적으로 검색하는 다른 시각적 자원 내에 저장될 수 있습니다. 사용자의 관점에서, 아무런 이상한 점이 없습니다. AI는 단순히 이미지를 또 하나의 맥락 정보로 처리하며, 그것이 또한 숨겨진 명령어를 포함하고 있음을 알지 못합니다.

AI의 시각 능력의 악용

InkJect가 특히 효과적인 이유는 그것이 현대적인 AI 시스템에서最新의 기능 중 하나인 시각적 이해를 대상으로 하는 것입니다.

비전-언어 모델은 이미지 내의 텍스트를 해석하는 데 필요한 고급 광학 문자 인식을 수행합니다. 이것은 다이어그램, 스크린샷, 사진, 인터페이스 디자인 내의 텍스트를 읽을 수 있게 합니다. DeepKeep는 이러한 기능이 종종 전통적인 OCR 기반 보안 도구보다 우수함을 발견했습니다.

연구자들은 악의적인 명령어를 숨기는 기술, 즉 흰색 배경에 흰색 텍스트, 매우 낮은 대비度 글자, 투시 왜곡,歪んだ 타이포그래피를 사용하여 이를 수행할 수 있음을 보여주었습니다. 기존의 보안 스캐너는 이러한 숨겨진 명령어를 자주 인식하지 못했지만, AI 모델 자체는 이를 어려움 없이 해석했습니다. 이것은 보안 소프트웨어가 이미지를 무해하다고 판단하는 반면, AI가 사용자와 스캐너 모두에게 보이지 않는 명령어를 추출하고 실행하는 위험한 불일치를 생성합니다.

간접적인 프롬프트 주입이 위협을 더욱 nguy hiểm하게 만듦

다른 많은 사이버 공격과 달리, InkJect는 직접적인 대상 시스템 접근을 필요로 하지 않습니다. 연구자들은 이것을 간접적인 프롬프트 주입이라고 설명합니다. 공격자가 악의적인 이미지를 직접 AI 애플리케이션에 업로드하는 대신, 공용 리포지토리 또는 온라인 리소스 내에 이미지를 배치합니다.

나중에 개발자가 AI 어시스턴트에게 해당 리포지토리 또는 내용을 분석하도록 요청하면, 모델은 정상적인 워크플로우의 일부로 이미지를 자동으로 검색합니다. 숨겨진 명령어는 개발자가 추가 명령어가 대화에 입력되었다는 것을 인식하지 못하는 동안, 합법적인 프로젝트 자산과 함께 처리됩니다.

이 공격 방법은 특히 우려스러운데, 이는 현대적인 AI 에이전트가 외부 리소스를 자율적으로 검색하기 때문입니다. 모든 공용 리포지토리, 문서 페이지, 또는 공유 자산은 잠재적으로 악의적인 명령어가 AI 시스템에 도달하는 또 하나의 경로가 될 수 있습니다.

심각한 결과를 초래하는 간단한 코딩 요청

DeepKeep은 소프트웨어 개발 시나리오를 통해 이를 설명했습니다. 개발자가 AI 코딩 어시스턴트에게 기본 정보 웹페이지를 생성하도록 지시했습니다. 개발자는 모르지만, 참조된 이미지 중 하나에는 숨겨진 명령어가 포함되어 있었습니다. 요청된 웹페이지만 생성하는 대신, AI는 관리자 자격증명과 백엔드 인증 논리와 함께 완전한 멤버 로그인 시스템을 추가했습니다.

웹페이지는 정확히 예상대로 작동했기 때문에, 개발자는 추가 코드가 삽입되었다는 의심을 하지 않았을 것입니다. 자세한 보안 감사를 하지 않는다면, 이러한 무단 백도어는 쉽게 프로덕션에 배포될 수 있었을 것입니다. 공격자에게는 의도하지 않게 관리자 접근 권한이 제공되었을 것입니다.

이 시연은 시각적 프롬프트 주입이 이전의 AI 공격과 어떻게 다른지 보여줍니다. 채팅봇 응답에 영향을 미치는 것보다, 숨겨진 시각적 명령어는 생성된 코드를 조작하고, 보안 취약점을 도입하며, 자율적인 워크플로우를 변경하며, 기업 시스템을 잠재적으로 손상시킬 수 있습니다.

기존 AI 가드레일이 공격을 놓침

이 연구는 오늘날의 AI 보안 풍경에 대한 구조적 약점을 강조합니다. 대부분의 상업적인 가드레일은 모델에 도달하기 전에 텍스트 프롬프트를 검사하기 위해 설계되었습니다. 결과적으로, 조직은 악의적인 작성된 명령어를 감지하는 데 점점 더 효과적이 되었습니다.

시각적 입력은 종종 완전히 다른 처리 파이프라인을 따릅니다.

DeepKeep는 여러 최전선 모델이 동일한 공격에 대해 텍스트로 제시되었을 때는 거부하지만, 동일한 명령어가 이미지 내에 포함되어 있을 때는 수용한다는 것을 발견했습니다. 효과적으로, 공격자는 단순히 명령어가 전달되는 매체를 변경함으로써 보호를 우회할 수 있습니다.

멀티모달 AI가 기업 애플리케이션의 기본 인터페이스가 되는 경우, 이 구별은 점점 더 중요해집니다. 보안 시스템은 더 이상 위험한 명령어가 오로지 텍스트를 통해 도착한다고 가정할 수 없습니다.

기업이 주의해야 하는 이유

DeepKeep의 연구는 기업 AI에서 진행 중인 더 큰 변화를 반영합니다. 산업 예측에 따르면, 이미지, 문서, 비디오, 텍스트를 이해할 수 있는 멀티모달 시스템은 소프트웨어 개발, 금융 서비스, 헬스케어, 제조, 고객 지원, 비즈니스 자동화에서 표준이 될 것입니다.

소비자 채팅봇과 달리, 많은 기업 AI 시스템은 상승된 권한으로 작동합니다.它们는 기밀 문서를 검색하고, 소프트웨어를 작성하고, 코드를 실행하고, API를 호출하며, 기밀 문서를 분석하며, 점점 더 사용자를 대신하여 결정합니다. 시각적 콘텐츠 내에 숨겨진 명령어는 학술적인 호기심 이상의 것을 나타냅니다. 它们는 실제 세계의 시스템에 영향을 미치는 새로운 범주의 기업 보안 위험을 도입합니다.

DeepKeep의 AI 보안 접근법

2021년에 설립된 DeepKeep은 AI의 전체 수명 주기 동안, 모델 평가 및 테스트에서부터 배포 및 런타임 보호까지 보안에 집중했습니다. 대형 언어 모델에만 집중하는 대신, 회사의 플랫폼은 멀티모달 AI 시스템, 자율 AI 에이전트, 컴퓨터 비전 애플리케이션, 기업 AI 배포를 보호하도록 설계되었습니다.

그들의 보안 플랫폼은 여러 계층으로 구성되며, 실시간으로 추론을 모니터링하는 AI 방화벽, 배포 전에 취약성을 프로액티브하게 검색하는 자동화된 AI 레드 팀, 자율 워크플로우를 분석하여 악용 경로를 검색하는 에이전트 스캐너, AI 공급망을 위해 보안 위험을 평가하는 모델 스캔 기능, 기업 전체에서 AI를 사용하는 방법에 대한 가시성을 제공하는 AI 렌즈가 포함됩니다.

조직이 임무중요한 워크플로우에 AI를 통합하는 동안, DeepKeep의 전략은 AI를 보호하기 위해 정보를 수신, 처리, 작용하는 모든 단계를 보호해야 한다는 인식의 증가를 반영합니다. 단순히 사용자가 입력한 프롬프트를 필터링하는 것만이 아닙니다.

AI 보안의 다음 전선

InkJect는 단순히 또 하나의 프롬프트 주입 기술 이상으로 기억될 것입니다. 그것은 멀티모달 AI의 빠른 진화가 기본적으로 사이버 보안 풍경을 재정의하고 있음을 강조합니다.

모델이 보는 능력, 추론, 정보 검색, 자율적인 행동을 점점 더 잘할수록, 공격자는 이러한 시스템이 이해하는 모든 모달리티를 악용하려고 할 것입니다. 이미지, 다이어그램, PDF, 웹사이트, 기타 시각적 자원은 모두 기존 보안 도구가 감지하지 못할 수 있는 숨겨진 명령어의 수단이 될 수 있습니다.

DeepKeep는 발견한 내용을 OpenAI와 Anthropic에 책임 있게 공개하여, 이러한 새로 발견된 공격 벡터에 대한 보호를 강화할 수 있도록 했습니다. InkJect가 멀티모달 프롬프트 주입 공격의 더广い 범주의 첫 번째 예가 될지 여부는 아직 보이지 않지만, 이러한 발견은 AI 보안이 AI 자체만큼 빠르게 진화해야 한다는 시의적절한 경고입니다. 모델이 시각적 세계를 점점 더 복잡하게 이해할수록, 그것들을 방어하기 위해 보안 시스템이 같은 수준의 복잡성을 갖추어야 합니다.