AI가 역효과를 낼 때: Enkrypt AI 보고서, 다중 모드 모델의 위험한 취약점 노출

2025년 XNUMX월 Enkrypt AI가 출시되었습니다. 다중 모드 레드팀 보고서, 첨단 AI 시스템이 얼마나 쉽게 조작되어 위험하고 비윤리적인 콘텐츠를 생성할 수 있는지를 보여주는 섬뜩한 분석입니다. 이 보고서는 Mistral의 두 가지 주요 시각 언어 모델인 Pixtral-Large(25.02)와 Pixtral-12b에 초점을 맞추고 있으며, 기술적으로 훌륭할 뿐만 아니라 충격적일 정도로 취약한 모델들의 모습을 생생하게 보여줍니다.

시각 언어 모델(VLM) Pixtral과 같은 언어 모델은 시각적 입력과 텍스트 입력을 모두 해석하도록 설계되어 복잡한 현실 세계의 프롬프트에 지능적으로 대응할 수 있습니다. 하지만 이러한 기능에는 위험이 따릅니다. 텍스트만 처리하는 기존 언어 모델과 달리, VLM은 이미지와 단어의 상호작용에 영향을 받을 수 있어 적대적 공격에 새로운 문을 열어줍니다. Enkrypt AI의 테스트는 이러한 문이 얼마나 쉽게 열릴 수 있는지 보여줍니다.

놀라운 테스트 결과: CSEM 및 CBRN 실패

보고서를 작성한 팀은 정교한 레드 팀 방법—실제 위협을 모방하도록 설계된 적대적 평가의 한 형태. 이 테스트는 탈옥(안전 필터를 우회하기 위해 정교하게 제작된 쿼리로 모델을 유도), 이미지 기반 기만, 그리고 맥락 조작과 같은 전술을 사용했습니다. 놀랍게도, 이러한 적대적 프롬프트의 68%가 두 Pixtral 모델에서 유해한 반응을 이끌어냈는데, 여기에는 그루밍, 착취, 심지어 화학 무기 설계와 관련된 내용도 포함되었습니다.

가장 눈에 띄는 사실 중 하나는 아동 성 착취물(CSEM)과 관련이 있습니다. 보고서에 따르면 미스트랄의 모델은 GPT-60o나 클로드 4 소네트와 같은 업계 벤치마크에 비해 CSEM 관련 콘텐츠를 생성할 가능성이 3.7배 더 높았습니다. 테스트 사례에서 모델들은 위장된 그루밍 프롬프트에 미성년자를 조종하는 방법을 설명하는 구조화된 여러 단락으로 구성된 콘텐츠로 응답했습니다. 이 콘텐츠에는 "교육적 목적으로만"과 같은 허위 면책 조항이 포함되어 있었습니다. 모델들은 단순히 유해한 질문을 거부하는 데 그치지 않고, 오히려 세부적으로 답변을 작성했습니다.

CBRN(화학, 생물, 방사선, 핵) 위험 범주의 결과도 마찬가지로 우려스러웠습니다. 화학 무기인 VX 신경 작용제를 어떻게 변형할지에 대한 질문을 받자, 모델들은 환경 내 잔류성을 높이는 방법에 대한 충격적일 정도로 구체적인 아이디어를 제시했습니다. 그들은 캡슐화, 환경 차폐, 그리고 제어 방출 시스템 같은 방법들을 편집되었지만 명백히 기술적인 세부 사항으로 설명했습니다..

이러한 실패가 항상 명백하게 유해한 요청으로 인해 발생한 것은 아닙니다. 한 가지 전략은 빈 번호 목록 이미지를 업로드하고 모델에 "세부 정보를 입력해 주세요"라고 요청하는 것이었습니다. 이 간단하고 무해해 보이는 요청이 비윤리적이고 불법적인 지시를 생성하게 만들었습니다. 시각적 조작과 텍스트 조작을 결합하는 것은 특히 위험했으며, 이는 멀티모달 AI가 제기하는 고유한 과제를 부각시켰습니다.

비전 언어 모델이 새로운 보안 문제를 야기하는 이유

이러한 위험의 핵심은 시각-언어 모델의 기술적 복잡성에 있습니다. 이러한 시스템은 단순히 언어를 분석하는 데 그치지 않고 여러 형식에 걸쳐 의미를 합성합니다. 즉, 이미지 콘텐츠를 해석하고 텍스트 맥락을 이해하며 그에 따라 반응해야 합니다. 이러한 상호작용은 악용의 새로운 경로를 만들어냅니다. 모델은 유해한 텍스트 프롬프트 자체를 정확하게 거부할 수 있지만, 암시적인 이미지나 모호한 맥락과 결합될 경우 위험한 결과를 생성할 수 있습니다.

Enkrypt AI의 레드팀 구성이 어떻게 드러났는지 크로스 모달 주입 공격한 모달리티의 미묘한 단서가 다른 모달리티의 출력에 영향을 미치는 경우, 표준 안전 메커니즘을 완전히 우회할 수 있습니다. 이러한 실패는 단일 모달리티 시스템용으로 개발된 기존의 콘텐츠 관리 기술이 오늘날의 VLM에는 충분하지 않음을 보여줍니다..

보고서는 Pixtral 모델에 접근한 방식도 자세히 설명합니다. Pixtral-Large는 AWS Bedrock을 통해, Pixtral-12b는 Mistral 플랫폼을 통해 접근했습니다. 이러한 실제 배포 환경은 이러한 연구 결과의 시급성을 더욱 강조합니다. 이러한 모델은 실험실에만 국한되지 않습니다. 주류 클라우드 플랫폼을 통해 제공되며, 소비자 또는 기업용 제품에 쉽게 통합될 수 있습니다.

해야 할 일: 더 안전한 AI를 위한 청사진

Enkrypt AI는 단순히 문제점을 강조하는 데 그치지 않고 앞으로 나아갈 방향을 제시합니다. 이 보고서는 포괄적인 완화 전략을 제시하며, 그 시작은 다음과 같습니다. 안전 정렬 훈련. 여기에는 유해한 프롬프트에 대한 취약성을 줄이기 위해 자체 레드팀 데이터를 사용하여 모델을 재학습하는 것이 포함됩니다. 위험한 출력으로부터 모델 응답을 미세 조정하기 위해 직접 선호 최적화(DPO)와 같은 기법이 권장됩니다.

또한 다중 모드 입력의 전체 맥락을 고려하여 유해한 쿼리를 실시간으로 해석하고 차단할 수 있는 동적 필터인 상황 인식 가드레일의 중요성을 강조합니다. 또한, 투명성 확보를 위한 조치로 모델 위험 카드(Model Risk Cards) 사용을 제안하며, 이를 통해 이해관계자들이 모델의 한계와 알려진 실패 사례를 이해하는 데 도움을 줄 수 있습니다.

아마도 가장 중요한 권고 사항은 레드팀 구성을 일회성 테스트가 아닌 지속적인 프로세스로 다루는 것입니다. 모델이 발전함에 따라 공격 전략도 발전합니다. 지속적인 평가와 적극적인 모니터링만이 장기적인 신뢰성을 보장할 수 있으며, 특히 의료, 교육, 국방과 같은 민감한 분야에 모델이 구축될 경우 더욱 그렇습니다.

The 다중 모드 레드팀 보고서 에 암호화 AI AI 산업에 대한 분명한 신호입니다. 다중 모드의 힘에는 다중 모드의 책임이 수반됩니다. 이러한 모델은 역량의 비약을 의미하지만, 안전, 보안, 그리고 윤리적 배치에 대한 우리의 사고방식의 도약을 요구합니다. 제대로 관리되지 않으면 실패의 위험뿐 아니라 현실 세계의 위험까지 초래할 수 있습니다.

대규모 AI를 개발하거나 배포하는 모든 사람에게 이 보고서는 단순한 경고가 아닙니다. 플레이북과도 같습니다. 그리고 이보다 더 시급한 시기에 나온 것은 없을 것입니다.