‘무의미한 언어’가 이미지 합성 모더레이션 시스템을 우회할 수 있는가

컬럼비아 대학교의 새로운 연구에 따르면 DALL-E 2, Imagen, Parti 같은 이미지 합성 모델이 유해하거나 논란의 소지가 있는 이미지를 출력하지 못하도록 하는 안전장치는 지어낸 단어를 이용하는 일종의 적대적 공격에 취약하다.

연구자는 이미지 합성 시스템의 콘텐츠 검토 조치를 우회할 수 있는 두 가지 접근법을 개발했다. 두 방법은 서로 다른 아키텍처에서도 놀라울 정도로 일관되게 작동했다. 이는 약점이 특정 시스템에만 국한되지 않으며 텍스트를 이미지로 합성하는 가장 근본적인 원리와 관련될 수 있음을 시사한다.

두 방법 중 첫 번째이자 더 강력한 것은 마카로닉 프롬프팅이다. 마카로닉이라는 말은 원래 에스페란토나 Unwinese에서처럼 여러 언어를 섞는 것을 뜻한다. 문화적으로 가장 널리 퍼진 사례는 아마 우르두어와 영어의 혼용일 것이다. 파키스탄에서 흔한 이 언어 혼용은 영어 명사와 우르두어 접미사를 상당히 자유롭게 결합한다.

DALL-E 2의 구성적 마카로닉 프롬프팅. 출처: https://arxiv.org/pdf/2208.04135.pdf

위 사례 중 일부는 영어를 발판으로 사용해 의미 있는 단어의 조각을 이어 붙였다. 논문의 다른 사례는 하나의 프롬프트 안에서 여러 언어를 사용한다.

시스템이 의미 있게 반응하는 것은 학습에 사용된 웹 자료의 선별과 검증이 상대적으로 부족하기 때문이다. 이러한 자료에는 이미지 합성용으로 설계되지 않은 데이터셋의 다국어 레이블 등이 그대로 포함되는 경우가 많다. 어떤 언어이든 입력된 단어는 토큰이 되며, 단어의 일부도 하위 단어나 부분 토큰이 된다. 자연어 처리(NLP)에서 이런 어간 추출은 변환 과정에서 생길 수 있는 긴 파생어의 어원을 구분하는 데 도움이 된다. 하지만 창의적인 프롬프팅이 활용할 수 있는 거대한 어휘 레고 세트도 만들어 낸다.

한 언어 안에서 만든 혼성어도 간접적이거나 일상적인 산문과 다른 언어를 통해 이미지를 얻는 데 효과적이다. DALL-E 2와 DALL-E Mini(Craiyon) 같은 서로 다른 아키텍처에서도 매우 비슷한 결과를 얻는 경우가 많다.

두 번째 접근법인 연상적 프롬프팅에서는 일부 결합어의 어조가 장난스러운 학생식 라틴어의 더 유치한 형태와 비슷하다. 이는 다음 영화에서 볼 수 있다: 몬티 파이선의 《라이프 오브 브라이언》 (1979).

농담이 아니다. 가짜 라틴어는 DALL-E 2에서 의미 있는 반응을 끌어내는 데 종종 성공한다.

연구자는 다음과 같이 말한다.

“이 방법의 명백한 우려는 금지된 프롬프트 목록에 기반한 콘텐츠 필터를 우회한다는 점이다. 원칙적으로 마카로닉 프롬프팅은 유해하거나 모욕적이고 불법적이거나 그 밖에 민감한 콘텐츠를 생성하기 위해 필터를 우회하는 쉽고 겉보기에 신뢰할 만한 수단이 될 수 있다. 폭력적이거나 혐오적이고 인종차별적·성차별적이거나 음란한 이미지, 지식재산을 침해하거나 실제 인물을 묘사하는 이미지도 포함될 수 있다.

“이미지 생성을 서비스로 제공하는 기업들은 콘텐츠 정책에 따라 이러한 출력물을 방지하는 데 큰 주의를 기울여 왔다. 따라서 마카로닉 프롬프팅은 상업적 이미지 생성의 안전 규약에 대한 위협으로서 체계적으로 조사되어야 한다.”

연구자는 이 취약점에 대한 여러 대책을 제안하며, 그중 일부는 지나친 제한으로 여겨질 수 있음을 인정한다.

첫 번째 가능한 해결책은 비용이 가장 크다. 알고리즘의 감독은 줄이고 사람의 감독은 늘려 학습용 원본 이미지를 더 신중하게 선별하고 검증하는 것이다. 그러나 논문은 각각은 무해할 수 있는 두 이미지 개념을 시스템이 모욕적으로 결합하는 것까지 막지는 못한다고 인정한다.

두 번째로 논문은 이미지 합성 시스템의 실제 출력물을 필터에 통과시켜 사용자에게 제공하기 전에 문제가 되는 연관성을 차단할 수 있다고 제안한다. DALL-E 2가 이미 이런 필터를 사용하고 있을 수도 있지만, OpenAI는 콘텐츠 검토 방식의 세부 사항을 공개하지 않았다.

마지막으로 연구자는 검토하고 승인한 단어만 개념을 불러오고 표현할 수 있게 하는 사전 허용 목록을 검토한다. 다만 시스템의 유용성을 지나치게 제한할 수 있음을 인정한다.

연구자는 프롬프트를 조합할 때 영어, 독일어, 프랑스어, 스페인어, 이탈리아어 등 다섯 언어만 실험했다. 하지만 언어 수를 늘리면 이러한 적대적 공격이 더 이해하기 어렵고 막기 어려워질 수 있다고 본다. DALL-E 2 같은 초대규모 모델은 여러 언어로 학습한다. 이는 자료를 선별하고 검증하는 막대한 비용을 감수하기보다 약하게 필터링한 데이터나 원시 데이터를 쓰는 편이 쉽고, 추가 차원이 시스템의 유용성을 높일 가능성이 있기 때문이다.

논문의 제목은 Adversarial Attacks on Image Generation With Made-Up Words이며, 컬럼비아 대학교의 Raphaël Millière가 작성했다.

DALL-E 2의 수수께끼 같은 언어

DALL-E 2가 글자를 묘사하려 할 때 출력하는 무의미한 텍스트가 자체적인 어휘일 수 있다는 주장이 이전에 제기된 바 있다. 즉 일종의 “숨겨진 어휘”일 수 있다는 것이다. 하지만 이 수수께끼 같은 언어에 관한 기존 연구는 특정 이미지를 불러오는 지어낸 문자열을 만드는 방법을 제시하지 않았다.

논문은 이전 연구에 대해 다음과 같이 말한다.

“이 연구는 특정 이미지를 끌어내는 지어낸 문자열을 찾는 신뢰할 만한 방법을 제공하지 않는다. DALL-E 2가 이미지에 포함하는 무의미한 텍스트 대부분은 이를 옮겨 적어 프롬프트로 사용해도 특정 시각 개념과 일관되게 연결되는 것 같지 않다. 따라서 이 방법으로 유해하거나 모욕적인 콘텐츠 검토를 우회하기는 어렵다. 이런 점에서 텍스트 유도 이미지 생성 모델의 오용과 관련해 특별히 우려할 위험은 아니다.”

반면 연구자의 두 방법은 무의미한 텍스트가 어떻게 관련성 있고 의미 있는 이미지를 불러오면서, 현재 프롬프트 엔지니어링으로 발전하는 관례적인 방식은 우회할 수 있는지 설명한다.

예를 들어 연구자는 논문이 다루는 다섯 언어의 새를 뜻하는 단어를 살펴본다. 독일어로는 Vögel, 이탈리아어로는 uccelli, 프랑스어로는 oiseaux, 스페인어로는 pájaros이다.

바이트 쌍 인코딩 (BPE) 토큰화는 CLIP 구현에서 사용되며, 이 구현은 DALL-E 2에 통합되어 있다. 단어는 발음 구별 기호가 없는 영어로 토큰화되며, 창의적으로 결합해 우리에게는 무의미해 보이는 단어를 만들 수 있다. 그러나 이 단어들은 DALL-E 2에서 결합된 의미를 유지하므로 시스템이 파악한 의도를 표현할 수 있다.

위 예에서는 새를 뜻하는 두 외국어 단어를 이어 무의미한 문자열로 만든다. 하위 단어의 부분적인 가중치 덕분에 의미가 유지된다.

연구자는 하위 단어 분할 경계를 따르지 않아도 의미 있는 결과를 얻을 수 있다고 강조한다. 아마 논문의 주된 연구 대상인 DALL-E 2가 충분히 일반화되어 하위 단어의 의미를 파괴하지 않고도 경계가 흐려질 수 있기 때문일 것이다.

개발한 접근법을 더 보여 주기 위해 논문은 아래의 토큰 단어 목록을 이용하여 여러 분야의 마카로닉 프롬프팅 사례를 제시한다. 무의미한 혼합어는 맨 오른쪽에 있다.

연구자는 다음 DALL-E 2 사례들이 좋은 결과만 골라낸 것이 아니라고 말한다.

공통 언어

논문은 여러 사례가 DALL-E 2와 DALL-E Mini(현재 Craiyon)에서 똑같이 잘 작동하거나 적어도 매우 비슷하게 작동한다고 관찰한다. DALL-E 2는 확산 모델이지만 DALL-E Mini는 그렇지 않고, 두 시스템은 서로 다른 데이터셋으로 학습하며, DALL-E Mini는 DALL-E 2가 선호하는 CLIP 대신 BART 토큰화기를 사용한다는 점에서 놀랍다.

DALL-E Mini의 결과는 같은 무의미한 입력으로 DALL-E 2가 만든 결과를 보여 주는 앞선 이미지와 놀라울 정도로 비슷하다.

위의 첫 이미지들에서 보듯이, 마카로닉 프롬프팅을 문법적으로 올바른 문장으로 조립해 더 복잡한 장면을 만들 수도 있다. 하지만 개념을 조립하는 발판으로 영어를 써야 하므로, 이미지 합성 체계의 표준 검열 시스템에 차단될 가능성이 더 커진다.

논문은 관련 콘텐츠를 이미지 합성 시스템에서 끌어내기 위해 단어를 이어 붙이는 어휘 혼합이 한 언어 안에서도 가능하다고 설명한다. 이때 사용하는 것이 혼성어이다.

연상적 프롬프팅

논문에서 다루는 연상적 프롬프팅은 하위 단어, 부분 토큰 또는 일부가 공통인 레이블에 엄격히 기반하지 않은 단어로 시스템에서 더 폭넓은 반응을 끌어내는 방식이다.

그 한 유형은 가짜 라틴어로, 다른 용도 외에도 DALL-E 2에 약이라는 개념을 불러오라고 명시하지 않아도 가상의 약 이미지를 생성할 수 있다.

연상적 프롬프팅은 가능한 지리적 장소를 대략적으로 연상시키는 무의미한 프롬프트에서도 특히 잘 작동하며, DALL-E 2와 DALL-E Mini의 서로 다른 아키텍처에서도 상당히 일관되게 작동한다.

DALL-E 2와 DALL-E Mini에 주어진 이 프롬프트의 단어들은 실제 이름을 연상시키지만 그 자체로는 완전히 무의미하다. 그래도 시스템은 단어의 분위기를 포착했다.

마카로닉 프롬프팅과 연상적 프롬프팅은 일부 겹치는 것으로 보인다. 논문은 다음과 같이 말한다.

“학습 데이터, 모델 크기 및 아키텍처의 차이로 인해, 두 프롬프팅 방법에 모두 반응한다고 입증된 모델이라도 voiscellpajaraux와 eidelucertlagarzard 같은 프롬프트를 마카로닉 또는 연상적 방식으로 다르게 해석할 수 있다.”

논문은 다음과 같이 결론을 내린다.

“크기, 아키텍처, 토큰화 절차, 학습 데이터 등 모델의 다양한 속성이 텍스트 기반 적대적 공격에 대한 취약성에 영향을 줄 수 있지만, 이 연구에서 논의한 예비 증거는 일부 공격이 서로 다른 모델에서도 어느 정도 일관되게 작동할 수 있음을 시사한다.”

이 방법들을 제대로 실험하는 데 가장 큰 장애물은 서비스 제공 시스템에 탐지되어 사용이 금지될 위험일 것이다. DALL-E 2는 사용자 계정마다 연결된 전화번호를 요구하므로, 기존 검토 방법을 우회하는 이러한 어휘 해킹의 한계를 실제로 시험하는 데 필요할 법한 일회용 계정의 수가 제한된다. 현재 DALL-E 2의 주요 안전장치는 여전히 접근 권한의 불확실성이다.

최초 게시일: 2022년 8월 9일.