‘무의미한 언어’가 이미지 합성 모더레이션 시스템을 우회할 수 있는가

새로운 연구에 따르면, DALL-E 2, Imagen, Parti와 같은 이미지 합성 모델이 유해하거나 논란의 여지가 있는 이미지를 출력하지 못하도록 하는 안전장치는 ‘무의미한 단어’를 사용하는 일종의 적대적 공격에 취약하다고 한다.

저자는 두 가지 접근 방식을 개발했으며, 이러한 접근 방식은 이미지 합성 시스템의 콘텐츠 모더레이션 조치를 우회할 수 있다고 한다. 또한 이러한 접근 방식은 다른 아키텍처에서도 강력하게 작동한다는 것을 발견했으며, 이는 약점이 시스템의 기본 원리에 있음을 시사한다.

첫 번째 접근 방식은 ‘마카로닉 프롬팅’이라고 불리며, 이는 여러 언어를 혼합하여 사용하는 것이다. 예를 들어, 독일어와 영어를 혼합하여 ‘Vögel’과 ‘bird’를 결합하여 ‘Vögelbird’라는 단어를 만들 수 있다.

두 번째 접근 방식은 ‘에보카티브 프롬팅’이라고 불리며, 이는 특정 이미지를 생성하기 위해 특정 단어를 사용하는 것이다. 예를 들어, ‘fictional medicines’라는 단어를 사용하여 가상의 약 이미지를 생성할 수 있다.

저자는 이러한 접근 방식이 이미지 합성 시스템의 안전장치를 우회할 수 있는 가능성을 제시한다고 한다. 그러나 이러한 접근 방식은 또한 시스템의 취약성을 이용하여 유해한 이미지를 생성할 수 있는 가능성을 제시한다는 것을 강조한다.

저자는 이러한 취약성을 해결하기 위해 몇 가지 해결책을 제시한다. 첫 번째 해결책은 이미지 합성 시스템의 훈련 데이터를 더 주의깊게 관리하는 것이다. 두 번째 해결책은 이미지 합성 시스템의 출력을 필터링하는 것이다. 세 번째 해결책은 시스템이 사용할 수 있는 단어를 제한하는 것이다.

저자는 이러한 접근 방식이 이미지 합성 시스템의 안전장치를 우회할 수 있는 가능성을 제시한다고 한다. 그러나 이러한 접근 방식은 또한 시스템의 취약성을 이용하여 유해한 이미지를 생성할 수 있는 가능성을 제시한다는 것을 강조한다.

암호화된 언어 in DALL-E 2

DALL-E 2는 이미지 합성 시스템으로, 텍스트를 이미지로 변환하는 기능을 가지고 있다. 그러나 DALL-E 2는 또한 암호화된 언어를 사용하여 이미지를 생성할 수 있다.

저자는 DALL-E 2의 암호화된 언어를 사용하여 이미지를 생성하는 방법을 제시한다. 예를 들어, ‘Vögel’과 ‘bird’를 결합하여 ‘Vögelbird’라는 단어를 만들 수 있다. 이러한 단어를 사용하여 가상의 새 이미지를 생성할 수 있다.

저자는 DALL-E 2의 암호화된 언어를 사용하여 이미지를 생성하는 방법이 이미지 합성 시스템의 안전장치를 우회할 수 있는 가능성을 제시한다고 한다. 그러나 이러한 방법은 또한 시스템의 취약성을 이용하여 유해한 이미지를 생성할 수 있는 가능성을 제시한다는 것을 강조한다.

링구아 프랑카

링구아 프랑카는 여러 언어를 혼합하여 사용하는 언어이다. 예를 들어, 독일어와 영어를 혼합하여 ‘Vögel’과 ‘bird’를 결합하여 ‘Vögelbird’라는 단어를 만들 수 있다.

저자는 링구아 프랑카를 사용하여 이미지를 생성하는 방법을 제시한다. 예를 들어, ‘Vögelbird’라는 단어를 사용하여 가상의 새 이미지를 생성할 수 있다.

저자는 링구아 프랑카를 사용하여 이미지를 생성하는 방법이 이미지 합성 시스템의 안전장치를 우회할 수 있는 가능성을 제시한다고 한다. 그러나 이러한 방법은 또한 시스템의 취약성을 이용하여 유해한 이미지를 생성할 수 있는 가능성을 제시한다는 것을 강조한다.

에보카티브 프롬팅

에보카티브 프롬팅은 특정 이미지를 생성하기 위해 특정 단어를 사용하는 것이다. 예를 들어, ‘fictional medicines’라는 단어를 사용하여 가상의 약 이미지를 생성할 수 있다.

저자는 에보카티브 프롬팅을 사용하여 이미지를 생성하는 방법을 제시한다. 예를 들어, ‘fictional medicines’라는 단어를 사용하여 가상의 약 이미지를 생성할 수 있다.

저자는 에보카티브 프롬팅을 사용하여 이미지를 생성하는 방법이 이미지 합성 시스템의 안전장치를 우회할 수 있는 가능성을 제시한다고 한다. 그러나 이러한 방법은 또한 시스템의 취약성을 이용하여 유해한 이미지를 생성할 수 있는 가능성을 제시한다는 것을 강조한다.

DALL-E 2의 주요 안전장치는 접근의 불안정성이다. 현재, DALL-E 2의 사용자는 각 사용자 계정에 대한 전화번호를 요구한다. 이는 이러한 종류의 렉시컬 해킹의 경계를真正로 테스트하기 위해 필요한 ‘번어 계정’의 수를 제한한다.

First published 9th 2022년 8월.