AI 모델 검열은 효과적이지 않다는 연구 결과가 나왔습니다.

훈련된 모델에서 금지된 콘텐츠(음란물, 폭력물, 저작권이 있는 스타일 등)를 삭제하여 AI 이미지 생성기를 검열하려는 시도는 실패하고 있습니다. 새로운 연구에 따르면, 현재의 개념 삭제 방법을 사용하면 '금지된' 속성이 관련 없는 이미지로 넘쳐날 뿐만 아니라, '삭제된' 콘텐츠와 밀접하게 관련된 버전이 나타나는 것을 막지 못하는 것으로 나타났습니다.

기초 AI 모델을 제작하는 기업들이 해당 모델이 부적절하거나 불법적인 자료를 제작하는 데 악용되는 것을 막지 못한다면, 기소되거나 사업이 중단될 위험이 있습니다. 반대로, 자사 모델만 제공하는 공급업체는 API를 통해Adobe와 마찬가지로 개똥 벌레 생성 엔진은 사용자의 프롬프트와 결과 출력이 모두 검사되고 정리되므로 모델이 무엇을 생성할지 걱정할 필요가 없습니다.

포토샵과 같은 도구에 사용되는 Adobe의 파이어플라이 시스템은 때때로 생성 요청이 생성되기 전에 프롬프트를 차단하여 즉시 거부합니다. 다른 경우에는 이미지를 생성한 후 검토 후 결과를 차단하기도 합니다. 이러한 중간 프로세스 거부는 ChatGPT에서도 발생할 수 있는데, 모델이 응답을 시작했지만 정책 위반을 인식한 후 응답을 중단하는 경우입니다. 이 과정에서 중단된 이미지가 잠시 표시되는 경우도 있습니다.

그러나 이런 종류의 API 스타일 필터는 일반적으로 로컬에 설치된 모델에서 사용자가 무력화할 수 있으며, 여기에는 사용자가 사용자 정의 데이터에 대한 로컬 교육을 통해 사용자 정의를 원할 수 있는 시각 언어 모델(VLM)이 포함됩니다.

대부분의 경우, 이런 작업을 비활성화하는 것은 Python에서 함수 호출을 주석 처리하는 것만큼 간단한 일입니다(하지만 이런 종류의 해킹은 일반적으로 프레임워크 업데이트 후에 반복하거나 다시 만들어야 합니다).

비즈니스 관점에서는 API 접근 방식이 사용자 워크플로에 대한 기업의 통제력을 극대화하기 때문에 이것이 어떻게 문제가 될 수 있는지 이해하기 어렵습니다. 그러나 사용자 관점에서는 API 전용 모델의 비용과 실수 또는 과도한 검열의 위험 때문에, 적어도 FOSS 라이선스가 유리한 경우에는 오픈 소스 대안을 로컬에 설치하여 다운로드하고 사용자 정의할 가능성이 높습니다.

자체 검열을 시도하지 않고 출시된 마지막 중요한 모델은 Stable Diffusion V1.5였습니다. 거의 XNUMX년 전. 나중에 그 훈련 기관이 CSAM 데이터 포함 이로 인해 이용을 금지해야 한다는 요구가 커지고 있습니다. 제거 2024년 Hugging Face 저장소에서.

잘라내세요!

냉소주의자들은 회사가 로컬 설치 가능한 생성 AI 모델을 검열하려는 관심은 오로지 우려에 근거한다고 주장합니다. 법적 노출에 관하여불법적이거나 비난받을 만한 콘텐츠를 쉽게 퍼뜨릴 수 있는 프레임워크가 공개되면,

실제로 일부 '지역 친화적' 오픈 소스 모델은 검열 해제가 그렇게 어렵지 않습니다(예: 안정적인 확산 1.5 그리고 딥시크 R1).

이와 대조적으로 최근 출시된 Black Forest Lab의 Flux Kontext 모델 시리즈 회사의 인증을 받았습니다 주목할 만한 헌신자들전체 Kontext 제품군을 보들러라이제이션하는 데 집중했습니다. 이는 신중한 데이터 큐레이션과 목표 지향적인 미세 조정 훈련 후 NSFW 또는 금지된 콘텐츠에 대한 잔여 경향을 제거하도록 설계되었습니다.

지난 2~3년 동안 연구 분야에서 활동의 중심은 바로 여기에 있었습니다. 제대로 정리되지 않은 데이터를 사용하여 사후에 모델을 수정하는 데 중점을 두었습니다. 이러한 종류의 서비스는 다음과 같습니다. 확산 모델의 통합 개념 편집 (ECU); 텍스트-이미지 확산 모델의 안정적이고 효율적인 개념 삭제 (수신); 확산 모델에서의 대량 개념 소거 (메이스); 과 개념-반투과성 구조는 멤브레인으로 주입됩니다. (SPM):

2024년 논문 '확산 모델에서의 통합 개념 편집'은 어텐션 가중치에 대한 폐쇄형 편집을 제공하여 텍스트-이미지 모델에서 여러 개념을 효율적으로 편집할 수 있도록 했습니다. 하지만 이 방법이 면밀한 검토를 통과할 수 있을까요? 출처: https://arxiv.org/pdf/2308.14761

이것은 효율적인 접근 방식이지만(예: 하이퍼스케일 컬렉션) 라이온 (수동으로 큐레이션하기에는 너무 방대하므로) 반드시 효과적인 방법은 아닙니다. 최근 미국 연구에 따르면, 훈련 후 AI 모델 수정의 최첨단 기술을 나타내는 앞서 언급한 편집 절차는 실제로는 별로 효과적이지 않습니다.

저자들은 이러한 개념 삭제 기술(CET)이 일반적으로 쉽게 우회될 수 있으며, 효과적인 경우에도 상당한 부작용이 있다는 사실을 발견했습니다.

개념 삭제가 텍스트-이미지 모델에 미치는 영향. 각 열은 프롬프트와 삭제 대상으로 표시된 개념, 그리고 편집 전후에 생성된 출력을 보여줍니다. 계층 구조는 개념 간의 부모-자식 관계를 나타냅니다. 예시는 자식 개념 삭제 실패, 인접 개념 억제, 단어 변경을 통한 회피, 삭제된 속성이 관련 없는 객체로 전이되는 등 일반적인 부작용을 강조합니다. 출처: https://arxiv.org/pdf/2508.15124

저자들은 현재 선도적인 개념 삭제 기술이 차단에 실패한다는 것을 발견했습니다. 구성적 프롬프트 (예 : 빨간 차 or 작은 나무 의자); 부모 카테고리를 지운 후에도 하위 클래스가 통과되는 경우가 종종 있습니다(예: 자동차 or 버스 제거 후에도 계속 나타납니다 자동차); 그리고 속성 누출(예를 들어 삭제)과 같은 새로운 문제를 도입합니다. 파란색 소파 모델이 다음과 같은 관련 없는 객체를 생성할 수 있습니다. 파란색 의자).

80% 이상의 테스트 케이스에서 다음과 같은 광범위한 개념을 지웁니다. 자동차 모델이 더 구체적인 것을 생성하는 것을 막지 못했습니다. 자동차 자동차나 버스와 같은 경우.

편집은 또한 다음과 같은 결과를 초래한다고 논문은 지적합니다. 주의 지도 (이미지에서 어디에 초점을 맞출지 결정하는 모델의 부분)이 흩어지면서 출력 품질이 약해집니다.

흥미롭게도 이 논문에서는 관련된 훈련된 개념을 하나씩 지우는 것이 한꺼번에 모두 삭제하는 것보다 더 효과적이라는 사실을 발견했습니다. 하지만 이렇게 해도 연구된 편집 방법의 모든 단점이 제거되는 것은 아닙니다.

점진적 삭제 전략과 일괄 삭제 전략 비교. '테디 베어'의 모든 변형을 동시에 삭제해도 모델은 곰과 유사한 객체를 계속 생성합니다. 변형을 단계적으로 삭제하는 것이 더 효과적이며, 모델은 목표 개념을 더욱 안정적으로 억제합니다.

연구진은 현재 논문에서 설명한 문제에 대한 해결책을 제시할 수는 없지만, 새로운 데이터 세트와 벤치마크를 개발했습니다. 이는 이후 연구 프로젝트에서 '검열된' 모델이 예상대로 작동하는지 여부를 이해하는 데 도움이 될 수 있습니다.

논문은 다음과 같이 말합니다.

이전 평가는 소수의 대상 및 보존 클래스에만 의존했습니다. 예를 들어, '자동차'를 삭제할 때 모델의 자동차 생성 능력만 테스트했습니다. 우리는 이러한 접근 방식이 근본적으로 부적절하며, 개념 삭제 평가는 '빨간색 자동차'와 같은 모든 관련 하위 개념을 포괄하도록 더욱 포괄적이어야 함을 보여줍니다.

'구성적 변화가 있는 다양한 데이터 세트를 도입하고 이웃 개념에 미치는 영향, 개념 회피, 속성 누출과 같은 효과를 체계적으로 분석함으로써 기존 CET의 상당한 한계와 부작용을 발견했습니다.

'저희 벤치마크는 모델에 구애받지 않고 쉽게 통합할 수 있으며 새로운 개념 삭제 기술(CET) 개발을 지원하는 데 이상적입니다.'

CET는 대상 개념인 '새'를 삭제하지만, 구성 변형인 '빨간 새'(위)에서는 실패합니다. '파란 소파'를 삭제한 후에는 모든 메서드가 파란색 의자(아래)를 생성할 수 없게 됩니다. 성공한 결과는 녹색 체크 표시로, 실패한 결과는 빨간색 'X' 표시로 표시됩니다.

이 연구는 모델의 개념이 훈련된 정도에 대한 흥미로운 통찰력을 제공합니다. 잠재 공간, 그리고 그 정도 얽히게 함 어떤 종류의 확실하고도 실제로 뚜렷한 개념의 삭제도 쉽게 허용하지 않을 것입니다.

The 새 용지 제목이 확산 모델에서 개념을 지우는 것의 부작용이는 메릴랜드 대학의 연구자 4명의 의견에서 나온 것입니다.

방법 및 데이터

저자들은 확산 모델에서 개념을 지운다고 주장하는 이전 연구들이 그 주장을 적절하게 증명하지 못한다고 의견을 밝혔습니다.*

삭제 청구는 더욱 견고하고 포괄적인 평가가 필요합니다. 예를 들어 삭제될 개념이 '차량'인 경우, '자동차'와 같은 하위 개념과 '빨간색 자동차' 또는 '소형 자동차'와 같은 구성적 개념도 삭제되어야 합니다.

'그러나 개념 계층 및 구성성의 이러한 측면은 단일 지워진 개념의 정확성에만 초점을 맞추기 때문에 기존 평가 프로토콜에서는 고려되지 않습니다. [저자 이레이즈벤치] CET가 시각적으로 유사하고 의역된 개념(예: '고양이'와 '새끼 고양이')에 어떤 영향을 미치는지 평가합니다.[;] 그러나 개념의 계층 구조와 구성성을 철저히 조사하지는 않습니다.'

미래 프로젝트에 대한 벤치마크 데이터를 제공하기 위해 저자는 다음을 생성했습니다. 부작용 평가 (SEE) 데이터 세트 – 개념 지우기 방법이 얼마나 효과적인지 테스트하기 위해 설계된 대규모 텍스트 프롬프트 컬렉션입니다.

프롬프트는 크기, 색상 및 재료의 속성으로 객체를 설명하는 간단한 템플릿을 따릅니다. 예를 들어, 작은 빨간색 나무 자동차의 이미지.

물체는 다음에서 그려졌습니다. MS-코코 데이터 세트 및 슈퍼클래스 계층 구조로 구성됨 자동차, 및 다음과 같은 하위 클래스 자동차 or 버스, 속성 조합이 리프 노드(계층 구조에서 가장 구체적인 단계)를 형성합니다. 이러한 구조를 통해 광범위한 범주에서 특정 변형에 이르기까지 다양한 의미 수준에서 삭제를 테스트할 수 있습니다.

자동화된 평가를 지원하기 위해 각 프롬프트는 다음과 같은 예/아니오 질문과 쌍을 이루었습니다. 이미지에 차가 있나요? 또한 이미지 분류 모델의 클래스 레이블로도 사용됩니다.

다양한 크기, 색상, 재료 속성을 통해 생성된 SEE 데이터 세트의 신속한 조합입니다.

각 개념 삭제 방법의 성능을 측정하기 위해 저자는 두 가지 평가 방법을 고안했습니다. 목표 정확도생성된 이미지에 지워진 개념이 얼마나 자주 나타나는지 추적합니다. 정확성 유지이는 모델이 지워져서는 안 될 자료를 계속 생성하는지 여부를 추적합니다.

두 점수의 균형은 해당 방법이 모델의 더 광범위한 출력을 손상시키지 않고 금지된 개념을 성공적으로 제거하는지 여부를 파악하기 위한 것입니다.

저자는 세 가지 실패 모드에 걸쳐 개념 삭제를 평가했습니다. 첫째, 개념을 제거하는지 여부를 측정합니다. 자동차 의미 및 속성 유사성을 기반으로 근처 또는 관련 없는 개념을 방해합니다. 둘째, 다음과 같은 하위 개념을 촉구하여 지우기를 우회할 수 있는지 여부를 테스트합니다. 빨간 차 삭제 후 자동차.

마지막으로 삭제된 개념에 연결된 특성이 관련 없는 개체에 나타나는 속성 누출에 대한 검사가 수행되었습니다(예: 삭제 침상 다른 객체(예: 화분, 색상이나 소재를 상속합니다.) 최종 데이터 세트에는 5056개의 구성 프롬프트가 포함됩니다.

테스트

이전에 테스트한 프레임워크는 앞서 나열된 UCE, RECE, MACE, SPM입니다. 연구진은 기존 프로젝트의 기본 설정을 채택하고 6000GB VRAM이 장착된 NVIDIA RTX 48 GPU에서 모든 모델을 미세 조정했습니다.

문헌에서 가장 오랫동안 사용된 모델 중 하나인 Stable Diffusion 1.4가 모든 테스트에 사용되었습니다. 아마도 가장 초기의 SD 모델에는 개념적 제약이 거의 없거나 전혀 없었기 때문에 이 특정 연구 맥락에서 백지 상태를 제공했기 때문일 것입니다.

SEE 데이터 세트의 5056개 프롬프트 각각은 모델의 편집되지 않은 버전과 편집된 버전을 모두 통해 실행되었으며 고정된 프롬프트를 사용하여 프롬프트당 XNUMX개의 이미지를 생성했습니다. 무작위 씨앗이를 통해 여러 출력에서 ​​삭제 효과가 일관되게 유지되는지 테스트할 수 있었습니다. 각 편집 모델은 총 20,224개의 이미지를 생성했습니다.

보존된 개념의 존재 여부는 VQA 모델을 사용하여 텍스트-이미지 삭제 절차에 대한 이전 방법에 따라 평가되었습니다. 블립, 큐웬 2.5 VL및 플로렌스-2베이스.

이웃 개념에 미치는 영향

첫 번째 테스트는 개념을 의도치 않게 지웠을 때 주변 개념에 영향을 미치는지 측정했습니다. 예를 들어, 개념을 지운 후 자동차, 모델은 생성을 중지해야 합니다. 빨간 차 or 대형차. 그러나 여전히 다음과 같은 관련 개념을 생성할 수 있습니다. 버스 or 트럭, 그리고 다음과 같은 관련 없는 것들 포크.

사용된 분석 쥐다 각 개념이 지워진 대상과 얼마나 가까웠는지 추정하기 위해 유사성과 속성 기반 편집 거리를 내장하여 연구에서 방해가 얼마나 확산되었는지 정량화할 수 있었습니다.

목표 정확도(왼쪽)와 보존 정확도(오른쪽)를 결합한 결과를 의미적 유사도(위)와 구성적 거리(아래)에 대해 나타낸 그래프. 이상적인 개념 삭제 방법은 모든 거리에서 목표 정확도가 낮고 보존 정확도가 높아야 합니다. 그러나 결과는 현재 기술이 명확하게 일반화하지 못하고, 더 가까운 개념이 충분히 삭제되지 않거나 불균형적으로 손상됨을 보여줍니다.

이러한 결과에 대해 저자는 다음과 같이 논평합니다.

'모든 CET는 삭제에도 불구하고 대상의 구성적 또는 의미적으로 거리가 있는 변형을 계속 생성하는데, 이는 이상적으로는 발생하지 않아야 합니다. UCE는 [보존 집합]에서 다른 CET 방법보다 일관되게 더 높은 정확도를 달성하는 것으로 나타났으며, 이는 의미적으로 관련된 개념에 의도치 않은 영향을 최소화함을 나타냅니다.

'반대로, SPM은 가장 낮은 정확도를 달성했는데, 이는 편집 전략이 개념의 유사성에 더 취약하다는 것을 시사합니다.'

테스트된 네 가지 방법 중 RECE가 목표 개념을 차단하는 데 가장 효과적이었습니다. 그러나 위 이미지 왼쪽에서 볼 수 있듯이 모든 방법에서 구성 변형을 억제하는 데 실패했습니다. 새이 모델은 여전히 ​​붉은 새의 이미지를 생성했는데, 이는 이 개념이 부분적으로 그대로 유지된다는 것을 암시합니다.

제거 파란색 소파 또한 모델이 생성되는 것을 방지했습니다. 파란색 의자, 주변 개념에 피해를 입힐 수 있음을 나타냅니다.

RECE는 다른 것들보다 구성적 변형을 더 잘 처리했고, UCE는 관련 개념을 보존하는 데 더 나은 성과를 보였습니다.

삭제 침입

삭제 회피 테스트는 상위 클래스가 삭제된 후에도 모델이 하위 클래스 개념을 여전히 생성할 수 있는지 평가했습니다. 예를 들어, 자동차 제거된 경우 테스트는 모델이 여전히 다음과 같은 출력을 생성할 수 있는지 확인했습니다. 자전거 or 빨간 차.

프롬프트는 개념 삭제 작업이 실제로 전체 계층 구조를 제거했는지 또는 더 구체적인 설명을 통해 우회할 수 있는지 확인하기 위해 직접적인 하위 클래스와 구성 변형을 모두 대상으로 했습니다.

Stable Diffusion v1.4에서는 삭제된 슈퍼클래스를 서브클래스와 구성 변형을 통해 우회하며, 정확도가 높을수록 회피도 더 큽니다.

편집되지 않은 모델은 모든 슈퍼클래스에서 높은 정확도를 유지하여 이를 확인했습니다. 지원 모든 대상 개념을 제거했습니다. CET 중에서 MACE는 가장 낮은 회피율을 보였으며, 테스트된 범주의 절반 이상에서 가장 낮은 하위 클래스 정확도를 달성했습니다. RECE 또한 특히 액세서리, 스포츠의및 전자 그룹.

이와 대조적으로 UCE와 SPM은 더 높은 하위 클래스 정확도를 보였는데, 이는 지워진 개념이 관련 프롬프트나 중첩된 프롬프트를 통해 더 쉽게 우회될 수 있음을 나타냅니다.

저자는 다음과 같이 말합니다.

'[모든] CET는 대상 슈퍼클래스 개념("음식")을 성공적으로 억제합니다. 그러나 음식 계층 구조의 속성 기반 자식(예: 큰 피자)이 요청되면 모든 메서드가 음식 항목을 생성합니다.

'마찬가지로 자동차 카테고리에서 모든 모델은 '차량'을 지웠음에도 불구하고 자전거를 생성합니다.

속성 누출

세 번째 테스트인 속성 유출 테스트는 지워진 개념과 연결된 특성이 이미지의 다른 부분에 나타나는지 여부를 확인했습니다.

예를 들어, 지운 후 침상모델은 소파를 생성하거나 소파의 일반적인 속성(색상이나 재질 등)을 같은 프롬프트에 있는 관련 없는 객체에 적용해서는 안 됩니다. 이는 모델에 짝을 이룬 객체를 프롬프트하고 삭제된 속성이 보존된 개념에 실수로 나타나는지 여부를 조사하여 측정했습니다.

개념 삭제 후 속성 토큰에 대한 주의 지도. 왼쪽: '벤치'가 삭제되면 '나무' 토큰이 새(bird)로 이동하여 나무 새(wooden birds)가 생성됩니다. 오른쪽: '소파'를 삭제해도 소파 생성을 억제하지 못하고, '큰' 토큰이 도넛(doughnut)에 잘못 할당됩니다.

RECE는 대상 속성을 삭제하는 데 가장 효과적이었지만, 보존된 프롬프트에서 가장 많은 속성 누출을 발생시켜 편집되지 않은 모델보다 더 큰 효과를 보였습니다. UCE는 다른 방법보다 누출이 적었습니다.

저자들은 연구 결과를 통해 본질적인 균형이 필요함을 시사하며, 더 강력한 지우기는 잘못된 속성 전송의 위험을 높인다는 것을 밝혔습니다.

결론

모델의 잠재 공간은 학습 중에 질서 있게 채워지지 않으며, 파생된 개념이 선반이나 서류 캐비닛에 깔끔하게 정리되지도 않습니다. 오히려 학습된 임베딩은 콘텐츠이자 컨테이너입니다. 뚜렷한 경계로 분리되어 있지 않고 오히려 서로 섞여서 제거하기 어려울 정도입니다. 마치 피를 흘리지 않고 살 1파운드를 꺼내려는 것과 같습니다.

지능적이고 진화하는 시스템에서는 손가락을 태우고 그 후 불을 존중하는 것과 같은 근본적인 사건이 나중에 형성하는 행동과 연관성과 밀접하게 연관되어 있기 때문에 핵심적이고 잠재적으로 '금지된' 개념의 추론은 남겨두었지만 그 개념 자체가 없는 모델을 만드는 것이 어렵습니다.

* 저자의 인라인 인용을 하이퍼링크로 변환합니다.

22년 2025월 XNUMX일 금요일에 처음 게시됨