미세 조정된 안정 확산 모델에서 훈련 데이터 추출

미국에서 수행된 새로운 연구에서 미세 조정된 모델에서 훈련 데이터의 상당 부분을 추출하는 방법을 제시합니다.

이것은 아티스트의 스타일이 복사되었거나 저작권이 있는 이미지들이 공개된 생성 모델, 공공 인물, 저작권으로 보호되는 캐릭터 또는 기타 콘텐츠를 훈련시키는 경우에 법적 증거를 제공할 수 있습니다.

새로운 논문에서: 원본 훈련 이미지는 위쪽 행에 표시되고 추출된 이미지는 아래쪽 행에 표시됩니다. 출처: https://arxiv.org/pdf/2410.03039

이러한 모델은 주로 civit.ai의 거대한 사용자 기여 아카이브를 통해 인터넷에서 널리 그리고 무료로 사용할 수 있으며, Hugging Face 저장소 플랫폼을 통해 어느 정도 사용할 수 있습니다.

연구자들이 개발한 새로운 모델은 FineXtract라고 불리며, 저자들은 이것이 이러한 작업에서 최첨단 결과를 달성한다고 주장합니다.

논문은 관찰합니다:

‘[우리의 프레임워크]는 공개적으로 उपलब있는 미세 조정된 체크포인트에서 미세 조정 데이터를 추출하는 과제를 효과적으로 해결합니다. 미리 훈련된 분포에서 미세 조정 데이터 분포로의 전환을 활용하여 FineXtract는 생성 프로세스를 미세 조정된 데이터 분포의 높은 확률 영역으로 안내하여 성공적인 데이터 추출을 가능하게 합니다.’

가장 오른쪽, 훈련에 사용된 원본 이미지. 두 번째 오른쪽, FineXtract를 통해 추출된 이미지. 다른 열은 이전 방법을 나타냅니다. 출처를 참조하여 더 높은 해상도를 확인하십시오.

왜 중요한가

텍스트-이미지 생성 시스템의 원래 훈련된 모델인 안정 확산과 Flux는 사용자가 다운로드하고 미세 조정할 수 있으며, 2022년 DreamBooth 구현과 같은 기술을 사용하여 미세 조정할 수 있습니다.

더욱 쉽게, 사용자는 거의 같은 효과를 내는 훨씬 더 작은 LoRA 모델을 만들 수 있습니다.

훈련된 LORA의 예시, Civitai 도메인에서 무료로 다운로드할 수 있습니다. 이러한 모델은 몇 분에서 몇 시간 이내에 열광적으로 사용하는 로컬에서 설치된 오픈 소스 소프트웨어 또는 일부 허용되는 API 기반 훈련 시스템을 통해 온라인으로 생성될 수 있습니다. 출처: civitai.com

2022년 이후로, 사용자는 5~50개의 캡션 이미지를 제공하여 로컬에서 오픈 소스 프레임워크인 Kohya ss 또는 온라인 서비스를 사용하여 식별 가능한 미세 조정된 체크포인트와 LoRA를 생성하는 것이 매우 쉽습니다.

이러한 심층 가짜 생성 방법은 지난 몇 년 동안 미디어에서 악명 높게 되었습니다. 많은 아티스트들의 작품도 그들의 스타일을 복제하는 생성 모델에 의해 섭취되었습니다. 이러한 문제에 대한 논란은 지난 18개월 동안 모멘텀을 얻었습니다.

사용자가 실제 아티스트들의 작품을 복제하는 AI 시스템을 생성하는 것이 얼마나 쉬운지에 대한 논란이 지난 2년 동안 다양한 캠페인을 일으켰습니다. 출처: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

미세 조정된 체크포인트나 LoRA에서 사용된 이미지를 증명하는 것은 어렵습니다. 왜냐하면 일반화 과정은 작은 훈련 데이터셋에서 身份를 추상화하며, 훈련 데이터(오버피팅의 경우에 한해)에서 예를 재현할 가능성이 낮기 때문입니다.

이것이 FineXtract가 등장하는 곳입니다. 사용자가 다운로드한 ‘템플릿’ 확산 모델과 사용자가 미세 조정 또는 LoRA를 통해 생성한 모델을 비교하여 연구자들은 훈련 데이터의 매우 정확한 재구성을 만들 수 있었습니다.

FineXtract는 미세 조정에서 데이터의 20%만 재구성할 수 있지만, 이는 사용자가 생성 모델을 생성하는 데에 저작권이 있거나 보호되는 자료를 사용했음을 증명하는 데에 필요한 것보다 훨씬 더 많습니다. 대부분의 제공된 예에서, 추출된 이미지는 알려진 원본 자료와 매우 유사합니다.

캡션은 원본 이미지를 추출하는 데 필요하지만, 이것은 두 가지 이유로 큰 장벽이 아닙니다. a) 업로더는 일반적으로 모델을 사용하는 커뮤니티를 위해 적절한 프롬프트 예를 제공하려고 합니다. 그리고 b) 연구자들은 미세 조정된 모델에서 핵심적인 용어를 맹목적으로 추출하는 것이 어렵지 않다고发现했습니다:

핵심 키워드는 일반적으로 1000번의 반복으로 무작위 프롬프트에서 L2-PGD 공격을 사용하여 미세 조정된 모델에서 맹목적으로 추출할 수 있습니다.

사용자들은 종종 훈련 데이터셋을 함께 제공하지 않습니다. 연구를 위해, 저자들은 실제로 데이터셋을 제공한 기계 학습 애호가들과 협력했습니다.

새로운 논문은 보이지 않는 것을 드러내는 것: 개인화된 확산 모델을 훈련 데이터에 노출시키는 것이라는 제목을 가지고 있으며, 카네기 멜런과 퍼듀 대학교의 3명의 연구자로부터 나왔습니다.

방법

공격자(이 경우 FineXtract 시스템)은 원본 모델과 미세 조정된 모델에서 추정된 데이터 분포를 비교하며, 저자들은 이것을 ‘모델 가이드’라고 부릅니다.

새로운 논문에서 개발된 ‘모델 가이드’를 통해 미세 조정 특성을 매핑하여 훈련 데이터를 추출할 수 있습니다.

저자들은 설명합니다:

‘미세 조정 과정에서, 확산 모델은 미리 훈련된 모델의 분포에서 미세 조정된 데이터 분포로 학습된 분포를 점진적으로 변경합니다.

‘따라서, 우리는 미세 조정된 확산 모델의 학습된 분포를 매개 변수적으로 근사합니다.’

이렇게 함으로써, 핵심 모델과 미세 조정된 모델 사이의 차이의 합이 가이드 프로세스를 제공합니다.

저자들은 추가로 주석합니다:

‘모델 가이드를 사용하여, 우리는 “가짜” 디노이저를 효과적으로 시뮬레이션할 수 있습니다. 이것은 샘플링 프로세스를 미세 조정된 데이터 분포의 높은 확률 영역으로 안내하는 데 사용할 수 있습니다.’

가이드는 부분적으로 2023년 outing 확산 모델에서 개념을 지우는 것과 유사한 시간에 따라 변하는 노이즈 프로세스에 의존합니다.

디노이징 예측도 클래스 없는 가이드(CFG) 스케일을 제공합니다. 이것은 중요한데, CFG는 이미지 품질과 텍스트 프롬프트에 대한 충실도에 큰 영향을 미칩니다.

추출된 이미지의 정확도를 개선하기 위해 FineXtract는 2023년 협력 확산 모델에서 훈련 데이터 추출을 사용합니다. 사용된 방법은 생성된 이미지의 각 쌍에 대한 유사성을 계산하는 것으로, 자체 감독 디스크립터(SSCD) 점수를 정의하여 수행됩니다.

이렇게 함으로써, 클러스터링 알고리즘은 FineXtract가 훈련 데이터와 일치하는 추출된 이미지의 하위 집합을 식별하는 데 도움이 됩니다.

이 경우, 연구자들은 데이터를 제공한 사용자와 협력했습니다. 누군가는 합리적으로 말할 수 있습니다. 이러한 데이터가 없으면, 원래에 사용된 특정 생성 이미지를 증명하는 것은 불가능할 것입니다. 그러나 이제는 웹의 라이브 이미지나 이미 출판된 데이터셋에 있는 이미지와 업로드된 이미지를 비교하는 것이 상대적으로 쉽습니다.

데이터와 테스트

FineXtract를 테스트하기 위해, 저자들은 프로젝트의 범위 내에서 두 가지 가장 일반적인 미세 조정 시나리오에 대해 few-shot 미세 조정된 모델에 대한 실험을 수행했습니다: 예술적 스타일과 객체 주도 생성(이후에는 효과적으로 얼굴 기반 주제를 포함합니다).

그들은 WikiArt 데이터셋에서 20개의 아티스트(각각 10개의 이미지)를 무작위로 선택하고, DreamBooth 데이터셋에서 30개의 주제(각각 5~6개의 이미지)를 선택하여 이러한 시나리오를 해결했습니다.

DreamBooth와 LoRA는 미세 조정된 방법으로 대상이 되었습니다. 테스트에는 안정 확산 V1/.4가 사용되었습니다.

클러스터링 알고리즘이 30초 후에 결과를 반환하지 않으면, 임계값을 수정하여 이미지를 반환하도록 합니다.

생성된 이미지에 사용된 두 가지 지표는 평균 유사도(AS)와 평균 추출 성공률(A-ESR)입니다. A-ESR은 이전 연구에서 사용된 것과 일치하는 것으로, 0.7의 점수는 훈련 데이터의 완전한 추출을 나타내는 데 필요한 최소값을 나타냅니다.

이전 접근 방식은 직접 텍스트-이미지 생성 또는 CFG를 사용했기 때문에, 연구자들은 FineXtract를 이 두 가지 방법과 비교했습니다.

FineXtract와 이전 두 가지 방법의 비교 결과.

저자들은 주석합니다:

‘결과는 이전 방법보다 FineXtract의 상당한 이점을 보여주며, AS에서 약 0.02에서 0.05의 향상과 대부분의 경우에서 A-ESR의 두 배의 향상을 나타냅니다.’

저자들은 새로운 데이터에 대한 방법의 일반화를 테스트하기 위해 추가 테스트를 수행했습니다. 안정 확산(V1.4), 안정 확산 XL, 및 AltDiffusion를 사용했습니다.

다양한 확산 모델에 적용된 FineXtract. WikiArt 구성 요소의 경우, 테스트는 WikiArt의 4개 클래스에 중점을 두었습니다.

위에 표시된 결과와 같이, FineXtract는 더 넓은 테스트에서 이전 방법보다도 향상을 달성할 수 있었습니다.

FineXtract와 이전 접근 방식의 추출된 결과의 질적 비교. 출처를 참조하여 더 높은 해상도를 확인하십시오.

저자들은 관찰합니다. 미세 조정된 모델의 데이터셋에 사용된 이미지 수가 증가할수록, 클러스터링 알고리즘이 효과적으로 유지되기 위해 더 오랜 시간 동안 실행되어야 합니다.

그들은 또한 다양한 방법이 이러한 종류의 추출을 방해하기 위해 개발되었으며, 이들은 개인 정보 보호를 명목으로 합니다. 따라서 저자들은 FineXtract를 Cutout 및 RandAugment 방법으로 증강된 데이터에 대해 테스트했습니다.

FineXtract의 성능, Cutout 및 RandAugment에 의해 보호된 이미지에 대해.

저자들은 두 보호 시스템이 훈련 데이터 소스를 모호하게 하는 데 khá 잘 작동한다는 것을 인정하지만, 이것이 출력 품질의 급격한 저하로 이어져서 보호가 무의미해진다고 주장합니다:

안정 확산 V1.4, 방어적 조치로 미세 조정된 이미지 – 이는 이미지 품질을 크게 낮춥니다. 출처를 참조하여 더 높은 해상도를 확인하십시오.

논문은 결론합니다:

‘우리의 실험은 다양한 데이터셋과 실제 체크포인트에서 방법의 강건성을 보여주며, 데이터 누출의 잠재적 위험과 저작권 침해에 대한 강력한 증거를 제공합니다.’

결론

2024년은 기업들이 ‘깨끗한’ 훈련 데이터에 대한 관심이 크게 증가한 해입니다. 이는 AI가 인간을 대체하는 것에 대한 지속적인 미디어 보도가 이루어지고, 그들이 열망하는 생성 모델을 법적으로 보호하는 전망과 함께입니다.

사용자의 훈련 데이터가 깨끗하다고 주장하는 것은 쉽지만, 유사한 기술로 그것이 아니라는 것을 증명하는 것도 점점 더 쉬워지고 있습니다. Runway ML, Stability.ai, MidJourney를 포함한 여러 회사들이 최근에 발견한 바와 같이.

FineXtract와 같은 프로젝트는 AI의 ‘와일드 웨스트’ 시대의 완전한 종말을 예고하는 것으로 논란의 여지가 있습니다. 여기서 حتى 훈련된 잠재 공간의 명백하게 신비한 본질도 책임을 질 수 있습니다.

* 편의를 위해, 우리는 이제 ‘미세 조정 및 LoRA’를 필요에 따라 가정합니다.

최초로 게시된 날: 2024년 10월 7일