합성 데이터 세트에서 실제 신원을 복구할 수 있습니다.

2022년이 생성적 AI의 파괴적 잠재력이 대중의 관심을 처음 끈 순간이었다면, 2024년은 그 힘을 활용하고자 하는 기업들 사이에서 기반 데이터의 합법성에 대한 의문이 중심이 된 해였습니다.

미국 공정 사용 교리학계와 상업 연구 부문에서 생성 AI를 탐구할 수 있도록 허용했던 암묵적인 학술적 허가와 함께 점점 더 유지 불가능해졌습니다. 표절의 증거 표면화되었습니다. 그 후, 미국은 현재로서는 허용되지 않음 AI가 생성한 콘텐츠는 저작권의 보호를 받지 못합니다.

이러한 문제는 아직 해결되지 않았으며 곧 해결될 가능성도 없습니다. 2023년에는 부분적으로 다음과 같은 이유로 인해 성장하는 미디어와 대중의 관심 AI가 생성한 결과물의 법적 지위에 대해 미국 저작권 사무국은 생성 AI의 이 측면에 대한 수년간의 조사를 시작하여 다음과 같이 발표했습니다. 첫 번째 세그먼트 (디지털 복제품에 관하여) 2024년 XNUMX월.

그동안 기업들은 자신들이 활용하고자 하는 값비싼 모델이 결국 확정적인 법률과 정의가 등장하면 법적 책임을 지게 될 가능성에 대해 여전히 좌절감을 느끼고 있습니다.

값비싼 단기 해결책은 기업이 활용할 권리가 있는 데이터를 사용하여 생성 모델을 학습시킴으로써 모델을 정당화하는 것이었습니다. Adobe의 텍스트-이미지 변환(그리고 이제는 텍스트를 비디오로) Firefly 아키텍처는 주로 다음과 같은 요소에 의해 구동됩니다. 매수 2014년 Fotolia 스톡 이미지 데이터세트의 보충 저작권이 만료된 퍼블릭 도메인 데이터*를 사용하여. 동시에 Getty 및 Shutterstock과 같은 기존 스톡 사진 공급업체는 대문자 라이선스 데이터의 새로운 가치에 주목하면서 콘텐츠 라이선스 거래가 늘어나거나 자체 IP 호환 GenAI 시스템을 개발하고 있습니다.

합성 솔루션

훈련된 데이터에서 저작권이 있는 데이터를 제거한 이후 잠재 공간 AI 모델의 문제가 가득하다이 분야의 실수는 머신 러닝을 활용한 소비자 및 비즈니스 솔루션을 실험하는 기업에 큰 비용이 발생할 가능성이 있습니다.

컴퓨터 비전 시스템을 위한 대안적이고 훨씬 저렴한 솔루션( 또한 대규모 언어 모델 또는 LLM), 의 사용입니다 합성 데이터여기서 데이터 세트는 대상 도메인의 무작위로 생성된 예제(예: 얼굴, 고양이, 교회 또는 더욱 일반화된 데이터 세트)로 구성됩니다.

thispersondoesnotexist.com과 같은 사이트는 오래전부터 '비실제' 사람들의 진짜처럼 보이는 사진을 합성할 수 있다는 아이디어를 대중화했습니다(이 특정 경우에는 생성적 적대 신경망을 통해 또는 간) 실제 세계에 존재하는 사람들과 아무런 관련이 없습니다.

따라서 이러한 추상적이고 비현실적인 사례를 바탕으로 얼굴 인식 시스템이나 생성 시스템을 훈련하면 이론적으로는 데이터의 법적 사용 가능성을 고려하지 않고도 AI 모델에 대한 사실적인 생산성 표준을 얻을 수 있습니다.

균형 법

문제는 합성 데이터를 생성하는 시스템 자체가 실제 데이터로 훈련된다는 것입니다. 해당 데이터의 흔적이 합성 데이터로 스며든다면, 이는 제한적이거나 그렇지 않으면 허가되지 않은 자료가 금전적 이익을 위해 악용되었다는 증거를 제공할 가능성이 있습니다.

이를 방지하고 진정한 '무작위' 이미지를 생성하려면 이러한 모델이 잘 작동해야 합니다.일반화 된. 일반화 훈련된 AI 모델이 고수준 개념(예:)을 본질적으로 이해하는 능력을 측정하는 것입니다. '얼굴', '남성', 또는 '여성') 실제 훈련 데이터를 복제하지 않고도 가능합니다.

불행히도 훈련된 시스템에서는 다음을 생성(또는 인식)하는 것이 어려울 수 있습니다. 세밀한 세부 사항 데이터 세트에 대해 매우 광범위하게 학습하지 않는 한. 이는 시스템을 위험에 노출시킵니다. 암기: 실제 훈련 데이터의 예를 어느 정도 재생산하려는 경향.

좀 더 편안한 설정을 통해 이를 완화할 수 있습니다. 학습률또는 핵심 개념이 여전히 유연하고 어떤 특정 데이터 포인트(예: 얼굴 데이터 세트의 경우 사람의 특정 이미지)와 연관되지 않은 단계에서 교육을 종료합니다.

그러나 이 두 가지 해결책 모두 시스템이 대상 도메인의 '기본'을 넘어 구체적인 내용으로 발전할 기회를 얻지 못했기 때문에 세부적인 내용이 덜한 모델이 만들어질 가능성이 높습니다.

따라서 과학 문헌에서는 일반적으로 매우 높은 학습률과 포괄적인 학습 일정이 적용됩니다. 연구자들은 일반적으로 최종 모델에서 광범위한 적용 가능성과 세분성 사이에서 타협점을 찾으려 하지만, 조금이라도 '기억된' 시스템조차도 초기 테스트에서조차 스스로를 잘 일반화된 것으로 잘못 표현하는 경우가 많습니다.

얼굴 공개

이는 스위스에서 나온 흥미로운 새로운 논문으로 이어집니다. 이 논문은 합성 데이터를 구동하는 원본 실제 이미지를 이론적으로 완전히 무작위적이어야 하는 생성된 이미지에서 복구할 수 있다는 것을 처음으로 입증했다고 주장합니다.

훈련 데이터에서 유출된 얼굴 이미지 예. 위 행에서 우리는 원본(실제) 이미지를 보고, 아래 행에서 우리는 무작위로 생성된 이미지를 보고, 이는 실제 이미지와 상당히 일치합니다. 출처: https://arxiv.org/pdf/2410.24015

저자들은 이 결과가 '합성' 생성기가 더 세밀한 정보를 얻기 위해 실제로 많은 훈련 데이터 포인트를 기억하고 있음을 시사한다고 주장합니다. 또한, AI 개발자를 법적 책임으로부터 보호하기 위해 합성 데이터에 의존하는 시스템은 이러한 측면에서 매우 신뢰할 수 없음을 시사합니다.

연구자들은 6개의 최첨단 합성 데이터 세트에 대한 광범위한 연구를 수행하여 모든 경우에서 원본(잠재적으로 저작권이 있거나 보호받는) 데이터를 복구할 수 있음을 입증했습니다. 그들은 다음과 같이 논평합니다.

'우리의 실험은 최첨단 합성 얼굴 인식 데이터 세트가 생성기 모델의 훈련 데이터 샘플과 매우 가까운 샘플을 포함하고 있음을 보여줍니다. 어떤 경우에는 합성 샘플이 원본 이미지에 약간의 변화를 포함하지만, 어떤 경우에는 생성된 샘플이 더 많은 변화(예: 다른 포즈, 조명 조건 등)를 포함하는 반면 신원은 보존되는 것을 관찰할 수도 있습니다.

이는 생성 모델이 훈련 데이터에서 신원 관련 정보를 학습하고 기억하며 유사한 신원을 생성할 수 있음을 시사합니다. 이는 생체 인식 및 얼굴 인식과 같이 개인정보 보호에 민감한 작업에 합성 데이터를 적용하는 것과 관련하여 심각한 우려를 야기합니다.

The 종이 제목이 합성 얼굴 공개: 합성 데이터 세트가 실제 정체성을 노출할 수 있는 방법, 그리고 Martigny의 Idiap 연구소, École Polytechnique Fédérale de Lausanne(EPFL) 및 Université de Lausanne(UNIL)의 로잔에 있는 두 명의 연구자로부터 왔습니다.

방법, 데이터 및 결과

연구에서 기억된 얼굴은 다음과 같이 밝혀졌습니다. 멤버십 추론 공격. 개념이 복잡하게 들리지만, 상당히 자명합니다. 이 경우 멤버십 추론은 찾고 있는 데이터와 일치하거나 상당히 유사한 데이터가 나올 때까지 시스템에 의문을 제기하는 과정을 말합니다.

연구에서 추론된 데이터 소스의 추가 예. 이 경우 소스 합성 이미지는 DCFace 데이터 세트에서 가져온 것입니다.

연구자들은 (실제) 데이터 세트 출처가 알려진 6개의 합성 데이터 세트를 연구했습니다. 문제의 진짜 데이터 세트와 가짜 데이터 세트 모두 매우 많은 양의 이미지를 포함하고 있기 때문에, 이는 사실상 건초더미에서 바늘을 찾는 것과 같습니다.

따라서 저자는 기성형 얼굴 인식 모델을 사용했습니다.^† 와 레스넷100 척추는 훈련되었습니다 에이다페이스 손실 기능 ( 웹페이스12M 데이터 세트).

사용된 6개의 합성 데이터 세트는 다음과 같습니다. DC페이스 (잠재 확산 모델) IDiff-얼굴 (Uniform – FFHQ 기반 확산 모델); IDiff-Face (Two-stage – 다른 샘플링 방법을 사용하는 변형); 간디프페이스 (생성적 적대 네트워크 및 확산 모델을 기반으로 함) 스타일GAN3 초기 ID를 생성한 다음 드림부스 다양한 예를 만들기 위해) 아이디넷 (GAN 방식, 기반 스타일GAN-ADA); 과 에스페이스 (신원 보호 프레임워크)

GANDiffFace는 GAN과 확산 방법을 모두 사용하므로, 이 네트워크가 제공하는 '실제 얼굴' 원점에 가장 가까운 StyleGAN의 교육 데이터 세트와 비교되었습니다.

저자는 AI 방법이 아닌 CGI를 사용하는 합성 데이터 세트를 제외했으며, 분포적 이상 현상으로 인해 어린이에 대한 일치 항목을 할인한 결과를 평가했습니다. 또한 얼굴이 아닌 이미지(얼굴 데이터 세트에서 자주 발생할 수 있는 현상으로, 웹 스크래핑 시스템은 얼굴과 유사한 특성을 가진 객체나 유물에 대해 거짓 양성 결과를 생성합니다.)도 제외했습니다.

코사인 유사도 검색된 모든 쌍에 대해 계산되었으며 아래에 설명된 히스토그램으로 연결되었습니다.

다양한 데이터세트에서 계산된 코사인 유사도 점수에 대한 히스토그램 표현과 상위 k 쌍에 대한 관련 유사도 값(수직 점선)입니다.

유사점의 수는 위 그래프의 스파이크에 표현되어 있습니다. 이 논문은 또한 6개 데이터세트의 샘플 비교와 원본(실제) 데이터세트의 해당 추정 이미지를 특징으로 하며, 그 중 일부 선택 사항은 아래에 나와 있습니다.

보다 포괄적인 선택을 원하는 독자는 출처 논문에 재현된 많은 사례의 샘플을 참조하시기 바랍니다.

논문은 다음과 같이 논평합니다.

'생성된 합성 데이터 세트에는 생성기 모델의 훈련 세트와 매우 유사한 이미지가 포함되어 있어 이러한 신원 생성과 관련하여 우려가 제기됩니다.'

저자들은 이 특정 접근 방식의 경우, 더 많은 양의 데이터 세트로 확장하는 것은 비효율적일 가능성이 높다고 지적합니다. 필요한 계산이 매우 부담스러울 것이기 때문입니다. 그들은 또한 시각적 비교가 일치 항목을 추론하는 데 필요했으며, 자동 얼굴 인식만으로는 더 큰 작업에 충분하지 않을 것이라고 관찰합니다.

연구의 의미와 앞으로의 방향에 관해 이 저서는 다음과 같이 기술합니다.

'[우리는] 합성 데이터 세트를 생성하는 주된 동기가 대규모 웹 크롤링 얼굴 데이터 세트를 사용함으로써 발생하는 개인정보 보호 문제를 해결하는 것이라는 점을 강조하고 싶습니다.

따라서 합성 데이터셋에서 민감한 정보(예: 훈련 데이터 내 실제 이미지의 신원 정보)가 유출될 경우, 생체 인식과 같이 개인정보 보호에 민감한 작업에 합성 데이터를 적용하는 것과 관련하여 심각한 우려가 제기됩니다. 본 연구는 합성 얼굴 인식 데이터셋 생성 시 개인정보 보호의 위험성을 밝히고, 책임감 있는 합성 얼굴 데이터셋 생성을 위한 향후 연구의 토대를 마련합니다.

저자는 이 작업에 대한 코드 릴리스를 약속했지만 프로젝트 페이지, 현재 저장소 링크가 없습니다.

결론

최근 미디어의 주목은 다음과 같습니다. 수익 감소 AI가 생성한 데이터를 기반으로 AI 모델을 훈련하여 얻습니다.

그러나 스위스의 새로운 연구는 생성적 AI를 활용하고 이를 통해 수익을 창출하고자 하는 기업들이 점점 더 많아짐에 따라, 더욱 시급한 문제, 즉 지적 재산권으로 보호되거나 승인되지 않은 데이터 패턴이 이러한 관행을 방지하도록 설계된 데이터 세트에서도 지속된다는 점에 주목하게 합니다. 굳이 정의하자면, 이 경우에는 '페이스워싱(face-washing)'이라고 할 수 있을 것입니다.

* 그러나 Adobe가 사용자가 업로드한 AI 생성 이미지를 Adobe Stock에 허용하기로 한 결정은 이 데이터의 법적 '순수성'을 사실상 훼손했습니다. 블룸버그 경합 한 2024년 XNUMX월에 MidJourney 생성 AI 시스템에서 사용자가 제공한 이미지가 Firefly의 기능에 통합되었습니다.

^† 이 모델은 논문에서 확인되지 않았습니다.

첫 번째 게시일 6년 2024월 XNUMX일 수요일