Anderson의 관점

Reddit, SFW 딥페이크 커뮤니티 차단

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트Reddit은 r/deepfakesfw를 게시가 아닌 비자발적 포르노를 유도했다는 이유로 금지했습니다.
더 보기
  • Reddit은 r/deepfakesfw를 게시가 아닌 비자발적 포르노를 유도했다는 이유로 금지했습니다.
  • Google은 Colab에서 딥페이크 학습을 금지했지만 DeepFaceLab에만 적용되고 다른 도구에는 적용되지 않습니다.
  • 합법적인 딥페이크 커뮤니티는 NSFW 콘텐츠 요청에 대한 엄격한 중재를 통해서만 생존합니다.

주말, 아마 일요일 무렵 Reddit은 명목상 SFW(직장에서 보기에 적합한 콘텐츠) 딥페이크 커뮤니티인 r/deepfakesfw를 차단했다. 이 서브레딧은 소셜미디어 대기업이 2018년 AI 음란물로 가득했던 기존 r/deepfakes를 신속히 삭제한 뒤 생겨난 초기 대응 커뮤니티 중 하나였다.

현재 방문자에게 표시되는 비교적 전형적인 안내문(6월 13일 월요일에 보관한 화면)은 이 커뮤니티가 ‘당사자의 동의 없는 음란물을 금지하는 Reddit의 규칙을 위반하여 차단되었다’고 설명한다.

r/deepfakesfw의 새로운 첫 화면.

r/deepfakesfw의 새로운 첫 화면.

r/deepfakesfw는 주요 보관 서비스에 자주 기록되지 않았지만, 가장 최근의 WayBack Machine 보관 화면은 약 열흘 전인 2022년 6월 3일에 저장되었으며 당시 독자가 3,095명이었음을 보여준다.

이는 실제로 r/DeepFakesSFW(‘s’가 하나 더 있다는 점에 주의)의 구독자 수보다 많다. 이 커뮤니티의 현재 독자는 2,827명이다(2022년 6월 13일 월요일 보관 화면). 현재 가장 인기 있는 ‘합법적’ SFW 딥페이크 커뮤니티는 r/SFWdeepfakes로 보이며, 작성 시점의 독자는 16,636명이다(2022년 6월 13일 월요일 보관 화면).

요청조차 하지 말 것

r/deepfakesfw를 몰락시킨 것은 딥페이크 음란물의 게시 자체가 아니라 이를 요청하는 행위였던 것으로 보인다. Reddit의 노골적인 성적 미디어 관련 규칙은 다음과 같다.

‘타인의 [이미지]나 동영상을 노골적인 성적 콘텐츠로 조작하거나 닮은 사람의 음란물을 요청하기 위한 목적으로 게시하는 행위(예: 딥페이크 또는 버블 포르노) 역시 규칙 위반이다.’

차단된 SFW 커뮤니티의 마지막으로 확인 가능한 RSS 피드를 보면, 결국 차단을 촉발한 것은 NSFW 딥페이크 콘텐츠의 게시가 아니라 요청이었다.

폐쇄된 r/deepfakesfw의 마지막 NSFW 게시물 일부. 출처: Inoreader.

폐쇄된 r/deepfakesfw의 마지막 게시물 중 명백히 NSFW인 일부 게시물. 출처: Inoreader.

RSS가 가리키는 게시물은 더 이상 볼 수 없지만 요청자의 프로필 링크(위 이미지에서 흐리게 처리됨)를 클릭하면, 여러 포럼에서 금지된 딥페이크 콘텐츠를 요청하는 사람이 많다는 것을 알 수 있다. 일부는 근친상간 음란물과 당사자의 동의 없는 다양한 음란물 등 극단적인 콘텐츠를 요청하거나 제공한다.

이는 남아 있는 SFW Reddit 커뮤니티가 운영자의 신속하고 성실한 대응 덕분에 유지된다는 점을 시사한다. Reddit은 게시물에서 직접 요청할 수 없는 불법 딥페이크를 사람들이 개인 메시지로 연결되어 거래하는 일종의 벼룩시장 게시판이 되기를 원치 않는 것으로 보인다.

그렇다면 아직 차단되지 않은 r/DeepFakesSFW도 오래 버티지 못할 수 있다. 예전 Reddit 테마로 커뮤니티의 기본 URL에 접속하면 상단 게시물 두 개가 명확히 NSFW로 표시되어 있다. 이 커뮤니티에서는 원래 제공되지 않아야 할 것으로 보이는 태그다.

r/DeepFakesSFW에 표시되는 일부 규칙 위반 게시물. 출처: https://www.reddit.com/r/DeepFakesSFW/

상황에 따라 r/DeepFakesSFW에 현재 규칙 위반 게시물이 표시된다. 출처: https://www.reddit.com/r/DeepFakesSFW/

현재 r/DeepFakesSFW 상단에 있는 이 NSFW 게시물 두 개의 보관 화면은 여기에서 볼 수 있다(2022년 6월 13일 월요일 보관).

실제로 r/DeepFakesSFW에서 새 게시물을 작성할 때는 NSFW 분류를 선택할 수 없다. 사이드바 정보에 따르면 커뮤니티는 4년간 운영되어 왔다.

r/DeepFakesSFW에 게시할 때 선택할 수 있는 분류.

r/DeepFakesSFW에 글을 올릴 때 선택할 수 있는 분류.

따라서 r/DeepFakesSFW의 NSFW 태그는 커뮤니티 운영자나 상위 관리자가 붙였거나, 현지 운영자의 개입 또는 이의 제기 수단 없이 알고리즘이 부여했을 수 있다. 필자는 유일하게 등록된 운영자에게 문의했으며, 추가 정보가 있으면 공개할 예정이다.

(수정, 2022년 6월 14일 화요일 – r/DeepFakesSFW 운영자는 ‘사용자 계정이 NSFW일 때 그렇게 되는 것 같다’고 답했다. 따라서 SFW 딥페이크 커뮤니티에서 이런 요청이 발생할 가능성을 줄이려면 이 분류를 받은 사용자를 차단하는 방법밖에 없을 수도 있다.)

이 커뮤니티와 더 큰 r/SFWdeepfakes의 콘텐츠는 대부분 인기 영화나 고전 영화의 배우를 바꾸거나, 대중매체와 딥페이크 기술을 이용해 비교적 무해한 AI 놀이를 하는 것이며 실제로 SFW에 해당한다.

이런 게시물 상당수는 저작권 문제로 차단될 위험에 가깝지만, Ctrl-Shift-Face 같은 유명 YouTube 제작자가 타인의 지식재산을 활용한 비음란 딥페이크 동영상을 계속 게시하는 것을 보면, 적어도 현재는 영화사와 권리자가 이런 활동을 폭넓게 용인하는 것으로 보인다.

딥페이크 과정과 생태계의 ‘무해해 보이는’ 모습

2주 전 Google이 인기 있는 Colab 클라우드 처리 환경에서 딥페이크 제작 소프트웨어를 갑자기 금지했다는 사실이 알려졌고 많은 논의가 이어졌다. 지금도 Colab은 DeepFaceLab(DFL)을 실행하려는 시도에만 차단 반응을 보이는 듯하다. DFL은 세계에서 가장 인기 있는 딥페이크 소프트웨어이며 AI 음란물과 가장 밀접하게 연관된 소프트웨어다. 반면 사용자가 더 적은 FaceSwap은 정확히 같은 작업을 수행하면서도 평판이 더 좋으며, 같은 반응을 유발하지 않는다.

어느 정도는 이것이 Colab이 딥페이크 음란물 제작에 어떤 형태로든 제한을 가할 수 있는 유일한 방법이었을 수 있다. 실제 학습에는 오픈소스 소프트웨어와 심하게 잘라낸 얼굴 이미지(대개 512×512픽셀 또는 그 이하)만 사용되므로, 이미지 인식 알고리즘이 실제 음란물을 발견할 가능성은 거의 없기 때문이다.

모델 학습이 끝나면 제작자는 더 이상 Colab의 막대한 처리 능력이나 비싼 로컬 GPU가 필요하지 않다. 실제 변환 작업, 즉 음란물 여부와 관계없이 동영상에 얼굴을 합성하는 과정은 저성능 노트북 GPU로도 로컬에서 처리할 수 있다. CPU도 조금 더 오래 걸릴 뿐 가능하다. 제작 과정에서 실제 음란물이 등장할 때는 이미 Colab이 관여하지 않은 지 오래다.

따라서 제작자 사이에 오가는 구성 요소는 잠재적인 경미한 저작권 침해 이상의 문제를 나타내는 경우가 드물다. 이는 YouTube 영상, 블루레이, TV 인터뷰, 소셜미디어 등에서 추출한 얼굴 이미지 모음을 주고받는 형태다.

딥페이크 커뮤니티에 ‘초토화’ 정책이 다가오는가?

Discord의 딥페이크 커뮤니티인 DeepFaceLab(DeepFaceLive 포함), FaceSwap, Machine Video Editor(MVE, 다양한 추가 기능을 제공하는 GUI 기반 DFL 환경) 및 Audio Deepfakes 같은 새로운 음성 딥페이크 Discord 서버의 구성원들을 괴롭히는 질문은 다음과 같다. 현재 포털과 플랫폼 소유자는 NSFW 지지자와 제작자의 물결에 맞서 지속적으로 관리 비용을 부담하는 대신, 원칙적으로 딥페이크 커뮤니티를 아예 금지하게 될 것인가?

FaceSwap 개발자이자 관련 Discord 서버 소유자인 Bryan Lyon은 다음과 같이 말했다†:

‘여러 차례 정리 조치가 있었지만 우리는 철저히 깨끗한 상태를 유지해 Discord에 남을 수 있었다. 숨겨진 채널이나 불법 콘텐츠를 담은 비밀 두 번째 서버도 없다. 몇 년 전 인기 있는 DeepFaceLab 서버가 정리되었고 그곳의 모든 사용자가 차단되었다. 그들은 초대받은 사람에게만 부여되는 역할을 통해 비동의 음란물이 있는 채널에 접근할 수 있었다.’

세계 최대 기술 호스팅 자원 중 하나인 Google조차 서버와 GPU에서 딥페이크 학습을 전면 금지한 만큼, Microsoft 소유의 GitHub도 이 기술을 지원하는 것*이 결국 도덕적 모호성이나 감독에 드는 투자만큼의 가치가 없다고 판단할 수 있다.

딥페이크 기술을 정당한 용도로 자리 잡게 해 가정에서 만든 음란물 대신 영화·TV 제작과 타인의 권리를 침해하지 않고 범죄도 아닌 용도로 옮겨 가게 하는 과정은 아직 초기다. 플랫폼과 커뮤니티 호스팅 서비스의 명확한 정책 지침이 나오기에는 이르다.

 

* 2022년 6월 13일 월요일의 https://github.com/search?q=deepfake 보관본.
† Discord 개인 메시지에서.

2022년 6월 13일 최초 게시. 이미지 수정을 위해 UTC 15:08에 편집.
2022년 6월 14일 화요일 UTC 06:24에 일부 게시자의 NSFW 상태에 관한 Reddit 운영자의 답변을 추가하고 RSS 피드 이미지를 수정함.

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai