Anderson의 관점

할리우드 딥페이크의 윤리에 관하여

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
AI-generated image, GPT-2. A distracted Dr. Frankenstein reads intently beside a shrouded body on a laboratory bench, unaware that the creature’s exposed, decaying hand is beginning to rise, signaling a return to life amid crackling electrical apparatus.
핵심 포인트Metaphysic.ai가 DNEG의 Brahma AI에 흡수된 것은 할리우드 딥페이크 산출물의 급격한 감소와 동시에 일어났다.
더 보기
  • Metaphysic.ai가 DNEG의 Brahma AI에 흡수된 것은 할리우드 딥페이크 산출물의 급격한 감소와 동시에 일어났다.
  • 엔터테인먼트 분야의 AI에 대한 대중의 적대감으로 인해 스튜디오들은 AI 지원 VFX 작업을 공개적으로 알리기를 꺼리게 되었다.
  • Metaphysic의 AGT 데뷔 이후 결정적인 상업적 히트작이 없었던 탓에 AI VFX는 투자자 신뢰를 얻지 못했다.

최근 텔레비전과 영화의 딥페이크 콘텐츠가 이토록 줄어든 이유는 무엇일까? 필자는 영화 딥페이크의 선구자 Metaphysic.ai에서 2년 반 넘게 일했으며, 그중 20개월은 정규직으로 근무했다. 

의견 / 심층 기사 어릴 때 나는 인더스트리얼 라이트 앤드 매직(ILM)의 창립 이야기에 매료됐다. 회사는 밴나이스의 소박한 창고에서 활동하며 새로운 세대의 모션 컨트롤 시각효과 기법을 힘들게 개발했다. 이 기법들은 CGI가 등장하기 전까지 1980년대 대부분을 지배하게 된다.

1970년대 중반, 밴나이스 ILM의 안뜰에서 데스 스타의 일부를 폭파하는 모습. 출처 – https://www.ilm.com/ilms-audacious-start-in-an-empty-warehouse-began-50-years-ago/

1970년대 중반, 밴나이스 ILM의 안뜰에서 데스 스타의 일부를 폭파하는 모습. 출처

놀라운 탄생 이야기다. 스타워즈(1977)의 특수효과가 숱한 고생, 상호 비난, 지연 끝에 어떻게 완성됐는지 전하는 여러 책과 기사를 추천한다.

신생 ILM은 나중에 샌프란시스코로 옮겨 광화학적 특수효과 제작을 산업화했다. 1978~79년 제국의 역습의 VFX 작업 때도 ILM은 여전히 선구적이고 혁신적인 회사였지만, 이미 회계와 인사 부서를 갖추고 있었다.

그러나 그때도 이후에도 내 상상력을 사로잡은 것은 밴나이스에서의 처음 몇 년이었다. 모형 키트를 분해해 재활용하고 1960년대의 광학 기법을 활용하면서, 이전에는 개별 작가적 VFX 전문가의 영역이었던 산업을 사실상 발명해 내던 그 거친 시절은 어땠을까.

혁명의 얼굴

지금은 해체된 시각효과 회사 Metaphysic.ai에서 거의 3년간 일하며, 나는 내가 가능한 한 1970년대 중반 밴나이스의 경험에 가까워졌다고 생각한다.

그동안 Metaphysic은 매드 맥스와 에이리언 시리즈 등 대형 프랜차이즈에 AI를 이용해 특정 인물의 정체성에 맞춘 효과 쇼트를 제작했다. 또한 선구적이지만 많은 비판을 받은 디에이징 딥페이크 작업을 로버트 저메키스의 Here(2024)에 제공했고, 그 밖에도 많은 작품을 맡았다.

최신 제작 영상을 많은 사람이 참석한 Zoom 회의에서 보여 주는 ‘데일리즈’가 너무 많아, 한 사람이 자기 일을 하면서 합리적으로 모두 참석하기는 어려웠다. 선발된 소규모 팀이 작은 야심 찬 돌파구를 노리고 회사의 기술 수준을 끌어올리는 비밀 실험실 같은 모임도 있었다.

많은 직원이 ILM에서 바로 왔거나 과거 ILM 근무 경험이 있었다*. 그들의 일화를 들어 보면 ILM이나 일부 직원이 왔던 다른 대형 VFX 회사에서는 밴나이스 정신이 오래전에 대규모 합리화로 바뀐 것이 분명했다. 그래도 그 연결은 내게 여전히 짜릿했다.

스타워즈 제작 중 조지 루카스가 존 다이크스트라, 리처드 에들런드, 조 존스턴, 로즈 듀이그넌과 효과 쇼트를 검토한다. 팀은 실물 VFX와 쇼트 설계를 계획하고 있다. 출처 – https://theasc.com/articles/star-wars-miniature-effects-dykstra

조지 루카스가 존 다이크스트라, 리처드 에들런드, 조 존스턴, 로즈 듀이그넌과 함께 스타워즈 제작 중 효과 쇼트를 검토한다. 출처

Metaphysic이 밴나이스의 고된 작업장에서 나온 DykstraFlex 모션 컨트롤 장치의 AI판을 발명했을 것이라고까지 말할 수 있을지는 모르겠다. 그러나 AI VFX를 널리 알렸으며, 그 시기나 이후 어느 효과 회사나 단일 프로젝트보다 더 많은 전문 수준의 AI 얼굴 교체와 수정을 수행했다.

둔화

회사가 DNEG의 자회사 Brahma AI에 흡수된 이후, 꾸준했던 AI 시각효과 작업의 흐름이 거의 멈추다시피 느려진 것으로 보인다는 점도 말해야겠다.

벤 애플렉의 AI VFX 넷플릭스 제휴 (NFLX )와 소더버그, 아로노프스키 같은 유명 감독들의 AI 지지가 기사화되고 있지만, 최근 영화와 TV에서 보는 딥페이크 얼굴은 ‘Metaphysic의 절정기’에 비해 많지 않다. The Capture에서 딥페이크 기술을 모사하는 장면은 제외하고 말이다.

수많은 영역과 산업에서 AI 반발이 커진 것을 보면, AI로 바뀐 인물의 정체성에 관해 우리 모두 여론의 분위기를 읽기 시작한 것은 아닌가 싶다. 이언 홈의 부활, 해리슨 포드의 회춘, 진을 팔기 위한 랫 팩의 부활 같은 AI 지원 시도들은 머지않아 이제는 고전이 된 밈인 ‘그때는 시대가 달랐다’라는 말을 불러올지도 모른다.

부정적인 연관성

여러 면에서 이는 연상의 문제다. 다만 Metaphysic이 설립된 2021년의 문제와는 다르다.

당시 딥페이크 포르노는 급속히 퍼지는 현상이었으며, 직장에서 봐도 되는 콘텐츠와 그렇지 않은 콘텐츠 모두 두 오픈소스 소프트웨어 저장소 중 하나에서 나왔다† . 지금과 달리, 사실적인 AI 콘텐츠를 만들 때 접근을 통제받거나 검열받는 방식은 없었다.

당시 세계 최대 딥페이크 포르노 사이트는 2025년 조사로 폐쇄될 운명이었지만, 최대 딥페이크 소프트웨어 저장소 DeepFaceLab의 공식 사용법이 있는 곳이었다. DeepFaceLab은 Metaphysic 초기 접근법의 기반이었다고 인정된 소프트웨어이기도 하다.

한때 세계에서 가장 인기 있던 딥페이크 소프트웨어 DeepFaceLab의 원래 사용자 안내서. 세계 최대 딥페이크 포르노 사이트에 올라와 있었다. 이후 소프트웨어는 보관 처리됐고 사이트는 폐쇄됐다. 출처 – https://web.archive.org/web/20210203195545/https://mrdeepfakes.com/forums/thread-guide-deepfacelab-2-0-guide

한때 세계에서 가장 인기 있던 딥페이크 소프트웨어 DeepFaceLab의 원래 사용자 안내서. 세계 최대 딥페이크 포르노 사이트에 올라와 있었다. 이후 소프트웨어는 보관 처리됐고 사이트는 폐쇄됐다. 출처

개발자들이 포르노와 딥페이크의 관계를 분명 피하려 하지 않았으므로, 이 기술을 정당하게 사용하려는 회사라면 어디든 영향을 피할 수 없었다.

그 결과, 아마도 특히 회사 창립자가 DeepFaceLab 창립자와 함께 2020년 딥페이크에 관한 Arxiv 입장 논문의 저자로 참여했고 그러한 관계 때문에 많은 비판을 받았기 때문이겠지만, Metaphysic에는 전담 윤리 부서가 있었다. 회사는 이 문제에 관해 적극적으로 공개 발언했다.

오늘날 딥페이크 콘텐츠를 범죄로 규정하는 세계 각국의 법률이 광범위하게 마련되고 계속 늘어나면서, AI로 만든 정체성에 붙는 이 ‘불행한’ 연관성은 포르노에서 빈곤으로 옮겨 갔다. 전 세계 노동자들이 다른 종류의 AI, 대체로 대규모 언어 모델인 LLM에 직접 위협받으면서 그 용어 전반을 악마화하기 시작했기 때문이다.

마을 사람들이 들고일어나다

어느 시점, 아마 2023년 중반 회사의 여러 회의에 참석하면서, 나는 회사가 제공하는 서비스에 대해 일상적이고 임시적인 저항의 물결이 커지고 있다고 느끼기 시작했다. 물론 전해 들은 정보에 기초한 느낌임을 인정한다. 이는 AI가 노동자의 생존을 위협한다는 초기 사회적 움직임과 겹쳤다. 다만 할리우드 노조는 이 문제에서 선두에 있었다는 점을 덧붙여야 한다.

일부에서는 AI를 ‘위험을 감수할 만큼 가치가 없다’고 보는 듯했다. 또한 Metaphysic은 제작의 절정기에도 다소 무기력한 젊은 엘비스 프레슬리를 아메리카 갓 탤런트에 등장시켜 충격을 준 이후에는 이견 없는 성공작을 실제로 얻지 못했다. 주류 영화와 TV에 AI 생성 콘텐츠를 공급하던 어떤 회사도 마찬가지였다.

언제나 싫어할 이유가 있는 듯했다. 늘 존재하는 불쾌한 골짜기, 포르노와의 연관성, 그리고 AI가 일으킬 수 있는 경제적 파국에 대한 연관성이다.

AI의 ‘티라노사우루스 순간’

오랫동안 나는 시각효과에서 인간을 100% 충실하게 재현하는 것이 가치 있고, 어쩌면 불가피한 목표라고 생각했다. 그 영역에서 CGI는 오랫동안 기대를 충족하지 못했다.

AI 시각효과의 진화가 관객의 환호 속에 업계 세 번째 ‘시대를 바꾸는 순간’으로 이어질 것이라 상상했다. 첫 번째는 1977년 스타워즈에서 스타 디스트로이어가 머리 위로 우렁차게 지나가는 것을 처음 봤을 때다. 두 번째는 1993년 쥬라기 공원에서 분노한 티라노사우루스가 우리를 탈출하는 장면이다.

둘 다 업계에 근본적인 변화를 가져왔다. 그에 앞서 태동하는 기술이나 방법의 한계를 밀어붙이는 초기 사용자들이 있었다.

그래서 Metaphysic의 작품들이 관객에게 아직 그 ‘티라노사우루스 순간’을 주지는 못하더라도 필연적으로 그곳으로 이어질 것이라 생각했다. 언젠가 영화에서 불가능한 것을, 근본부터 만들어진 것을 AI로 보게 될 것이다. 단지 CGI로 덮어 가린 것이 아닌 무언가가 우리를 놀라게 할 것이라고.

지금은… 모르겠다. 영화 AI의 경탄할 순간이 오리라는 것을 믿지 않게 됐다는 뜻은 아니다. AI 영상이 전문가들의 식탁에 합류하기 전에 극복해야 할 중요한 문제가 많다는 이유만도 아니다.

오히려 나는 모호하고 어쩌면 도덕적으로 비겁한 방식으로, VFX의 AI와 이 시기 다른 산업에서 일어나는 AI의 부정적 영향을 연관 짓는, 싹트고 커지는 대중의 감정을 공유하기 시작했다.

게다가 Common Crawl처럼 대가가 지불되지 않고 자유롭게 이용할 수도 없는 데이터셋의 역사적 영향이 정말 충분히 정리됐는지 현재로서는 확신할 수 없다. 지난 약 18개월간 화제가 된 여러 요란한 ‘AI 라이선스’ 계약도 어느 정도 지식재산 세탁에 해당한다고 본다.

따라서 완벽하고 불쾌한 골짜기 느낌이 없는 AI 재생의 마릴린 먼로나 험프리 보가트가 화면에 등장하면, 나는 경외와 어색함을 함께 느낄 것 같다. AI 마법의 짐이 내게도 무겁게 다가오기 시작했기 때문이다.

결론

앞선 두 기술적 돌파구에는 이런 유보가 없었다. ILM과 모션 컨트롤 장치의 등장은 소수의 정예 프리랜서가 필요에 따라 산발적인 의뢰를 받아 처리하던 분야를 사실상 하나의 산업으로 만들었다. CGI는 VFX 업계의 일자리를 크게 늘렸으며, 관련 소프트웨어 개발과 여러 지원 서비스에도 가치를 만들었다.

컴퓨터 비전에 대한 관심은 그대로다. AI의 폭넓은 잠재적 시청각 응용에 대한 관심도, 다른 산업에서의 더 넓은 머신러닝 응용에 대한 열정도 줄지 않았다.

다만 영화관에서 AI의 그 ‘와’ 하는 순간을 계속 기대할 수 있으면 좋겠다.

Metaphysic의 가장 활발했던 시기와 비교해 영화와 TV에 AI 얼굴이 갑자기 줄어든 이유로는, 제작사들이 이제 AI 지원 미세 조정을 거의 홍보하지 않거나 아예 알리지 않고 적용할 가능성이 있다. 이는 2022~23년 요란한 보도자료와 대조된다. 최근 엔터테인먼트의 AI 혁신에 대한 대중 반응이 그만큼 적대적으로 바뀌었기 때문이다.

둘째, 다시 말하자면 회사가 데뷔한 AGT 이후 Metaphysic은 어떤 영화나 TV 프로그램에 기여한 자기 작업으로도 전적인 호평을 받는 성공을 실제로 거두지 못했다. 인디아나 존스 4의 딥페이크나 다른 제작사의 작업 역시 모방 열풍을 만들거나 VFX의 AI에 진정한 신뢰와 투자 매력을 부여할 만큼 호평받거나 수익성이 높지 않았다.

 

* 공개된 LinkedIn 프로필과 IMDB 크레딧을 보는 것만으로도 쉽게 확인할 수 있다.

† DeepFaceLab과 포르노 연관성이 상대적으로 적은 FaceSwap.

최초 게시: 2026년 4월 27일 월요일

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai