훈위안 비디오 딥페이크의 부상

여기에서 논의되는 일부 자료의 특성으로 인해 이 글에는 평소보다 참고 링크와 그림이 적게 포함될 수 있습니다.

AI 합성 커뮤니티에서 주목할 만한 일이 현재 일어나고 있지만, 그 중요성이 명확해지는 데는 시간이 걸릴 수 있습니다. 취미인들은 비디오 기반을 사용하여 사람의 모습을 재현하기 위해 생성 AI 비디오 모델을 훈련하고 있습니다. LoRA Tencent의 최근 출시된 오픈 소스에 관하여 Hunyuan 비디오 프레임워크.*

클릭하여 재생합니다. Civit 커뮤니티에서 무료로 제공되는 Hunyuan 기반 LoRA 사용자 정의의 다양한 결과. 저순위 적응 모델(LoRA)을 훈련함으로써 2년 동안 AI 비디오 생성을 괴롭혔던 시간적 안정성 문제가 크게 줄었습니다. 출처: civit.ai

위에 표시된 비디오에서 여배우 Natalie Portman, Christina Hendricks 및 Scarlett Johansson과 기술 리더 Elon Musk의 모습이 Hunyuan 생성 비디오 시스템용 비교적 작은 추가 파일에 학습되었으며, 이 파일은 설치가 가능합니다. 콘텐츠 필터 없이 (NSFW 필터 등) 사용자 컴퓨터에 적용됩니다.

위에 표시된 Christina Hendricks LoRA의 제작자는 16개의 이미지만 있다고 말합니다. 미친 남자 모델을 개발하려면 TV 쇼가 필요했습니다(다운로드 용량은 불과 307mb). Reddit과 Discord의 Stable Diffusion 커뮤니티에서 게시한 여러 게시물을 보면 이런 종류의 LoRA는 대부분의 경우 많은 양의 학습 데이터나 긴 학습 시간이 필요하지 않다는 것을 확인할 수 있습니다.

C핥아서 놀아요. 아놀드 슈워제네거는 Civit에서 다운로드할 수 있는 Hunyuan 비디오 LoRA에서 생생하게 묘사됩니다. AI 애호가 Bob Doyle의 추가 Arnie 사례는 https://www.youtube.com/watch?v=1D7B9g9rY68에서 확인하세요.

Hunyuan LoRA는 정적 이미지나 비디오로 훈련할 수 있지만, 비디오로 훈련하려면 더 많은 하드웨어 리소스와 더 긴 훈련 시간이 필요합니다.

Hunyuan Video 모델은 13억 개의 매개변수를 가지고 있으며, 이는 Sora의 12억 개의 매개변수를 능가하고, 능력이 떨어지는 모델을 훨씬 능가합니다. 훈위안-디트 2024년 여름에 오픈 소스로 공개될 모델입니다. 매개변수는 1.5억개에 불과하다.

그랬듯이 2년 반 전 Stable Diffusion 및 LoRA를 사용하여(Stable Diffusion 1.5의 '네이티브' 유명인 예시 참조) LINK), 문제의 기초 모델은 유명인의 성격에 대한 이해가 'ID 주입' LoRA 구현을 통해 얻을 수 있는 충실도 수준과 비교했을 때 훨씬 제한적입니다.

실제로 맞춤형 개성 중심 LoRA는 기본 Hunyuan 모델의 중요한 합성 기능에 '무임승차'를 하여 2017년 시대에 얻을 수 있는 것보다 훨씬 더 효과적인 인간 합성을 제공합니다. 오토인코더 딥페이크 또는 축제와 같은 시스템을 통해 정적 이미지에 움직임을 추가하려고 시도함으로써 라이브 초상화.

여기에 묘사된 모든 LoRA는 인기 있는 Civit 커뮤니티에서 무료로 다운로드할 수 있으며, 더 많은 수의 기존 맞춤형 '정적 이미지' LoRA도 잠재적으로 비디오 생성 프로세스에 대한 '시드' 이미지를 생성할 수 있습니다(예: Hunyuan Video에서 보류 중인 릴리스인 이미지-비디오). 해결 방법은 가능합니다, 당장은 그렇습니다).

클릭하여 재생합니다. 위는 '정적' Flux LoRA 샘플이고, 아래는 뮤지션 테일러 스위프트가 참여한 Hunyuan 비디오 LoRA 샘플입니다. 두 LoRA 모두 Civit 커뮤니티에서 무료로 이용할 수 있습니다.

제가 이 글을 쓰는 동안 Civit 웹사이트에는 '훈위안'*에 대한 검색 결과 128개가 있습니다. 이 중 거의 대부분이 어떤 면에서는 NSFW 모델이고, 22개는 유명인을 묘사하고 있으며, 18개는 하드코어 포르노 제작을 조장하도록 설계되었고, 그중 XNUMX개만이 여성이 아닌 남성을 묘사하고 있습니다.

새로운 소식있어?

으로 인해 진화하는 자연 용어의 딥 페이크, 그리고 (에 대한 대중의 이해가 제한적임)꽤 심각하다) 현재까지 AI 인간 비디오 합성 프레임워크의 한계로 인해, Hunyuan LoRA의 중요성은 생성 AI 분야를 가볍게 살펴보는 사람에게는 이해하기 쉽지 않습니다. Hunyuan LoRA와 기존 신원 기반 AI 비디오 생성 방식 간의 주요 차이점을 살펴보겠습니다.

1: 제한 없는 로컬 설치

Hunyuan Video의 가장 중요한 측면은 로컬로 다운로드할 수 있다는 사실과 매우 강력하고 uncensored 일반 사용자와 VFX 커뮤니티 모두가 사용할 수 있는 AI 비디오 생성 시스템(라이선스가 여러 지역을 아우르는 범위 내에서)

이런 일이 마지막으로 발생한 것은 Stability.ai Stable Diffusion 모델의 오픈 소스 릴리스가 출시된 때였습니다. 2022 년 여름. 당시 OpenAI의 DALL-E2는 캡처 대중의 상상력에는 한계가 있었지만, DALLE-2는 상당한 제한이 있는 유료 서비스였습니다(시간이 지나면서 제한이 커졌습니다).

안정적 확산이 가능해지고 저순위 적응이 가능해지면서 정체성의 이미지를 생성할 수 있게 되었습니다. 어떤 사람(유명인이든 아니든) 개발자와 소비자의 거대한 관심의 초점은 Stable Diffusion이 DALLE-2의 인기를 능가하는 데 도움이 되었습니다. 후자는 처음부터 더 유능한 시스템이었지만 검열 루틴은 다음과 같았습니다. 부담스러운 것으로 여겨지다 많은 사용자가 이를 싫어했고 사용자 정의가 불가능했습니다.

아마도 동일한 시나리오가 이제 Sora와 Hunyuan 사이에 적용됩니다. 또는 더 정확하게 말해서 소라급 독점적인 생성 비디오 시스템 및 오픈 소스 경쟁자, 그 중 Hunyuan은 최초이지만 아마도 마지막은 아닐 것입니다. (여기서 다음을 고려하십시오. 유량 결국 안정적 확산에 있어서 상당한 진전을 이루게 됩니다.)

Hunyuan LoRA 출력을 생성하고자 하지만 효과적으로 강력한 장비가 없는 사용자는 예전처럼 훈련의 GPU 측면을 온라인 컴퓨팅 서비스로 오프로드할 수 있습니다. RunPod와 같은. 이는 Kaiber나 Kling과 같은 플랫폼에서 AI 비디오를 만드는 것과 다릅니다. 왜냐하면 온라인 GPU를 임대하여 그렇지 않으면 로컬 워크플로를 지원하는 데 의미적 또는 이미지 기반 필터링(검열)이 필요하지 않기 때문입니다.

2: '호스트' 비디오 및 많은 노력이 필요하지 않음

2017년 말에 딥페이크가 등장하면서 익명으로 게시된 코드가 주류 포크로 진화했습니다. 딥페이스랩 그리고 페이스 스왑 (뿐만 아니라 딥페이스라이브 실시간 딥페이킹 시스템).

이 방법은 각 신원의 수천 개의 얼굴 이미지를 교환하기 위해 힘든 큐레이션이 필요했습니다. 이 단계에 덜 노력할수록 모델의 효과는 떨어집니다. 또한, 사용 가능한 하드웨어에 따라 훈련 시간이 2~14일로 달라 장기적으로는 유능한 시스템에도 부담을 주었습니다.

모델이 마침내 준비되었을 때는 기존 비디오에 얼굴을 삽입하는 것만 가능했고, 보통은 중첩된 신원과 외관이 비슷한 '타겟'(즉, 실제) 신원이 필요했습니다.

최근 루프LivePortrait 및 이와 유사한 수많은 프레임워크는 훨씬 적은 노력으로 유사한 기능을 제공했으며 종종 더 뛰어난 결과를 제공했지만 정확한 결과를 생성할 수 있는 용량은 없었습니다. 전신 딥페이크 – 얼굴 외의 모든 요소.

YouTube에서 Bob Doyle이 스트리밍한 콘텐츠 중 ROOP Unleashed와 LivePortrait의 예(왼쪽 아래 삽입 그림)입니다. 출처: https://www.youtube.com/watch?v=i39xeYPBAAM 및 https://www.youtube.com/watch?v=QGatEItg2Ns

이와 대조적으로, Hunyuan LoRA(및 필연적으로 뒤따를 유사한 시스템)는 사용자가 훈련시킨 LoRA 신원의 전신 시뮬레이션을 포함하여 전체 세계를 제한 없이 생성하는 것을 허용합니다.

3: 대폭 향상된 시간적 일관성

시간적 일관성이 있습니다 성배 수년 동안 확산 비디오의 사용. 적절한 프롬프트와 함께 LoRA를 사용하면 Hunyuan 비디오 생성에 고수할 수 있는 일정한 정체성 참조가 제공됩니다. 이론적으로(이것은 초기 단계입니다) 특정 정체성의 여러 LoRA를 훈련할 수 있으며, 각각은 특정 옷을 입습니다.

이러한 원칙에 따라 영상이 생성되는 동안 옷이 '변형'될 가능성도 낮아집니다(생성 시스템은 이전 프레임의 매우 제한된 기간을 기반으로 다음 프레임을 생성하기 때문입니다).

(또는 이미지 기반 LoRA 시스템과 마찬가지로, 신원 + 의상 LoRA와 같은 여러 LoRA를 단일 비디오 생성에 간단히 적용할 수 있습니다.)

4: '인간 실험'에 대한 접근

나는 최근에 관찰 된, 독점적이고 FAANG 수준의 생성 AI 부문은 이제 프로젝트의 인간 합성 능력과 관련된 잠재적인 비판을 매우 조심하는 것으로 보입니다. 사람들 주요 발표 및 출시 관련 프로젝트 페이지에는 거의 등장하지 않습니다. 대신 관련 홍보 자료에서는 합성된 결과물에 '귀엽고' '위협적이지 않은' 주제를 점점 더 많이 등장시키는 경향이 있습니다.

Hunyuan LoRA의 출현으로 커뮤니티는 처음으로 매우 유능한(경계선이 아닌) 시스템에서 LDM 기반 인간 영상 합성의 경계를 넓히고 대다수 사람이 가장 관심을 갖는 주제를 충분히 탐구할 기회를 얻었습니다.

시사점

Civit 커뮤니티에서 'Hunyuan'을 검색하면 대부분 유명인 LoRA와 '하드코어' LoRA가 표시되므로 Hunyuan LoRA의 출현이 의미하는 핵심은 유명인과 무명인 모두 실제 사람에 대한 AI 음란물(또는 명예 훼손적) 비디오를 만드는 데 사용될 것이라는 것입니다.

규정 준수를 위해 Hunyuan LoRA를 만들고 다양한 Discord 서버에서 이를 실험하는 취미인들은 실제 사람의 예를 게시하는 것을 금지하는 데 주의를 기울입니다. 현실은 영상-기반의 딥페이크는 이제 심각하게 무장하다; 그리고 진정으로 사실적인 비디오를 믹스에 추가할 가능성은 지난 7년 동안 미디어에서 반복적으로 제기되어 온 높아진 두려움을 마침내 정당화할 수 있으며, 이는 새로운 것을 촉발했습니다. 규정.

원동력

언제나 그렇듯이 포르노 유적 기술의 원동력. 이러한 사용에 대한 우리의 의견이 어떻든, 이 끊임없는 추진력 엔진은 궁극적으로 더 많은 주류 채택에 도움이 될 수 있는 최첨단 기술의 발전을 촉진합니다.

이 경우, 극도로 사실적인 영상 제작의 오픈 소스화는 범죄적, 정치적, 윤리적 오용에 대한 명백한 의미를 갖기 때문에 일반적인 경우보다 가격이 더 높을 가능성이 있습니다.

NSFW 비디오 콘텐츠의 AI 생성에 전념하는 한 Reddit 그룹(여기서는 이름을 밝히지 않음)에는 사용자가 정제하는 연관된 개방형 Discord 서버가 있습니다. ComfyUI 훈위안 기반 비디오 포르노 제작 워크플로. 사용자들은 매일 NSFW 클립 예시를 게시하는데, 그중 상당수는 '극단적'이라고 할 수 있거나, 적어도 포럼 규칙에 명시된 제한 사항을 초과하는 수준입니다.

이 커뮤니티는 또한 포르노 비디오를 다운로드하고 처리할 수 있는 도구를 갖춘 규모가 크고 잘 개발된 GitHub 저장소를 유지 관리하여 새로운 모델에 대한 훈련 데이터를 제공합니다.

가장 인기 있는 LoRA 트레이너인 Kohya-ss 이후로, 이제 Hunyuan LoRA 교육을 지원합니다., 무제한 생성 비디오 교육에 대한 진입 장벽이 매일 낮아지고 있습니다. 하드웨어 요구 사항과 함께 훈위안 훈련 및 비디오 제작을 위해.

포르노 기반 AI를 위한 전담 교육 계획의 중요한 측면( 정체- 유명인과 같은 기반 모델)의 경우 Hunyuan과 같은 표준 기반 모델은 NSFW 출력에 대해 특별히 훈련되지 않았기 때문에 NSFW 콘텐츠를 생성하라는 요청을 받았을 때 성능이 좋지 않거나 실패할 수 있습니다. 풀다 학습한 개념과 연관성을 공연하거나 설득력 있는 방식으로 표현합니다.

미세 조정된 NSFW 기반 모델과 LoRA를 개발함으로써 훈련된 신원을 전용 '포르노' 비디오 도메인에 투사하는 것이 점점 더 가능해질 것입니다. 결국 이것은 단지 비디오 버전일 뿐입니다. 이미 발생했다 지난 2년 반 동안의 정지 이미지입니다.

VFX

Hunyuan Video LoRA가 제공하는 시간적 일관성의 엄청난 증가는 오픈 소스 소프트웨어를 채택하는 데 크게 의존하는 AI 시각 효과 산업에 명백한 도움이 됩니다.

Hunyuan Video LoRA 방식은 전체 프레임과 환경을 생성하지만, VFX 회사들은 이 방법으로 얻을 수 있는 시간적으로 일관된 인간 얼굴을 분리하여 실제 소스 영상에 얼굴을 중첩하거나 통합하는 실험을 시작했을 가능성이 큽니다.

취미 커뮤니티와 마찬가지로 VFX 회사들은 LoRA 기반, ID 기반 '딥페이크' 콘텐츠 간의 가장 유용한 연결고리가 될 수 있는 Hunyuan Video의 이미지-비디오 및 비디오-비디오 기능을 기다려야 합니다. 아니면 즉흥적으로 대처하고 그 간격을 이용하여 프레임워크의 외부 기능과 잠재적인 적용 가능성, 심지어 Hunyuan Video의 자체 포크까지 조사해야 합니다.

비록 라이선스 조건 Hunyuan Video는 기술적으로 허가를 받는 한 실제 인물의 묘사를 허용하지만, EU, 영국, 한국에서는 사용이 금지되어 있습니다. '라스베이거스 체류' 원칙에 따라, 이는 Hunyuan Video가 해당 지역에서 사용되지 않는다는 것을 의미하지는 않습니다. 그러나 외부 데이터 감사가 시행될 가능성이 있으므로, 생성 AI를 중심으로 한 규제 확대, 이런 불법적인 사용은 위험할 수 있습니다.

라이센스 조건의 또 다른 모호할 수 있는 부분은 다음과 같습니다.

'텐센트 헌위안 버전 출시일에 라이선스 사용자가 제공하거나 라이선스 사용자를 위해 제공되는 모든 제품 또는 서비스의 월간 활성 사용자가 이전 달의 월간 활성 사용자 100억 명을 초과하는 경우, 귀하는 텐센트에 라이선스를 요청해야 하며, 텐센트는 자사의 재량에 따라 귀하에게 라이선스를 부여할 수 있으며, 텐센트가 귀하에게 명시적으로 그러한 권리를 부여하지 않는 한 귀하는 본 계약에 따른 어떠한 권리도 행사할 권한이 없습니다.'

이 조항은 기술에 상대적으로 문맹인 사용자 집단을 대상으로 Hunyuan Video에 '중개자' 역할을 할 가능성이 높은 수많은 회사를 분명히 겨냥한 것이며, 특정 사용자 수를 초과하는 사용자에 대해서는 Tencent를 개입시켜야 합니다.

광범위한 표현이 다음을 포함할 수 있는지 여부 간접적 인 사용 방법(예: 인기 영화와 TV에서 Hunyuan 지원 시각 효과 출력 제공)에 대한 설명이 필요할 수 있습니다.

결론

딥페이크 영상은 오랫동안 존재해 왔기 때문에 Hunyuan Video LoRA가 신원 합성 및 딥페이킹에 대한 접근법이라는 중요성을 과소평가하기 쉽습니다. 또한 현재 Civit 커뮤니티와 관련 Discord 및 subreddit에서 나타나고 있는 개발은 진정으로 제어 가능한 인간 비디오 합성을 향한 점진적인 추진력일 뿐이라고 가정하기도 합니다.

현재의 노력은 Hunyuan Video가 완벽하게 설득력 있는 전신 및 전체 환경 딥페이크를 제작할 수 있는 잠재력의 일부에 불과할 가능성이 더 큽니다. 이미지를 비디오로 변환하는 구성 요소가 출시되면(이번 달에 출시될 것이라는 소문이 있음) 취미 커뮤니티와 전문가 커뮤니티 모두 훨씬 더 세분화된 수준의 생성 능력을 사용할 수 있게 될 것입니다.

Stability.ai가 2022년에 Stable Diffusion을 출시했을 때, 많은 관찰자들은 회사가 당시에는 매우 가치 있고 강력한 생성 시스템을 그냥 내주는 이유를 알아낼 수 없었습니다. Hunyuan Video의 경우, 수익 동기는 라이선스에 직접 내장되어 있지만, Tencent가 회사가 수익 분배 계획을 트리거하는 시점을 파악하기 어려울 수 있습니다.

어떤 경우든 결과는 2022년과 동일합니다. 헌신적인 개발 커뮤니티가 즉시 형성되었고 출시를 중심으로 강렬한 열의를 보였습니다. 이러한 노력이 향후 12개월 동안 취할 길 중 일부는 확실히 새로운 헤드라인을 촉발할 것입니다.

* 출판 당시에는 136개까지 있었습니다.

첫 번째 게시일 7년 2025월 XNUMX일 화요일