완전한 전신 딥페이크 비디오 생성으로

인내가 필요한 이 분야에서 새 시스템은 답답한 렌더링 대기 없이 사람을 실시간 스트리밍으로 재현하는 기술에 한 걸음 더 다가갑니다.

전신 인물 재현 기술은 전신 딥페이크의 가능성이 2022년 처음 등장한 이후 크게 발전했습니다. 이제 우리는 강력하고 논란도 자주 일으키는 오픈소스 시스템 Wan-Animate와 Grok 같은 비공개 시스템이 한 장 또는 여러 장의 이미지를 일관되면서도 종종 원본을 크게 변형한 영상 연기로 바꾸는 능력에 익숙해졌습니다.

필요하면 눌러 재생하세요. WanAnimate-2.2로 인물을 교체한 예시입니다. 더 높은 해상도는 원본을 참조하세요.  출처 

한편 기존의 오토인코더 기반 실시간 얼굴 딥페이크 프레임워크 DeepFaceLive 는 이후 Deep-Live-Cam 같은 더 정교한 프레임워크에 추월당했습니다. Deep-Live-Cam은 LivePortrait 의 여러 변형과 기존 GAN 및 InsightFace 모듈을 조합해 DFLive 프로젝트의 효과적인 실시간 후속 도구를 구현합니다. DFLive는 현재 개발이 중단됐습니다.

눌러 재생하세요: Deep-Live-Cam을 이용한 실시간 영상 세션에서 일론 머스크의 얼굴을 합성한 예입니다. 더 높은 해상도는 원본을 참조하세요. 출처 

Deep-Live-Cam 같은 프레임워크는 계속 실행하며 얼굴을 합성할 수 있고 까다로운 얼굴 각도도 예전보다 잘 생성하지만, 해상도와 기능에는 여전히 한계가 있습니다. 특정 얼굴과 정체성을 재현하고 설득력 있는 표정이나 입 모양 동기화를 할 수 있어도 본질적으로 한 가지 특기에 집중한 도구입니다.

잠시 기다려 주세요…

현재 AI 인물 모방 시스템 대부분도 제한적이거나 전문화돼 있습니다. 반복되는 제약 하나는 가장 뛰어난 인물 재현 시스템이 오프라인 방식이라는 점입니다. 자원을 너무 많이 써 실시간으로 작동하지 못하고 계산을 마친 뒤 나중에 결과를 보여 줍니다.

당연히 춤처럼 전신 동작을 라이브 스트림에서 바꾸는 실시간 AI 변환에는 맞지 않습니다.

최근의 예로 가중치가 공개된 Wan2.2. Animate가 있습니다. 취미 사용자와 전문 재판매업체에게 인기를 얻었지만 역시 “생성하고 기다리는” 방식입니다.

눌러 재생하세요. 2025년의 Wan2.2-Animate 기능 예시입니다. 조금 기다릴 수 있다면 인상적인 결과를 얻습니다. 더 높은 해상도는 원본을 참조하세요. 출처 

현재로서는 높은 품질, 다양한 용도, 즉시 생성이라는 세 조건 중 두 가지를 골라야 하는 셈입니다.

LiveAnimate

이 교착 상태에 중국의 새 연구가 등장했습니다. Wan2.2 Animate를 실시간 입력으로 구동하는 애니메이션 프레임워크로 바꿔, 현재 초당 20프레임에 가까운 속도와 다양한 상황에서 인상적인 결과를 보입니다.

눌러 재생하세요: 프로젝트 사이트의 예시에서 LiveAnimate는 무대 춤, 야외 전신 장면, 얼굴 근접 촬영에 입력 자세를 전달해 전신·손·얼굴 동작을 재현합니다. 더 높은 해상도는 원본을 참조하세요. 출처 

새 연구는 영상을 생성하는 방식을 바꿔 기존 시스템에 실시간 기능을 더합니다. 과거와 미래 프레임을 함께 처리하는 대신 동작이 진행되는 대로 몇 단계만 거쳐 새 구간을 생성하며, 선별한 이전 자세를 보관해 긴 세션에서도 인물의 외형을 유지합니다.

사실상 앞선 프레임을 지속적 기억으로 삼아 영상이 진행될 때 참조하므로 인물의 정체성이 유지됩니다. 전통적인 CGI가 텍스처 맵을 참조하는 방식과도 어느 정도 비슷합니다.

처리 단계에 LoRA가 포함되지만 LiveAnimate는 단순한 LoRA 시스템이 아닙니다. 스트리밍 생성, 자세 기억·캐시, 3단계 추론, GPU 최적화가 추가 메커니즘으로 작동하며 다른 여러 기술도 함께 사용합니다. 일부는 놀랄 만큼 오래된 기술입니다.

앞선 예시의 전신 동작뿐 아니라 인터뷰 같은 상반신 동작도 처리할 수 있습니다.

눌러 재생하세요. “고정된 사무실 배경에서의 미세한 머리·손 움직임.”

한계를 공정하게 설명하자면, 논문은 특정 조건에서 비교한 경쟁 프레임워크 두 개가 LiveAnimate보다 인물의 정체성을 조금 더 잘 유지했다고 인정합니다. 다만 경쟁 도구는 모두 오프라인 방식입니다. 연구진은 실현 가능하고 유망한 방향으로 한계를 넓히고 있습니다.

추론에는 NVIDIA H100 GPU 두 개, 총 160GB의 VRAM이 필요합니다*.

논문은 다음과 같이 설명합니다.

“LiveAnimate는 처음 30초부터 마지막 [1분 구간]까지 지각적 품질과 인물 정체성을 거의 일정하게 유지합니다. 반면 기존 시스템은 크게 저하되거나 같은 길이의 생성에 수 시간의 오프라인 계산이 필요합니다.”

“이 결과는 상호작용형 전신 애니메이션에서 품질·지연·지속 시간 사이의 새로운 성능 지점을 제시합니다.”

새 논문 의 제목은 LiveAnimate: 실시간으로 안정적인 장시간 인물 애니메이션 스트리밍입니다. 홍콩중문대학교, Alibaba Qwen Applications Business Group, Liblib AI의 저자 아홉 명이 참여했습니다. 이 기사에 실린 영상이 포함된 프로젝트 사이트도 공개돼 있으며 코드는 “곧 공개 예정”입니다. 가중치 공개 여부는 아직 알 수 없습니다.

방법

LiveAnimate는 Wan2.2-Animate가 빠르고 연속적으로 영상을 생성하도록 만드는 2단계 학습과, 새 영상 블록을 만들 때 유용한 이전 자세를 검색하는 기억 체계로 구성됩니다.

LiveAnimate 처리 과정 개요. 왼쪽은 2단계 학습, 오른쪽은 실시간 생성입니다. 입력 자세를 저장된 이전 자세와 대조하고 최근 프레임과 결합해 새 영상 블록을 세 단계로 생성합니다. 출처 

원래 Wan2.2-Animate는 끝없이 확장되는 영상을 생성하기보다 전체 시퀀스를 한꺼번에 고려하도록 설계됐습니다. 연구진은 학습 영상을 연속 블록으로 나누고 이전 블록을 맥락·정답으로 삼아 각 블록을 생성하도록 바꿨습니다. 먼저 신뢰할 수 있는 이전 자료에서 이어 만드는 법을 익힌 뒤 자체 출력에서 누적되는 오류에 대처하도록 합니다.

잊지 않기

이 과정 내내 원래 참조 이미지는 “Ref Sink”를 통해 항상 이용 가능하며 인물의 정체성과 외형을 고정적으로 알려 줍니다. 블록 하나가 완성되면 “Clean KV Update”가 그 정보를 후속 블록이 사용할 과거 맥락으로 바꿉니다. 다만 기존 오류를 고치는 것은 아닙니다.

첫 학습 단계에서는 블록당 여전히 50회의 노이즈 제거 단계 가 필요해 실시간 실행이 현실적이지 않습니다. 두 번째 단계는 이를 세 단계로 증류하면서 모델이 자신이 생성한 이전 출력에도 노출되도록 합니다. 실제 운영에서는 모든 새 구간이 불완전한 이전 출력에 의존하기 때문입니다.

LiveAnimate를 배포하기 위한 두 학습 단계†. 먼저 오류 없는 이전 영상 블록으로 학습한 뒤, 자체의 불완전한 출력으로 학습하면서 생성 단계를 세 단계로 줄입니다.

자체 생성 시퀀스로 학습하면 또 다른 문제가 생깁니다. 전체 영상의 계산 이력을 모두 유지하는 데 비용이 너무 많이 듭니다. 대신 완전한 연습 실행을 한 번 수행한 뒤 블록별로 다시 살펴 학습합니다. 따라서 각 블록은 전체 시퀀스의 계산 상태를 계속 유지하지 않고도 업데이트할 수 있습니다.

이를 LoRA 적응과 결합하면 140억 파라미터 모델을 80GB H100 GPU 여덟 개가 있는 단일 노드에서 증류할 수 있습니다. 이는 학습용 구성이며 실행 시 추론 구성과는 다릅니다.

계속 생성하기

끝없이 생성하려면 LiveAnimate는 무엇이 기억할 가치가 있는지도 정해야 합니다. 모든 것을 저장하면 처리 자원 요구가 통제할 수 없을 만큼 커집니다. 그러나 최근 프레임만 남기면 유용한 과거 시점을 버릴 수 있습니다.

이를 해결하는 것이 자세 검색 싱크 어텐션(Pose-Retrieval Sink Attention) 입니다. PR-Sink는 첫 생성 블록을 영구적인 Static Sink로, 관련 있는 과거 자세를 교체 가능한 Dynamic Sink로 유지합니다. 현재 블록과 이전 두 블록은 이동 창에 보관합니다. 참조 이미지는 Ref Sink에서 별도로 이용하며, 저장 크기를 고정해 영상 길이가 늘어도 비용이 커지지 않게 합니다.

블록 간 기억 선택

제한된 기억에 저장할 이전 자세를 고르기 위해 ViTPose 가 세 프레임의 몸과 손 위치를 압축된 표현으로 바꿉니다. 기억 저장소에는 대표 자세 다섯 개가 들어갑니다. 첫 20개 블록에서 비슷한 자세의 중복보다 다양성을 우선해 채웁니다.

생성 중 입력 자세를 대표 자세와 비교해 가장 가까운 것을 검색함으로써 비슷한 자세일 때 인물이 어떻게 보였는지 참고합니다. 다만 바로 앞 블록은 제외합니다. 이미 이동 창에 있기 때문에 Dynamic Sink는 더 오래된 정보를 검색하는 데 쓸 수 있습니다.

실행 단계는 H100 GPU 두 개에 어텐션 처리를 분산하고, 통신과 계산을 겹쳐 수행하며, 가능한 한 캐시를 재사용하도록 최적화했습니다.

데이터와 시험

LiveAnimate는 AVSpeech의 발화 영상 4만 개와 TikTok 데이터셋 및 HumanVid의 인체 동작 영상 2만 개로 학습했습니다. 학습과 추론은 480×480, 384×672, 672×384픽셀을 지원합니다.

Wan2.2-Animate-14B 체크포인트에서 rank 128의 LoRA로 시작했으며 H100 GPU 여덟 개에서 1단계 1만 스텝, 2단계 2만 스텝을 학습했습니다.

영상은 모델 내부의 압축 표현인 잠재 프레임 세 개씩 생성되며 이는 RGB 프레임 12개에 해당합니다. 추론은 H100 두 개에서 수행했습니다.

평가는 동일한 설정의 참조 이미지와 입력 자세로 짧은 영상과 긴 영상에서 기존 자세 기반 인물 애니메이션 방법을 비교했습니다. 장시간 시험은 3분까지 생성해 품질과 정체성이 시간에 따라 유지되는지 살폈습니다.

비교 프레임워크는 EverAnimate, One-to-All, SCAIL^††, UniAnimate-DiT, Wan2.2-Animate입니다.

지표는 시각적 품질, 인물 정체성 일관성, 분포 품질, 시간적 표현 오차를 포괄했습니다. 미적 점수 (ASE)와 참조 영상 없는 이미지 품질 평가 (IQA)는 프레임 단위 시각 품질을 측정했습니다. DINO 유사도(DINO-S)는 참조 인물과의 외형 일관성을, 프레셰 인셉션 거리 (FID)는 분포 품질을, VideoMAE 특징 거리 (V-MAE)는 시간에 따른 동작 보존 정도를 측정했습니다.

3분간 연속 생성에서의 품질과 정체성 평가. LiveAnimate는 시간이 지나도 다섯 지표에서 비교적 안정적이지만 여러 경쟁 방법은 더 크게 저하됩니다. IQA·ASE·DINO-S는 높을수록, FID·V-MAE는 낮을수록 좋습니다.

위의 초기 결과 그래프에서 LiveAnimate는 처음 30초 동안 ASE 2.823, IQA 4.047로 가장 높은 점수를 기록했습니다. 저자들은 추론 자원을 줄였어도 3단계 증류가 지각적 품질을 유지한다는 의미라고 설명합니다.

더 중요한 것은 3분 연속 생성 중 저하가 거의 없고 시각 품질과 정체성 일관성 점수가 거의 그대로였다는 점입니다.

반면 One-to-All은 시간이 지나며 품질과 정체성 일관성이 크게 낮아지고 분포 오차가 커졌습니다. 기본 Wan2.2-Animate도 정체성 일관성이 일부 낮아졌습니다.

저자들은 다음과 같이 말합니다.

“이 추세는 장기 맥락의 명시적 관리가 스트리밍 애니메이션에 중요하다는 핵심 주장을 뒷받침합니다.”

GPU 수에 따른 확장 효율도 시험했습니다. H100 한 개는 12.41 FPS, 두 개는 19.63 FPS, 네 개는 22.13 FPS였습니다. GPU를 더 늘릴수록 통신 부담이 개선 폭을 제한해 두 개 구성을 권장안으로 골랐습니다.

480×480 해상도에서 H100 한 개·두 개·네 개의 지연, 프레임 속도, 가속비, 효율 비교. 두 개는 19.63 FPS였으며 네 개로 늘려도 22.13 FPS로 소폭 개선되는 데 그쳤습니다.

19.63 FPS에서는 12프레임 블록 하나를 0.611초에 생성했습니다. 경쟁 시스템은 같은 3분 영상을 만드는 데 약 2~5시간이 필요했습니다.

정성적 비교에서도 비슷한 차이가 나왔습니다. 아래 전신 시험에서 One-to-All은 심각한 저하, UniAnimate-DiT와 SCAIL은 깜박임을 보였습니다. Wan-Animate와 EverAnimate에서는 후반에 색상이나 배경이 달라지는 현상이 나타났습니다.

3분 전신 애니메이션 비교. 20초 간격으로 추출한 프레임에 빨간 표시로 경쟁 방법의 장기적 저하를 나타냈습니다. 비교 모델들은 약 2~5시간, LiveAnimate는 약 4분에 영상을 만들었습니다. 더 높은 해상도는 원논문을 참조하세요.

LiveAnimate는 3분 영상 내내 인물 외형과 주변 장면을 유지했습니다. 아래의 상대적으로 쉬운 상반신 시험에서는 EverAnimate와 LiveAnimate가 비슷한 장기 안정성을 보였지만 실시간 생성은 LiveAnimate만 제공했습니다.

3분 상반신 애니메이션 비교. 20초마다 추출한 프레임에서 LiveAnimate가 인물 정체성·의상·어두운 배경을 경쟁 방법보다 더 일관되게 유지하는 모습을 보여 줍니다.

저자들은 다음과 같이 결론짓습니다.

“3분 벤치마크에서 LiveAnimate는 H100 GPU 두 개로 19.63 FPS를 내며 지각적 품질과 인물 정체성을 거의 일정하게 유지합니다. 기억 자원과 지연은 스트림 길이에 좌우되지 않습니다. 반면 오프라인 비교 모델은 눈에 띄게 저하되거나 수 시간의 계산이 필요합니다.”

“이 결과는 수십억 파라미터 규모의 영상 확산 모델을 라이브 스트리밍, 원격 현장감, 가상 아바타 같은 상호작용형 응용에 사용할 가능성을 높입니다.”

결론

생성형 영상을 괴롭혀 온 기억과 정체성 문제에 동작 입력 기반 프레임워크가 새로운 접근을 시도하는 것은 고무적입니다. 이미 많은 생성 프레임워크가 핵심 이미지 기반 영상 입력에 참조 이미지를 억지로 끼워 넣지 않고도 사용자가 준 고정 이미지를 참조할 수 있습니다.

하지만 이것만으로는 단일 영상 클립의 문제 중 일부만 해결됩니다. 화면에 다시 들어오거나 잠시 가려졌다 다시 보이는 인물의 정체성, 의상, 머리 모양을 유지하는 문제 등이 있습니다. 지금까지는 무겁고 답답할 만큼 일시적인 LoRA 방식만 제한적이고 잠정적인 진전을 보였습니다.

영상은 물론 현재 AI 혁명 전체에서 효과적인 지속적 기억은 존립을 좌우하는 핵심 과제입니다. AGI의 등장과 세 번째 AI 겨울을 가르는 차이가 될 가능성이 있습니다.

*  이것이 이제도 결정적인 약점일까요? 현재의 생각은 작은 전문 모델이 결국 임대료 없이 로컬에서 실행되고, 고성능 수요는 경쟁적이고 여러 공급자로 분산된 GPU 임대 시장이 담당할 수 있다는 것입니다. 이는 최첨단 기업이 EEE 방식으로 경쟁을 제거하지 못하고 상당한 GPU 연산 자원이 계속 이용 가능하다는 가정입니다. 이를 바탕으로 나는 과도한 GPU 요구를 더 이상 감점 요인으로 보지 않습니다. 다만 접근이 더 널리 열리고 후속 최적화가 초기 자원 요구를 줄이기를 바랍니다.

^† AI로 생성하고 필자가 확인했습니다.

^†† 장시간 영상 시험에서는 SCAIL과 UniAnimate-DiT가 본래 장시간 생성을 지원하지 않아 같은 추가 학습 없는 슬라이딩 윈도 절차로 확장했습니다. EverAnimate와 One-to-All은 각자의 장시간 생성 방식으로 평가했습니다. 최초 게시: 2026년 8월 13일 목요일