Hướng tới Tạo Video Deepfake Toàn Thân Liên Tục

Trong một lĩnh vực đòi hỏi kiên nhẫn, một hệ thống mới đưa chúng ta gần hơn một chút tới việc mô phỏng con người trực tiếp mà không gây phiền phức với các vòng render.

Tiến bộ hiện đại nhất trong mô phỏng con người toàn thân đã tiến xa kể từ khi khả năng tạo deepfake toàn thân đầu tiên xuất hiện vào năm 2022. Đến nay chúng ta đã quen với khả năng mạnh mẽ và thường gây tranh cãi của các hệ thống mã nguồn mở như Wan-Animate, và các hệ thống đóng như Grok, trong việc chuyển đổi một hoặc nhiều hình ảnh thành một video nhất quán, và thường mang tính biến đổi:

Nhấn để phát nếu cần. Các ví dụ về việc thay thế người với WanAnimate-2.2. Vui lòng tham khảo nguồn để có độ phân giải tốt hơn.  Source 

Thêm vào đó, khung công tác deepfake khuôn mặt thời gian thực dựa trên autoencoder cũ hơn DeepFaceLive đã bị vượt qua bởi các khung công tác tinh vi hơn như Deep-Live-Cam, vốn tận dụng một loạt các phiên bản LivePortrait, cũng như các mô-đun GAN và InsightFace, để tạo ra một người kế thừa thời gian thực hiệu quả cho dự án (đã bị bỏ rơi) DFLive:

Nhấn để phát: Elon Musk được deepfake trong một phiên video trực tiếp qua Deep-Live-Cam. Vui lòng tham khảo nguồn để có độ phân giải tốt hơn. Source 

Tuy nhiên, trong khi các khung công tác như Deep-Live-Cam có thể chạy mãi mãi và giả mạo vô hạn, và mặc dù chúng tốt hơn trong việc tạo các góc khuôn mặt khó so với trước đây, kết quả vẫn bị giới hạn về độ phân giải và khả năng: bạn có thể có một khuôn mặt/định danh cụ thể, và nó có thể thực hiện nhiều thứ, như biểu cảm khuôn mặt thuyết phục và đồng bộ môi – nhưng nó thực chất chỉ là một công cụ một trò chơi duy nhất.

BRB…

Phần lớn các hệ thống mô phỏng con người AI hiện nay cũng bị giới hạn và/hoặc “đặc thù”. Một giới hạn lặp lại thường gặp là các hệ thống mô phỏng/giả danh con người tốt nhất là ngoại tuyến – tức là chúng tiêu tốn quá nhiều tài nguyên để vận hành trong thời gian thực, và thay vào đó phải tạm dừng, tính toán giải pháp, và sau đó mới trình bày kết quả cho người dùng.

Rõ ràng, những hệ thống như vậy không phù hợp cho việc biến đổi AI trực tiếp, chẳng hạn như chuyển đổi toàn bộ chuyển động cơ thể, như khi nhảy múa, trong một buổi phát trực tiếp.

Một ví dụ gần đây là Wan2.2. Animate mã nguồn mở, đã gây tiếng vang trong cộng đồng người đam mê và các nhà bán lẻ chuyên nghiệp – nhưng một lần nữa, đây là kịch bản “tạo và chờ”:

Nhấn để phát. Từ năm 2025, các ví dụ về khả năng ấn tượng của Wan2.2-Animate – nếu bạn có chút kiên nhẫn. Vui lòng tham khảo nguồn để có độ phân giải tốt hơn. Source 

Vì vậy, hiện tại bạn có thể có nó tuyệt vời, đa năng, hoặc có ngay – chỉ được chọn hai trong ba.

LiveAnimate

Trong cuộc đối đầu này xuất hiện một đề xuất mới từ Trung Quốc, thực chất biến Wan2.2 Animate thành một khung công tác hoạt hình được điều khiển trực tiếp, hiện đang hoạt động ở mức gần 20fps, với kết quả ấn tượng trên nhiều kịch bản:

Nhấn để phát: Từ trang dự án, LiveAnimate chuyển đổi các pose lái qua các kịch bản múa trên sân khấu, ngoài trời toàn thân và cận cảnh chân dung, tái tạo chuyển động toàn thân, tay và khuôn mặt. Vui lòng tham khảo nguồn để có độ phân giải tốt hơn. Source 

Phiên bản mới mở rộng hệ thống gốc thành một phiên bản có khả năng trực tiếp bằng cách thay đổi cách video được tạo: thay vì xử lý các khung quá khứ và tương lai cùng lúc, LiveAnimate tạo mỗi đoạn mới khi hành động diễn ra, chỉ dùng một vài bước, đồng thời giữ các pose đã chọn trước đó để duy trì sự nhất quán về diện mạo của đối tượng trong các phiên dài.

Thực chất, hệ thống giữ lại các khung trước như một phương pháp bộ nhớ kéo dài để tham chiếu khi video phát triển, để nhận dạng vẫn đồng nhất – không hoàn toàn khác gì các hệ thống CGI thời xưa sử dụng bản đồ kết cấu.

Mặc dù có một LoRA tham gia ở giai đoạn xử lý, LiveAnimate không chỉ là một hệ thống LoRA khác – việc tạo video luồng, hệ thống bộ nhớ/cache pose, suy luận ba bước và tối ưu GPU là những cơ chế bổ sung, trên nền tảng các công nghệ đa dạng khác (một số khá cũ) trong kho của nó.

Hệ thống mới không chỉ đáp ứng các kịch bản lái toàn thân như trong các ví dụ trên, mà còn hỗ trợ các chuyển động nửa trên cơ thể, chẳng hạn trong các buổi phỏng vấn:

Nhấn để phát. ‘Chuyển động nhẹ nhàng của đầu và tay trên một cảnh văn phòng tĩnh’

Để công bằng với những hạn chế của nó, bài báo mới thừa nhận rằng hai khung công tác đối thủ được thử nghiệm so với LiveAnimate đã giữ nhận dạng tốt hơn một chút trong một số hoàn cảnh cụ thể; tuy nhiên, không có đối thủ nào là hệ thống trực tuyến thay vì ngoại tuyến, và các tác giả của công trình mới rõ ràng đang đẩy ranh giới theo hướng khả thi và lạc quan.

Thêm vào đó, có thể đáng chú ý rằng suy luận yêu cầu hai GPU NVIDIA H100, tổng cộng 160GB VRAM*.

Bài báo nêu:

‘LiveAnimate duy trì chất lượng nhận thức và nhận dạng gần như không đổi từ 30 giây đầu tiên đến phút cuối cùng, trong khi các hệ thống trước đó suy giảm đáng kể hoặc cần hàng giờ tính toán ngoại tuyến để đạt cùng mức độ.’

‘Kết quả này thiết lập một điểm hoạt động mới về chất lượng, độ trễ và thời lượng cho hoạt hình toàn thân tương tác.’

Bài báo mới có tiêu đề LiveAnimate: Stable Long-Form Streaming Human Animation in Real-Time, và được viết bởi chín tác giả từ Đại học Trung Quốc Hồng Kông, Nhóm Ứng dụng Kinh doanh Qwen của Alibaba, và Liblib AI. Trang dự án, bao gồm các video được trích trong bài này, cũng có sẵn, trong khi mã nguồn ‘sắp ra mắt’, và trọng số… ai biết được?

Method

LiveAnimate bao gồm một quy trình đào tạo hai giai đoạn được thiết kế để khiến Wan2.2-Animate tạo video liên tục và nhanh chóng, sau đó là một hệ thống bộ nhớ truy xuất các pose hữu ích đã có khi mỗi khối video mới được tạo:

An overview of the LiveAnimate pipeline, showing its two-stage training process on the left and live generation on the right, where incoming poses are matched against stored earlier poses and combined with recent frames to generate each new block of video in three steps. Source 

Wan2.2-Animate gốc được thiết kế để xem xét toàn bộ chuỗi thay vì tạo một video vô hạn. Do đó, để điều chỉnh, các tác giả chia video đào tạo thành các khối liên tiếp, mỗi khối được tạo bằng cách sử dụng các khối trước đó làm ngữ cảnh/đầu ra thực. Điều này ban đầu dạy mô hình tiếp tục từ tài liệu đáng tin cậy trước đó, trước khi phải đối mặt với lỗi tích lũy từ đầu ra của chính nó.

Forget Me Not

Trong suốt quá trình này, hình ảnh tham chiếu gốc luôn được giữ sẵn qua một “Ref Sink”, cung cấp một lời nhắc cố định về danh tính và diện mạo của người. Khi một khối hoàn thành, một “Clean KV Update” chuyển thông tin thu được từ khối đó thành ngữ cảnh lịch sử cho các khối tiếp theo (mặc dù điều này không sửa chữa các lỗi hiện có).

Giai đoạn đào tạo đầu tiên vẫn yêu cầu 50 bước khử nhiễu cho mỗi khối, khiến việc vận hành trực tiếp trở nên không thực tế. Giai đoạn thứ hai do đó rút gọn quy trình xuống ba bước, trong khi đưa mô hình vào tiếp xúc với lịch sử do chính nó tạo ra, vì triển khai yêu cầu mỗi đoạn mới phải dựa vào đầu ra không hoàn hảo của các khối trước:

The two training stages† used to prepare LiveAnimate for deployment, first learning from clean previous video blocks – then reducing generation to three steps, while training on the model’s own imperfect output.

Đào tạo dựa trên các chuỗi tự tạo này tạo ra một vấn đề khác, vì việc giữ lại toàn bộ lịch sử tính toán của một video sẽ tốn kém quá mức. Thay vào đó, một vòng thực hành hoàn chỉnh được thực hiện, sau đó được xem lại, khối theo khối, để đào tạo. Như vậy mỗi khối có thể nhận được một cập nhật mà không cần giữ toàn bộ chuỗi tính toán “sống”.

Kết hợp với việc điều chỉnh LoRA, điều này cho phép mô hình 14 tỷ tham số được tinh luyện trên một nút duy nhất chứa tám GPU NVIDIA H100 80GB (lưu ý cụm này dùng cho đào tạo, không phải suy luận thời gian thực).

Don’t Stop Now

Để tạo video vô hạn, LiveAnimate cũng phải quyết định những gì đáng nhớ. Giữ mọi thứ sẽ làm yêu cầu xử lý tăng vọt; nhưng chỉ giữ các khung gần nhất có thể bỏ lỡ các góc nhìn hữu ích từ trước.

Do đó Pose-Retrieval Sink Attention (PR‑Sink) giải quyết vấn đề này, bằng cách giữ khối đầu tiên được tạo làm “Static Sink” vĩnh viễn – một pose liên quan trước đó, hoạt động như một “Dynamic Sink” có thể thay thế, và một cửa sổ trượt chứa khối hiện tại và hai khối trước đó. Hình ảnh tham chiếu vẫn được cung cấp riêng qua Ref Sink, trong khi kích thước lưu trữ cố định ngăn chi phí tăng lên khi độ dài video tăng.

Block Wars

Để chọn các pose cũ cho bộ nhớ hạn chế này, ViTPose giảm các vị trí cơ thể và tay trên ba khung thành một biểu diễn gọn. Kho nhớ chứa năm pose đại diện như vậy, và được lấp đầy trong 20 khối đầu tiên, ưu tiên các pose đa dạng hơn là các bản sao gần nhau.

Trong quá trình tạo, pose đầu vào được so sánh với các đại diện này và lấy ra khớp gần nhất, cung cấp bằng chứng trước đây về cách người xuất hiện trong một vị trí tương tự. Tuy nhiên, khối ngay trước đó bị loại trừ, vì nó đã tồn tại trong cửa sổ trượt, cho phép Dynamic Sink tự do truy xuất thông tin từ các khối xa hơn.

Cuối cùng, thời gian chạy được tối ưu cho tốc độ bằng cách phân phối xử lý attention trên hai GPU H100, chồng chéo truyền thông với tính toán, và tái sử dụng thông tin đã cache bất cứ khi nào có thể.

Data and Tests

LiveAnimate được đào tạo trên 40.000 video nói chuyện từ AVSpeech, và 20.000 video chuyển động người từ bộ dữ liệu TikTok và HumanVid, với đào tạo và suy luận hỗ trợ các độ phân giải 480×480; 384×672; và 672×384 pixel.

Đào tạo bắt đầu từ checkpoint cơ sở Wan2.2-Animate-14B, sử dụng LoRA với rank 128, và tiến hành trên tám GPU NVIDIA H100 trong 10.000 bước ở giai đoạn đầu, và 20.000 bước ở giai đoạn thứ hai.

Video được tạo thành các khối ba khung tiềm (biểu diễn nén nội bộ của mô hình), tương đương 12 khung RGB, trong khi suy luận được thực hiện trên hai GPU H100.

Đánh giá so sánh LiveAnimate với các phương pháp hoạt hình con người dựa trên pose hiện có trên cả chuỗi ngắn và dài, sử dụng hình ảnh tham chiếu và pose lái trong các thiết lập đồng nhất. Các bài kiểm tra dài hơn mở rộng tạo video lên ba phút để kiểm tra liệu chất lượng và nhận dạng có ổn định theo thời gian hay không.

Các khung công tác được thử nghiệm bao gồm EverAnimate; One-to-All; SCAIL^††; UniAnimate-DiT; và Wan2.2-Animate.

Các chỉ số được sử dụng bao gồm chất lượng hình ảnh, độ nhất quán nhận dạng, chất lượng phân phối và lỗi biểu diễn thời gian. Aesthetic Score (ASE) và đánh giá chất lượng hình ảnh không tham chiếu (IQA) đo chất lượng hình ảnh mức khung; DINO, độ tương đồng (DINO‑S), và độ nhất quán diện mạo với danh tính tham chiếu; Fréchet Inception Distance (FID), chất lượng phân phối; và khoảng cách đặc trưng VideoMAE (V‑MAE), mức độ video tạo giữ được chuyển động theo thời gian:

Test results pertaining to quality and identity across three minutes of continuous generation, with LiveAnimate remaining comparatively stable across all five metrics as the sequence progresses. Several competing methods show greater degradation over time. Higher readings are better for IQA, ASE, and DINO-S, with lower readings better for FID and V-MAE.

Như biểu đồ kết quả ban đầu ở trên cho thấy, LiveAnimate đạt ASE ban đầu cao nhất là 2.823, và IQA là 4.047, trong 30 giây đầu. Các tác giả cho rằng điều này cho thấy việc tách ba bước giữ được chất lượng nhận thức, bất chấp ngân sách suy luận giảm.

Quan trọng hơn, LiveAnimate cho thấy ít suy giảm trong ba phút tạo video liên tục, với các điểm chất lượng hình ảnh và độ nhất quán nhận dạng gần như không thay đổi.

Ngược lại, One-to-All suy giảm đáng kể theo thời gian, với chất lượng hình ảnh và độ nhất quán nhận dạng thấp hơn và lỗi phân phối cao hơn; và Wan2.2-Animate cơ bản cũng cho thấy một số mất độ nhất quán nhận dạng.

Các tác giả khẳng định:

‘Những xu hướng này hỗ trợ cho luận điểm trung tâm của chúng tôi rằng việc quản lý ngữ cảnh dài hạn một cách rõ ràng là quan trọng cho hoạt hình luồng.’

Hiệu suất mở rộng của LiveAnimate cũng được thử nghiệm trên các GPU. Như bảng dưới đây, đạt 12.41 FPS với một H100; 19.63 FPS với hai; và 22.13 FPS với bốn, với mức tăng dần bị giới hạn bởi chi phí truyền thông. Do đó, hai H100 được chọn làm cấu hình ưu tiên:

Scaling efficiency across one, two and four H100 GPUs at 480×480 resolution, showing latency, frame rate, speedup and efficiency. Two GPUs achieved 19.63 FPS, while further scaling to four produced only a modest increase to 22.13 FPS.

Ở 19.63 FPS, mỗi khối 12 khung được tạo trong 0.611 giây. So sánh, các hệ thống cạnh tranh mất khoảng 2–5 giờ để tạo cùng chuỗi ba phút.

Kiểm tra định tính cũng cho thấy các khác biệt tương tự: trong thử nghiệm toàn thân dưới đây, One-to-All suy giảm nghiêm trọng; UniAnimate-DiT và SCAIL tạo ra hiện tượng nhấp nháy; và Wan-Animate cùng EverAnimate xuất hiện hiện tượng trôi màu hoặc nền sau một thời gian.

Test results comparing full-body animation over three minutes. Frames were sampled every 20 seconds, with red annotations highlighting long-term deterioration in competing methods. The baselines required approximately 2–5 hours to generate the sequence, compared with approximately four minutes for LiveAnimate. Please refer to source paper for better resolution.

LiveAnimate duy trì diện mạo của đối tượng và cảnh nền suốt ba phút. Trong thử nghiệm nửa trên ít đòi hỏi hơn dưới đây, EverAnimate và LiveAnimate đạt được độ ổn định dài hạn tương đương (mặc dù chỉ LiveAnimate mới tạo thời gian thực):

Test results comparing upper-body animation over three minutes. Frames sampled every 20 seconds show LiveAnimate maintaining the subject’s identity, clothing and dark background more consistently than the competing methods.

Các tác giả kết luận:

‘Trong bài kiểm tra ba phút, LiveAnimate duy trì chất lượng nhận thức và nhận dạng gần như không đổi ở 19.63 FPS trên hai GPU H100, với bộ nhớ và độ trễ không phụ thuộc vào độ dài luồng, trong khi các baseline ngoại tuyến suy giảm rõ rệt hoặc cần hàng giờ tính toán.’

‘Kết quả này đưa các mô hình khuếch tán video tầm tỉ lệ vào tầm tay của các ứng dụng tương tác như phát trực tiếp, hiện diện từ xa, và avatar ảo.’

Conclusion

Thật khích lệ khi thấy một khung công tác tạo video theo yêu cầu áp dụng cách tiếp cận mới đối với các vấn đề bền vững về bộ nhớ và nhận dạng mà các video sinh ra thường gặp. Đã có nhiều khung công tác sinh ra có thể tham chiếu hình ảnh cố định do người dùng cung cấp, mà không cần “dán” hình ảnh tham chiếu vào nội dung video‑cần‑từ‑hình‑đến‑video.

Tuy nhiên, điều này chỉ giải quyết một phần các vấn đề khi tạo một đoạn video duy nhất, như việc duy trì nhận dạng (bao gồm trang phục và kiểu tóc) của người quay lại khung hình, hoặc bị che khuất tạm thời, và sau đó xuất hiện lại. Tính đến thời điểm hiện tại, chỉ có cách tiếp cận LoRA nặng và tạm thời gây phiền phức mới có tiến bộ trong những vấn đề này, dù vẫn còn hạn chế và tạm thời.

Đối với video, và thực tế là đối với toàn bộ cuộc cách mạng AI hiện nay, việc phát triển bộ nhớ bền vững hiệu quả là một vấn đề then chốt, tồn tại – một yếu tố có thể quyết định sự khác biệt giữa sự ra đời của AGI, hoặc một mùa đông AI thứ ba.

*  Liệu đây còn là “bẫy” nữa không? Quan điểm hiện tại là các mô hình chuyên biệt nhỏ hơn có thể cuối cùng chạy cục bộ, không tốn phí, trong khi nhu cầu cao cấp được đáp ứng bởi một thị trường cho thuê GPU cạnh tranh và hy vọng sẽ được phân mảnh. Điều này giả định các công ty tiên phong không EEE cạnh tranh, và rằng tài nguyên GPU đáng kể vẫn luôn sẵn có. Dựa trên đó, tôi không còn coi yêu cầu GPU cao như một nhược điểm, mà hy vọng quyền truy cập sẽ ngày càng dân chủ, và các tối ưu sau này sẽ giảm nhu cầu tài nguyên ban đầu.

^† AI-generated and checked by myself.

^†† Đối với thử nghiệm video dài, SCAIL và UniAnimate-DiT đã được mở rộng bằng cùng một quy trình trượt cửa sổ không cần đào tạo vì cả hai đều không hỗ trợ tạo video dài dạng gốc. EverAnimate và One-to-All được đánh giá bằng các phương pháp tạo video dài riêng của chúng.

First published Thursday, 13 tháng 8, 2026