Menuju Pembuatan Video Deepfake Tubuh Penuh yang Berkelanjutan

Di bidang yang memerlukan kesabaran, sistem baru mendorong kita sedikit lebih dekat ke simulasi manusia yang disiarkan langsung tanpa putaran rendering yang menjengkelkan.

Keadaan mutakhir dalam simulasi manusia penuh telah berkembang pesat sejak kemungkinan deepfake tubuh penuh pertama kali muncul pada 2022. Sekarang kita telah terbiasa dengan kemampuan yang luar biasa dan sering kontroversial dari sistem sumber terbuka seperti Wan-Animate, dan sistem tertutup seperti Grok, untuk mengubah satu atau beberapa gambar menjadi kinerja video yang konsisten dan sering transformatif:

Klik untuk memutar jika perlu. Contoh penggantian orang dengan WanAnimate-2.2. Silakan merujuk ke sumber untuk resolusi yang lebih baik.  Sumber 

Selain itu, kerangka kerja deepfake wajah langsung yang lebih lama berbasis autoencoder DeepFaceLive telah dilewati oleh kerangka kerja yang lebih canggih seperti Deep-Live-Cam, yang memanfaatkan orkestrasi LivePortrait iterasi, serta modul GAN dan InsightFace warisan, untuk menciptakan penerus waktu nyata yang efektif dari proyek (sekarang ditinggalkan) DFLive:

Klik untuk memutar: Elon Musk deepfaked dalam sesi video langsung melalui Deep-Live-Cam. Silakan merujuk ke sumber untuk resolusi yang lebih baik. Sumber 

Namun, sementara kerangka kerja seperti Deep-Live-Cam dapat berjalan selamanya dan memalsukan selamanya, dan meskipun mereka lebih baik dalam menghasilkan sudut wajah yang sulit daripada sebelumnya, hasilnya tetap terbatas dalam hal resolusi dan kemampuan: Anda dapat mendapatkan wajah/identitas tertentu, dan itu dapat melakukan banyak hal, seperti ekspresi wajah yang meyakinkan dan lip-sync – tetapi pada dasarnya itu adalah satu trik kuda.

BRB…

Sebagian besar sistem impersonasi manusia AI saat ini juga terbatas dan/atau ‘spesialis’. Salah satu keterbatasan yang berulang adalah bahwa sistem simulasi/impersonasi manusia terbaik adalah offline – yaitu, mereka terlalu intensif sumber daya untuk beroperasi dalam waktu nyata, dan sebagai gantinya perlu pergi, menghitung solusi, dan mempresentasikan hasilnya kepada pengguna kemudian.

Jelas sistem seperti itu tidak cocok untuk transformasi AI langsung, seperti mengubah seluruh rentang gerakan tubuh, seperti menari, dalam siaran langsung.

Contoh dari ini dalam beberapa tahun terakhir adalah Wan2.2. Animate yang terbuka, yang terbukti menjadi hit dengan komunitas hobi dan penjual kembali – tetapi sekali lagi, itu adalah skenario ‘generate dan tunggu’:

Klik untuk memutar. Dari 2025, contoh kemampuan Wan2.2-Animate yang mengesankan – jika Anda bisa memiliki sedikit kesabaran. Silakan merujuk ke sumber untuk resolusi yang lebih baik. Sumber 

Jadi, sebagaimana adanya, Anda bisa memiliki yang hebat, memiliki yang serbaguna, atau memiliki yang sekarang – pilih dua.

LiveAnimate

Ke dalam situasi ini datanglah penawaran baru dari Cina, yang secara efektif mengubah Wan2.2 Animate menjadi kerangka kerja animasi yang diarahkan langsung, beroperasi saat ini pada sekitar 20fps yang terhormat, dengan hasil yang mengesankan di berbagai skenario:

Klik untuk memutar: Dari situs proyek, LiveAnimate mentransfer pose pengemudi di seluruh skenario tarian panggung, tarian tubuh penuh luar ruangan, dan potret dekat, mereproduksi gerakan tubuh penuh, tangan, dan wajah. Silakan merujuk ke sumber untuk resolusi yang lebih baik. Sumber 

Pekerjaan baru ini memperluas sistem asli menjadi versi yang dapat diarahkan langsung dengan mengubah bagaimana video dihasilkan: bukan memproses frame masa lalu dan masa depan bersama-sama, LiveAnimate menghasilkan setiap segmen baru saat aksi terjadi, menggunakan hanya beberapa langkah, sambil mempertahankan pose sebelumnya yang dipilih untuk menjaga penampilan subjek tetap konsisten selama sesi panjang.

Secara efektif, sistem ini mempertahankan frame sebelumnya sebagai metode memori yang berkelanjutan untuk mengacu pada saat video berkembang, sehingga identitas tetap konsisten – tidak sepenuhnya berbeda dengan cara sistem CGI lama merujuk pada peta tekstur.

Meskipun LoRA terlibat pada tahap pemrosesan, LiveAnimate bukan hanya sistem LoRA lain – generasi streaming, sistem cache/pose, inferensi tiga langkah, dan optimasi GPU mewakili mekanisme tambahan, di atas teknologi lain yang beragam (beberapa yang mengejutkan sudah lama) dalam repertoarnya.

Sistem baru ini tidak hanya dapat menangani skenario pengemudi tubuh penuh seperti yang ditunjukkan di atas, tetapi juga gerakan tubuh atas, seperti dalam skenario wawancara:

Klik untuk memutar. ‘Gerakan kepala dan tangan halus di atas latar belakang kantor statis’.

Untuk adil mengenai keterbatasannya, makalah baru tersebut mengakui bahwa dua kerangka kerja pesaing yang diuji melawan LiveAnimate dapat mempertahankan identitas sedikit lebih baik dalam keadaan tertentu; namun, tidak satu pun dari kerangka kerja tersebut adalah sistem online daripada offline, dan penulis pekerjaan baru ini jelas mendorong amplop dalam arah yang masuk akal dan optimis.

Selain itu, mungkin perlu disebutkan bahwa inferensi memerlukan dua GPU H100 NVIDIA, untuk total 160GB VRAM*.

Makalah tersebut menyatakan:

‘LiveAnimate mempertahankan kualitas perseptual dan identitas yang hampir konstan dari 30 detik pertama hingga menit terakhir, sedangkan sistem sebelumnya memburuk secara substantial atau memerlukan jam-jam komputasi offline untuk rollout yang sama.

‘Hasil ini menetapkan titik operasi baru dalam kualitas, latensi, dan durasi untuk animasi tubuh penuh interaktif.’

Makalah baru ini berjudul LiveAnimate: Stable Long-Form Streaming Human Animation in Real-Time, dan berasal dari sembilan penulis di The Chinese University of Hong Kong, Qwen Applications Business Group of Alibaba, dan Liblib AI. Situs proyek, yang dilengkapi dengan video yang juga ditampilkan dalam artikel ini, juga tersedia, sedangkan kode ‘segera hadir’, dan bobot… siapa tahu?

Metode

LiveAnimate merupakan proses pelatihan dua tahap yang dirancang untuk membuat Wan2.2-Animate menghasilkan terus-menerus dan cepat, diikuti oleh sistem memori yang mengambil pose yang berguna sebelumnya saat setiap blok video baru dihasilkan:

Gambaran pipeline LiveAnimate, menunjukkan proses pelatihan dua tahap di sebelah kiri dan generasi langsung di sebelah kanan, di mana pose masuk dicocokkan dengan pose sebelumnya yang disimpan dan digabungkan dengan frame terbaru untuk menghasilkan setiap blok video baru dalam tiga langkah. Sumber 

Sistem asli Wan2.2-Animate dirancang untuk mempertimbangkan seluruh urutan daripada menghasilkan video yang memanjang tanpa batas. Oleh karena itu, untuk menyesuaikannya, penulis membagi video pelatihan menjadi blok-blok berurutan, dengan setiap blok dihasilkan menggunakan blok sebelumnya sebagai konteks/kebenaran dasar. Ini awalnya mengajarkan model untuk melanjutkan dari materi yang dapat diandalkan sebelumnya, sebelum harus mengatasi kesalahan yang terkumpul dari outputnya sendiri.

Lupa Saya

Selama proses ini, gambar referensi asli dipertahankan secara permanen melalui ‘Ref Sink’, memberikan pengingat tetap tentang identitas dan penampilan orang tersebut. Setelah blok selesai, ‘Clean KV Update’ mengubah informasi yang diperoleh dari blok tersebut menjadi konteks historis untuk blok-blok berikutnya (meskipun ini tidak memperbaiki kesalahan yang ada).

Proses pelatihan tahap pertama ini masih memerlukan 50 langkah denoising per blok, membuat operasi langsung tidak praktis. Tahap kedua kemudian menyuling prosesnya menjadi tiga langkah, sambil memaparkan model pada sejarah yang dihasilkannya sendiri, karena penerapan memerlukan setiap segmen baru untuk bergantung pada output yang tidak sempurna sebelumnya:

Dua tahap pelatihan† yang digunakan untuk mempersiapkan LiveAnimate untuk penerapan, pertama belajar dari blok video sebelumnya yang bersih – kemudian mengurangi generasi menjadi tiga langkah, sambil melatih pada output yang tidak sempurna modelnya sendiri.

Proses pelatihan melawan urutan yang dihasilkan sendiri ini mempresentasikan masalah lain, karena mempertahankan seluruh sejarah komputasi video akan sangat mahal. Sebagai gantinya, satu jalur praktik dilakukan, kemudian dikunjungi kembali, satu blok pada satu waktu, untuk pelatihan. Setiap blok dapat menerima pembaruan tanpa menjaga seluruh urutan secara komputasi ‘aktif’.

Dengan LoRA adaptasi, ini memungkinkan model 14-miliar-parameter untuk disuling pada satu node yang berisi delapan GPU H100 80GB (mengingat bahwa klaster ini untuk pelatihan, bukan inferensi runtime).

Jangan Berhenti Sekarang

Untuk generasi tak terbatas, LiveAnimate juga harus memutuskan apa yang layak diingat. Menyimpan semua akan membuat persyaratan pemrosesan meledak; tetapi mempertahankan hanya frame terbaru mungkin juga membuang pandangan yang berguna sebelumnya.

Oleh karena itu Pose-Retrieval Sink Attention (PR-Sink) mengatasi ini, dengan mempertahankan blok yang dihasilkan pertama sebagai ‘Static Sink’ yang permanen – pose sebelumnya yang relevan, beroperasi sebagai ‘Dynamic Sink’ yang dapat diganti, dan jendela yang bergulir yang berisi blok saat ini dan dua blok sebelumnya. Gambar referensi tetap tersedia melalui Ref Sink, sementara ukuran penyimpanan tetap mencegah biaya tumbuh seiring dengan panjang video.

Perang Blok

Untuk memilih pose yang lebih lama untuk memori yang terbatas ini, ViTPose mengurangi posisi tubuh dan tangan di seluruh tiga frame menjadi representasi kompak. Bank memori menyimpan lima pose perwakilan tersebut dan diisi selama 20 blok pertama, memfavoritkan pose yang beragam daripada duplikat yang hampir sama.

Selama generasi, pose masuk dibandingkan dengan perwakilan tersebut dan mencocokkan yang paling dekat, memberikan bukti sebelumnya tentang bagaimana orang tersebut terlihat dalam posisi yang serupa. Namun, blok yang segera sebelumnya dikecualikan, karena sudah ada di jendela yang bergulir, meninggalkan Dynamic Sink bebas untuk mengambil informasi dari lebih jauh.

Akhirnya, runtime itu sendiri dioptimalkan untuk kecepatan dengan mendistribusikan pemrosesan perhatian di seluruh dua GPU H100, menggabungkan komunikasi dengan komputasi, dan menggunakan kembali informasi yang di-cache di mana pun memungkinkan.

Data dan Tes

LiveAnimate dilatih pada 40.000 video berbicara dari AVSpeech, dan 20.000 video gerakan manusia dari TikTok dataset dan HumanVid, dengan resolusi pelatihan dan inferensi yang mendukung 480×480; 384×672; dan 672×384 piksel.

Proses pelatihan dimulai dari titik awal Wan2.2-Animate-14B, menggunakan LoRA dengan peringkat 128, dan dilanjutkan pada delapan GPU NVIDIA H100 selama 10.000 langkah pada tahap pertama, dan 20.000 pada tahap kedua.

Video dihasilkan dalam blok tiga frame laten (representasi internal yang dikompresi model), sesuai dengan 12 frame RGB, sementara inferensi dilakukan pada dua H100.

Evaluasi membandingkan LiveAnimate dengan metode animasi manusia yang digerakkan oleh pose yang ada di kedua urutan pendek dan panjang, menggunakan gambar referensi dan pose pengemudi di bawah pengaturan yang konsisten. Tes bentuk panjang memperluas generasi hingga tiga menit untuk memeriksa apakah kualitas dan identitas tetap stabil seiring waktu.

Kerangka kerja yang diuji adalah EverAnimate; One-to-All; SCAIL^††; UniAnimate-DiT; dan Wan2.2-Animate.

Metri yang digunakan mencakup kualitas visual, konsistensi identitas, kualitas distribusi, dan kesalahan representasi temporal. Aesthetic Score (ASE) dan no-reference Image-Quality Assessment (IQA) mengukur kualitas visual frame-level; DINO, kesamaan (DINO-S), dan konsistensi penampilan dengan identitas referensi; Fréchet Inception Distance (FID), kualitas distribusi; dan VideoMAE feature distance (V-MAE), seberapa baik video yang dihasilkan melestarikan gerakan seiring waktu:

Hasil tes terkait kualitas dan identitas di seluruh tiga menit generasi terus-menerus, dengan LiveAnimate tetap relatif stabil di seluruh lima metrik saat urutan berlangsung. Beberapa metode yang bersaing menunjukkan degradasi yang lebih besar seiring waktu. Pembacaan yang lebih tinggi lebih baik untuk IQA, ASE, dan DINO-S, dengan pembacaan yang lebih rendah lebih baik untuk FID dan V-MAE.

Sebagaimana ditunjukkan pada grafik hasil awal di atas, LiveAnimate mencapai ASE awal tertinggi sebesar 2,823, dan IQA sebesar 4,047, dalam 30 detik pertama. Penulis berpendapat bahwa ini menunjukkan bahwa penyulingan tiga langkah mempertahankan kualitas perseptual, meskipun anggaran inferensi yang berkurang.

Lebih signifikan lagi, LiveAnimate menunjukkan sedikit penurunan selama tiga menit generasi terus-menerus, dengan skor kualitas visual dan konsistensi identitas yang hampir tidak berubah.

Sebaliknya, One-to-All memburuk secara substantial selama waktu, dengan kualitas visual dan konsistensi identitas yang lebih rendah dan kesalahan distribusi yang lebih tinggi; dan Wan2.2-Animate dasar juga menunjukkan beberapa kehilangan konsistensi identitas.

Penulis menyatakan:

‘Tren ini mendukung klaim utama kami bahwa pengelolaan konteks jangka panjang secara eksplisit sangat penting untuk animasi streaming.’

Efisiensi penskalaan LiveAnimate juga diuji di seluruh GPU. Sebagaimana ditunjukkan di bawah, 12,41 FPS dicapai dengan satu H100; 19,63 FPS dengan dua; dan 22,13 FPS dengan empat, dengan keuntungan yang semakin terbatas oleh overhead komunikasi. Dua H100 dipilih sebagai konfigurasi yang disukai:

Efisiensi penskalaan di seluruh satu, dua, dan empat GPU H100 pada resolusi 480×480, menunjukkan latensi, frame rate, percepatan, dan efisiensi. Dua GPU mencapai 19,63 FPS, sementara penskalaan lebih lanjut ke empat hanya menghasilkan peningkatan yang modest hingga 22,13 FPS.

Pada 19,63 FPS, setiap blok 12-frame dihasilkan dalam 0,611 detik. Dibandingkan, sekitar 2–5 jam diperlukan oleh sistem yang bersaing untuk menghasilkan urutan tiga menit yang sama.

Tes kualitatif menunjukkan perbedaan yang sama: dalam tes tubuh penuh yang ditunjukkan di bawah, deteriorasi parah diamati pada One-to-All; flickering dihasilkan oleh UniAnimate-DiT dan SCAIL; dan drift warna atau latar belakang kemudian menjadi jelas dengan Wan-Animate dan EverAnimate.

Hasil tes membandingkan animasi tubuh penuh selama tiga menit. Frame diambil setiap 20 detik, dengan anotasi merah yang menyoroti deteriorasi jangka panjang pada metode yang bersaing. Baseline memerlukan sekitar 2–5 jam untuk menghasilkan urutan, dibandingkan dengan sekitar empat menit untuk LiveAnimate. Silakan merujuk ke makalah sumber untuk resolusi yang lebih baik.

LiveAnimate mempertahankan penampilan subjek dan adegan sekitar di seluruh urutan tiga menit. Dalam tes tubuh atas yang kurang menantang yang ditunjukkan di bawah, stabilitas jangka panjang yang setara dicapai oleh EverAnimate dan LiveAnimate (meskipun generasi waktu nyata hanya disediakan oleh LiveAnimate):

Hasil tes membandingkan animasi tubuh atas selama tiga menit. Frame yang diambil setiap 20 detik menunjukkan LiveAnimate mempertahankan identitas, pakaian, dan latar belakang gelap lebih konsisten daripada metode yang bersaing.

Penulis menyimpulkan:

‘Pada benchmark tiga menit, LiveAnimate mempertahankan kualitas perseptual dan identitas yang hampir konstan pada 19,63 FPS pada dua GPU H100, dengan memori dan latensi yang independen dari durasi aliran, sedangkan baseline offline memburuk secara terlihat atau memerlukan jam-jam komputasi. ‘

‘Hasil ini membawa model difusi video skala miliar dalam jangkauan aplikasi interaktif seperti streaming langsung, telepresensi, dan avatar virtual.’

Kesimpulan

Sangat menggembirakan untuk melihat kerangka kerja generasi yang didorong mengambil pendekatan baru untuk masalah persisten memori dan identitas yang mengganggu video generatif. Sudah ada banyak kerangka kerja generatif yang dapat merujuk pada citra tetap yang disediakan oleh pengguna, tanpa perlu ‘menempel’ gambar referensi ke dalam konten gambar-ke-video yang penting.

Namun, ini hanya menyelesaikan beberapa masalah menghasilkan satu klip video, seperti mempertahankan identitas (termasuk pakaian dan gaya rambut) seseorang yang kembali ke frame, atau yang telah menjadi sementara terhalang, dan kemudian terlihat lagi. Sampai saat ini, hanya pendekatan LoRA yang berat dan sementara yang telah membuat kemajuan dengan masalah ini, meskipun terbatas dan sementara.

Untuk video, dan sebenarnya untuk revolusi AI saat ini, pengembangan memori yang efektif yang berkelanjutan adalah isu kritis dan eksistensial – satu yang kemungkinan akan menentukan perbedaan antara kemunculan AGI, atau musim dingin AI ketiga.

* Apakah ini masih ‘gotcha’? Pemikiran saat ini adalah bahwa model yang lebih kecil dan khusus mungkin akhirnya dapat berjalan secara lokal, tanpa biaya sewa, sementara kebutuhan yang lebih tinggi dilayani oleh pasar sewa GPU yang kompetitif dan harapannya terfragmentasi. Ini mengasumsikan perusahaan-perusahaan pionir gagal untuk EEE persaingan, dan bahwa komputasi GPU yang substansial tetap tersedia terlepas dari itu. Berdasarkan itu, saya tidak lagi menganggap persyaratan GPU yang berlebihan sebagai kekurangan, tetapi berharap akses menjadi semakin demokratis, dan bahwa optimasi selanjutnya mengurangi tuntutan sumber daya awal.

^† Dihasilkan dan diperiksa oleh diri saya sendiri.

^†† Untuk pengujian video panjang, SCAIL dan UniAnimate-DiT diperluas dengan prosedur jendela geser tanpa pelatihan yang sama karena tidak ada yang mendukung generasi bentuk panjang secara asli. EverAnimate dan One-to-All dievaluasi menggunakan metode generasi video panjang mereka sendiri.

Dipublikasikan pertama kali pada hari Kamis, 13 Agustus 2026