Kemajuan Penting dalam AI Video yang Dikendalikan Manusia

Catatan: Halaman proyek untuk pekerjaan ini mencakup 33 video bermain otomatis dengan resolusi tinggi yang totalnya setengah gigabyte, yang membuat sistem saya tidak stabil saat memuat. Oleh karena itu, saya tidak akan menautkannya secara langsung. Pembaca dapat menemukan URL di abstrak atau PDF makalah jika mereka memilih.

Salah satu tujuan utama dalam penelitian sintesis video saat ini adalah menghasilkan kinerja video AI yang lengkap dari satu gambar. Pada minggu ini, sebuah makalah baru dari Bytedance Intelligent Creation menguraikan apa yang mungkin merupakan sistem paling komprehensif dari jenis ini, yang mampu menghasilkan animasi tubuh penuh dan separuh yang menggabungkan detail ekspresif wajah dengan gerakan besar yang akurat, serta mencapai konsistensi identitas yang ditingkatkan – sebuah area di mana bahkan sistem komersial terkemuka sering kali gagal.

Dalam contoh di bawah, kita melihat kinerja yang dikendalikan oleh aktor (kiri atas) dan dihasilkan dari satu gambar (kanan atas), yang memberikan rendering yang sangat fleksibel dan gesit, tanpa masalah yang biasa terjadi saat membuat gerakan besar atau “menebak” tentang area yang tersembunyi (yaitu, bagian pakaian dan sudut wajah yang harus diinferensi atau diciptakan karena tidak terlihat di foto sumber):

KONTEN AUDIO. Klik untuk memutar. Kinerja yang dihasilkan dari dua sumber, termasuk lip-sync, yang biasanya merupakan domain sistem tambahan yang didedikasikan. Ini adalah versi yang dikurangi dari situs sumber (lihat catatan di awal artikel – berlaku untuk semua video yang disematkan di sini).

Meskipun kita dapat melihat beberapa tantangan residual terkait persistensi identitas saat setiap klip berlangsung, ini adalah sistem pertama yang saya lihat yang unggul dalam mempertahankan ID secara umum (meskipun tidak selalu) selama periode yang berkelanjutan tanpa menggunakan LoRAs:

KONTEN AUDIO. Klik untuk memutar. Contoh lain dari proyek DreamActor.

Sistem baru, yang berjudul DreamActor, menggunakan sistem kontrol hibrida tiga bagian yang memberikan perhatian khusus pada ekspresi wajah, rotasi kepala, dan desain kerangka tubuh, sehingga mengakomodasi kinerja AI yang dikendalikan di mana baik aspek wajah maupun tubuh tidak menderita karena yang lain – kemampuan yang jarang, bahkan tidak diketahui, di antara sistem serupa.

Di bawah ini, kita melihat salah satu aspek ini, rotasi kepala, dalam aksi. Bola berwarna di sudut kanan setiap thumbnail menunjukkan semacam gimbal virtual yang mendefinisikan orientasi kepala secara independen dari gerakan wajah dan ekspresi, yang di sini dikendalikan oleh aktor (bawah kiri).

Klik untuk memutar. Bola berwarna yang divisualisasikan di sini mewakili sumbu rotasi kepala avatar, sementara ekspresi ditenagai oleh modul terpisah dan diberitahu oleh kinerja aktor (terlihat di sini bawah kiri).

Salah satu fungsionalitas proyek yang paling menarik, yang bahkan tidak termasuk dalam tes makalah, adalah kemampuannya untuk menghasilkan gerakan lip-sync langsung dari audio – kemampuan yang bekerja secara tidak biasa bahkan tanpa aktor video yang mengendalikan.

Peneliti telah mengambil beberapa sistem terkemuka di bidang ini, termasuk Runway Act-One dan LivePortrait, dan melaporkan bahwa DreamActor dapat mencapai hasil kuantitatif yang lebih baik.

Karena peneliti dapat menetapkan kriterianya sendiri, hasil kuantitatif tidak selalu merupakan standar empiris; tetapi tes kualitatif yang menyertainya tampaknya mendukung kesimpulan penulis.

Sayangnya, sistem ini tidak dimaksudkan untuk dirilis ke publik, dan satu-satunya nilai yang dapat diperoleh komunitas dari pekerjaan ini adalah dengan mempotensikan metodologi yang diuraikan dalam makalah (seperti yang dilakukan dengan efek yang cukup signifikan untuk Google Dreambooth pada tahun 2022 ).

Makalah tersebut menyatakan*:

‘Animasi gambar manusia memiliki risiko sosial yang mungkin, seperti disalahgunakan untuk membuat video palsu. Teknologi yang diusulkan dapat digunakan untuk membuat video palsu orang, tetapi alat deteksi yang ada [Demamba, Dormant] dapat mendeteksi palsu-palsu ini.

‘Untuk mengurangi risiko ini, aturan etika yang jelas dan pedoman penggunaan yang bertanggung jawab diperlukan. Kami akan membatasi akses ke model inti dan kode kami untuk mencegah penyalahgunaan.’

Alami, pertimbangan etika semacam ini nyaman dari sudut pandang komersial, karena menyediakan rasionalisasi untuk akses API-saja ke model, yang kemudian dapat dimonetisasi. ByteDance telah melakukannya sekali pada tahun 2025, dengan membuat OmniHuman yang sangat dipuji tersedia untuk kredit berbayar di situs Dreamina. Oleh karena itu, karena DreamActor mungkin merupakan produk yang lebih kuat, ini tampaknya merupakan hasil yang mungkin. Apa yang masih harus dilihat adalah seberapa jauh prinsip-prinsipnya, sejauh yang dijelaskan dalam makalah, dapat membantu komunitas sumber terbuka.

Makalah baru ini berjudul DreamActor-M1: Holistic, Expressive, and Robust Human Image Animation with Hybrid Guidance, dan berasal dari enam peneliti Bytedance.

Metode

Sistem DreamActor yang diusulkan dalam makalah ini bertujuan untuk menghasilkan animasi manusia dari gambar referensi dan video yang mengendalikan, menggunakan Diffusion Transformer (DiT) framework yang disesuaikan untuk ruang laten (apparently beberapa rasa Stable Diffusion, meskipun makalah hanya mengutip publikasi rilis 2022).

Daripada mengandalkan modul eksternal untuk menangani kondisi referensi, penulis menggabungkan fitur penampilan dan gerakan langsung di dalam backbone DiT, memungkinkan interaksi melintasi ruang dan waktu melalui perhatian:

Skema untuk sistem baru: DreamActor mengkodekan pose, gerakan wajah, dan penampilan ke dalam laten yang terpisah, menggabungkannya dengan laten video yang berisik yang dihasilkan oleh 3D VAE. Sinyal-sinyal ini digabungkan dalam Diffusion Transformer menggunakan self- dan cross-attention, dengan berat yang dibagikan di seluruh cabang. Model ini diawasi dengan membandingkan output yang didepak dengan laten video yang bersih. Sumber: https://arxiv.org/pdf/2504.01724

Untuk melakukan ini, model menggunakan 3D variational autoencoder pra-terlatih untuk mengkodekan baik video input dan gambar referensi. Laten ini patchified, digabungkan, dan dimasukkan ke dalam DiT, yang memprosesnya secara bersamaan.

Arsitektur ini berbeda dari praktik umum yang menempelkan jaringan sekunder untuk injeksi referensi, yang merupakan pendekatan untuk proyek Animate Anyone dan Animate Anyone 2.

Sebagai gantinya, DreamActor membangun fusi ke dalam model utama itu sendiri, menyederhanakan desain sambil meningkatkan aliran informasi antara petunjuk penampilan dan gerakan. Model ini kemudian dilatih menggunakan flow matching daripada tujuan difusi standar (Flow matching melatih model difusi dengan secara langsung memprediksi bidang kecepatan antara data dan kebisingan, melewati estimasi skor).

Panduan Gerakan Hibrida

Metode Panduan Gerakan Hibrida yang memandu rendering neural menggabungkan token pose yang berasal dari kerangka tubuh 3D dan bola kepala; representasi wajah implisit yang diekstrak oleh pengkode wajah pra-terlatih; dan token penampilan referensi yang diambil dari gambar sumber.

Elemen-elemen ini diintegrasikan dalam Diffusion Transformer menggunakan mekanisme perhatian yang berbeda, memungkinkan sistem untuk mengoordinasikan gerakan global, ekspresi wajah, dan identitas visual selama proses generasi.

Untuk yang pertama, daripada mengandalkan titik-titik wajah, DreamActor menggunakan representasi wajah implisit untuk memandu generasi ekspresi, yang tampaknya memungkinkan kontrol yang lebih halus atas dinamika wajah sambil memisahkan identitas dan pose kepala dari ekspresi.

Untuk membuat representasi ini, pipa pertama mendeteksi dan memotong wilayah wajah di setiap bingkai video yang mengendalikan, mengubah ukurannya menjadi 224×224. Wajah yang dipotong diproses oleh pengkode gerakan wajah pra-terlatih pada dataset PD-FGC, yang kemudian dikondisikan oleh lapisan MLP.

PD-FGC, digunakan dalam DreamActor, menghasilkan kepala berbicara dari gambar referensi dengan kontrol terpisah atas sinkronisasi bibir (dari audio), pose kepala, gerakan mata, dan ekspresi (dari video terpisah), memungkinkan manipulasi yang tepat dan independen dari masing-masing. Sumber: https://arxiv.org/pdf/2211.14506

Hasilnya adalah urutan token gerakan wajah, yang disuntikkan ke dalam Diffusion Transformer melalui lapisan cross-attention.

Sistem yang sama juga mendukung varian audio-driven, di mana pengkode terpisah dilatih yang memetakan input suara langsung ke token gerakan wajah. Ini memungkinkan untuk menghasilkan animasi wajah yang disinkronkan – termasuk gerakan bibir – tanpa video yang mengendalikan.

KONTEN AUDIO. Klik untuk memutar. Sinkronisasi bibir yang dihasilkan dari audio saja, tanpa video aktor yang mengendalikan. Input karakter tunggal adalah foto statis yang terlihat di kanan atas.

Kedua, untuk mengendalikan pose kepala secara independen dari ekspresi wajah, sistem ini memperkenalkan representasi bola kepala 3D (lihat video yang disematkan sebelumnya dalam artikel ini), yang memisahkan dinamika wajah dari gerakan kepala global, meningkatkan presisi dan fleksibilitas selama animasi.

Bola kepala dihasilkan dengan mengekstrak parameter wajah 3D – seperti rotasi dan pose kamera – dari video yang mengendalikan menggunakan metode pelacakan FaceVerse.

Skema untuk proyek FaceVerse. Sumber: https://www.liuyebin.com/faceverse/faceverse.html

Parameter ini digunakan untuk merender bola warna yang diproyeksikan ke bidang gambar 2D, yang sejajar dengan kepala yang mengendalikan. Ukuran bola sesuai dengan ukuran kepala referensi, dan warnanya mencerminkan orientasi kepala. Abstraksi ini mengurangi kompleksitas pembelajaran gerakan kepala 3D, membantu melestarikan bentuk kepala yang distilis atau dilebih-lebihkan dalam karakter yang diambil dari animasi.

Visualisasi bola kontrol yang mempengaruhi orientasi kepala.

Akhirnya, untuk memandu gerakan tubuh penuh, sistem ini menggunakan kerangka tubuh 3D dengan normalisasi panjang tulang adaptif. Parameter tubuh dan tangan diperkirakan menggunakan 4DHumans dan HaMeR, keduanya beroperasi pada model tubuh SMPL-X.

SMPL-X menerapkan mesh parameterik pada tubuh manusia penuh dalam gambar, sejajar dengan pose dan ekspresi yang diperkirakan untuk memungkinkan manipulasi pose-sadar menggunakan mesh sebagai panduan volumetrik. Sumber: https://arxiv.org/pdf/1904.05866

Dari output ini, sendi kunci dipilih, diproyeksikan ke 2D, dan dihubungkan menjadi peta kerangka garis. Tidak seperti metode seperti Champ, yang merender mesh tubuh penuh, pendekatan ini menghindari penerapan prior bentuk pra-definisi, dan dengan mengandalkan struktur kerangka saja, model ini didorong untuk menginferensi bentuk dan penampilan tubuh langsung dari gambar referensi, mengurangi bias terhadap tipe tubuh tetap, dan meningkatkan generalisasi di berbagai pose dan bentuk.

Selama pelatihan, kerangka tubuh 3D dihubungkan dengan bola kepala dan dilewatkan melalui pengkode pose, yang mengeluarkan fitur yang kemudian digabungkan dengan laten video yang berisik untuk menghasilkan token kebisingan yang digunakan oleh Diffusion Transformer.

Pada saat inferensi, sistem memperhitungkan perbedaan kerangka antara subjek dengan menormalisasi panjang tulang. Model pengeditan gambar pra-terlatih SeedEdit mengubah gambar referensi dan gambar yang mengendalikan menjadi konfigurasi standar kanon. RTMPose kemudian digunakan untuk mengekstrak proporsi kerangka, yang digunakan untuk menyesuaikan kerangka yang mengendalikan untuk mencocokkan anatomi subjek referensi.

Gambaran pipa inferensi. Pseudo-referensi dapat dibuat untuk memperkaya petunjuk penampilan, sementara sinyal kontrol hibrida – gerakan wajah implisit dan pose eksplisit dari bola kepala dan kerangka tubuh – diekstrak dari video yang mengendalikan. Ini kemudian dimasukkan ke dalam model DiT untuk menghasilkan output animasi, dengan gerakan wajah yang dipisahkan dari pose tubuh, memungkinkan penggunaan audio sebagai pengendali.

Panduan Penampilan

Untuk meningkatkan keaslian penampilan, terutama di area yang tersembunyi atau jarang terlihat, sistem ini melengkapi gambar referensi utama dengan pseudo-referensi yang diambil dari video input.

Klik untuk memutar. Sistem ini memprediksi kebutuhan untuk merender area yang tersembunyi dengan akurat dan konsisten. Ini adalah tentang seberapa dekat saya telah melihat, dalam proyek semacam ini, dengan pendekatan tekstur-bitmap seperti CGI.

Bingkai tambahan ini dipilih untuk keanekaragaman pose menggunakan RTMPose, dan difilter menggunakan kesamaan berbasis CLIP untuk memastikan mereka tetap konsisten dengan identitas subjek.

Semua bingkai referensi (utama dan pseudo) dikodekan oleh pengkode visual yang sama dan digabungkan melalui mekanisme perhatian diri, memungkinkan model untuk mengakses petunjuk penampilan yang komplementer. Pengaturan ini meningkatkan cakupan detail seperti tampilan profil atau tekstur anggota tubuh. Pseudo-referensi selalu digunakan selama pelatihan dan secara opsional selama inferensi.

Pelatihan

DreamActor dilatih dalam tiga tahap untuk secara bertahap memperkenalkan kompleksitas dan meningkatkan stabilitas.

Pada tahap pertama, hanya kerangka tubuh 3D dan bola kepala 3D yang digunakan sebagai sinyal kontrol, dengan menghilangkan representasi wajah. Ini memungkinkan model generasi video dasar, diinisialisasi dari MMDiT, untuk beradaptasi dengan animasi manusia tanpa terlalu banyak dikendalikan oleh kontrol halus.

Pada tahap kedua, representasi wajah implisit ditambahkan, tetapi semua parameter lain dibekukan. Hanya pengkode gerakan wajah dan lapisan perhatian wajah yang dilatih pada titik ini, memungkinkan model untuk belajar detail ekspresif secara terisolasi.

Pada tahap terakhir, semua parameter dibuka kunci untuk optimasi bersama di seluruh penampilan, pose, dan dinamika wajah.

Data dan Tes

Untuk fase pengujian, model diinisialisasi dari checkpoint DiT pra-terlatih gambar-ke-video dan dilatih dalam tiga tahap: 20.000 langkah untuk masing-masing dari dua tahap pertama dan 30.000 langkah untuk tahap ketiga.

Untuk meningkatkan generalisasi di berbagai durasi dan resolusi, klip video secara acak dipilih dengan panjang antara 25 dan 121 bingkai. Ini kemudian diubah ukurannya menjadi 960x640px, sambil menjaga rasio aspek.

Pelatihan dilakukan pada delapan (China-focused) NVIDIA H20 GPUs, masing-masing dengan 96GB VRAM, menggunakan AdamW optimizer dengan tingkat pembelajaran (tolerably tinggi) 5e−6.

Pada saat inferensi, setiap segmen video berisi 73 bingkai. Untuk mempertahankan konsistensi di seluruh segmen, laten terakhir dari satu segmen digunakan kembali sebagai laten awal untuk segmen berikutnya, yang mengkontekstualisasi tugas sebagai generasi gambar-ke-video berurutan.

Panduan bebas klasifikasi diterapkan dengan bobot 2,5 untuk gambar referensi dan sinyal kontrol gerakan.

Penulis membangun dataset pelatihan (tidak ada sumber yang disebutkan dalam makalah) yang terdiri dari 500 jam video yang berasal dari domain yang beragam, menampilkan contoh (antara lain) tarian, olahraga, film, dan berbicara di depan umum. Dataset ini dirancang untuk menangkap spektrum luas gerakan dan ekspresi manusia, dengan distribusi yang merata antara bidikan tubuh penuh dan setengah.

Untuk meningkatkan kualitas sintesis wajah, Nersemble dimasukkan dalam proses persiapan data.

Contoh dari dataset Nersemble, digunakan untuk melengkapi data untuk DreamActor. Sumber: https://www.youtube.com/watch?v=a-OAWqBzldU

Untuk evaluasi, peneliti menggunakan dataset mereka sebagai benchmark untuk menilai generalisasi di berbagai skenario.

Kinerja model diukur menggunakan metrik standar dari pekerjaan sebelumnya: Fréchet Inception Distance (FID); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); dan Peak Signal-to-Noise Ratio (PSNR) untuk kualitas bingkai. Fréchet Video Distance (FVD) digunakan untuk menilai kohesi temporal dan keseluruhan keaslian video.

Penulis melakukan eksperimen pada tugas animasi tubuh dan animasi potret, semua menggunakan gambar referensi tunggal.

Untuk animasi tubuh, DreamActor-M1 dibandingkan dengan Animate Anyone; Champ; MimicMotion, dan DisPose.

Perbandingan kuantitatif dengan kerangka kerja rival.

Meskipun PDF menyediakan gambar statis sebagai perbandingan visual, salah satu video dari situs proyek mungkin menyoroti perbedaan dengan lebih jelas:

AUDIO CONTENT. Klik untuk memutar. Perbandingan visual di seluruh kerangka kerja yang menantang. Video yang mengendalikan terlihat di kiri atas, dan kesimpulan penulis bahwa DreamActor menghasilkan hasil terbaik tampaknya masuk akal.

Untuk tes animasi potret, model dievaluasi melawan LivePortrait; X-Portrait; SkyReels-A1; dan Act-One.

Perbandingan kuantitatif untuk animasi potret.

Penulis mencatat bahwa metode mereka unggul dalam tes kuantitatif, dan mengklaim bahwa juga unggul secara kualitatif.

AUDIO CONTENT. Klik untuk memutar. Contoh perbandingan animasi potret.

Argumen yang bisa dikatakan sebagai yang ketiga dan terakhir dari klip yang ditunjukkan di video di atas menunjukkan sinkronisasi bibir yang kurang meyakinkan dibandingkan dengan beberapa kerangka kerja rival, meskipun kualitasnya secara keseluruhan sangat tinggi.

Kesimpulan

Dalam memprediksi kebutuhan untuk tekstur yang diimplikasikan tetapi tidak ada dalam gambar referensi tunggal yang menggerakkan rekreasi ini, ByteDance telah menangani salah satu tantangan terbesar yang dihadapi oleh generasi video berbasis difusi – tekstur yang konsisten dan persisten. Langkah logis berikutnya setelah memperbaiki pendekatan ini akan menjadi menciptakan atlas referensi dari klip yang dihasilkan awal yang dapat diterapkan pada generasi yang berbeda, untuk mempertahankan penampilan tanpa LoRAs.

Meskipun pendekatan seperti itu secara efektif masih merupakan referensi eksternal, ini tidak berbeda dari pemetaan tekstur dalam teknik CGI tradisional, dan kualitas realisme dan kemungkinan sangat lebih tinggi daripada metode lama tersebut.

Yang paling mengesankan dari DreamActor adalah sistem panduan tiga bagian yang menggabungkan, yang menjembatani pembagian tradisional antara sintesis manusia yang berfokus pada wajah dan tubuh dalam cara yang cerdas.

Hanya tersisa untuk dilihat apakah beberapa prinsip inti ini dapat dimanfaatkan dalam penawaran yang lebih dapat diakses; karena DreamActor tampaknya akan menjadi penawaran sintesis-sebagai-layanan lain, yang terikat ketat oleh batasan penggunaan, dan oleh ketidakpraktisan bereksperimen secara ekstensif dengan arsitektur komersial.

* Substitusi saya untuk tautan penulis; kutipan inline

^† Sebagaimana disebutkan sebelumnya, tidak jelas dengan rasa Stable Diffusion yang digunakan dalam proyek ini.

Dipublikasikan pertama kali pada hari Jumat, 4 April 2025