Visi komputer adalah salah satu bidang yang paling dibahas dalam industri AI, berkat potensi aplikasinya yang luas di berbagai tugas waktu nyata. Dalam beberapa tahun terakhir, kerangka visi komputer telah berkembang pesat, dengan model modern sekarang dapat menganalisis fitur wajah, objek, dan banyak lagi dalam skenario waktu nyata. Meskipun memiliki kemampuan ini, transfer gerakan manusia masih menjadi tantangan yang tangguh bagi model visi komputer. Tugas ini melibatkan retargeting gerakan wajah dan tubuh dari gambar sumber atau video ke gambar target atau video. Transfer gerakan manusia secara luas digunakan dalam model visi komputer untuk styling gambar atau video, mengedit konten multimedia, sintesis manusia digital, dan bahkan menghasilkan data untuk kerangka berbasis persepsi.

Dalam artikel ini, kita fokus pada MagicDance, model berbasis difusi yang dirancang untuk merevolusi transfer gerakan manusia. Kerangka MagicDance secara khusus bertujuan untuk mentransfer ekspresi wajah dan gerakan manusia 2D ke video tarian manusia yang menantang. Tujuannya adalah untuk menghasilkan video tarian manusia baru yang dipandu oleh urutan pose untuk identitas target tertentu sambil menjaga identitas asli. Kerangka MagicDance menggunakan strategi pelatihan dua tahap, yang berfokus pada disentanglement gerakan manusia dan faktor penampilan seperti warna kulit, ekspresi wajah, dan pakaian. Kita akan mempelajari kerangka MagicDance, menjelajahi arsitektur, fungsionalitas, dan kinerjanya dibandingkan dengan kerangka transfer gerakan manusia lainnya yang mutakhir. Mari kita mulai.

MagicDance : Transfer Gerakan Manusia yang Realistis

Seperti yang disebutkan sebelumnya, transfer gerakan manusia adalah salah satu tugas visi komputer yang paling kompleks karena kompleksitas yang terlibat dalam mentransfer gerakan dan ekspresi manusia dari gambar sumber atau video ke gambar target atau video. Secara tradisional, kerangka visi komputer telah mencapai transfer gerakan manusia dengan melatih model generatif khusus tugas, termasuk GAN atau Jaringan Adversarial Generatif pada dataset target untuk ekspresi wajah dan pose tubuh. Meskipun melatih dan menggunakan model generatif menghasilkan hasil yang memuaskan dalam beberapa kasus, mereka biasanya menderita dari dua keterbatasan utama. 

1. Mereka sangat bergantung pada komponen perangkat lunak gambar sebagai hasilnya mereka sering bergelut untuk menginterpolasi bagian tubuh yang tidak terlihat dalam gambar sumber karena perubahan perspektif atau self-occlusion. 
2. Mereka tidak dapat menggeneralisasi ke gambar lain yang diambil dari luar yang membatasi aplikasi mereka terutama dalam skenario waktu nyata di lapangan. 

Model difusi modern telah menunjukkan kemampuan generasi gambar yang luar biasa di berbagai kondisi, dan model difusi sekarang dapat menampilkan visual yang kuat pada berbagai tugas hilir seperti generasi video dan pengisian gambar dengan belajar dari dataset gambar skala web. Berkat kemampuan mereka, model difusi mungkin merupakan pilihan ideal untuk tugas transfer gerakan manusia. Meskipun model difusi dapat diimplementasikan untuk transfer gerakan manusia, mereka memiliki beberapa keterbatasan baik dalam hal kualitas konten yang dihasilkan, atau dalam hal pelestarian identitas atau menderita inkonsistensi temporal sebagai hasil dari keterbatasan desain model dan strategi pelatihan. Selain itu, model berbasis difusi menunjukkan tidak ada keunggulan signifikan atas kerangka GAN dalam hal generalisasi. 

Untuk mengatasi hambatan yang dihadapi oleh kerangka berbasis difusi dan GAN pada tugas transfer gerakan manusia, pengembang telah memperkenalkan MagicDance, kerangka baru yang bertujuan untuk mengeksploitasi potensi model difusi untuk transfer gerakan manusia dengan menunjukkan tingkat pelestarian identitas yang belum pernah terjadi sebelumnya, kualitas visual yang unggul, dan generalisasi domain. Pada intinya, konsep dasar kerangka MagicDance adalah untuk membagi masalah menjadi dua tahap: kontrol penampilan dan kontrol gerakan, dua kemampuan yang diperlukan oleh model difusi untuk menghasilkan output transfer gerakan yang akurat. 

Gambar di atas memberikan gambaran singkat tentang kerangka MagicDance, dan seperti yang dapat dilihat, kerangka tersebut menggunakan Stable Diffusion model, dan juga menerapkan dua komponen tambahan: Appearance Control Model dan Pose ControlNet di mana yang pertama memberikan bimbingan penampilan kepada model SD dari gambar referensi melalui perhatian sedangkan yang kedua memberikan bimbingan ekspresi/pose kepada model difusi dari gambar atau video yang dikondisikan. Kerangka tersebut juga menerapkan strategi pelatihan multi-tahap untuk mempelajari sub-modul ini secara efektif untuk memisahkan kontrol pose dan penampilan. 

Secara singkat, kerangka MagicDance adalah

1. Kerangka baru dan efektif yang terdiri dari kontrol pose yang dipisahkan dari penampilan, dan pelatihan kontrol penampilan.  
2. Kerangka MagicDance dapat menghasilkan ekspresi wajah manusia dan gerakan yang realistis di bawah kontrol input pose dan gambar referensi atau video. 
3. Kerangka MagicDance bertujuan untuk menghasilkan konten manusia yang konsisten dengan penampilan dengan memperkenalkan Modul Perhatian Multi-Sumber yang menawarkan bimbingan akurat untuk kerangka Stable Diffusion UNet. 
4. Kerangka MagicDance juga dapat digunakan sebagai ekstensi atau plug-in yang nyaman untuk kerangka Stable Diffusion, dan juga memastikan kompatibilitas dengan bobot model yang ada karena tidak memerlukan penyetelan parameter tambahan. 

Selain itu, kerangka MagicDance menunjukkan kemampuan generalisasi yang luar biasa untuk penampilan dan gerakan. 

1. Generalisasi Penampilan : Kerangka MagicDance menunjukkan kemampuan yang unggul dalam menghasilkan penampilan yang beragam. 
2. Generalisasi Gerakan : Kerangka MagicDance juga memiliki kemampuan untuk menghasilkan berbagai gerakan. 

MagicDance : Tujuan dan Arsitektur

Untuk gambar referensi yang diberikan, baik dari manusia nyata atau gambar yang distilisasi, tujuan utama kerangka MagicDance adalah untuk menghasilkan gambar output atau video yang dikondisikan pada input dan input pose {P, F} di mana P mewakili kerangka pose manusia dan F mewakili landmark wajah. Gambar output atau video yang dihasilkan harus dapat melestarikan penampilan dan identitas manusia yang terlibat serta konten latar belakang yang ada dalam gambar referensi sambil mempertahankan pose dan ekspresi yang didefinisikan oleh input pose. 

Arsitektur

Selama pelatihan, kerangka MagicDance dilatih sebagai tugas rekonstruksi frame untuk merekonstruksi kebenaran dengan gambar referensi dan input pose yang diambil dari video referensi yang sama. Selama pengujian untuk mencapai transfer gerakan, input pose dan gambar referensi diambil dari sumber yang berbeda. 

Arsitektur keseluruhan kerangka MagicDance dapat dibagi menjadi empat kategori: Tahap Awal, Pelatihan Kontrol Penampilan, Kontrol Pose yang Dipisahkan dari Penampilan, dan Modul Gerakan. 

Tahap Awal

Model Difusi Laten atau LDM mewakili model difusi yang dirancang khusus untuk beroperasi dalam ruang laten yang difasilitasi oleh penggunaan autoencoder, dan kerangka Stable Diffusion adalah contoh yang terkenal dari LDM yang menggunakan AutoEncoder Kuantisasi-Vektor dan arsitektur U-Net temporal. Model Stable Diffusion menggunakan transformer berbasis CLIP sebagai pengkode teks untuk memproses input teks dengan mengubah input teks menjadi embedding. Fase pelatihan model Stable Diffusion memaparkan model pada kondisi teks dan gambar input dengan proses yang melibatkan pengkodean gambar ke representasi laten, dan menghubungkannya dengan urutan difusi yang ditentukan sebelumnya dengan metode Gaussian. Urutan yang dihasilkan menghasilkan representasi laten yang berisik yang memberikan distribusi normal standar dengan tujuan pembelajaran utama model Stable Diffusion adalah mendenoising representasi laten yang berisik secara iteratif menjadi representasi laten. 

Pelatihan Kontrol Penampilan

Masalah besar dengan kerangka ControlNet asli adalah ketidakmampuannya untuk mengontrol penampilan di antara gerakan yang bervariasi secara spasial secara konsisten meskipun cenderung menghasilkan gambar dengan pose yang mirip dengan yang ada dalam gambar input dengan penampilan keseluruhan yang dipengaruhi terutama oleh input teks. Meskipun metode ini bekerja, tidak cocok untuk tugas transfer gerakan yang melibatkan tugas di mana bukan input teks tetapi gambar referensi yang berfungsi sebagai sumber utama informasi penampilan. 

Modul Pelatihan Kontrol Penampilan dalam kerangka MagicDance dirancang sebagai cabang bantu untuk memberikan bimbingan untuk kontrol penampilan dalam pendekatan lapis demi lapis. Alih-alih mengandalkan input teks, modul keseluruhan berfokus pada memanfaatkan atribut penampilan dari gambar referensi dengan tujuan untuk meningkatkan kemampuan kerangka untuk menghasilkan karakteristik penampilan dengan akurat terutama dalam skenario yang melibatkan dinamika gerakan yang kompleks. Selain itu, hanya Model Kontrol Penampilan yang dapat dilatih selama pelatihan kontrol penampilan. 

Kontrol Pose yang Dipisahkan dari Penampilan

Solusi sederhana untuk mengontrol pose dalam gambar output adalah dengan mengintegrasikan model ControlNet yang sudah dilatih dengan Model Kontrol Penampilan yang sudah dilatih secara langsung tanpa penyetelan. Namun, integrasi ini mungkin mengakibatkan kerangka yang bergelut dengan kontrol pose yang independen dari penampilan yang dapat menyebabkan kesenjangan antara pose input dan pose yang dihasilkan. Untuk mengatasi kesenjangan ini, kerangka MagicDance melakukan penyetelan model Pose ControlNet secara bersamaan dengan Model Kontrol Penampilan yang sudah dilatih. 

Modul Gerakan

Ketika bekerja bersama, Kontrol Pose yang Dipisahkan dari Penampilan dan Model Kontrol Penampilan dapat mencapai transfer gambar ke gerakan yang akurat dan efektif, meskipun mungkin mengakibatkan inkonsistensi temporal. Untuk memastikan konsistensi temporal, kerangka mengintegrasikan modul gerakan tambahan ke dalam arsitektur U-Net Stable Diffusion utama. 

MagicDance : Pelatihan Awal dan Dataset

Untuk pelatihan awal, kerangka MagicDance menggunakan dataset TikTok yang terdiri dari lebih dari 350 video tarian dengan panjang yang bervariasi antara 10 hingga 15 detik yang menangkap satu orang yang menari dengan sebagian besar video yang berisi wajah dan tubuh atas manusia. Kerangka MagicDance mengekstrak setiap video individu pada 30 FPS, dan menjalankan OpenPose pada setiap frame secara terpisah untuk menginfer kerangka pose, pose tangan, dan landmark wajah. 

Untuk pelatihan awal, model kontrol penampilan dilatih dengan ukuran batch 64 pada 8 NVIDIA A100 GPUs untuk 10 ribu langkah dengan ukuran gambar 512 x 512 diikuti dengan penyetelan bersama model kontrol pose dan penampilan dengan ukuran batch 16 untuk 20 ribu langkah. Selama pelatihan, kerangka MagicDance secara acak mengambil dua frame sebagai target dan referensi dengan gambar yang dipotong pada posisi yang sama dengan ketinggian yang sama. Selama evaluasi, model memotong gambar secara sentral bukan memotongnya secara acak. 

MagicDance : Hasil

Hasil eksperimental yang dilakukan pada kerangka MagicDance ditunjukkan pada gambar berikut, dan seperti yang dapat dilihat, kerangka MagicDance outperforms kerangka lain seperti Disco dan DreamPose untuk transfer gerakan manusia di semua metrik. Kerangka yang memiliki tanda “*” di depan namanya menggunakan gambar target secara langsung sebagai input, dan termasuk lebih banyak informasi dibandingkan dengan kerangka lain. 

Menarik untuk diperhatikan bahwa kerangka MagicDance mencapai skor Face-Cos sebesar 0,426, peningkatan sebesar 156,62% dibandingkan dengan kerangka Disco, dan peningkatan sebesar 400% dibandingkan dengan kerangka DreamPose. Hasil ini menunjukkan kapasitas kerangka MagicDance yang kuat untuk melestarikan informasi identitas, dan peningkatan kinerja yang terlihat menunjukkan superioritas kerangka MagicDance dibandingkan dengan metode mutakhir lainnya. 

Gambar berikut membandingkan kualitas generasi video manusia antara kerangka MagicDance, Disco, dan TPS. Seperti yang dapat dilihat, hasil yang dihasilkan oleh kerangka GT, Disco, dan TPS menderita inkonsistensi identitas pose manusia dan ekspresi wajah. 

Selain itu, gambar berikut menunjukkan visualisasi transfer ekspresi wajah dan pose manusia pada dataset TikTok dengan kerangka MagicDance yang dapat menghasilkan ekspresi dan gerakan yang realistis dan hidup di bawah landmark wajah dan input pose kerangka yang beragam sambil melestarikan informasi identitas dari gambar input referensi dengan akurat. 

Penting untuk diperhatikan bahwa kerangka MagicDance memiliki kemampuan generalisasi yang luar biasa ke gambar referensi out-of-domain dengan pose dan gaya yang tidak terlihat dengan kemampuan kontrol penampilan yang mengesankan bahkan tanpa penyetelan tambahan pada domain target dengan hasil yang ditunjukkan pada gambar berikut. 

Gambar berikut menunjukkan kemampuan visualisasi kerangka MagicDance dalam hal transfer ekspresi wajah dan gerakan manusia nol-shot. Seperti yang dapat dilihat, kerangka MagicDance menggeneralisasi ke gerakan manusia di lapangan dengan sempurna. 

MagicDance : Keterbatasan

OpenPose adalah komponen penting dari kerangka MagicDance karena memainkan peran kritis untuk kontrol pose, mempengaruhi kualitas dan konsistensi temporal dari gambar yang dihasilkan secara signifikan. Namun, kerangka MagicDance masih menemukan sedikit kesulitan untuk mendeteksi landmark wajah dan pose kerangka dengan akurat, terutama ketika objek dalam gambar sebagian terlihat atau menunjukkan gerakan cepat. Masalah ini dapat mengakibatkan artefak dalam gambar yang dihasilkan. 

Kesimpulan

Dalam artikel ini, kita telah membahas tentang MagicDance, model berbasis difusi yang bertujuan untuk merevolusi transfer gerakan manusia. Kerangka MagicDance mencoba mentransfer ekspresi wajah dan gerakan manusia 2D ke video tarian manusia yang menantang dengan tujuan untuk menghasilkan video tarian manusia baru yang dipandu oleh urutan pose untuk identitas target tertentu sambil menjaga identitas asli. Kerangka MagicDance adalah strategi pelatihan dua tahap untuk disentanglement gerakan manusia dan penampilan seperti warna kulit, ekspresi wajah, dan pakaian.

MagicDance adalah pendekatan baru untuk memfasilitasi generasi video manusia yang realistis dengan mengintegrasikan transfer ekspresi wajah dan gerakan, dan memungkinkan animasi yang konsisten di lapangan tanpa memerlukan penyetelan tambahan yang menunjukkan kemajuan signifikan dibandingkan dengan metode yang ada. Selain itu, kerangka MagicDance menunjukkan kemampuan generalisasi yang luar biasa pada urutan gerakan yang kompleks dan identitas manusia yang beragam, menetapkan kerangka MagicDance sebagai pemimpin di bidang transfer gerakan dan generasi video yang dibantu AI.