Selama beberapa tahun, penciptaan animasi potret yang realistis dan ekspresif dari gambar statis dan audio telah menemukan berbagai aplikasi termasuk permainan, media digital, realitas virtual, dan banyak lagi. Meskipun memiliki potensi aplikasi, masih sulit bagi pengembang untuk menciptakan kerangka kerja yang mampu menghasilkan animasi berkualitas tinggi yang mempertahankan konsistensi temporal dan secara visual menarik. Penyebab utama dari kompleksitas ini adalah kebutuhan untuk koordinasi yang rumit dari gerakan bibir, posisi kepala, dan ekspresi wajah untuk menciptakan efek yang secara visual menarik.

Dalam artikel ini, kita akan membahas tentang AniPortrait, sebuah kerangka kerja baru yang dirancang untuk menghasilkan animasi berkualitas tinggi yang didorong oleh gambar potret referensi dan sampel audio. Kerja dari kerangka kerja AniPortrait dibagi menjadi dua tahap. Pertama, kerangka kerja AniPortrait mengekstrak representasi 3D intermediate dari sampel audio, dan memproyeksikan mereka ke dalam urutan tanda-tanda wajah 2D. Setelah itu, kerangka kerja menggunakan model difusi yang kuat dan mengintegrasikannya dengan modul gerakan untuk mengubah urutan tanda-tanda wajah menjadi animasi yang konsisten secara temporal dan fotorealistik. Hasil eksperimental menunjukkan superioritas dan kemampuan kerangka kerja AniPortrait untuk menghasilkan animasi berkualitas tinggi dengan kualitas visual yang luar biasa, keragaman pose, dan kealamiannya, sehingga menawarkan pengalaman perseptual yang ditingkatkan dan diperkaya. Selain itu, kerangka kerja AniPortrait memiliki potensi yang luar biasa dalam hal kontrol dan fleksibilitas, dan dapat diterapkan secara efektif dalam bidang termasuk reenactment wajah, editing gerakan wajah, dan banyak lagi. Artikel ini bertujuan untuk membahas kerangka kerja AniPortrait secara mendalam, dan kita menjelajahi mekanisme, metodologi, arsitektur kerangka kerja bersama dengan perbandingannya dengan kerangka kerja yang ada. Jadi, mari kita mulai.

AniPortrait: Animasi Potret Fotorealistik

Menciptakan animasi potret yang realistis dan ekspresif telah menjadi fokus penelitian selama beberapa waktu sekarang karena potensi dan aplikasinya yang luar biasa, yang meliputi media digital dan realitas virtual hingga permainan dan banyak lagi. Meskipun telah dilakukan penelitian dan pengembangan selama beberapa tahun, menghasilkan animasi berkualitas tinggi yang mempertahankan konsistensi temporal dan secara visual menarik masih merupakan tantangan yang signifikan. Hambatan utama bagi pengembang adalah kebutuhan untuk koordinasi yang rumit antara posisi kepala, ekspresi visual, dan gerakan bibir untuk menciptakan efek yang secara visual menarik. Metode yang ada gagal untuk mengatasi tantangan ini, terutama karena sebagian besar dari mereka bergantung pada generator yang terbatas seperti NeRF, decoder berbasis gerakan, dan GAN untuk pembuatan konten visual. Jaringan ini menunjukkan kemampuan generalisasi yang terbatas, dan tidak stabil dalam menghasilkan konten berkualitas tinggi. Namun, munculnya model difusi baru-baru ini telah memfasilitasi pembuatan gambar berkualitas tinggi, dan beberapa kerangka kerja yang dibangun di atas model difusi bersama dengan modul temporal telah memfasilitasi pembuatan video yang menarik, yang memungkinkan model difusi untuk unggul.

Dengan memanfaatkan kemajuan model difusi, kerangka kerja AniPortrait bertujuan untuk menghasilkan animasi potret berkualitas tinggi menggunakan gambar referensi dan sampel audio. Kerja dari kerangka kerja AniPortrait dibagi menjadi dua tahap. Pada tahap pertama, kerangka kerja AniPortrait menggunakan model berbasis transformer untuk mengekstrak urutan mesh wajah 3D dan pose kepala dari input audio, dan memproyeksikan mereka ke dalam urutan tanda-tanda wajah 2D. Tahap pertama memungkinkan kerangka kerja AniPortrait untuk menangkap gerakan bibir dan ekspresi halus dari audio, serta gerakan kepala yang sinkron dengan irama sampel audio. Pada tahap kedua, kerangka kerja AniPortrait menggunakan model difusi yang kuat dan mengintegrasikannya dengan modul gerakan untuk mengubah urutan tanda-tanda wajah menjadi animasi potret yang konsisten secara temporal dan fotorealistik. Lebih khusus, kerangka kerja AniPortrait menggunakan arsitektur jaringan dari model AnimateAnyone yang ada, yang menggunakan Stable Diffusion 1.5, sebuah model difusi yang kuat untuk menghasilkan animasi yang realistis dan fluid berdasarkan gambar referensi dan urutan gerakan tubuh. Yang perlu diperhatikan adalah bahwa kerangka kerja AniPortrait tidak menggunakan modul pose guider dalam jaringan ini, tetapi merancang ulang modul tersebut, yang memungkinkan kerangka kerja AniPortrait tidak hanya mempertahankan desain yang ringan, tetapi juga menunjukkan presisi yang ditingkatkan dalam menghasilkan gerakan bibir.

Hasil eksperimental menunjukkan superioritas kerangka kerja AniPortrait dalam menghasilkan animasi dengan kualitas visual yang luar biasa, kealamiannya, dan keragaman pose, sehingga menawarkan pengalaman perseptual yang ditingkatkan dan diperkaya. Dengan menggunakan representasi 3D intermediate sebagai fitur, kerangka kerja AniPortrait memperoleh fleksibilitas untuk memodifikasi representasi tersebut sesuai dengan kebutuhan. Fleksibilitas ini secara signifikan meningkatkan kemampuan kerangka kerja AniPortrait untuk diterapkan dalam berbagai bidang, termasuk reenactment wajah dan editing gerakan wajah.

AniPortrait: Kerja dan Metodologi

Kerangka kerja AniPortrait yang diusulkan terdiri dari dua modul, yaitu Lmk2Video dan Audio2Lmk. Modul Audio2Lmk berusaha untuk mengekstrak urutan tanda-tanda wajah yang menangkap gerakan bibir dan ekspresi wajah yang rumit dari input audio, sedangkan modul Lmk2Video menggunakan urutan tanda-tanda wajah tersebut untuk menghasilkan video potret yang konsisten secara temporal. Gambar berikut menunjukkan gambaran kerja dari kerangka kerja AniPortrait. Seperti yang dapat dilihat, kerangka kerja AniPortrait pertama-tama mengekstrak mesh wajah 3D dan pose kepala dari audio, dan memproyeksikan kedua elemen tersebut ke dalam titik-titik kunci 2D. Pada tahap kedua, kerangka kerja menggunakan model difusi untuk mengubah titik-titik kunci 2D menjadi video potret dengan dua tahap yang dilatih secara bersamaan dalam jaringan.

Audio2Lmk

Untuk urutan cuplikan ucapan yang diberikan, tujuan utama dari kerangka kerja AniPortrait adalah untuk memprediksi urutan mesh wajah 3D yang sesuai dengan representasi vektor translasi dan rotasi. Kerangka kerja AniPortrait menggunakan metode wav2vec yang telah dilatih sebelumnya untuk mengekstrak fitur audio, dan model tersebut menunjukkan kemampuan generalisasi yang tinggi, dan mampu mengenali intonasi dan pengucapan dari audio dengan akurat, yang memainkan peran penting dalam menghasilkan animasi wajah yang realistis. Dengan menggunakan fitur audio yang kuat yang diperoleh, kerangka kerja AniPortrait dapat menggunakan arsitektur sederhana yang terdiri dari dua lapisan fc untuk mengubah fitur tersebut menjadi mesh wajah 3D. Kerangka kerja AniPortrait mengamati bahwa desain sederhana yang diimplementasikan oleh model tersebut tidak hanya meningkatkan efisiensi proses inferensi, tetapi juga memastikan akurasi. Ketika mengubah audio menjadi pose, kerangka kerja AniPortrait menggunakan jaringan wav2vec yang sama sebagai backbone, meskipun model tersebut tidak berbagi bobot dengan modul audio ke mesh. Hal ini terutama karena pose lebih terkait dengan nada dan irama yang ada dalam audio, yang memiliki penekanan yang berbeda dibandingkan dengan tugas audio ke mesh. Untuk mempertimbangkan dampak dari keadaan sebelumnya, kerangka kerja AniPortrait menggunakan decoder transformer untuk mendekode urutan pose. Selama proses ini, kerangka kerja mengintegrasikan fitur audio ke dalam decoder menggunakan mekanisme perhatian silang, dan untuk kedua modul, kerangka kerja melatih mereka menggunakan kerugian L1. Setelah model memperoleh pose dan urutan mesh, kerangka kerja menggunakan proyeksi perspektif untuk mengubah urutan tersebut menjadi urutan tanda-tanda wajah 2D yang kemudian digunakan sebagai sinyal input untuk tahap berikutnya.

Lmk2Video

Untuk gambar potret referensi yang diberikan dan urutan tanda-tanda wajah, modul Lmk2Video membuat animasi potret yang konsisten secara temporal, dan animasi tersebut menyelaraskan gerakan dengan urutan tanda-tanda wajah, dan mempertahankan penampilan yang konsisten dengan gambar referensi, dan akhirnya, kerangka kerja merepresentasikan animasi potret sebagai urutan bingkai potret. Desain struktur jaringan Lmk2Video mencari inspirasi dari kerangka kerja AnimateAnyone yang ada. Kerangka kerja AniPortrait menggunakan Stable Diffusion 1.5, sebuah model difusi yang sangat kuat sebagai backbone, dan mengintegrasikannya dengan modul gerakan yang efektif untuk mengubah input noise multi-bingkai menjadi urutan bingkai video. Pada saat yang sama, komponen jaringan ReferencenNet mencerminkan struktur Stable Diffusion 1.5, dan menggunakan komponen tersebut untuk mengekstrak informasi penampilan dari gambar referensi, dan mengintegrasikannya ke dalam backbone. Desain strategis memastikan bahwa identitas wajah tetap konsisten sepanjang video output. Berbeda dengan kerangka kerja AnimateAnyone, kerangka kerja AniPortrait meningkatkan kompleksitas desain PoseGuider. Versi asli kerangka kerja AnimateAnyone hanya terdiri dari beberapa lapisan konvolusi setelah itu fitur tanda-tanda wajah bergabung dengan latens pada lapisan input backbone. Kerangka kerja AniPortrait menemukan bahwa desain tersebut tidak cukup untuk menangkap gerakan bibir yang rumit, dan untuk mengatasi masalah ini, kerangka kerja menggunakan strategi multi-skala dari arsitektur ConvNet, dan mengintegrasikan fitur tanda-tanda wajah skala yang sesuai ke dalam blok-blok backbone. Selain itu, kerangka kerja AniPortrait memperkenalkan perbaikan tambahan dengan memasukkan tanda-tanda wajah gambar referensi sebagai input tambahan. Modul perhatian silang dari komponen PoseGuider memfasilitasi interaksi antara tanda-tanda wajah target dari setiap bingkai dan tanda-tanda wajah referensi. Proses ini memberikan jaringan dengan petunjuk tambahan untuk memahami korelasi antara penampilan dan tanda-tanda wajah, sehingga membantu dalam menghasilkan animasi potret dengan gerakan yang lebih presisi.

AniPortrait: Implementasi dan Hasil

Untuk tahap Audio2Lmk, kerangka kerja AniPortrait menggunakan komponen wav2vec2.0 sebagai backbone, dan memanfaatkan arsitektur MediaPipe untuk mengekstrak mesh 3D dan pose 6D untuk anotasi. Model tersebut menggunakan data pelatihan untuk komponen Audio2Mesh dari dataset internal yang terdiri dari sekitar 60 menit data ucapan berkualitas tinggi yang diambil dari satu pembicara. Untuk memastikan mesh 3D yang diekstrak oleh komponen MediaPipe stabil, pembicara diminta untuk menghadap kamera dan mempertahankan posisi kepala yang stabil selama proses perekaman. Untuk modul Lmk2Video, kerangka kerja AniPortrait mengimplementasikan pendekatan pelatihan dua tahap. Pada tahap pertama, kerangka kerja fokus pada melatih ReferenceNet dan PoseGuider, komponen 2D dari backbone, dan meninggalkan modul gerakan. Pada tahap kedua, kerangka kerja membekukan semua komponen lainnya dan fokus pada melatih modul gerakan. Untuk tahap ini, kerangka kerja menggunakan dua dataset video wajah berkualitas tinggi yang besar untuk melatih model, dan memproses semua data menggunakan komponen MediaPipe untuk mengekstrak tanda-tanda wajah 2D. Selain itu, untuk meningkatkan sensitivitas jaringan terhadap gerakan bibir, model AniPortrait membedakan bibir atas dan bawah dengan warna yang berbeda saat merender gambar pose dari tanda-tanda wajah 2D.

Seperti yang ditunjukkan pada gambar berikut, kerangka kerja AniPortrait menghasilkan serangkaian animasi yang menunjukkan kualitas yang superior serta realisme.

Kerangka kerja kemudian menggunakan representasi 3D intermediate yang dapat diedit untuk memanipulasi output sesuai dengan kebutuhan. Misalnya, pengguna dapat mengekstrak tanda-tanda wajah dari sumber tertentu dan mengubah ID-nya, sehingga memungkinkan kerangka kerja AniPortrait untuk menciptakan efek reenactment wajah.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas tentang AniPortrait, sebuah kerangka kerja baru yang dirancang untuk menghasilkan animasi berkualitas tinggi yang didorong oleh gambar potret referensi dan sampel audio. Dengan hanya memasukkan gambar referensi dan klip audio, kerangka kerja AniPortrait dapat menghasilkan video potret yang menampilkan gerakan kepala yang alami dan gerakan bibir yang halus. Dengan menggunakan kemampuan generalisasi yang kuat dari model difusi, kerangka kerja AniPortrait menghasilkan animasi yang menampilkan kualitas gambar yang realistis dan gerakan yang hidup. Kerja dari kerangka kerja AniPortrait dibagi menjadi dua tahap. Pertama, kerangka kerja AniPortrait mengekstrak representasi 3D intermediate dari sampel audio, dan memproyeksikan mereka ke dalam urutan tanda-tanda wajah 2D. Setelah itu, kerangka kerja menggunakan model difusi yang kuat dan mengintegrasikannya dengan modul gerakan untuk mengubah urutan tanda-tanda wajah menjadi animasi yang konsisten secara temporal dan fotorealistik. Hasil eksperimental menunjukkan superioritas dan kemampuan kerangka kerja AniPortrait untuk menghasilkan animasi berkualitas tinggi dengan kualitas visual yang luar biasa, keragaman pose, dan kealamiannya, sehingga menawarkan pengalaman perseptual yang ditingkatkan dan diperkaya. Selain itu, kerangka kerja AniPortrait memiliki potensi yang luar biasa dalam hal kontrol dan fleksibilitas, dan dapat diterapkan secara efektif dalam bidang termasuk reenactment wajah, editing gerakan wajah, dan banyak lagi.