Teknologi LipSync3D Google Menawarkan Sinkronisasi Gerakan Bibir yang Ditingkatkan

Kolaborasi antara peneliti Google AI dan Indian Institute of Technology Kharagpur menawarkan kerangka baru untuk mensintesis talking head dari konten audio. Proyek ini bertujuan untuk menghasilkan cara yang dioptimalkan dan berdaya guna untuk menciptakan konten video talking head dari audio, untuk tujuan menyinkronkan gerakan bibir dengan audio yang disinkronkan atau diterjemahkan mesin, dan untuk digunakan dalam avatar, aplikasi interaktif, dan lingkungan waktu nyata lainnya.

Sumber: https://www.youtube.com/watch?v=L1StbX9OznY

Model pembelajaran mesin yang dilatih dalam proses ini – disebut LipSync3D – hanya memerlukan satu video identitas wajah target sebagai data input. Pipa data preparation memisahkan ekstraksi geometri wajah dari evaluasi pencahayaan dan aspek lain dari video input, memungkinkan pelatihan yang lebih ekonomis dan fokus.

Alur kerja dua tahap LipSync3D. Di atas, generasi wajah 3D yang diwarnai dinamis dari ‘target’ audio; di bawah, penyisipan mesh yang dihasilkan ke dalam video target.

Sebenarnya, kontribusi paling signifikan LipSync3D terhadap tubuh penelitian di area ini mungkin adalah algoritma normalisasi pencahayaan, yang memisahkan pelatihan dan inferensi pencahayaan.

Memisahkan data pencahayaan dari geometri umum membantu LipSync3D menghasilkan output gerakan bibir yang lebih realistis dalam kondisi yang menantang. Pendekatan lain dalam beberapa tahun terakhir telah membatasi diri pada kondisi pencahayaan ‘tetap’ yang tidak akan mengungkapkan kapasitas yang lebih terbatas dalam hal ini.

Selama pra-pengolahan bingkai data input, sistem harus mengidentifikasi dan menghapus titik spekular, karena ini khusus untuk kondisi pencahayaan di mana video diambil, dan akan mengganggu proses relighting.

LipSync3D, seperti namanya, tidak melakukan analisis piksel sederhana pada wajah yang dievaluasi, tetapi secara aktif menggunakan landmark wajah yang diidentifikasi untuk menghasilkan mesh CGI yang dapat bergerak, bersama dengan tekstur yang ‘dibuka’ yang dibungkus di sekitarnya dalam pipa CGI tradisional.

Normalisasi pose di LipSync3D. Di kiri adalah bingkai input dan fitur yang terdeteksi; di tengah, vertex yang dinormalisasi dari mesh evaluasi yang dihasilkan; dan di kanan, atlas tekstur yang sesuai, yang menyediakan kebenaran dasar untuk prediksi tekstur. Sumber: https://arxiv.org/pdf/2106.04185.pdf

Peneliti juga mengklaim bahwa LipSync3D menawarkan tiga inovasi utama dari pekerjaan sebelumnya: pemisahan geometri, pencahayaan, pose, dan tekstur menjadi aliran data diskrit dalam ruang yang dinormalisasi; model prediksi tekstur auto-regresif yang mudah dilatih yang menghasilkan sintesis video yang konsisten secara temporal; dan peningkatan realisme, seperti yang dievaluasi oleh peringkat manusia dan metrik objektif.

Memisahkan berbagai aspek citra wajah video memungkinkan kontrol yang lebih besar dalam sintesis video.

LipSync3D dapat menurunkan geometri gerakan bibir yang sesuai langsung dari audio dengan menganalisis fonem dan aspek lain dari ucapan, dan menerjemahkannya menjadi pose otot yang sesuai di sekitar area mulut.

Proses ini menggunakan pipa prediksi gabungan, di mana geometri dan tekstur yang diinferensi memiliki pengkode khusus dalam setup autoencoder, tetapi berbagi pengkode audio dengan ucapan yang dimaksudkan untuk diterapkan pada model:

Sintesis gerakan labil LipSync3D juga dimaksudkan untuk memberdayakan avatar CGI yang distilisasi, yang pada dasarnya hanya informasi mesh dan tekstur yang sama seperti citra dunia nyata:

Avatar 3D yang distilisasi memiliki gerakan bibir yang diberdayakan secara waktu nyata oleh video pembicara sumber. Dalam skenario seperti itu, hasil terbaik akan diperoleh dengan pra-pelatihan yang dipersonalisasi.

Peneliti juga mengantisipasi penggunaan avatar dengan nuansa yang sedikit lebih realistis:

Waktu pelatihan contoh untuk video berkisar dari 3-5 jam untuk video 2-5 menit, dalam pipa yang menggunakan TensorFlow, Python, dan C++ pada GeForce GTX 1080. Sesi pelatihan menggunakan ukuran batch 128 bingkai selama 500-1000 epoch, dengan setiap epoch mewakili evaluasi lengkap video.

Menuju Sinkronisasi Dinamis Gerakan Bibir

Bidang penyinkronan bibir untuk mengakomodasi trek audio baru telah menerima banyak perhatian dalam penelitian penglihatan komputer dalam beberapa tahun terakhir (lihat di bawah), tidak hanya karena ini merupakan produk sampingan dari teknologi deepfake yang kontroversial.

Pada 2017, Universitas Washington mempresentasikan penelitian yang mampu mempelajari sinkronisasi bibir dari audio, menggunakan ini untuk mengubah gerakan bibir mantan presiden Obama. Pada 2018, Max Planck Institute for Informatics memimpin inisiatif penelitian lain untuk memungkinkan transfer video identitas-ke-identitas, dengan sinkronisasi bibir sebagai produk sampingan dari proses; dan pada Mei 2021, perusahaan AI FlawlessAI mengungkap teknologi sinkronisasi bibir paten TrueSync, yang diterima secara luas di pers sebagai pemungkinkan teknologi dubbing yang ditingkatkan untuk rilis film besar di seluruh bahasa.

Dan, tentu saja, pengembangan berkelanjutan dari repositori sumber terbuka deepfake menyediakan cabang penelitian lain yang aktif dan disumbangkan oleh pengguna dalam bidang sintesis citra wajah.