Mengubah Wajah dalam Video dengan Pembelajaran Mesin

Kolaborasi penelitian antara Tiongkok dan Inggris telah mengembangkan metode baru untuk mengubah wajah dalam video. Teknik ini memungkinkan perubahan wajah yang meyakinkan dengan konsistensi tinggi dan tanpa artifact.

Dari video YouTube yang digunakan sebagai bahan oleh peneliti, aktris Jennifer Lawrence muncul sebagai kepribadian yang lebih kurus (kanan). Lihat video yang disertakan di bagian bawah artikel ini untuk contoh lebih banyak dengan resolusi yang lebih baik. Sumber: https://www.youtube.com/watch?v=tA2BxvrKvjE

Jenis transformasi ini biasanya hanya mungkin melalui metode CGI tradisional yang memerlukan merekam wajah secara keseluruhan melalui prosedur motion-capping, rigging, dan texturing yang detail dan mahal.

Sebaliknya, apa yang ada dalam teknik ini adalah CGI yang terintegrasi ke dalam pipa neural sebagai informasi wajah 3D parametri yang kemudian digunakan sebagai dasar untuk alur kerja pembelajaran mesin.

Wajah parametri tradisional semakin banyak digunakan sebagai pedoman untuk proses transformasi yang menggunakan AI bukan CGI. Sumber: https://arxiv.org/pdf/2205.02538.pdf

Penulis menyatakan:

‘Tujuan kami adalah untuk menghasilkan hasil perubahan wajah yang berkualitas tinggi dengan mengedit bentuk wajah secara keseluruhan sesuai dengan deformasi wajah alami di dunia nyata. Ini dapat digunakan untuk aplikasi seperti pembuatan wajah yang indah untuk kecantikan, dan penebalan wajah untuk efek visual.’

Meskipun perubahan wajah 2D dan distorsi telah tersedia untuk konsumen sejak munculnya Photoshop (dan telah menyebabkan sub-budaya aneh dan sering tidak dapat diterima seputar distorsi wajah dan dismorfia tubuh), ini adalah trik yang sulit dilakukan dalam video tanpa menggunakan CGI.

Mark Zuckerberg dengan dimensi wajah yang diperluas dan dipersempit oleh teknik baru Tiongkok-Inggris.

Pengubahan tubuh saat ini adalah bidang minat intens di sektor penglihatan komputer, terutama karena potensinya dalam e-commerce fashion, meskipun membuat seseorang tampak lebih tinggi atau beragam secara kerangka saat ini adalah tantangan yang mencolok.

Demikian pula, mengubah bentuk kepala dalam footage video dengan cara yang konsisten dan meyakinkan telah menjadi subjek penelitian sebelumnya dari penulis kertas baru, meskipun implementasi tersebut menderita artifact dan keterbatasan lainnya. Sistem baru ini memperluas kemampuan penelitian sebelumnya dari output statis ke video.

Sistem baru ini dilatih pada PC desktop dengan AMD Ryzen 9 3950X dengan 32GB memori, dan menggunakan algoritma arus optik dari OpenCV untuk peta gerak, yang disaring oleh kerangka StructureFlow; Jaringan Pemosisian Wajah (FAN) komponen untuk estimasi landmark, yang juga digunakan dalam paket deepfakes populer; dan Ceres Solver untuk menyelesaikan tantangan optimasi.

Contoh ekstrem dari pelebaran wajah dengan sistem baru.

Kertas kertas ini berjudul Parametric Reshaping of Portraits in Videos, dan berasal dari tiga peneliti di Universitas Zhejiang, dan satu dari Universitas Bath.

Tentang Wajah

Di bawah sistem baru, video dipecah menjadi urutan gambar, dan pose kaku pertama kali diestimasi untuk setiap wajah. Kemudian sejumlah bingkai berikutnya diestimasi bersama untuk membangun parameter identitas yang konsisten sepanjang jalur gambar (yaitu bingkai video).

Aliran arsitektur sistem perubahan wajah.

Setelah itu, ekspresi dievaluasi, menghasilkan parameter perubahan yang diimplementasikan oleh regresi linier. Kemudian, pendekatan fungsi jarak tanda baru (SDF) membangun pemetaan 2D yang padat dari garis-garis wajah sebelum dan sesudah perubahan.

Akhirnya, optimasi perubahan konten dilakukan pada video output.

Wajah Parametri

Proses ini menggunakan Model Wajah 3D yang Dapat Diubah (3DMM), sebuah tambahan yang semakin populer untuk sistem sintesis wajah berbasis neural dan GAN, serta dapat digunakan untuk deteksi deepfake.

Bukan dari kertas baru, tapi contoh Model Wajah 3D yang Dapat Diubah (3DMM) – wajah prototipe parametri yang digunakan dalam proyek baru. Kiri atas, aplikasi landmark pada wajah 3DMM. Kanan atas, vertex mesh 3D dari isomap. Kiri bawah menunjukkan landmark fitting; tengah-bawah, isomap dari tekstur wajah yang diekstrak; dan kanan bawah, hasil fitting dan bentuk. Sumber: http://www.ee.surrey.ac.uk/CVSSP/Publications/papers/Huber-VISAPP-2016.pdf

Alur kerja sistem baru harus mempertimbangkan kasus oklusi, seperti ketika subjek menoleh. Ini adalah salah satu tantangan terbesar dalam perangkat lunak deepfake, karena landmark FAN memiliki sedikit kemampuan untuk mempertimbangkan kasus-kasus ini, dan cenderung mengalami degradasi kualitas saat wajah menoleh atau teroklusi.

Sistem baru ini dapat menghindari jebakan ini dengan mendefinisikan energi kontur yang mampu mencocokkan batas antara wajah 3D (3DMM) dan wajah 2D (sebagaimana didefinisikan oleh landmark FAN).

Optimasi

Penerapan yang berguna untuk sistem seperti ini adalah untuk mengimplementasikan deformasi waktu nyata, misalnya dalam filter video-obrolan. Kerangka kerja saat ini tidak memungkinkan ini, dan sumber daya komputasi yang diperlukan akan membuat ‘deformasi langsung’ menjadi tantangan yang mencolok.

Menurut kertas, dan dengan asumsi target video 24fps, operasi per-bingkai dalam pipa mewakili keterlambatan 16,344 detik untuk setiap detik footage, dengan tambahan satu kali untuk estimasi identitas dan deformasi wajah 3D (321ms dan 160ms, masing-masing).

Oleh karena itu, optimasi adalah kunci untuk membuat kemajuan menuju pengurangan keterlambatan. Karena optimasi bersama di seluruh bingkai akan menambahkan overhead yang parah pada proses, dan optimasi gaya init (menganggap identitas konsisten speaker dari bingkai pertama) bisa menyebabkan anomali, penulis telah mengadopsi skema yang langka untuk menghitung koefisien bingkai yang diambil pada interval praktis.

Optimasi bersama kemudian dilakukan pada subset bingkai ini, menghasilkan proses rekonstruksi yang lebih ramping.

Perubahan Wajah

Teknik perubahan yang digunakan dalam proyek ini adalah adaptasi dari pekerjaan penulis pada tahun 2020 Potret yang Dapat Diubah (DSP).

Potret yang Dapat Diubah, sebuah pengajuan tahun 2020 untuk ACM Multimedia. Kertas ini dipimpin oleh peneliti dari ZJU-Tencent Game and Intelligent Graphics Innovation Technology Joint Lab. Sumber: http://www.cad.zju.edu.cn/home/jin/mm2020/demo.mp4

Penulis mengamati ‘Kami memperluas metode ini dari mengubah satu gambar monokular ke mengubah seluruh urutan gambar.’

Uji

Kertas ini menyatakan bahwa tidak ada bahan sebelumnya yang dapat dibandingkan untuk mengevaluasi metode baru. Oleh karena itu, penulis membandingkan bingkai dari output video yang diubah dengan output statis DSP.

Menguji sistem baru melawan gambar statis dari Potret yang Dapat Diubah.

Penulis mencatat bahwa artifact muncul dari metode DSP, karena penggunaan pemetaan yang langka – masalah yang diselesaikan oleh kerangka kerja baru dengan pemetaan yang padat. Selain itu, video yang dihasilkan oleh DSP, kertas tersebut berpendapat, menunjukkan kurangnya kehalusan dan koherensi visual.

Penulis menyatakan:

‘Hasilnya menunjukkan bahwa pendekatan kami dapat menghasilkan video potret yang diubah dengan koheren dan robust, sedangkan metode berbasis gambar dapat dengan mudah menyebabkan artifact yang terlihat.’

Lihat video yang disertakan di bawah, untuk contoh lebih banyak:

Publikasi pertama 9 Mei 2022. Direvisi pukul 18.00 EET, menggantikan ‘bidang’ dengan ‘fungsi’ untuk SDF.