Menambahkan Dialog ke Video Nyata dengan AI

Sebuah kerangka kerja AI baru dapat menulis ulang, menghapus, atau menambahkan kata-kata seseorang dalam video tanpa harus syuting ulang, dalam satu sistem akhir-ke-akhir.

Tiga tahun yang lalu, internet akan terkejut oleh salah satu dari 20-30 kerangka kerja video-AI yang dipublikasikan di portal akademis setiap minggu; sekarang, jenis penelitian ini telah menjadi sangat melimpah sehingga hampir membentuk cabang lain dari ‘AI Slop’, dan saya meliput lebih sedikit dari rilis seperti itu dibandingkan dengan dua atau tiga tahun sebelumnya.

Namun, salah satu rilis saat ini menarik perhatian saya: sebuah sistem terintegrasi yang dapat mengintervensi klip video nyata dan memasukkan ucapan baru ke dalam video yang ada (bukan membuat klip generatif seluruhnya dari wajah atau bingkai, yang lebih umum).

Dalam contoh di bawah, yang saya edit bersama dari beberapa video contoh yang tersedia di situs web proyek, kita melihat klip sumber asli, dan kemudian, di bawahnya, ucapan AI yang diberikan di tengah klip, termasuk sintesis suara dan sinkronisasi bibir:

Klik untuk memutar. Penyuntingan lokal dengan jahitan – salah satu modalitas yang ditawarkan oleh FacEDiT. Silakan merujuk ke situs web sumber untuk resolusi yang lebih baik. Sumber – https://facedit.github.io/

Pendekatan ini adalah salah satu dari tiga yang dikembangkan untuk metode baru ini, yang berjudul ‘penyuntingan lokal dengan jahitan’, dan yang paling menarik bagi penulis (serta saya). Esensinya, klip tersebut diperpanjang dengan menggunakan salah satu bingkai tengah sebagai titik awal untuk interpretasi AI baru, dan bingkai berikutnya (nyata) sebagai tujuan yang klip yang dihasilkan harus sesuai.

Para penulis membingkai pendekatan sintesis wajah dan vokal ini sebagai metode akhir-ke-akhir yang sepenuhnya terintegrasi pertama untuk penyuntingan video AI jenis ini, mengamati potensi kerangka kerja yang sepenuhnya dikembangkan seperti ini untuk produksi TV dan film:

‘Sutradara dan produser media sering perlu merevisi bagian tertentu dari video yang direkam – mungkin sebuah kata salah diucapkan atau skrip berubah setelah syuting. Misalnya, dalam adegan ikonik dari Titanic (1997) di mana Rose mengatakan, “I’ll never let go, Jack,” sutradara mungkin kemudian memutuskan itu harus “I’ll never forget you, Jack”.

‘Tradisional, perubahan seperti itu memerlukan syuting ulang seluruh adegan, yang mahal dan memakan waktu. Sintesis wajah berbicara menawarkan alternatif praktis dengan secara otomatis memodifikasi gerakan wajah untuk mencocokkan ucapan yang direvisi, menghilangkan kebutuhan akan syuting ulang.’

Walaupun interposisi AI seperti itu mungkin menghadapi perlawanan budaya atau industri, mereka juga dapat membentuk fungsi baru dalam sistem VFX yang dipimpin manusia dan paket alat. Dalam hal ini, tantangannya secara teknis.

Selain memperpanjang klip melalui dialog AI tambahan, sistem baru juga dapat mengubah ucapan yang ada:

Klik untuk memutar. Contoh mengubah ucapan yang ada daripada memasukkan ucapan tambahan. Silakan merujuk ke situs web sumber untuk resolusi yang lebih baik.

Keadaan Saat Ini

Saat ini tidak ada sistem akhir-ke-akhir yang menawarkan kemampuan sintesis seperti ini; walaupun sejumlah platform AI generatif seperti Veo series dapat menghasilkan audio, dan berbagai kerangka kerja lain dapat membuat audio deepfaked, saat ini masih diperlukan pipeline yang cukup kompleks dari arsitektur yang berbeda dan trik untuk mengganggu footage nyata dengan cara yang sistem baru – yang berjudul FacEDiT – dapat capai.

Sistem ini menggunakan Diffusion Transformers (DiT) dalam kombinasi dengan Flow Matching untuk membuat gerakan wajah yang dikondisikan pada gerakan kontekstual dan konten audio ucapan. Sistem ini menggunakan paket populer yang ada yang menangani rekonstruksi wajah, termasuk LivePortrait (baru-baru ini diambil alih oleh Kling).

Selain metode ini, karena pendekatan mereka adalah yang pertama untuk mengintegrasikan tantangan ini ke dalam satu solusi, penulis telah membuat benchmark baru yang disebut FacEDiTBench, bersama dengan beberapa metrik evaluasi baru yang sesuai untuk tugas ini.

Kerja baru ini berjudul FacEDiT: Unified Talking Face Editing and Generation via Facial Motion Infilling, dan berasal dari empat peneliti di Korea’s Pohang University of Science and Technology (POSTECH), Korea Advanced Institute of Science & Technology (KAIST), dan The University of Texas at Austin.

Metode

FacEDiT dilatih untuk merekonstruksi gerakan wajah dengan belajar bagaimana mengisi bagian yang hilang dari penampilan asli aktor, berdasarkan gerakan sekitar dan audio ucapan. Seperti yang ditunjukkan dalam skema di bawah, proses ini memungkinkan model untuk bertindak sebagai pengisi celah selama pelatihan, memprediksi gerakan wajah yang sesuai dengan suara sambil tetap konsisten dengan video asli:

Overview of the FacEDiT system, showing how facial motion is learned through self‑supervised infilling during training, guided by edited speech at inference, and finally rendered back into video by reusing the appearance of the original footage, while replacing only the targeted motion. Source

Saat waktu inferensi, arsitektur yang sama mendukung dua output yang berbeda tergantung pada seberapa banyak video yang dimasker: penyuntingan sebagian, di mana hanya frasa yang diubah dan sisanya dibiarkan tidak disentuh; atau generasi kalimat penuh, di mana gerakan baru disintesis sepenuhnya dari awal.

Model ini dilatih melalui flow matching, yang mengobati penyuntingan video sebagai jenis jalur antara dua versi gerakan wajah.

Sebagai gantinya untuk belajar menebak seperti apa wajah yang diedit harus terlihat dari awal, flow matching belajar untuk bergerak secara bertahap dan lancar antara placeholder yang berisik dan gerakan yang benar. Untuk memfasilitasi ini, sistem ini merepresentasikan gerakan wajah sebagai himpunan angka kompak yang diekstrak dari setiap bingkai menggunakan versi LivePortrait yang disebutkan sebelumnya (lihat skema di atas).

Vektor gerakan ini dirancang untuk menggambarkan ekspresi dan pose kepala tanpa menggabungkan identitas, sehingga perubahan ucapan dapat dilokalisasi tanpa mempengaruhi penampilan keseluruhan orang.

FacEDiT Training

Untuk melatih FacEDiT, setiap klip video dipecah menjadi serangkaian snapshot gerakan wajah, dan setiap bingkai dipasangkan dengan potongan audio yang sesuai. Bagian acak dari data gerakan kemudian disembunyikan, dan model diminta untuk menebak seperti apa gerakan yang hilang itu harus terlihat, menggunakan ucapan dan gerakan sekitar yang tidak dimasker sebagai konteks.

Karena span yang dimasker dan posisinya bervariasi dari satu contoh pelatihan ke contoh lain, model secara bertahap belajar bagaimana menangani penyuntingan internal kecil dan celah yang lebih panjang, untuk generasi urutan penuh, tergantung pada seberapa banyak informasi yang diberikan.

Sistem Diffusion Transformer yang disebutkan sebelumnya belajar untuk memulihkan gerakan yang dimasker dengan memperbaiki input yang berisik seiring waktu. Sebagai gantinya untuk memasukkan ucapan dan gerakan ke dalam model sekaligus, audio diutus ke dalam setiap blok pemrosesan melalui cross-attention, membantu sistem untuk mencocokkan gerakan bibir lebih presisi dengan ucapan.

Untuk mempertahankan realisme di seluruh penyuntingan, perhatian dibias ke bingkai tetangga daripada timeline keseluruhan, memaksa model untuk fokus pada kontinuitas lokal dan mencegah kilatan atau lompatan gerakan di tepi wilayah yang diedit. Embedding posisional (yang memberitahu model di mana setiap bingkai muncul dalam urutan) lebih lanjut membantu model untuk mempertahankan aliran waktu alami dan konteks.

Saat pelatihan, sistem belajar untuk memprediksi gerakan wajah yang hilang dengan merekonstruksi span yang dimasker berdasarkan ucapan dan gerakan sekitar yang tidak dimasker. Saat waktu inferensi, setup yang sama digunakan kembali, tetapi dengan masker yang sekarang dipandu oleh penyuntingan dalam ucapan.

Saat sebuah kata atau frasa dimasukkan, dihapus, atau diubah, sistem menemukan wilayah yang terkena, memaskernya, dan meregenerasi gerakan yang sesuai dengan ucapan baru. Generasi urutan penuh dianggap sebagai kasus khusus, di mana seluruh wilayah dimasker dan disintesis dari awal.

Data dan Tes

Tulang punggung sistem ini terdiri dari 22 lapisan untuk Diffusion Transformer, masing-masing dengan 16 attention heads dan dimensi feedforward 1024 dan 2024px. Fitur gerakan dan penampilan diekstrak menggunakan komponen LivePortrait yang dibekukan, dan ucapan dikodekan melalui WavLM dan dimodifikasi menggunakan VoiceCraft.

Lapisan proyeksi khusus memetakan fitur ucapan 786-dimensi ke dalam ruang laten DiT, dengan hanya DiT dan modul proyeksi yang dilatih dari awal.

Pelatihan dilakukan di bawah AdamW optimizer dengan tingkat pembelajaran target 1e-4, selama satu juta langkah, pada dua A6000 GPUs (masing-masing dengan 48GB VRAM), dengan ukuran batch total delapan.

FacEDiTBench

Dataset FacEDiTBench berisi 250 contoh, masing-masing dengan klip video ucapan asli dan diedit, serta transkrip untuk keduanya. Video tersebut berasal dari tiga sumber, dengan 100 klip dari HDTF, 100 dari Hallo3, dan 50 dari CelebV-Dub. Setiap contoh diperiksa secara manual untuk memastikan bahwa baik audio maupun video cukup jelas untuk evaluasi.

GPT-4o digunakan untuk merevisi setiap transkrip untuk membuat penyuntingan yang valid secara tata bahasa. Transkrip yang direvisi, bersama dengan ucapan asli, dipasukkan ke VoiceCraft untuk menghasilkan audio baru; dan pada setiap tahap, baik transkrip maupun ucapan yang dihasilkan diperiksa secara manual untuk kualitas.

Setiap contoh dilabeli dengan jenis penyuntingan, waktu perubahan, dan panjang span yang dimodifikasi, dan penyuntingan diklasifikasikan sebagai penyisipan, penghapusan, atau penggantian. Jumlah kata yang diubah berkisar dari penyuntingan pendek 1-3 kata, penyuntingan sedang 4-6 kata, dan penyuntingan yang lebih panjang 7-10 kata.

Tiga metrik khusus didefinisikan untuk mengevaluasi kualitas penyuntingan. Kontinuitas fotometrik, untuk mengukur seberapa baik pencahayaan dan warna segmen yang diedit bercampur dengan video sekitarnya, dengan membandingkan perbedaan pada tingkat piksel di batas; kontinuitas gerakan, untuk menilai konsistensi gerakan wajah, dengan mengukur perubahan aliran optik di seluruh bingkai yang diedit dan tidak diedit; dan pelestarian identitas, untuk memperkirakan apakah penampilan subjek tetap konsisten setelah penyuntingan, dengan membandingkan embedding wajah dari urutan asli dan yang dihasilkan menggunakan model pengenalan wajah ArcFace.

Tes

Model tes dilatih pada materi dari tiga dataset yang disebutkan sebelumnya, dengan total sekitar 200 jam konten video, termasuk vlog dan film, serta video YouTube dengan resolusi tinggi.

Untuk mengevaluasi penyuntingan wajah berbicara, FacEDiTBench digunakan, serta HDTF test split, yang telah menjadi standar benchmarking untuk suite tugas ini.

Karena tidak ada sistem yang dapat dibandingkan langsung yang mampu mengapsulkan fungsionalitas akhir-ke-akhir seperti ini, penulis memilih berbagai kerangka kerja yang mereproduksi setidaknya beberapa fungsionalitas target, dan dapat beroperasi sebagai baseline; yaitu, KeyFace; EchoMimic; EchoMimicV2; Hallo; Hallo2; Hallo3; V-Express; AniPortrait; dan SadTalker.

Beberapa metrik yang sudah ada juga digunakan untuk mengevaluasi kualitas generasi dan penyuntingan, dengan akurasi sinkronisasi bibir dievaluasi melalui SyncNet, melaporkan kesalahan absolut antara gerakan bibir dan audio (LSE-D) dan skor kepercayaan (LSE-C); Fréchet Video Distance (FVD) mengukur seberapa realistis video tersebut tampak secara keseluruhan; dan Learned Perceptual Similarity Metrics (LPIPS), mengukur kesamaan perseptual antara bingkai yang dihasilkan dan asli.

Untuk penyuntingan, semua metrik kecuali LPIPS diterapkan hanya pada segmen yang dimodifikasi; untuk generasi, seluruh video dievaluasi, dengan kontinuitas batas dikecualikan.

Setiap model diminta untuk mensintesis segmen video yang sesuai, yang kemudian disisipkan ke dalam klip asli (peneliti mencatat bahwa metode ini sering memperkenalkan diskontinuitas yang terlihat, di mana segmen yang diedit bertemu dengan footage sekitarnya). Pendekatan kedua juga diuji, di mana seluruh video dihasilkan kembali dari audio yang dimodifikasi – tetapi ini secara tidak sengaja menghapus wilayah yang tidak diedit, dan gagal mempertahankan penampilan asli:

Perbandingan kinerja penyuntingan di seluruh sistem yang awalnya dirancang untuk generasi wajah berbicara, dengan FacEDiT mengungguli semua baseline di setiap metrik, mencapai kesalahan sinkronisasi bibir yang lebih rendah (LSE-D), kepercayaan sinkronisasi yang lebih tinggi (LSE-C), pelestarian identitas yang lebih kuat (IDSIM), realisme perseptual yang lebih besar (FVD), dan transisi yang lebih halus di seluruh batas penyuntingan (Pcontinuity, Mcontinuity). Kolom abu-abu menyoroti kriteria kunci untuk menilai kualitas batas; nilai yang dicetak tebal dan bergaris bawah menunjukkan hasil terbaik dan kedua terbaik, respectively

Mengenai hasil ini, penulis mengomentari:

‘[Model kami] secara signifikan mengungguli metode yang ada pada tugas penyuntingan. Ini mencapai kontinuitas batas yang kuat dan pelestarian identitas yang tinggi, menunjukkan kemampuannya untuk mempertahankan konsistensi temporal dan visual selama penyuntingan. Selain itu, akurasi sinkronisasi bibir yang superior dan FVD yang rendah mencerminkan realisme video yang disintesis.’

Klik untuk memutar. Hasil, disusun oleh penulis ini dari video yang dipublikasikan di situs proyek. Silakan merujuk ke situs web sumber untuk resolusi yang lebih baik.

Lebih lanjut, sebuah studi manusia dilakukan untuk mengevaluasi kualitas yang dirasakan di seluruh penyuntingan dan generasi.

Untuk setiap perbandingan, peserta menonton enam video dan menilai mereka berdasarkan kualitas keseluruhan, mempertimbangkan akurasi sinkronisasi bibir, naturalitas, dan realisme gerakan kepala. Dalam percobaan penyuntingan, peserta juga menilai kelancaran transisi antara segmen yang diedit dan tidak diedit:

Peringkat rata-rata yang diberikan oleh evaluator manusia, di mana yang lebih rendah berarti lebih baik. Dalam penyuntingan dan generasi, peserta menilai seberapa alami dan seberapa sinkron setiap video. Untuk penyuntingan, mereka juga menilai seberapa halus transisi antara ucapan yang diedit dan tidak diedit. Angka yang dicetak tebal dan bergaris bawah menunjukkan dua skor teratas.

Dalam studi ini, FacEDiT secara konsisten dinilai tertinggi oleh peserta dengan selisih yang jelas, baik untuk kualitas penyuntingan maupun kelancaran transisi, serta mendapatkan skor yang kuat dalam pengaturan generasi, menunjukkan bahwa keunggulan yang diukur berubah menjadi output yang lebih disukai secara perseptual.

Karena keterbatasan ruang, kami merujuk pembaca ke makalah sumber untuk detail lebih lanjut tentang studi ablasion dan tes tambahan yang dilakukan dan dilaporkan dalam karya baru ini. Pada kenyataannya, penawaran penelitian prototipe seperti ini seringkali berjuang untuk menghasilkan bagian hasil tes yang bermakna, karena penawaran intinya sendiri pada akhirnya merupakan baseline potensial untuk karya selanjutnya.

Kesimpulan

Even untuk inferensi, sistem seperti ini mungkin memerlukan sumber daya komputasi yang signifikan pada waktu inferensi, membuatnya sulit bagi pengguna hilir – di sini, kemungkinan besar toko VFX – untuk menjaga pekerjaan tetap di tempat. Oleh karena itu, pendekatan yang dapat disesuaikan dengan sumber daya lokal yang realistis akan selalu lebih disukai oleh penyedia, yang berada di bawah kewajiban hukum untuk melindungi footage klien dan IP umum.

Itu bukan untuk mengkritik penawaran baru, yang mungkin berfungsi dengan sempurna di bawah bobot kuantisasi atau optimasi lainnya, dan yang merupakan penawaran pertama dari jenisnya yang menarik saya kembali ke jalur penelitian ini dalam waktu yang cukup lama.

Pertama kali dipublikasikan pada hari Rabu, 17 Desember 202. Diedit 20.10 EET, hari yang sama, untuk ruang tambahan di paragraf tubuh pertama.