Memperbaiki Panggilan Video yang Buram secara Real-Time Menggunakan Hanya CPU

Metode baru menciptakan model AI wajah Anda dalam beberapa detik, untuk memperbaiki panggilan video yang buram secara real-time — berjalan sepenuhnya pada laptop CPU dasar, tanpa memerlukan perangkat keras yang kuat, atau pemrosesan cloud.

Meskipun pengguna di negara dengan sumber daya yang terbatas paling terkena dampak oleh gambar video chat yang berkualitas rendah, ini seringkali merupakan ‘masalah dunia pertama’ juga – misalnya, jika salah satu peserta dalam obrolan menggunakan hotspot Wi-Fi yang terlalu banyak digunakan, atau beberapa proses atau orang lain di rumah peserta mendominasi bandwidth yang tersedia; atau bahkan jika orang tersebut mengunjungi negara dengan koneksi yang buruk.

Karena masalah ini umum, sejumlah perhatian telah diberikan pada hal ini dalam literatur penelitian, dengan solusi yang diusulkan melalui deblocking, denoising, super-resolusi, dan metode lainnya. Sistem VQFR dari 2022 memulihkan gambar wajah yang rusak dengan menggantikan fitur gambar berkualitas rendah dengan representasi berkualitas lebih tinggi yang diambil dari kodebuk yang dipelajari; 2021’s GFP-GAN menggunakan prioritas wajah generatif untuk meningkatkan gambar LQ; dan RTFVE: Realtime Face Video Enhancement menggunakan gambar referensi berkualitas tinggi untuk melakukan restorasi wajah:

Click to play, as necessary. From the 2025 RTFVE face enhancement project, GPU-accelerated improvement of faces. Source

Dari sudut pandang pengguna yang memiliki sumber daya terbatas, sebagian besar solusi ini tidak layak, karena mereka memindahkan pekerjaan ke GPU yang mungkin tidak tersedia di setup pengguna. Namun, menggunakan CPU (yang jauh menos mampu) untuk tugas penglihatan komputer biasanya merupakan proses offline, yang berarti bahwa satu harus menunggu CPU selesai memproses sebelum output akan tersedia.

Ini tidak dapat diterima untuk skenario video chat, yang membutuhkan sumber daya banyak tetapi juga seringkali kekurangan sumber daya: sistem perbaikan wajah yang benar-benar demokratis harus berjalan pada CPU dengan kecepatan minimum 24fps pada resolusi yang wajar; dan ini adalah permintaan yang banyak.

Menghadapi

Skenario yang menantang ini dipenuhi oleh penawaran penelitian baru dari AS, yang mampu, menurut klaim penulis, melatih model dalam waktu kurang dari 100 detik dari bingkai yang jarang dari wajah pemirsa, dengan model akhir kemudian berjalan sebagai lapisan antara pengguna dan konferensi, melalui lapisan API resmi dalam aplikasi video konferensi seperti Zoom:

Click to play as necessary. From the project page for FSFVE, sample improvements to webcam-scenario faces, using a lightweight (3.5MB) model trained in less than two minutes. Source

Makalah tersebut menyatakan:

‘Model FSFVE dapat dilatih baik sebelum videocall, atau di awal panggilan. Hanya beberapa gambar berkualitas tinggi dari subjek yang diperlukan; misalnya 5 hingga 30 gambar membuatnya menjadi pembelajaran beberapa kali. Sebelum panggilan, atau di awal panggilan, beberapa detik video berkualitas tinggi dari pengguna dapat diperoleh; misalnya 3 detik, memberikan 3∗24=72 frame dengan asumsi kecepatan frame 24 frame/detik (FPS).

‘Video berkualitas tinggi ini dapat dengan cepat dienkripsi menjadi video berkualitas rendah berdasarkan pengaturan untuk videocall, dan kemudian dengan frame berkualitas rendah dan tinggi, model dilatih.’

Salah satu fitur terkenal dari sistem baru ini adalah fleksibilitasnya dalam hal siapa yang ‘membayar’ untuk pemrosesan model; jika pemirsa sendiri tidak dapat menyediakan daya CPU untuk pelatihan, ini dapat dipindahkan ke koresponden, dengan mengirimkan beberapa frame berkualitas tinggi, dengan model yang dilatih ‘jauh’ ke pengguna yang kekurangan sumber daya.

Alternatifnya, pelatihan dapat dipindahkan secara sistematis ke server untuk pelatihan. Penulis mengamati:

‘Server dapat digunakan untuk kasus di mana perangkat pengirim dan penerima terlalu lambat untuk pelatihan (atau bahkan jika tidak, untuk meringankan mereka dari tugas).

‘Dalam kasus apa pun, ukuran model relatif kecil (sekitar 3,5 MB) seperti beberapa frame berkualitas tinggi, dan setelah pelatihan selesai, model dapat berjalan dalam waktu nyata pada CPU laptop biasa.’

Dalam pengujian, dengan model yang dilatih melawan baseline dan karya sebelumnya (termasuk RTFVE, yang merupakan dasar dari karya baru), FSFVE konsisten outperformed video yang dikompresi, ResNet yang dioptimalkan untuk inferensi CPU, dan model RTFVE-0 yang dimodifikasi, sambil tetap berjalan dalam waktu nyata pada CPU.

Makalah baru ini berjudul FSFVE: Few Shot Compressed Face Video Enhancement, dan dilengkapi dengan demo dan GitHub repo.

Metode

FSFVE dilatih pada dataset FaceForensics++ terbuka *, yang terdiri dari 363 video 1080p dari aktor yang berbicara, dari mana penulis mengekstrak kategori berbicara melawan dinding sebagai yang paling dekat dengan gaya video call biasa:

Click to play, as necessary. Contoh dari dataset FaceForensics++. Source

Subset ini mencapai 27 video sekitar 972 frame masing-masing – sebagian besar tampilan depan, tetapi, perlu, beberapa tampilan samping juga.

Untuk menghasilkan video berkualitas rendah yang dirancang untuk mensimulasikan masalah koneksi video call, penulis mengompresi dataset menggunakan codec video H264 dan H265. Tingkat kompresi diatur ke rentang CRF 36, 40, dan 44 (dengan asumsi bahwa nol adalah lossless dan 51 adalah sangat blocky).

Setiap frame dipotong menjadi wilayah 256 × 256 di sekitar wajah menggunakan BlazeFace face detector, setelah itu titik wajah digunakan untuk menyelaraskan wajah dengan menemukan mata dan menerapkan affine warp (yang memutar, menskalakan dan memindahkan wajah ke posisi konsisten), sehingga mata tetap sejajar, dan sekitar posisi yang sama di semua frame.

Hal ini dilakukan dengan Face Recognition library:

Contoh mengekstrak garis wajah dari gambar dengan Face Recognition Python library. Source

Karena model dirancang untuk belajar dari hanya beberapa frame dari satu video call, frame pelatihan yang diperlukan untuk menangkap variasi wajah sebanyak mungkin. Oleh karena itu k-means clustering digunakan sebagai gantinya metode seleksi yang lebih sederhana (yaitu random sampling atau fixed intervals).

Setiap frame yang dipotong dan diselaraskan dilewatkan melalui face encoder RTFVE yang disebutkan sebelumnya untuk menghasilkan representasi numerik, setelah itu k-means clustering mengelompokkan frame yang serupa ke dalam 30 cluster. Proses clustering ini diulangi lima kali untuk mendapatkan pengelompokan terbaik, dan frame yang paling dekat dengan pusat cluster dipilih untuk pelatihan. Proses ini menghasilkan set yang beragam dari 30 gambar untuk setiap video.

Pelatihan dan Pengujian

Model dilatih selama 100 epoch, yang cukup rendah, mengingat jumlah gambar yang sangat kecil yang terlibat. Namun, seperti yang diamati oleh penulis, model yang overfitted sebenarnya diinginkan dalam skenario ini, bahkan jika tidak dapat menangkap semua kemungkinan, seperti ekspresi wajah yang tidak umum, pose, atau penyembunyian/penyamaran fitur wajah. Prioritas, sebaliknya, adalah fleksibilitas moderat dalam generalisasi, dan kecepatan pelatihan.

RAdam optimizer digunakan pada learning rate 10^-4.

Untuk pengujian awal, sistem dibandingkan dengan video yang dikompresi asli; ResNet yang ringan dikonfigurasi untuk inferensi CPU waktu nyata; dan RTFVE – satu-satunya sistem perbaikan wajah CPU waktu nyata lainnya yang diketahui.

Untuk memastikan perbandingan yang adil, RTFVE dimodifikasi untuk menghapus ketergantungannya pada gambar referensi berkualitas tinggi selama inferensi sambil mempertahankan kecepatan dan jumlah parameter yang sama, menghasilkan varian yang disebut RTFVE-0. Model ResNet dan RTFVE-0 dilatih menggunakan L1 loss function. Untuk memastikan perbandingan yang adil, semua model menggunakan optimizer RAdam dan pengaturan pelatihan yang sama, dengan instance model terpisah yang dilatih dari 30 frame, untuk setiap video.

Untuk mempercepat pelatihan, custom frequency-domain focal loss (menekankan detail gambar yang paling penting secara visual selama pelatihan) diperkenalkan, untuk memberikan bobot yang lebih besar pada komponen DCT rendah (informasi gambar setelah konversi ke nilai frekuensi), yang memiliki pengaruh terbesar pada kualitas gambar yang dirasakan.

Pemberatan ini diperoleh dari JPEG luminance quantization matrix, menyebabkan model untuk memprioritaskan struktur gambar yang paling penting secara visual selama pelatihan.

Pengujian Kuantitatif

Kedua akurasi rekonstruksi teknis (distorsi) dan kualitas visual yang dirasakan diukur untuk pengujian. Distorsi diukur oleh Peak Signal-to-Noise Ratio (PSNR) dan Structural Similarity Index (SSIM); dan kualitas perseptual oleh Learned Perceptual Image Patch Similarity (LPIPS):

Kinerja FSFVE melawan video yang dikompresi asli, ResNet yang dioptimalkan CPU, dan RTFVE-0 yang dimodifikasi di seluruh video H.264 dan H.265 pada tiga tingkat kompresi, dengan PSNR dan SSIM yang lebih tinggi menunjukkan kualitas rekonstruksi yang lebih baik, dan LPIPS yang lebih rendah menunjukkan kualitas perseptual yang lebih baik.

FSFVE konsisten outperformed video yang dikompresi asli, serta model perbaikan CPU yang bersaing, di seluruh tingkat kompresi.

Dengan video H.264, PSNR meningkat sebesar 1,11dB, 1,37dB, dan 1,51dB dari baseline pada nilai CRF 36, 40, dan 44, dengan perbaikan yang sesuai dalam SSIM dan skor LPIPS yang lebih rendah pada dua tingkat kompresi yang lebih tinggi (menunjukkan kualitas gambar yang dirasakan lebih baik).

Keuntungan serupa direkam dengan H.265, menunjukkan bahwa pendekatan ini tetap efektif di seluruh kedua codec video utama. Seperti yang ditunjukkan di bawah, perbaikan menjadi lebih jelas seiring dengan peningkatan kompresi, menunjukkan bahwa metode ini bekerja dengan baik di bawah kondisi bandwidth yang rendah yang dirancang untuk ditangani:

PSNR seiring dengan peningkatan bitrate untuk video H.264 asli dan output yang diperbaiki. Celah yang melebar pada bitrate yang lebih rendah menunjukkan bahwa FSFVE memberikan keuntungan kualitas terbesar di bawah kondisi yang paling terbatas bandwidth.

ResNet yang dioptimalkan CPU dan RTFVE-0 hanya memberikan perbaikan yang modest dari baseline yang dikompresi, sedangkan FSFVE melebihi keduanya lebih dari 1,1dB, sambil mempertahankan kinerja waktu nyata pada 30,24 FPS, meskipun hanya berisi sekitar satu juta parameter.

Seperti yang ditunjukkan di bawah, kinerja meningkat secara stabil seiring dengan peningkatan jumlah frame pelatihan. Bahkan dengan hanya lima gambar pelatihan, FSFVE meningkatkan PSNR sebesar lebih dari 0,75dB dari baseline yang dikompresi, sedangkan sepuluh frame pelatihan cukup untuk melebihi perbaikan 1dB – menunjukkan bahwa pendekatan ini tetap efektif dengan data pelatihan yang sangat terbatas:

Pengaruh ukuran set pelatihan pada PSNR untuk frame video H.264 yang tidak terlihat pada CRF 44. Bahkan lima gambar pelatihan memperbaiki kualitas dari baseline yang dikompresi, dengan kinerja yang meningkat secara stabil seiring dengan peningkatan jumlah frame.

Pengujian Kualitatif

Dalam hasil di bawah, untuk fase kualitatif pengujian, kita melihat frame video H.264 yang sangat dikompresi pada CRF 44 dengan output FSFVE yang sesuai:

Perbandingan frame video H.264 yang sangat dikompresi pada CRF 44 dengan output FSFVE yang sesuai. Hasil yang diperbaiki, menurut makalah, mengurangi artefak kompresi, memulihkan struktur wajah, dan menghasilkan kulit yang lebih halus dan alami sambil mempertahankan identitas dan ekspresi subjek. Silakan merujuk ke PDF sumber dan video asli untuk contoh yang lebih baik.

Penulis menyatakan:

‘Dalam contoh pertama, mata tampak tidak jelas dengan warna hitam mata yang bercampur dengan warna mata. Ada tanda-tanda aliasing dengan bibir. Alis mata kekurangan definisi dan kulit tampak terdistorsi. Dalam contoh kedua, kulit sangat berTekstur dengan artefak bintik-bintik.

‘Ada artefak blocking di bawah mulut yang mengubah bentuk dagu. Ada juga garis-garis vertikal.

‘Model kami dapat memperbaiki artefak ini dengan menghasilkan output yang secara visual menyenangkan dengan kulit yang lebih jelas dan memulihkan beberapa detail halus yang hilang dalam kompresi.

‘Yang penting, output yang diperbaiki tetap setia pada identitas dalam video.’

Kesimpulan

Tampaknya tidak dapat dihindari bahwa upaya berkelanjutan ini di seluruh industri dan akademisi untuk meningkatkan kualitas data video call yang rendah akan akhirnya bertabrakan dengan upaya yang berlawanan untuk mengidentifikasi footage deepfake dalam video call.

Karena, seperti yang dicatat dalam makalah baru, sistem interstitial seperti FSFVE dapat diterapkan pada aliran video chat melalui API resmi, memungkinkan bahwa konten yang tidak diproses akan tetap tersedia untuk digunakan oleh tindakan anti-deepfake, seiring dengan berkembangnya – dan menjadi lebih penting.

* Dirujuk dalam makalah baru sebagai dataset ‘DeepFakeDetector’, meskipun tidak tampaknya dikenal dengan nama ini, bahkan di dalam makalah FaceForensics++ yang penulis tautkan dalam hal ini.

Dipublikasikan pertama kali pada hari Selasa, 14 Juli 2026