Aliran DeepFake Waktu Nyata dengan DeepFaceLive

Dunia perangkat lunak deepfake yang paling banyak digunakan, dan yang paling kuat dikaitkan dengan deepfake porn, mendapatkan implementasi baru – kemampuan untuk menempatkan deepfakes kesamaan selebriti ke dalam footage webcam langsung.

Repository sumber terbuka DeepFaceLive adalah aplikasi Windows 10 yang dibangun di atas fondasi DeepFaceLab, yang dengan cepat menjadi sumber daya utama untuk face-swapping berbasis porn setelah pembuat perangkat lunak deepfake asli meninggalkan proyek tersebut tidak lama setelah kemunculan deepfaking menciptakan kontroversi dunia pada tahun 2018. Kedua proyek daftar bagian forum situs porn deepfake mrdeepfakes sebagai sumber daya dukungan resmi.

Dalam video antarmuka DeepFaceLive yang dirilis oleh pengembang Ivan Petrov pada April, kita melihat footage yang diunduh dari impersonator Miles Fisher yang diubah menjadi Tom Cruise secara real-time. Sumber: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Kemarin, pemimpin kedua proyek, pengembang Rusia Ivan Petrov, mengumumkan versi baru DeepFaceLive di grup Discord proyek, mencatat bahwa DeepFaceLive sekarang mencakup model terlatih aktris Margot Robbie, subjek yang sering digunakan dalam video pornografi di mrdeepfakes.

Empat klip video sampel telah diunggah untuk mendemonstrasikan kemampuan DeepFaceLive untuk menempatkan identitas Robbie ke speaker mana pun dalam umpan webcam.

Salah satu demonstrasi Margot Robbie dari deepfaking langsung. Sumber: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Video transformasi Robbie awalnya dibagikan di Twitch, tetapi kemudian dihapus.

Tiga contoh lain dari faceswapping yang disediakan oleh DeepFaceLive. Persyaratan untuk mencocokkan wajah yang tepat dengan subjek target masih terlihat. Di gambar kiri bawah, kita melihat bahwa perangkat lunak tidak dapat secara efektif menutupi halangan, seperti yang dapat dilakukan di DeepFaceLab, karena ini memerlukan pelatihan masker di aplikasi XSeg dari DeepFaceLab, metode yang tidak dapat diterapkan pada deepfaking waktu nyata.

Model default tambahan, dari komedian dan aktor Inggris Rowan Atkinson, dijanjikan akan segera tersedia untuk DeepFaceLive. Awalnya, repository DeepFaceLive menampilkan kategori CELEB_MODEL, di mana memungkinkan untuk mengunduh selebriti lain, termasuk Tom Cruise, sebagai file Open Neural Network Exchange (.onnx), tetapi direktori tersebut telah dihapus.

Tom Cruise pernah menjadi identitas yang terintegrasi untuk beta DeepFaceLive pada April 2021, tetapi sekarang tampaknya telah dihapus sebagai default dalam paket. Namun, model tersebut dapat diunduh dan dipasang, bersama dengan model terlatih dari banyak selebriti lain, dan model kustom yang dilatih oleh pengguna akhir.

DeepFaceLive hanya berjalan sebagai aplikasi Windows 10, dan dilaporkan oleh satu pengguna bekerja dengan baik dengan aplikasi siaran langsung NVIDIA Broadcast.

Mendapatkan Identitas

Pengguna tidak perlu melalui proses yang melelahkan untuk mengumpulkan bahan wajah untuk dataset, diikuti dengan 3-10 hari yang diperlukan untuk mendapatkan kesamaan yang sangat baik, karena FAQ untuk DeepFaceLive menyatakan bahwa dapat menggunakan model wajah ‘publik’ yang telah dikompilasi oleh pembuat lain. Pada dasarnya, sumber terbesar dari model tersebut adalah thread Forum-Trained Models (tautan arsip) di situs porn mrdeepfakes, yang dapat dilihat digunakan oleh satu pengguna akhir Rusia dalam video YouTube terbaru.

Vladislav Pedro menggunakan DeepFaceLive untuk mengubah dirinya menjadi Tom Cruise secara real-time. Model yang dia muat dalam video tersebut disimpan di mrdeepfakes, dan telah digunakan hingga saat ini untuk pemrosesan deepfake offline. Sumber: https://www.youtube.com/watch?v=0TcCKtObSnI

Walau hasil terbaik akan diperoleh dengan melatih wajah pengguna akhir terhadap selebriti target, kualitas simulasi tampaknya sebanding dengan seberapa dekat pengguna akhir menyerupai selebriti. Ketika pengguna relatif sesuai dengan selebriti, hasil yang meyakinkan dapat diperoleh.

Sebagaimana terlihat dalam tiga swap Margot Robbie terakhir di gambar di atas, perangkat lunak tidak dapat melakukan keajaiban di mana wajah pengguna akhir memiliki karakteristik umum yang sangat berbeda. Namun, DeepFaceLab juga dapat melakukan swap kepala secara keseluruhan, proses yang sepenuhnya menimpa kepala sumber, meskipun dengan keterbatasan terkait gaya rambut. Komentar di server Discord mengkonfirmasi bahwa ini juga dapat diimplementasikan di DeepFaceLive.

DeepFaceLive saat ini hanya mendukung GPU NVIDIA, dengan GTX 750 sebagai perangkat keras terendah yang dapat mendapatkan hasil yang masuk akal dengan aplikasi. Pada kartu grafis dengan 4GB VRAM, juga memerlukan 32GB ruang disk swap.

Melatih model Margot Robbie – gambar diposting di Discord DeepFaceLab/DeepFaceLive oleh Ivan Petrov. Di sini kita melihat bahwa dataset sumber sangat beragam, tampaknya dengan tujuan menciptakan model yang kuat dan umum yang dapat mengubah berbagai jenis wajah menjadi gambar aktris Australia. Sebagian besar ‘A’ set biasanya dari satu individu.

Pengguna melaporkan bahwa DeepFaceLive sangat menuntut dalam hal sumber daya perangkat keras, tetapi Petrov telah merespons ini dengan mengatakan bahwa DeepFaceLive dimaksudkan untuk PC yang dilengkapi dengan baik di lingkungan dalam ruangan.

Repository DeepFaceLab GitHub telah difork lebih dari 6.000 kali, sedangkan DeepFaceLive baru saat ini memiliki 85 fork.

Penggunaan yang Mungkin

Komentator dalam thread (bahasa Rusia) di situs sosial Rusia VK.com berspekulasi tentang penggunaan yang mungkin dari DeepFaceLive, dan tampaknya telah menemukan semua aplikasi yang mungkin untuk perangkat lunak: sebagai ‘anonimisasi’ atau filter rekreasi dalam aplikasi Zoom dan serupa; sebagai sarana untuk melakukan penipuan atau menipu orang yang menonton siaran langsung; dan – mungkin paling mungkin, mengingat asal dan basis pengguna perangkat lunak – sebagai sarana untuk mengimplementasikan pekerjaan webcam berbasis selebriti (lihat gambar di akhir artikel).

Kemungkinan ‘deepfake cam girls’ muncul di media beberapa tahun yang lalu. Pada 2020, aplikasi Avatarify mengumumkan fungsionalitas webcam selebriti deepfake, tetapi dengan kualitas yang jauh lebih rendah daripada standar yang ditetapkan oleh DeepFaceLab, yang sekarang adalah repository pilihan untuk deepfaker Tom Cruise yang membuat headline, Chris Ume, serta perusahaan produksi film dan TV tingkat tinggi di seluruh dunia.

DeepFaceLab, aplikasi sumber untuk DeepFaceLive dan dilaporkan (bahasa Rusia) kerangka kerja untuk 95% dari semua deepfakes di YouTube, juga merupakan perangkat lunak yang digunakan oleh Shamook, deepfaker yang luar biasa pekerjaannya pada peningkatan penampilan Luke Skywalker di The Mandalorian baru-baru ini menginspirasi Lucasfilm untuk mempekerjakannya sebagai konsultan VFX.

Disesuaikan dengan Keterbatasan Deepfake

Metodologi perangkat lunak deepfake seperti DeepFaceLab dan FaceSwap sangat sesuai dengan lingkungan webcam yang khas, dan menghilangkan banyak hambatan untuk autentisitas yang masih dapat mengganggu deepfakes offline.

Contohnya, deepfakes kurang meyakinkan ketika pengguna berpaling ke profil (atau melihat ke atas), bergerak cepat, atau tunduk pada perubahan adegan atau perubahan cahaya yang tiba-tiba.

Oleh karena itu, sifat ‘statis’ dari panggilan Zoom yang khas atau webcam memainkan kekuatan perangkat lunak. Banyak contoh terhormat dari trik deepfake selama tiga tahun terakhir telah menampilkan pembicara yang menghadap kamera langsung dan bergerak sangat sedikit dalam lingkungan yang terbatas, seperti penempatan Steve Buscemi ke Jennifer Lawrence pada pidato Oscar, dan transformasi siaran politik ‘ke kamera’.

Penggunaan paling mungkin dari model Margot Robbie default yang disertakan dalam DeepFaceLive – video uji coba implementasi kamera dipublikasikan di Discord DeepFaceLab oleh pengguna Rusia ‘NoFace’.

Diperbarui 8:52pm 7 Agustus – Koreksi nama belakang.
Diperbarui 8:30pm 8 Agustus – menambahkan gambar dari Discord.