Streaming DeepFake Waktu Nyata Dengan DeepFaceLive

Perangkat lunak deepfake yang paling banyak digunakan di dunia, dan yang paling kuat dikaitkan dengan pornografi deepfake, mendapatkan implementasi baru – kemampuan untuk menumpangkan deepfake kesamaan selebriti ke dalam footage webcam langsung.

Repository sumber terbuka DeepFaceLive adalah aplikasi Windows 10 yang dibangun di atas fondasi DeepFaceLab, yang dengan cepat menjadi sumber daya utama untuk face-swapping berbasis pornografi setelah pembuat perangkat lunak deepfake asli meninggalkan proyek tersebut tidak lama setelah kemunculan deepfaking menciptakan kontroversi di seluruh dunia pada 2018. Kedua proyek daftar bagian forum situs pornografi deepfake mrdeepfakes sebagai sumber daya dukungan resmi.

Dalam video antarmuka DeepFaceLive yang dirilis oleh pengembang Ivan Petrov pada April, kita melihat footage Miles Fisher yang diunduh berubah menjadi Tom Cruise secara waktu nyata. Sumber: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Kemarin, pemimpin kedua proyek, pengembang Rusia Ivan Petrov, mengumumkan versi baru DeepFaceLive di grup Discord proyek, menyebutkan bahwa DeepFaceLive sekarang mencakup model terlatih aktris Margot Robbie, subjek yang sering digunakan dalam video pornografi di mrdeepfakes.

Empat klip video contoh telah diunggah untuk mendemonstrasikan kemampuan DeepFaceLive untuk menambahkan identitas Robbie ke pembicara mana pun dalam feed webcam.

Salah satu demonstrasi Margot Robbie dari deepfaking waktu nyata. Sumber: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Video transformasi Robbie awalnya dibagikan di Twitch, tetapi kemudian dihapus.

Tiga contoh lain dari faceswapping yang disediakan oleh DeepFaceLive. Persyaratan untuk mencocokkan wajah yang mirip dengan subjek target masih terlihat. Di gambar kiri bawah, kita melihat bahwa perangkat lunak tidak dapat secara efektif menutupi halangan, seperti yang dapat dilakukan di DeepFaceLab, karena ini memerlukan pelatihan masker di aplikasi XSeg dari DeepFaceLab, metode yang tidak dapat diterapkan pada deepfaking waktu nyata.

Model default tambahan, dari komedian dan aktor Inggris Rowan Atkinson, dijanjikan akan segera tersedia untuk DeepFaceLive. Awalnya, repository DeepFaceLive menampilkan kategori CELEB_MODEL, di mana memungkinkan untuk mengunduh selebriti lain, termasuk Tom Cruise, sebagai file Open Neural Network Exchange (.onnx), meskipun direktori tersebut telah dihapus.

Tom Cruise adalah identitas yang terintegrasi untuk beta DeepFaceLive pada April 2021, tetapi sekarang tampaknya telah dihapus sebagai default dalam paket. Namun, model dapat diunduh dan dipasang, bersama dengan model terlatih dari banyak selebriti lain, dan model kustom yang dilatih oleh pengguna akhir.

DeepFaceLive hanya berjalan sebagai aplikasi Windows 10, dan dilaporkan oleh satu pengguna bekerja dengan baik dengan aplikasi siaran langsung NVIDIA Broadcast.

Mendapatkan Identitas

Pengguna tidak perlu melalui proses yang melelahkan untuk mengumpulkan bahan wajah untuk dataset, diikuti dengan 3-10 hari yang diperlukan untuk mendapatkan kesesuaian yang sangat baik, karena FAQ DeepFaceLive menyatakan bahwa dapat menggunakan model wajah ‘publik’ yang sudah dikompilasi oleh pembuat lain. Pada dasarnya, sumber model terbesar adalah Forum-Trained Models (tautan arsip) thread di situs pornografi mrdeepfakes, yang dapat dilihat digunakan oleh satu pengguna Rusia dalam video YouTube terbaru.

Vladislav Pedro menggunakan DeepFaceLive untuk mengubah dirinya menjadi Tom Cruise secara waktu nyata. Model yang dia muat dalam video disimpan di mrdeepfakes, dan telah digunakan hingga sekarang untuk pemrosesan deepfake offline. Sumber: https://www.youtube.com/watch?v=0TcCKtObSnI

Meskipun hasil terbaik akan diperoleh dengan melatih wajah pengguna akhir terhadap selebriti target, kualitas simulasi tampaknya sebanding dengan seberapa dekat pengguna akhir menyerupai selebriti. Ketika pengguna relatif sesuai dengan selebriti, hasil yang meyakinkan dapat diperoleh.

Seperti yang terlihat dalam tiga pertukaran Margot Robbie terakhir di gambar di atas, perangkat lunak tidak dapat melakukan keajaiban di mana wajah pengguna akhir memiliki karakteristik umum yang sangat berbeda. Namun, DeepFaceLab juga dapat melakukan pertukaran kepala secara keseluruhan, proses yang sepenuhnya menimpa kepala sumber, meskipun dengan keterbatasan dalam hal gaya rambut. Komentar di server Discord mengkonfirmasi bahwa ini juga dapat diimplementasikan di DeepFaceLive.

DeepFaceLive saat ini hanya mendukung GPU NVIDIA, dengan GTX 750 sebagai perangkat keras terendah yang dapat mendapatkan hasil yang masuk akal dengan aplikasi. Pada kartu grafis dengan 4GB VRAM, juga memerlukan 32GB ruang disk swap.

Melatih model Margot Robbie – gambar diposting di Discord DeepFaceLab/DeepFaceLive oleh Ivan Petrov. Di sini kita melihat bahwa dataset sumber sangat beragam, tampaknya dengan tujuan menciptakan model yang kuat dan umum yang dapat mengubah berbagai jenis wajah menjadi gambar aktris Australia. Sebagian besar ‘A’ set biasanya dari satu individu.

Pengguna melaporkan bahwa DeepFaceLive sangat menuntut dalam hal sumber daya perangkat keras, tetapi Petrov telah merespons ini dengan menyatakan bahwa DeepFaceLive dimaksudkan untuk PC yang terkonfigurasi dengan baik dalam lingkungan indoor.

Repository GitHub DeepFaceLab telah difork lebih dari 6.000 kali, sedangkan DeepFaceLive saat ini memiliki 85 fork.

Penggunaan yang Mungkin

Komentator dalam thread (bahasa Rusia) di situs sosial Rusia VK.com berspekulasi tentang penggunaan yang mungkin dari DeepFaceLive, dan tampaknya telah menemukan semua aplikasi yang mungkin untuk perangkat lunak: sebagai ‘anonimisasi’ atau filter rekreasi di Zoom dan aplikasi serupa; sebagai sarana untuk melakukan penipuan atau menipu orang yang menonton siaran langsung; dan – mungkin paling mungkin, mengingat asal dan basis pengguna perangkat lunak – sebagai sarana untuk mengimplementasikan pekerjaan seks berbasis selebriti berbasis webcam (lihat gambar di akhir artikel).

Kemungkinan ‘deepfake cam girls’ muncul di media beberapa tahun yang lalu. Pada 2020, aplikasi Avatarify mengumumkan fungsionalitas webcam selebriti deepfake, tetapi dengan kualitas yang jauh lebih rendah dari standar yang ditetapkan oleh DeepFaceLab, yang sekarang adalah repository pilihan untuk deepfaker Tom Cruise yang membuat headline, Chris Ume, serta perusahaan produksi film dan TV tingkat tinggi di seluruh dunia.

DeepFaceLab, aplikasi sumber untuk DeepFaceLive dan dilaporkan (bahasa Rusia) kerangka kerja untuk 95% dari semua deepfake di YouTube, juga merupakan perangkat lunak yang digunakan oleh Shamook, deepfaker yang luar biasa pekerjaannya pada perbaikan penampilan tamu Luke Skywalker di The Mandalorian baru-baru ini menginspirasi Lucasfilm untuk mempekerjakannya sebagai konsultan VFX.

Disesuaikan dengan Keterbatasan Deepfake

Metodologi perangkat lunak deepfake seperti DeepFaceLab dan FaceSwap sangat sesuai dengan lingkungan webcam yang khas, dan menghilangkan banyak hambatan untuk keaslian yang masih dapat mempengaruhi deepfake offline.

Misalnya, deepfake kurang meyakinkan ketika pengguna berpaling ke profil (atau melihat ke atas), bergerak cepat, atau tunduk pada perubahan adegan atau perubahan cahaya yang tiba-tiba.

Oleh karena itu, sifat ‘statis’ dari panggilan Zoom yang khas atau webcam memainkan kekuatan perangkat lunak. Banyak contoh deepfake yang paling dihormati selama tiga tahun terakhir telah menampilkan pembicara yang menghadap kamera langsung dan bergerak sangat sedikit dalam lingkungan yang terbatas, seperti penempatan Steve Buscemi ke Jennifer Lawrence pada pidato Oscar, dan transformasi siaran politik ‘ke kamera’ yang berbeda.

Arguably the most likely use of the default Margot Robbie model included in DeepFaceLive – a cam implementation test video published on the DeepFaceLab Discord by Russian user ‘NoFace’.

Amended 8:52pm 7th August – Corrected surname.
Amended 8:30pm 8th August – added images from Discord.