Streaming DeepFake Real-Time Dengan DeepFaceLive

Perangkat lunak deepfake yang paling banyak digunakan di dunia, dan yang paling erat kaitannya dengan pornografi deepfake, kini mendapatkan implementasi baru – kemampuan untuk menyisipkan deepfake berupa gambar selebriti ke dalam rekaman webcam langsung.

Repositori sumber terbuka DeepFaceLive adalah aplikasi Windows 10 yang dibangun di atas dasar Lab Wajah Dalam, yang dengan cepat menjadi sumber utama untuk pertukaran wajah berbasis pornografi setelah pembuat perangkat lunak deepfake asli meninggalkan proyek tersebut tidak lama setelah munculnya deepfaking yang menimbulkan kontroversi di seluruh dunia pada tahun 2018. Kedua proyek tersebut daftar bagian forum situs porno deepfake mrdeepfakes sebagai sumber dukungan resmi.

Dalam video antarmuka DeepFaceLive yang dirilis oleh pengembang Ivan Petrov pada bulan April, kami melihat cuplikan yang diunduh dari peniru Miles Fisher yang diubah menjadi Tom Cruise secara real time. Sumber: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Kemarin memimpin kedua proyek, pengembang Rusia Ivan Petrov, mengumumkan versi baru DeepFaceLive di grup Discord proyek tersebut, mencatat bahwa DeepFaceLive sekarang menggabungkan model terlatih aktris Margot Robbie, yang sering menjadi subjek video porno di mrdeepfakes.

Empat sampel klip video telah diunggah untuk mendemonstrasikan kemampuan DeepFaceLive untuk melampirkan identitas Robbie ke speaker mana pun di feed webcam.

Salah satu demonstrasi Margot Robbie tentang deepfaking langsung. Sumber: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Video transformasi Robbie awalnya dibagikan di Twitch, tetapi kemudian dihapus.

Tiga contoh facewapping lain yang disediakan oleh DeepFaceLive. Persyaratan untuk perkiraan kecocokan wajah dengan subjek target masih dalam bukti. Pada gambar kiri bawah kita melihat bahwa perangkat lunak tidak dapat menutupi penghalang secara efektif, seperti yang dapat dicapai di DeepFaceLab, karena ini memerlukan masker pelatihan di aplikasi XSeg DeepFaceLab, sebuah metode yang tidak dapat diaplikasikan pada pemalsuan waktu nyata.

Model standar tambahan, dari komedian dan aktor Inggris Rowan Atkinson, dijanjikan akan segera tersedia untuk DeepFaceLive. Awalnya repositori DeepFaceLive menampilkan kategori CELEB_MODEL, yang memungkinkan untuk mengunduh selebritas lain, termasuk Tom Cruise, sebagai Open Neural Network Exchange (.onnx) file, meskipun direktori ini telah dihapus.

Tom Cruise adalah identitas yang tergabung untuk DeepFaceLive beta pada bulan April 2021, tetapi sejak itu tampaknya telah dihapus sebagai default dalam paket. Namun, model tersebut dapat diunduh dan dipasang, bersama dengan model terlatih dari banyak selebritas lain, dan model khusus yang dilatih oleh pengguna akhir.

DeepFaceLive berjalan secara eksklusif sebagai aplikasi Windows 10, dan melaporkan oleh satu pengguna agar berfungsi dengan baik dengan streaming langsung NVIDIA Siaran aplikasi.

Memperoleh Identitas

Pengguna tidak perlu melalui proses yang melelahkan dalam mengumpulkan materi wajah untuk sebuah dataset, yang kemudian dilanjutkan dengan proses 3-10 hari yang diperlukan untuk mendapatkan kecocokan yang sangat baik, karena FAQ untuk DeepFaceLive menyatakan bahwa aplikasi ini dapat menggunakan 'model wajah publik' siap pakai yang telah dikompilasi oleh kreator lain. Sebenarnya, sumber terbesar model tersebut adalah Model yang Dilatih Forum (tautan arsip) utas di situs porno mrdeepfakes, yang dapat dilihat sedang digunakan oleh satu pengguna akhir Rusia di a video YouTube terbaru.

Vladislav Pedro menggunakan DeepFaceLive untuk mengubah dirinya menjadi Tom Cruise secara real time. Model yang dia muat dalam video dihosting di mrdeepfakes, dan telah digunakan hingga sekarang untuk pemrosesan deepfake offline. Sumber: https://www.youtube.com/watch?v=0TcCKtObSnI

Meskipun hasil terbaik akan diperoleh dengan melatih wajah pengguna akhir terhadap selebritas target, kualitas simulasi tampaknya berbanding lurus dengan seberapa mirip pengguna akhir dengan target. Ketika pengguna relatif cocok dengan selebritas, hasil yang meyakinkan dapat diperoleh.

Seperti yang terlihat pada tiga pertukaran Margot Robbie terakhir pada gambar di atas, perangkat lunak ini tidak dapat melakukan keajaiban jika wajah pengguna akhir memiliki karakteristik umum yang sangat berbeda. Namun, DeepFaceLab juga dapat melakukan seluruh head swap, sebuah proses yang sepenuhnya menimpa kepala sumber, meskipun dengan batasan terkait gaya rambut. Komentar di server Discord mengonfirmasi bahwa ini juga dapat diterapkan di DeepFaceLive.

DeepFaceLive saat ini hanya mendukung GPU NVIDIA, dengan GTX 750 perangkat keras terendah yang dapat memperoleh hasil yang wajar dengan aplikasi tersebut. Pada kartu grafis dengan VRAM 4GB, ini juga membutuhkan ruang swap disk 32GB.

Melatih model Margot Robbie – sebuah gambar diposting di Discord DeepFaceLab/DeepFaceLive oleh Ivan Petrov. Di sini kita melihat bahwa kumpulan data sumber sangat beragam, tampaknya dengan tujuan menciptakan model yang kuat dan tergeneralisasi dengan baik yang dapat mengubah berbagai jenis wajah menjadi citra aktris Australia tersebut. Kebanyakan kumpulan 'A' biasanya terdiri dari satu individu.

Pengguna melaporkan bahwa DeepFaceLive sangat menuntut dalam hal sumber daya perangkat keras, tetapi Petrov telah menanggapi hal ini dengan menyatakan bahwa DeepFaceLive ditujukan untuk PC berspesifikasi baik di lingkungan dalam ruangan.

DeepFaceLab GitHub telah bercabang dua lebih dari 6,000 kali, sedangkan DeepFaceLive baru saat ini memiliki 85 garpu.

Kemungkinan Penggunaan

Komentator di a benang (bahasa Rusia) di situs sosial Rusia VK.com berspekulasi tentang kemungkinan penggunaan DeepFaceLive, dan tampaknya telah mengetahui semua kemungkinan aplikasi untuk perangkat lunak tersebut: sebagai 'anonimisasi' atau filter rekreasional dalam Zoom dan aplikasi serupa; sebagai sarana untuk melakukan penipuan atau menipu orang yang menonton siaran langsung; dan – kemungkinan besar, mengingat asal usul dan basis pengguna perangkat lunak tersebut – sebagai sarana untuk menerapkan pekerjaan seks berbasis webcam yang berfokus pada selebritas (lihat gambar di akhir artikel).

Kemungkinan 'gadis kamera deepfake' muncul di media beberapa tahun yang lalu. Pada tahun 2020, aplikasi Avatarify mengumumkan fungsionalitas webcam selebriti deepfake, tetapi dengan kualitas yang signifikan menurunkan dari standar yang ditetapkan oleh DeepFaceLab, yang sekarang menjadi repositori pilihan untuk baru-baru ini berita utama Deepfaker Tom Cruise, Chris Ume, serta perusahaan produksi film dan TV tingkat tinggi di seluruh dunia.

DeepFaceLab, aplikasi benih untuk DeepFaceLive dan melaporkan Kerangka kerja (bahasa Rusia) untuk 95% dari semua deepfake di YouTube, juga merupakan perangkat lunak yang digunakan oleh Shamook, deepfaker yang luar biasa kerja tentang peningkatan penampilan tamu Luke Skywalker di The Mandalorian baru-baru ini menginspirasi Lucasfilm untuk mempekerjakan dia sebagai konsultan VFX.

Diadaptasi Untuk Batasan Deepfake

Metodologi perangkat lunak deepfake seperti DeepFaceLab dan Tukar Muka dilayani dengan baik oleh lingkungan webcam yang khas, dan menghilangkan banyak hambatan untuk keaslian yang masih dapat mengganggu deepfake off-line.

Misalnya, deepfake bekerja kurang meyakinkan saat pengguna beralih ke profil (atau melihat ke atas), bergerak cepat, atau mengalami perubahan pemandangan atau perubahan pencahayaan yang tiba-tiba.

Oleh karena itu, sifat 'statis' dari panggilan Zoom atau webcam pada umumnya justru memanfaatkan keunggulan perangkat lunak ini. Banyak contoh trik deepfake yang paling digemari selama tiga tahun terakhir menampilkan pembicara yang menghadap langsung ke kamera dan sangat sedikit bergerak dalam lingkungan yang terbatas, seperti penerapan Steve Buscemi pada Jennifer Lawrence. pada pidato Oscar, dan transformasi berbagai siaran politik 'ke kamera'.

Bisa dibilang penggunaan model Margot Robbie default yang paling mungkin disertakan dalam DeepFaceLive – video uji implementasi kamera diterbitkan di DeepFaceLab Discord oleh pengguna Rusia 'NoFace'.

Diubah 8:52 7 Agustus – Nama belakang diperbaiki.
Diubah 8:30 8 Agustus – menambahkan gambar dari Discord.