Gerçek Zamanlı DeepFake Akışı ile DeepFaceLive

Dünyanın en çok kullanılan deepfake yazılımı ve deepfake porn ile en çok ilişkilendirilen yazılım, yeni bir uygulama ile güncelleniyor – canlı webcam görüntülerine ünlü bir kişinin yüzünü süperimpose etme yeteneği.

Açık kaynak depoları DeepFaceLive , DeepFaceLab temelinde oluşturulan bir Windows 10 uygulamasıdır. DeepFaceLab, 2018’de deepfaking’in dünya çapında tartışma yaratmasının ardından orijinal deepfake yazılımının yaratıcısı tarafından projeden kısa bir süre sonra terk edilmesinin ardından pornografik yüz değiştirme için lider kaynak haline geldi. Her iki proje de liste deepfake porn sitesi mrdeepfakes’in forum bölümünü resmi bir destek kaynağı olarak listeler.

Geliştirici Ivan Petrov tarafından Nisan ayında yayınlanan DeepFaceLive arayüzünün videosunda, indirilen Miles Fisher görüntüsünün gerçek zamanlı olarak Tom Cruise’a dönüştürüldüğünü görüyoruz. Kaynak: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Dün, her iki projenin lideri olan Rus geliştirici Ivan Petrov, duyurdu projenin Discord grubunda DeepFaceLive’in yeni bir sürümünü, DeepFaceLive’in şimdi oyuncu Margot Robbie’nin eğitilmiş bir modelini içerdiğini belirterek. Margot Robbie, mrdeepfakes’te sıklıkla pornografik videoların konusu olan bir isim.

Dört örnek video klipi, DeepFaceLive’in herhangi bir webcam beslemesine Robbie kimliğini ekleyebilme yeteneğini göstermek için yüklenmiştir.

Canlı deepfaking için Margot Robbie gösterimi. Kaynak: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Robbie dönüşüm videoları ilk olarak Twitch’de paylaşıldı, ancak sonrasında silindi.

DeepFaceLive tarafından sağlanan yüz değiştirme örneklerinin diğer üçü. Hedef konu ile yaklaşık yüz eşleşmesi gereksinimi hala mevcut. Alt sol resimde, yazılımın engelleri etkili bir şekilde maskelemeyeceğini görüyoruz, bu da DeepFaceLab’de XSeg uygulaması ile eğitim maskeleri gerektirir, bu da gerçek zamanlı sahtecilik için uygulanamaz.

İngiliz komedyen ve aktör Rowan Atkinson’ın bir başka varsayılan modeli, yakında DeepFaceLive için kullanılabilir hale getirilecek. Orijinal olarak DeepFaceLive deposu, diğer ünlülerin yanı sıra Tom Cruise’u Open Neural Network Exchange (.onnx) dosyaları olarak indirmek için CELEB_MODEL kategorisine sahipti, ancak bu dizinler daha sonra silindi.

Tom Cruise, 2021 Nisan’ında DeepFaceLive beta sürümünde entegre edilmiş bir kimlikti, ancak pakette varsayılan olarak kaldırılmış görünüyor. Ancak model indirilebilir ve kurulabilir, ayrıca birçok diğer ünlünün eğitilmiş modelleri ve son kullanıcılar tarafından eğitilen özel modeller de mevcuttur.

DeepFaceLive yalnızca Windows 10 uygulaması olarak çalışır ve rapor edildiği gibi bir kullanıcı tarafından NVIDIA’nın canlı yayın Broadcast uygulamasıyla iyi çalıştığı belirtilmiştir.

Kimlik Edinme

Kullanıcılar, yüz materyali için bir veri seti toplamak ve çok iyi bir eşleşme elde etmek için 3-10 gün gerekli olan zahmetli bir süreci geçmek zorunda değiller, çünkü DeepFaceLive SSS’si, önceden diğer yaratıcılar tarafından derlenen ‘hazır yüz modellerini’ kullanabileceğini belirtir. Aslında, bu tür modellerin en büyük kaynağı, mrdeepfakes pornografik sitesi forumunda bulunan Forum-Eğitimli Modeller (arşiv bağlantısı) işlevidir, bu bir Rus son kullanıcı tarafından son bir YouTube videosunda görülebilir.

Vladislav Pedro, DeepFaceLive’i kullanarak kendisini gerçek zamanlı olarak Tom Cruise’a dönüştürüyor. Videoda yüklenen model, mrdeepfakes’te barındırılıyor ve şimdiye kadar çevrimdışı deepfake işlemleri için kullanılmıştır. Kaynak: https://www.youtube.com/watch?v=0TcCKtObSnI

En iyi sonuçlar, son kullanıcı yüzünü hedef ünlüyü eğitmekle elde edilecektir, ancak simülasyon kalitesi, son kullanıcının hedef ünlüyü ne kadar iyi benzediğine doğrudan orantılı görünüyor. Kullanıcı, ünlüyü oldukça iyi bir şekilde benzetirse, inandırıcı bir sonuç elde edilebilir.

Son üç Margot Robbie değişiminde görüldüğü gibi, yazılım, son kullanıcının yüzünün genel özelliklerinin radikal olarak farklı olduğu durumlarda mucizeler yaratamaz. Ancak, DeepFaceLab ayrıca tüm baş değişimlerini gerçekleştirebilir, bu da kaynak başını tamamen üzerine yazar, ancak saç stilleriyle ilgili sınırlamalar vardır. Discord sunucusundaki yorumlar, bunların da DeepFaceLive’de uygulanabileceğini doğrulamaktadır.

DeepFaceLive şu anda yalnızca NVIDIA GPU’larını desteklemektedir, GTX 750 en düşük donanımdır ve uygulamayla makul bir sonuç elde edilebilir. 4GB VRAM’e sahip bir grafik kartında, ayrıca 32GB’lık disk alanı gerektirir.

Margot Robbie modelinin eğitimi – DeepFaceLab/DeepFaceLive Discord’da paylaşılan bir resim tarafından Ivan Petrov. Burada, kaynak veri setinin son derece çeşitli olduğunu ve Avustralyalı aktrisin görüntüsüne benzeyen çok çeşitli yüz tiplerini dönüştürebilen güçlü ve genelleştirilmiş bir model oluşturmayı amaçladığını görüyoruz. Çoğu ‘A’ seti genellikle tek bir bireyden oluşur.

Kullanıcılar, DeepFaceLive’in donanım kaynakları açısından son derece talepkar olduğunu bildirdiler, ancak Petrov buna, DeepFaceLive’in iyi donanımlı bilgisayarlar için tasarlandığını belirtmek suretiyle yanıt verdi.

DeepFaceLab GitHub’u 6.000’den fazla kez forklandı, yeni DeepFaceLive ise şu anda 85 fork’a sahiptir.

Mümkün Kullanımlar

VK.com’daki bir thread (Rusça) yorumcuları, DeepFaceLive’in olası kullanımlarını tartışıyor gibi görünüyor ve yazılımın muhtemel tüm uygulamalarını anlamış gibi görünüyorlar: bir ‘anonimleştirme’ veya eğlence filtresi olarak Zoom ve benzeri uygulamalarda; canlı akış izleyicisini aldatmak veya kandırmak için bir araç olarak; ve – muhtemelen yazılımın kökeni ve kullanıcı tabanı nedeniyle en olası – ünlü odaklı webcam tabanlı seks işi uygulaması olarak (makale sonunda resim).

“Derin sahte kam kızları” olasılığı medyada iki yıl önce ortaya çıktı. 2020’de Avatarify uygulaması, deepfake ünlü webcam işlevselliğini duyurdu, ancak DeepFaceLab tarafından belirlenen standartların çok altında bir kaliteyle. DeepFaceLab, şimdi Tom Cruise deepfaker Chris Ume ve dünya çapındaki yüksek düzeyde film ve TV prodüksiyon şirketleri için son başlıkları yapan deepfake Deposu tercihi haline geldi.

DeepFaceLab, DeepFaceLive’in kaynak uygulaması ve rapor edildiği (Rusça) YouTube’daki tüm deepfakes’in %95’ini oluşturan çerçevenin yanı sıra, The Mandalorian’da Luke Skywalker’ın konuk görünümünü iyileştirmesiyle tanınan deepfaker Shamook tarafından kullanılan yazılımdır. Bu, son olarak Lucasfilm’i VFX danışmanı olarak işe almaya yöneltti.

Derin Sahte Sınırlamalarına Uyum Sağlama

DeepFaceLab ve FaceSwap gibi deepfake yazılımlarının metodolojisi, tipik bir webcam ortamına son derece iyi hizmet vermektedir ve çevrimdışı deepfakes’in masih karşılaşabileceği birçok otantiklik engelini ortadan kaldırmaktadır.

Örneğin, deepfakes, kullanıcı profil olarak döndüğünde (veya yukarı bakarken), hızlı bir şekilde hareket ettiğinde veya sahne değişikliklerine veya aniden aydınlatma değişikliklerine maruz kaldığında daha az ikna edicidir.

Bu nedenle, bir Zoom görüşmesi veya webcam’ın “statik” doğası, yazılımın güçlü yanlarına hizmet eder. Son üç yıl içinde deepfake hilelerinin en saygın örneklerinin çoğu, konuşmacının doğrudan kamera karşısında durduğu ve kısıtlanmış bir ortamda çok az hareket ettiği durumları içermiştir, örneğin Steve Buscemi’nin Jennifer Lawrence üzerine bindirilmesi veya çeşitli “kamera karşısına” siyasi yayınların dönüşümü.

DeepFaceLive’de dahil edilen varsayılan Margot Robbie modelinin muhtemelen en olası kullanımı – bir kam implementasyon testi videosu, DeepFaceLab Discord’da yayınlandı tarafından Rus kullanıcısı ‘NoFace’.

8:52 pm 7 Ağustos’ta düzeltildi – Soyadı düzeltildi.
8 Ağustos 20:30’da değiştirildi – Discord’dan resimler eklendi.