DeepFaceLive ile Gerçek Zamanlı DeepFake Akışı

Dünyanın en çok kullanılan ve deepfake porno ile en güçlü şekilde ilişkilendirilen deepfake yazılımı, yeni bir uygulamaya kavuşuyor: ünlülerin deepfake'lerini canlı web kamerası görüntülerine yerleştirme yeteneği.

Açık kaynak deposu DerinYüzCanlı temelleri üzerine inşa edilmiş bir Windows 10 uygulamasıdır. Derin Yüz Laboratuvarı, orijinal deepfake yazılımının yaratıcısının, 2018'de deepfaking'in ortaya çıkışının dünya çapında tartışmalara yol açmasından kısa bir süre sonra projeyi bırakmasının ardından porno tabanlı yüz değiştirme konusunda hızla lider kaynak haline geldi. liste resmi destek kaynağı olarak deepfake porno sitesi mrdeepfakes'in forum bölümü.

Nisan ayında geliştirici Ivan Petrov tarafından yayınlanan DeepFaceLive arayüzünün bir videosunda, gerçek zamanlı olarak Tom Cruise'a dönüşen taklitçi Miles Fisher'ın indirilmiş görüntülerini görüyoruz. Kaynak: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Dün her iki projede de lider, Rus geliştirici Ivan Petrov, açıkladı projenin Discord grubunda DeepFaceLive'ın yeni bir versiyonu, DeepFaceLive'ın artık mrdeepfakes'te sık sık pornografik videoların konusu olan aktris Margot Robbie'nin eğitimli bir modelini içerdiğine dikkat çekiyor.

DeepFaceLive'ın Robbie kimliğini bir web kamerası akışındaki herhangi bir konuşmacıya ekleyebildiğini göstermek için dört örnek video klip yüklendi.

Margot Robbie'nin canlı derin sahtekarlık gösterilerinden biri. Kaynak: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Robbie dönüşüm videoları başlangıçta Twitch'te paylaşıldı, ancak daha sonra silindi.

DeepFaceLive tarafından sağlanan diğer üç yüz değiştirme örneği. Hedef özne ile yaklaşık bir yüz eşleşmesi gerekliliği hala kanıtlanmaktadır. Sol alttaki resimde, yazılımın, DeepFaceLab'da elde edilebileceği gibi, engelleri etkili bir şekilde maskeleyemeyeceğini görüyoruz, çünkü bu, XSeg uygulaması Gerçek zamanlı sahtekarlığa uygulanamayan bir yöntem olan DeepFaceLab.

İngiliz komedyen ve aktör Rowan Atkinson'ın ek bir varsayılan modelinin yakında DeepFaceLive için kullanıma sunulacağına söz verildi. Başlangıçta DeepFaceLive deposu, Tom Cruise dahil diğer ünlüleri Açık Sinir Ağı Değişimi olarak indirmenin mümkün olduğu bir CELEB_MODEL kategorisine sahipti (.onnx) dosyaları, ancak bu dizinler o zamandan beri silinmiştir.

Tom Cruise, Nisan 2021'de bir DeepFaceLive beta için birleşik bir kimlikti, ancak görünüşe göre o zamandan beri pakette varsayılan olarak kaldırıldı. Ancak model, diğer birçok ünlünün eğitimli modelleri ve son kullanıcılar tarafından eğitilmiş özel modellerin yanı sıra indirilebilir ve kurulabilir.

DeepFaceLive yalnızca bir Windows 10 uygulaması olarak çalışır ve rapor NVIDIA'nın canlı akışıyla iyi çalışmak için bir kullanıcı tarafından Yayın yapmak uygulama.

Kimliklerin Edinilmesi

DeepFaceLive için SSS, kullanıma hazır "genel yüz modellerini" kullanabileceğini belirttiğinden, kullanıcıların bir veri kümesi için yüz malzemesi toplamak gibi zahmetli bir süreçten geçmesine ve ardından çok iyi bir eşleşme elde etmek için gereken 3-10 güne ihtiyacı yoktur. ' diğer içerik oluşturucular tarafından zaten derlenmiş olan. Aslında, bu tür modellerin en büyük kaynağı Forum Eğitimli Modeller (arşiv bağlantısı) mrdeepfakes porno sitesinde bir Rus son kullanıcı tarafından kullanımda görülebilen ileti dizisi. son YouTube videosu.

Vladislav Pedro, kendisini gerçek zamanlı olarak Tom Cruise'a dönüştürmek için DeepFaceLive'ı kullanıyor. Videoda yüklediği model, mrdeepfakes'te barındırılıyor ve şimdiye kadar çevrimdışı deepfake işleme için kullanılıyordu. Kaynak: https://www.youtube.com/watch?v=0TcCKtObSnI

En iyi sonuçlar, son kullanıcının yüzünü hedef ünlüye karşı eğiterek elde edilecek olsa da, simülasyonun kalitesi, son kullanıcının hedefe ne kadar benzediği ile doğru orantılı gibi görünüyor. Kullanıcı, ünlüye nispeten iyi uyduğunda, ikna edici bir sonuç elde edilebilir.

Yukarıdaki resimlerdeki son üç Margot Robbie takasında da görüldüğü gibi, son kullanıcının yüzünün tamamen farklı genel özelliklere sahip olduğu durumlarda yazılım mucizeler gerçekleştiremez. Ancak DeepFaceLab ayrıca tüm kafa takaslarını gerçekleştir, saç stilleriyle ilgili sınırlamalar olsa da, kaynak başlığın tamamen üzerine yazan bir işlem. Discord sunucusundaki yorumlar, bunların DeepFaceLive'da da uygulanabileceğini onaylıyor.

DeepFaceLive şu anda yalnızca NVIDIA GPU'ları destekliyor, GTX 750 ile uygulama ile makul bir sonuç elde edebilecek en düşük donanım. 4 GB VRAM'e sahip bir grafik kartında ayrıca 32 GB takas disk alanı gerektirir.

Margot Robbie modelinin eğitimi – bir resim posted Ivan Petrov tarafından DeepFaceLab/DeepFaceLive Discord'da. Burada, çok çeşitli yüz tiplerini Avustralyalı aktrisin imajına dönüştürebilen sağlam ve iyi genelleştirilmiş bir model yaratma niyetiyle, kaynak veri setinin son derece çeşitli olduğunu görüyoruz. Çoğu 'A' seti genellikle tek bir kişiye aittir.

Kullanıcılar, DeepFaceLive'in donanım kaynakları açısından son derece talepkar olduğunu bildiriyor, ancak Petrov buna, DeepFaceLive'in iç mekan ortamında iyi tanımlanmış PC'ler için tasarlandığını iddia ederek yanıt verdi.

DeepFaceLab GitHub, çatallı 6,000'den fazla kez, yeni DeepFaceLive'da ise şu anda 85 çatal bulunuyor.

Olası Kullanımlar

yorum yapanlar iplik (Rus dili) Rus sosyal sitesi VK.com'da DeepFaceLive'ın olası kullanımları hakkında spekülasyon yapıyor ve yazılımın olası tüm uygulamalarını fark etmiş görünüyor: Zoom ve benzer uygulamalarda 'anonimleştirme' veya eğlence filtresi olarak; dolandırıcılık yapmak veya canlı yayını izleyen kişiyi aldatmak için bir araç olarak; ve - belki de büyük olasılıkla, yazılımın menşei ve kullanıcı tabanı ışığında - ünlü odaklı web kamerası tabanlı seks işçiliğini uygulamanın bir yolu olarak (makalenin sonundaki resme bakın).

'Deepfake kamera kızları' olasılığı ortaya Birkaç yıl önce medyada 2020'de Avatarify uygulaması açıkladı deepfake ünlü web kamerası işlevselliği, ancak önemli ölçüde kaliteli alt şu anda DeepFaceLab tarafından belirlenen standarttan daha seçim deposu son zamanlarda başlık çekici Tom Cruise deepfaker Chris Ume'nin yanı sıra dünya çapında üst düzey film ve TV yapım şirketleri.

DeepFaceLab, DeepFaceLive için tohum uygulaması ve rapor YouTube'daki tüm derin sahtekarlıkların %95'i için (Rusça) çerçeve, aynı zamanda olağanüstü özellikleri olan derin sahtekar Shamook tarafından kullanılan yazılımdır. iş Luke Skywalker'ın The Mandalorian'daki konuk oyunculuğunun iyileştirilmesi konusunda yakın zamanda Lucasfilm'e ilham verdi. onu işe almak VFX danışmanı olarak.

Deepfake Sınırlamalarına Uyarlanmıştır

DeepFaceLab gibi derin sahte yazılımların metodolojisi ve Yüz nakli tipik bir web kamerası ortamı tarafından iyi bir şekilde sunulur ve hala çevrimdışı derin sahtekarlıkların başına bela olabilecek özgünlüğün önündeki engellerin çoğunu ortadan kaldırır.

Örneğin, kullanıcı profile döndüğünde (veya yukarı baktığında), hızlı hareket ettiğinde veya sahne değişikliklerine veya ani ışık değişikliklerine maruz kaldığında deepfake'ler daha az ikna edici performans gösterir.

Bu nedenle, tipik bir Zoom aramasının veya web kamerasının 'statik' doğası, yazılımın güçlü yönleriyle oynar. Son üç yıldaki en saygın derin sahtekarlık örneklerinin birçoğunda, Steve Buscemi'nin Jennifer Lawrence'a empoze edilmesi gibi, doğrudan kameraya bakan ve kısıtlı bir ortamda çok az hareket eden konuşmacılar yer aldı. Oscar konuşmasındave çeşitli 'kameraya' siyasi yayınların dönüşümü.

DeepFaceLive'da bulunan varsayılan Margot Robbie modelinin muhtemelen en olası kullanımı - bir kamera uygulama test videosu yayınlanan Rus kullanıcı 'NoFace' tarafından DeepFaceLab Discord'da.

Değiştirildi 8:52 7 Ağustos – Soyadı düzeltildi.
Değiştirildi 8:30 8 Ağustos - Discord'dan resimler eklendi.