Yeni Derin Sahte Yöntemi ‘Yüz Konak’ Problemini Çözüyor

Medya, derin sahte görüntülerin video kayıtlarının otantikliğine olan uzun süredir devam eden inancımızı sarsma potansiyeli hakkında yıllarca süren abartılı bir şekilde konuşmasına rağmen, tüm当前 popüler yöntemler, hedef yüzle yaklaşık olarak benzer bir şekle sahip ‘yüz konakları’ bulmaya dayanmaktadır.

Orijinal kayıtlarda geniş bir yüz bulunurken, hedef konu dar bir yüze sahipse, sonuçlar her zaman sorunludur, çünkü böyle bir aktarım, orijinal yüzün bir kısmını keserek şimdi ortaya çıkan arka planı yeniden oluşturmayı içerir. DeepFaceLab ve FaceSwap gibi current paketler, yapılandırmanın tersine (dar>geniş) sınırlı sonuçlar üretebilir, ancak bu senaryoyu ikna edici bir şekilde ele alma yeteneğine sahip değildir.

Şimdi, Tencent ve Çin’in Xiamen Üniversitesi arasındaki bir işbirliği, bu eksikliği gidermek üzere tasarlanmış bir yeni yaklaşım geliştirdi, adı HifiFace.

İki HifiFace derin sahtesi, ilki Anne Hathaway’dir, burada iyi bir benzerlik, uyumsuz konak yüz şekline rağmen elde edilir. HifiFace ayrıca geleneksel olarak derin sahtelerde tökezleyen hedeflerle birlikte gözlüklerle de iyi performans gösterir. Kaynak: https://arxiv.org/pdf/2106.09965.pdf

Derin Sahte Yüzün Yeniden Modellenmesi

Önceki yöntemler, 2019’un Konu Bağımsız Yüz Değiştirme ve Yeniden Canlandırma (FSGAN) gibi, 3DMM uyarlama (3D Biçimlendirilebilir Modeller) veya yüz özelliklerinin tanınması veya dönüşümüne dayanan diğer metodolojilere dayanıyordu, burada yüzün ‘üzerine yazılmak’ istenen yüzün sınırları büyük ölçüde yüz çizgileri tarafından belirlenir:

3DMM yüz çizgisi algılama. Kaynak: https://github.com/Yinghao-Li/3DMM-fitting

Rakip yöntemler, yüz tanıma ağlarından türetilen özelliklere dayanmıştır, ancak bunlar öncelikle dokunun yeniden oluşturulmasına yönelik olup, benzer şekilde, konak yüzü tam olarak uyumlu değilse (yani saç çizgisi, çene çizgisi ve yanak kemiklerinin sınırları), ‘mask-like’ bir efekt üretirler.

Bu sorunları gidermek için, Çinli araştırmacılar, üniversitenin Yapay Zeka Bölümünün Medya Analitiği ve Bilgisayar Laboratuvarında bulunan, hedef ve kaynak yüzün katsayılarını 3D yeniden inşa modeli kullanarak regresyon yapan bir uçtan-uca ağ geliştirdiler, bu daha sonra şekil bilgisi olarak birleştirilir ve yüz tanıma ağından kimlik vektörü bilgisi ile birleştirilir.

Bu geometrik veri, daha sonra kodlayıcı-dekodlayıcı modeline yapısal bilgi olarak beslenir, hedef yüzün ifadesi ve disposizyonu ile karıştırılır, bu da doğru aktarım için yardımcı kaynaklar olarak kullanılır.

Yüzsel Birleşme

Ek olarak, HifiFace, uzaysal ve doku bilgilerini korurken hedef görüntü kimliğini feda etmeden, düşük seviyeli bir özellik kullanarak Kodlayıcıda Yüzsel Birleşme (SFF) bileşeni içerir. Kodlayıcı ve dekodlayıcıdan özellikler, öğrenilen bir adaptif maske içine entegre edilir ve arka plan bilgileri, öğrenilen yüz maskesi yoluyla çıktıya karıştırılır.

HifiFace çalışır durumda. Kaynak: https://johann.wang/HifiFace/

Bu şekilde, HifiFace, orijinal malzeme yüz sınırlarını katı bir sınır olarak kullanmaktan, genişletilmiş yüz anlamsal segmentasyonu kullanarak, modelin yüzün kenar sınırında daha iyi adaptif birleştirme yapmasını sağlar.

Önceki iki yaklaşım (sol üst ve sol alt) ve yeni HifiFace mimarisi, bir kodlayıcı, dekodlayıcı, 3D şekil-bilinçli kimlik çıkarıcı ve SFF modülünden oluşur.

FSGAN, SimSwap ve FaceShifter gibi önceki yöntemlerle karşılaştırıldığında, HifiFace, yüz şeklinin daha üstün bir yeniden yapılandırmasını gösterir, çünkü ‘hayalet’ öğeleri yaklaşık olarak değil, kesin olarak yeniden oluşturur.

Test

Araştırmacılar, sistemi VGGFace2 ve DeepGlint Asian-Celeb veri setleri kullanarak uyguladılar. Yüzler, 5 dış landmark ile hizalandı ve 256×256 piksel olarak yeniden kesildi. Ayrıca, 512×512 piksel boyutunda daha yüksek çözünürlüklü bir model oluşturmak için bir portre iyileştirme ağı kullanıldı. Model, Adam altında eğitildi.

FaceShifter kimliği iyi korur, ancak ifade, renk ve örtme gibi konuları HifiFace kadar etkili bir şekilde ele alamaz ve daha karmaşık bir ağ yapısına sahiptir. FSGAN, kaynaktan hedefe aydınlatmayı aktarmada sorunlar yaşar.

Araştırmacılar, rakip yöntemlerle nicel karşılaştırmalar için FaceForensics++ kullanır, dönüştürülen videolardaki on karelik bir toplu işlemin her birini örnekler ve HifiFace’in daha üstün bir ID algoritma puanı elde ettiğini bulur. Diğer faktörleri test ederken, görüntü kalitesi gibi, araştırmacılar ayrıca yöntemlerinin rakip metodolojileri aştığını buldu.

Benedict Cumberbatch’in yüz çizgileri sadık bir şekilde yeniden üretilir.

Çalışma, kaynak materyali, böylece doğru kimliklerin yalnızca kaba bir şablonuna aktarılabilmesi için soyutlama yönünde bir başka adımdır. Mevcut FOSS paketlerinin bazıları, DeepFaceLab’i içerir, tam baş değiştirme için nasırlaşmış işlevselliğe sahiptir, ancak HifiFace gibi, bunlar saç hesaba katılmaz ve bir yüzü ‘inşa etmek’ yerine istenen hedef kaynağa uydurmak için ‘oymak’ daha etkilidir.