Yeni Derin Sahte Yüz Yöntemi ‘Yüz Host’ Problemini Çözüyor

Derin sahte görüntü ve videoların potansiyel olarak video görüntülerinin gerçekliğine olan inancımızı sarsabileceği konusunda birkaç yıldır süregelen medya abartmasına rağmen, tüm popüler yöntemler hala ‘yüz host’ bulmaya dayanmaktadır. Bu, hedef yüzün genel şekline benzer yüzler bulmaya çalışmak anlamına gelir.

Örneğin, orijinal görüntüde geniş bir yüz varsa, ancak hedef konu dar bir yüze sahipse, sonuçlar her zaman sorunlu olmuştur. Çünkü böyle bir transfer, orijinal yüzün bir kısmını keserek ve şimdi ortaya çıkan arka planı yeniden inşa ederek yapılır. DeepFaceLab ve FaceSwap gibi mevcut paketler, yapılandırmanın tersine çevrildiğinde (dar>geniş) sınırlı sonuçlar üretebilir, ancak bu senaryoyu ikna edici bir şekilde ele alma yeteneğine sahip değildir.

Şimdi, Tencent ve Çin’in Xiamen Üniversitesi arasındaki bir işbirliği, bu eksikliği gidermek üzere tasarlanmış yeni bir yaklaşım geliştirdi. Bu approach HifiFace olarak adlandırılmaktadır.

İki HifiFace derin sahtesi, ilk olarak Anne Hathaway, uyumsuz host yüz şekline rağmen iyi bir benzerlik elde edilmektedir. HifiFace ayrıca gözlüklü hedefler üzerinde de iyi performans gösterir, geleneksel olarak derin sahtelerde engel olan bir unsur. Kaynak: https://arxiv.org/pdf/2106.09965.pdf

Derin Sahte Yüzü Yeniden Düzenleme

Önceki yöntemler, 2019’un Konu Bağımsız Yüz Değiştirme ve Yeniden Canlandırma (FSGAN) gibi, 3DMM uyarlama (3D Biçimlenebilir Modeller) veya yüz özelliklerinin tanınması veya dönüşümüne dayanan diğer metodolojilere dayanmaktadır. Burada, yüzün ‘üzerine yazılmak’ istenen yüzün yüz çizgileri, değiştirme sınırlarını büyük ölçüde belirler.

3DMM yüz çizgisi algılama. Kaynak: https://github.com/Yinghao-Li/3DMM-fitting

Diğer yöntemler, yüz tanıma ağlarından türetilen özelliklere dayanmaktadır, ancak bunlar esas olarak dokunun yeniden oluşturulmasına yönelik olup, yüzün şekli uyumsuz olduğunda ‘mask gibi’ bir efekt üretirler.

Bu sorunları gidermek için, Çinli araştırmacılar, Xiamen Üniversitesi’nin Medya Analitiği ve Bilgisayar Laboratuvarı’nda, bir 3D yeniden inşa modeli kullanarak hedef ve kaynak yüzün katsayılarını regresyonlaştıran bir uçtan uca ağ geliştirdiler. Bu, daha sonra şekil bilgisi olarak birleştirilir ve yüz tanıma ağından gelen kimlik vektörü bilgisi ile birleştirilir.

Bu geometrik veri, daha sonra kodlayıcı-dekodlayıcı modeline yapısal bilgi olarak beslenir ve hedef yüzün ifadesi ve duruşu ile karıştırılır. Bu, doğru transfer için yardımcı kaynaklar olarak kullanılır.

Yüz Birleştirme

Ek olarak, HifiFace, yüzün uzaysal ve dokusal bilgilerini koruyarak kimliği korumak için bir Anlamsal Yüz Birleştirme (SFF) bileşeni içerir. Kodlayıcıdan ve dekodlayıcıdan özellikler, öğrenilen bir adaptif maske ile entegre edilir ve arka plan bilgisi, öğrenilen yüz maskesi aracılığıyla çıktıya karıştırılır.

HifiFace çalışır durumda. Kaynak: https://johann.wang/HifiFace/

Bu şekilde, HifiFace, orijinal yüz sınırlarını bir sınır olarak kullanmaktan vazgeçer ve yüzün kenarlarında daha iyi bir birleştirme sağlar.

Önceki iki yaklaşım (sol ve sağ) ve yeni HifiFace mimarisi, bir kodlayıcı, dekodlayıcı, 3D şekil bilgisi ve SFF modülünden oluşur.

Önceki yöntemler olan FSGAN, SimSwap ve FaceShifter ile karşılaştırıldığında, HifiFace yüz şeklinin daha iyi bir şekilde yeniden yapılandırılmasını sağlar.

Test Edilmesi

Araştırmacılar, sistemi VGGFace2 ve DeepGlint Asian-Celeb veri setleri ile uyguladılar. Yüzler, 5 dış landmark ile hizalandı ve 256×256 piksel olarak yeniden boyutlandırıldı. Ayrıca, 512×512 piksel yüksek çözünürlüklü bir model için bir portre iyileştirme ağı kullanıldı. Model, Adam ile eğitildi.

FaceShifter, kimliği iyi korur, ancak ifade, renk ve örtme gibi konuları HifiFace kadar etkili bir şekilde ele alamaz ve daha karmaşık bir ağ yapısına sahiptir. FSGAN, kaynaktan hedefe aydınlatmayı aktarma konusunda sorunlar yaşar.

Araştırmacılar, FaceForensics++ kullanarak nicel karşılaştırmalar yaptı ve dönüştürülmüş videolardaki on karelik bir toplu işlemin her birini diğer yöntemlerle karşılaştırdı. HifiFace’in daha iyi bir kimlik algoritması puanı elde ettiğini buldular. Diğer faktörleri test ederken, araştırmacılar ayrıca yöntemlerinin diğer metodolojileri aştığını buldular.

Benedict Cumberbatch’in yüz çizgileri sadık bir şekilde yeniden oluşturulur.

Çalışma, kaynak materyali soyutlayarak, sadece doğru kimliklerin aktarılacağı bir şablon olarak kullanma yönünde bir adım daha atmaktadır. Mevcut bazı FOSS paketleri, DeepFaceLab gibi, tam baş değiştirme için nascent bir işlevselliğe sahiptir, ancak HifiFace gibi, bunlar saçları hesaba katmaz ve yüzü ‘inşa etmek’ yerine ‘oymak’ için daha etkili olurlar.