Yeni Deepfake Yöntemi 'Face Host' Sorununu Çözüyor

Yıllardır medyada, deepfake görüntülerinin video görüntülerinin gerçekliğine olan uzun süredir devam eden inancımızı sarsma potansiyeli hakkında yapılan abartılara rağmen, şu anda popüler olan tüm yöntemler, hedef yüze şekil olarak büyük ölçüde benzeyen 'yüz konakları' bulmaya dayanıyor.

Orijinal çekimin geniş bir yüze sahip olduğu ancak hedef öznenin yüzünün dar olduğu durumlarda sonuçlar her zaman sorunlu olmuştur çünkü böyle bir aktarım, orijinal yüzün bir kısmının kesilip çıkarılmasını ve şimdi pozlanmış olan arka planın yeniden oluşturulmasını içerir. DeepFaceLab ve FaceSwap gibi mevcut paketler, yapılandırma tersine çevrildiğinde (dar>geniş) sınırlı sonuçlar üretebilir, ancak bu senaryoyu ikna edici bir şekilde ele alacak bir tesise sahip değildir.

Şimdi, Tencent ile Çin'in Xiamen Üniversitesi arasındaki bir işbirliği geliştirildi yeni yaklaşım, bu eksikliği gidermek için tasarlanmış HifiFace başlıklı.

Uyumsuz ana yüz şekline rağmen iyi bir benzerliğin elde edildiği, Anne Hathaway'in ilki olan iki HifiFace deepfake. HifiFace, geleneksel olarak deepfake'te tökezleyen bir engel olan gözlüklü hedeflerde de iyi performans gösteriyor. Kaynak: https://arxiv.org/pdf/2106.09965.pdf

Deepfake Yüzün Yeniden Modellenmesi

2019'daki gibi önceki yaklaşımlar Konu Agnostik Yüz Değiştirme ve Canlandırma (FSGAN), bağlıydı 3DMM uydurma (3D Morphable Models) veya yüz sınırı tanıma veya dönüştürme etrafında şekillenen diğer metodolojiler, burada 'üzerine yazılacak' yüzün yüz çizgileri, takasın sınırlarını büyük ölçüde belirler:

3DMM yüz işareti algılama. Kaynak: https://github.com/Yinghao-Li/3DMM-fitting

Rekabet eden yöntemler yüz tanıma ağlarından türetilen özelliklerden yararlansa da, bunlar öncelikle yapıdan ziyade dokuyu yeniden oluşturmayı amaçlar ve benzer şekilde, ana yüzün tamamen uyumlu olmadığı durumlarda (örneğin saç çizgisi, çene çizgisi ve elmacık kemiklerinin sınırları ve şekli) 'maske benzeri' bir etki üretir.

Bu sorunları ele almak için üniversitenin Yapay Zeka Bölümü bünyesindeki Medya Analitiği ve Hesaplama Laboratuvarı'nda bulunan Çinli araştırmacılar, hedef ve kaynak yüzünün katsayılarını 3 boyutlu yeniden yapılandırma modeli kullanarak regresyona tabi tutan, daha sonra şekil bilgisi olarak yeniden birleştirilen ve yüz tanıma ağından gelen kimlik vektörü bilgisiyle birleştirilen uçtan uca bir ağ geliştirdiler.

Bu geometrik veriler daha sonra yapısal bilgi olarak bir kodlayıcı-kod çözücü modele beslenir ve hedef yüzün ifadesi ve konumuyla harmanlanarak doğru aktarım için yardımcı kaynaklar olarak kullanılır.

Semantik Yüz Füzyonu

Ek olarak HifiFace, hedef görüntünün kimliğinden ödün vermeden uzamsal ve doku bilgilerini korumak için kodlayıcıda düşük seviyeli bir özellik kullanan Semantik Yüz Füzyonu (SFF) bileşeni içerir. Kodlayıcı ve kod çözücüden gelen özellikler, öğrenilmiş bir uyarlanabilir maskeye entegre edilir ve arka plan bilgisi, öğrenilen yüz maskesi aracılığıyla çıktıya karıştırılır.

HifiFace iş başında. Kaynak: https://johann.wang/HifiFace/

Bu şekilde HifiFace, modelin yüzün kenar sınırlarında daha iyi uyarlanabilir füzyon gerçekleştirebildiği genişletilmiş yüz semantik bölümlemesini kullanarak, orijinal malzeme yüz sınırlarının kullanımından katı bir sınır olarak ayrılır.

Önceki iki yaklaşım (üst ve sol alt) ve bir kodlayıcı, kod çözücü, 3B şekle duyarlı kimlik çıkarıcı ve SFF modülünden oluşan yeni HifiFace mimarisi.

Eski yöntemler FSGAN ile karşılaştırıldığında, Sim Değiştirme ve Yüz DeğiştiriciHifiFace, yüz sınırlamalarının kimlik>kimlik eşlemesini bozduğu 'hayalet' unsurları yaklaşık olarak oluşturmadığı, ancak bunları kesin olarak yeniden yapılandırdığı için yüz şeklinin üstün bir yeniden yapılandırmasını göstermektedir.

Test yapmak

Araştırmacılar sistemi kullanarak uygulamışlardır. VGGFace2 ve DeepGlint Asian-Celeb veri kümeleri. Yüzler 5 dışa doğru yer işaretiyle hizalandı ve 256×256 piksele yeniden kırpıldı. Ek olarak daha yüksek çözünürlüklü bir model için 512x512 piksellik bir versiyon oluşturmak amacıyla bir portre geliştirme ağı da kullanıldı. Model altında eğitildi Adem.

FaceShifter, kimliği iyi korusa da ifade, renk ve kapatma gibi konuları HifiFace kadar etkili bir şekilde ele alamamakta ve daha karmaşık bir ağ yapısına sahiptir. FSGAN, aydınlatmayı kaynaktan hedefe aktarmada sorunlar yaşıyor.

Araştırmacıların kullandığı Yüz Adli Bilişim ++ niceliksel karşılaştırmalar için, rakip yöntemlerde dönüştürülmüş videoların her bir grubunda on kare örnekleme ve HifiFace'in üstün bir kimlik alma puanı elde ettiğini bulma. Araştırmacılar, görüntü kalitesi gibi bir dizi başka faktörü test ederken, yöntemlerinin rakip metodolojilerden daha iyi performans gösterdiğini de keşfettiler.

Benedict Cumberbatch'in yüz hatları sadık bir şekilde yeniden üretilmiştir.

Çalışma, kaynak materyalin soyutlanması ve doğru kimliklerin aktarılabileceği kaba bir şablon haline getirilmesi yönünde daha ileri bir adımı temsil ediyor. DeepFaceLab dahil olmak üzere mevcut FOSS paketlerinin bazıları, tam kafa değişimi için yeni bir işlevselliğe sahip, ancak HifiFace gibi bunlar da saçı hesaba katmıyor ve istenen hedef kaynağa uyacak şekilde yontmaktan ziyade bir yüzü "oluşturmada" daha etkililer.