Anderson’un Açısı

Geleneksel CGI için yüz işleme aracı olarak GAN

Martin Anderson
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarGAN gizli uzayında kimliği ifadeden ayırmak, yüz video sentezi için çözülmemiş temel…
Daha fazla göster
  • GAN gizli uzayında kimliği ifadeden ayırmak, yüz video sentezi için çözülmemiş temel zorluk olmaya devam ediyor.
  • SMPL ve 3DMM'ler gibi parametrik CGI modelleri, GAN'ların başına buyruk gizli kodlarına düzen getirmek için giderek daha fazla kullanılıyor.
  • Disney'in Rendering with Style hibrit yaklaşımı, geleneksel doku haritalarını GAN tarafından üretilen görüntülerle birleştirerek tekinsiz sonuçlar üretti.

Görüş Üretken çekişmeli ağlar (GAN), ilk kez şaşırtıcı derecede gerçekçi üç boyutlu yüzler oluşturabildiklerini gösterdiğinde, insan yüzleri içeren zamansal olarak tutarlı videolar üretme konusundaki kullanılmamış potansiyelleri bir araştırma yarışı başlattı.

GAN’ın gizil uzayında bir yerde gizli bir düzen ve akılcılık olmalıydı: gizil kodlara gömülmüş, yeni beliren bir anlamsal mantık. Bu mantık, aynı yüzün farklı açılardan ve farklı ifadelerle tutarlı biçimde oluşturulmasını sağlayabilir, ardından zamansal açıdan ikna edici bir deepfake video yöntemi sunarak otokodlayıcıları açıkça geride bırakabilirdi.

GPU sınırlamalarının DeepFaceLab ve FaceSwap’i zorladığı düşük çözünürlüklü ortamlara kıyasla yüksek çözünürlüklü çıktı kolay olacaktı. Otokodlayıcı iş akışındaki yüz değiştirme alanı, birkaç giriş görüntüsünün, hatta tek bir görüntünün yönlendirdiği GAN oluşturma alanına dönüşecekti.

Değiştirilen yüz ile taşıyıcı yüz arasında uyumsuzluk kalmayacaktı, çünkü bütün görüntü sıfırdan üretilecekti. Geleneksel otokodlayıcı deepfake’lerde sorun yaratan saçlar, çene çizgisi ve yüz hatlarının en dış sınırları da buna dahildi.

GAN yüz videolarının kışı

Ancak bunun o kadar kolay olmadığı anlaşıldı. Sonunda faktörlerin ayrıştırılması temel sorun olarak ortaya çıktı ve başlıca zorluk olmaya devam ediyor. Bir yüzün kimliğini koruyup pozunu veya ifadesini değiştirmek, otokodlayıcı sistemlerin yaptığı gibi bu değişiklikleri ağa öğreten binlerce referans görüntüsünü zahmetle toplamadan nasıl mümkün olabilir?

Sonraki GAN yüz canlandırma ve sentez araştırmaları, giriş kimliğine o kişiye özgü olmayan, amaca yönelik, genel ve şablona dayalı dönüşümler uygulanabileceğini öne sürdü. Örneğin, GAN’ın bildiği kişinin hiçbir fotoğrafında bulunmayan bir ifade, o kişinin GAN yüzüne uygulanabilir.

2022 tarihli Tensor-based Emotion Editing in the StyleGAN Latent Space çalışmasında, FFHQ veri kümesindeki bir giriş yüzüne şablona dayalı ifadeler uygulanıyor. Kaynak: https://arxiv.org/pdf/2205.06102.pdf

2022 tarihli Tensor-based Emotion Editing in the StyleGAN Latent Space çalışmasında, FFHQ veri kümesindeki bir giriş yüzüne şablona dayalı ifadeler uygulanıyor. Kaynak: https://arxiv.org/pdf/2205.06102.pdf

Tek tip bir yaklaşımın her kişiye özgü yüz ifadelerinin çeşitliliğini kapsayamayacağı açık. Jack Nicholson veya Willem Dafoe’nunki kadar kendine özgü bir gülümseme, böyle ortalama ifade kodlarının etkisi altında gerçekten sadık biçimde yorumlanabilir mi?

Bu çekici Latin Amerikalı yabancı kim? GAN yöntemi daha gerçekçi ve yüksek çözünürlüklü bir yüz üretse de dönüşüm, DeepFaceLab gibi aktörün binlerce gerçek görüntüsünde kapsamlı eğitim almıyor. Dolayısıyla benzerlik zayıflıyor. Arka planda bir DeepFaceLab modeli, popüler ve tartışmalı yazılımın akış sürümü olan DeepFaceLive içine aktarılıyor. DeepFaceLab eğitimi çoğu zaman maliyetlidir. Örnekler: https://www.youtube.com/watch?v=9tr35y-yQRY (2022) ve https://arxiv.org/pdf/2205.06102.pdf.

Bu çekici Latin Amerikalı yabancı kim? GAN yöntemi daha gerçekçi ve yüksek çözünürlüklü bir yüz üretse de dönüşüm, DeepFaceLab gibi aktörün binlerce gerçek görüntüsünde kapsamlı eğitim almıyor. Dolayısıyla benzerlik zayıflıyor. Arka planda bir DeepFaceLab modeli, popüler ve tartışmalı yazılımın akış sürümü olan DeepFaceLive içine aktarılıyor. Örnekler: https://www.youtube.com/watch?v=9tr35y-yQRY (2022) ve https://arxiv.org/pdf/2205.06102.pdf.

Son yıllarda birçok GAN yüz ifadesi düzenleyicisi önerildi. Bunların çoğu tanınmayan kimlikler üzerinde çalışıyor; okuyucu bu yüzleri tanımadığından dönüşümlerin ne kadar sadık olduğunu değerlendiremiyor.

2020 tarihli Cascade-EF-GAN ile tanınmayan kimliklerin dönüştürülmesi. Kaynak: https://arxiv.org/pdf/2003.05905.pdf

2020 tarihli Cascade-EF-GAN ile tanınmayan kimliklerin dönüştürülmesi. Kaynak: https://arxiv.org/pdf/2003.05905.pdf

Son üç yılda en çok ilgi ve atıf alan GAN yüz düzenleyicisi muhtemelen InterFaceGAN. Kamera veya yüz açısı anlamındaki poz, ifade, yaş, ırk, cinsiyet ve diğer temel özelliklerle ilgili gizil kodlar üzerinden gizil uzayda geçişler yapabiliyor.

InterFaceGAN ve benzer sistemlerin 1980’ler tarzı biçim değiştirme yetenekleri, görüntü yaş gibi uygun bir gizil kod üzerinden geri yansıtılırken dönüşüm yolunu gösteriyor. Ancak zamansal sürekliliğe sahip video üretiminde bu şemalar şimdiye kadar etkileyici felaketler olarak kaldı.

Buna zamansal olarak tutarlı saç üretmenin zorluğu da eklenirse, GAN’ın yüz videosu sentezi için ihtiyacınız olan her şey™ olmadığı sonucuna varılabilir. Gizil kod keşfi ve manipülasyonu yerleşik zamansal yönlendirme sunmuyor. Statik görüntü üretmek için tasarlanan ve doğal video çıktısı desteği bulunmayan bir sisteme böyle bir yönlendirmenin nasıl ekleneceği de belirsiz.

Sonraki çabalar ayrıştırmada kademeli iyileşmeler sağladı. Diğerleri ise bilgisayarlı görü yöntemlerini bir yönlendirme katmanı olarak ekledi. Örneğin 2021’in sonundaki çalışma SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing, anlamsal bölütlemeyi kontrol mekanizması olarak kullandı.

SemanticStyleGAN’da gizil uzayı kontrol etmek için anlamsal bölütleme kullanılıyor. Kaynak: https://semanticstylegan.github.io/

SemanticStyleGAN’da gizil uzayı kontrol etmek için anlamsal bölütleme kullanılıyor. Kaynak: https://semanticstylegan.github.io/

Parametrik yönlendirme

GAN yüz sentezi araştırmacıları, etkileyici ancak kontrolü zor gizil kodlara düzen getirmek için giderek daha fazla geleneksel parametrik CGI yüzlerine yöneliyor.

Parametrik yüz temel öğeleri bilgisayarlı görü araştırmalarında yirmi yılı aşkın süredir kullanılıyor. Skinned Multi-Person Linear Model (SMPL) CGI öğelerinin daha yaygın kullanılmasıyla bu yaklaşıma ilgi arttı. Max Planck Enstitüsü ve ILM’nin öncülük ettiği yöntem daha sonra Sparse Trained Articulated Human Body Regressor (STAR) sistemiyle geliştirildi.

SMPL’nin burada gösterilen SMPL-X varyantı, görüntüdeki bütün insan vücudunun tahmini pozuna, gerektiğinde ifadeler dahil, uyan bir parametrik CGI ağı yerleştirebilir. Bu ağ, yeni görüntü işlemlerinde hacimsel veya algısal kılavuz olarak kullanılabilir. Kaynak: https://arxiv.org/pdf/1904.05866.pdf

SMPL’nin burada gösterilen SMPL-X varyantı, görüntüdeki bütün insan vücudunun tahmini pozuna, gerektiğinde ifadeler dahil, uyan bir parametrik CGI ağı yerleştirebilir. Bu ağ, yeni görüntü işlemlerinde hacimsel veya algısal kılavuz olarak kullanılabilir. Kaynak: https://arxiv.org/pdf/1904.05866.pdf

Bu alandaki en çok övgü alan gelişme, Disney’in 2019 tarihli Rendering with Style girişimiydi. Geleneksel doku haritalarını GAN görüntüleriyle birleştirerek daha iyi, deepfake tarzı animasyon üretmeyi amaçlıyordu.

Disney’in GAN deepfake’lerine yönelik melez yaklaşımında eski ile yeni buluşuyor. Kaynak: https://www.youtube.com/watch?v=TwpLqTmvqVk

Disney’in GAN deepfake’lerine yönelik melez yaklaşımında eski ile yeni buluşuyor. Kaynak: https://www.youtube.com/watch?v=TwpLqTmvqVk

Disney, geleneksel biçimde işlenmiş CGI öğelerini StyleGAN2’ye aktararak insan yüzlerinin sorunlu bölgelerini tamamlıyor. Deri dokusu gibi bu bölgelerde video üretirken zamansal tutarlılık zorlaşıyor.

Rendering with Style iş akışı.

Rendering with Style iş akışı.

Süreci yönlendiren parametrik CGI başı kullanıcıya göre ayarlanabildiğinden, GAN yüzü de baş pozu ve ifade dahil bu değişiklikleri yansıtabiliyor.

Amaç CGI’ın kontrol edilebilirliğini GAN yüzlerinin doğal gerçekçiliğiyle birleştirmek olsa da sonuçlar iki dünyanın kötü yanlarını gösteriyor. Saç dokusu ve temel yüz özelliklerinin konumu bile tutarlı kalmıyor.

Rendering with Style yeni bir tekinsiz vadi biçimi yaratıyor; yine de ilkenin potansiyeli var.

Rendering with Style yeni bir tekinsiz vadi biçimi yaratıyor; yine de ilkenin potansiyeli var.

2020 tarihli çalışma StyleRig: Rigging StyleGAN for 3D Control over Portrait Images, giderek yaygınlaşan bir yaklaşımı kullanıyor: üç boyutlu biçim değiştirebilen yüz modelleri (3DMM), StyleGAN’daki özellik değişikliklerine aracılık ediyor. Burada RigNet adlı yeni bir kontrol ağı kullanılıyor.

StyleRig’de 3DMM modelleri gizil uzayın yorumlanmasına aracılık ediyor. Kaynak: https://arxiv.org/pdf/2004.00121.pdf

StyleRig’de 3DMM modelleri gizil uzayın yorumlanmasına aracılık ediyor. Kaynak: https://arxiv.org/pdf/2004.00121.pdf

Ancak bu tür girişimlerde sık görüldüğü gibi, sonuçlar küçük poz değişiklikleri ve kişinin özellikleriyle yönlendirilmeyen ifade veya duygulanım değişiklikleriyle sınırlı görünüyor.

StyleRig kontrol düzeyini artırıyor, fakat zamansal olarak tutarlı saç hâlâ çözülememiş bir sorun. Kaynak:

StyleRig kontrol düzeyini artırıyor, fakat zamansal olarak tutarlı saç hâlâ çözülememiş bir sorun. Kaynak: https://www.youtube.com/watch?v=eaW_P85wQ9k

Mitsubishi Research’ün MOST-GAN sistemi de benzer sonuçlar veriyor. 2021 tarihli çalışma, ayrıştırma mimarisi olarak doğrusal olmayan 3DMM kullanıyor; ancak dinamik ve tutarlı hareket elde etmekte de zorlanıyor.

Kontrol ile ayrıştırmayı birleştirmeyi amaçlayan en yeni araştırma One-Shot Face Reenactment on Megapixels, parametrik 3DMM başlarını yine StyleGAN için kolay kullanılan bir arayüz olarak değerlendiriyor.

One-Shot Face Reenactment’ın MegaFR iş akışında ağ, gizil gösterime ters eşlenmiş gerçek bir görüntüyü, işlenmiş bir 3DMM modelinden alınan parametrelerle birleştirerek yüz sentezliyor. Kaynak: https://arxiv.org/pdf/2205.13368.pdf

One-Shot Face Reenactment’ın MegaFR iş akışında ağ, gizil gösterime ters eşlenmiş gerçek bir görüntüyü, işlenmiş bir 3DMM modelinden alınan parametrelerle birleştirerek yüz sentezliyor. Kaynak: https://arxiv.org/pdf/2205.13368.pdf

OSFR, Photoshop veya After Effects tarzı doğrusal düzenleme iş akışları geliştiren, sayısı artan GAN yüz düzenleyicileri arasında yer alıyor. Kullanıcı, kimliğe ilişkin gizil kodları uzayda aramak yerine istediği görüntüyü girip dönüşümleri uygulayabiliyor.

Yine de parametrik ifadeler, kişiselleştirilmemiş genel bir ifade ekleme yöntemi. Ortaya çıkan değişiklikler, kendilerine özgü ve her zaman olumlu olmayan bir tekinsizlik taşıyor.

OSFR’ye eklenen ifadeler.

OSFR’ye eklenen ifadeler.

Önceki çalışmalar gibi OSFR de tek görüntüden ilk poza yakın pozları çıkarabiliyor. Ayrıca açılı bir yüzü önden portreye dönüştüren önden görünüm oluşturma işlemini yapabiliyor.

Yeni çalışmada açıklanan OSFR uygulamalarından birinde orijinal görüntü üstte, çıkarılan önden portreler altta.

Yeni çalışmada açıklanan OSFR uygulamalarından birinde orijinal görüntü üstte, çıkarılan önden portreler altta.

Bu çıkarım, sinirsel ışınım alanlarının (NeRF) temelindeki bazı fotogrametri ilkelerine benziyor. Ancak burada geometri, NeRF’nin eksik ara pozları tahmin edip insanları içeren keşfedilebilir sinirsel 3D sahneler oluşturmasını sağlayan 3–4 bakış açısından değil, tek fotoğraftan belirlenmeli.

(NeRF de ihtiyacınız olan her şey™ değil: yüz videosu sentezindeki engelleri GAN’ınkilerden neredeyse tamamen farklı.)

GAN’ın yüz videosu sentezinde yeri var mı?

Tek kaynak görüntüden dinamik ifadeler ve eğitim dağılımı dışındaki pozlar üretmek, günümüz GAN yüz sentezi araştırmalarında simyaya benzer bir takıntı. Başlıca neden, GAN’ın şu anda yeterince yüksek çözünürlüklü ve görece yüksek doğrulukta sinirsel yüzler üretebilen tek yöntem olması. Otokodlayıcı deepfake sistemleri çok sayıda gerçek poz ve ifadeyle eğitilebilse de giriş ve çıkış çözünürlükleri VRAM ile sınırlı ve bir taşıyıcı görüntüye ihtiyaç duyuyor. NeRF de benzer biçimde sınırlı; diğer iki yaklaşımın aksine yüz ifadelerini değiştirmek için yerleşik yöntemleri yok ve genel düzenlenebilirliği düşük.

Doğru CGI/GAN yüz sentezi için tek yol, çok fotoğraflı bir kimlik varlığını gizil uzayda bir araya getirmenin yeni bir yöntemini bulmak gibi görünüyor. Böylece kişinin kimlik kodu, ilgisiz poz parametreleri için bütün uzayı dolaşmak yerine kendi ilişkili gerçek görüntülerini dönüşüm referansı olarak kullanabilir.

Böyle bir durumda, hatta bütün StyleGAN otokodlayıcılara benzer biçimde tek bir kimliğin yüz görüntüleriyle eğitilse bile, eksik anlamsal mantığı yine anlamsal bölütleme veya parametrik 3DMM yüzleri gibi yardımcı teknolojilerin sağlaması gerekebilir. En azından bu senaryoda kullanabilecekleri daha çok malzeme olur.

Makine öğrenimi üzerine yazar, insan görüntüsü sentezi alanında uzman. Metaphysic.ai'nin DNEG'e ait Brahma.ai bünyesine katılmasına kadar araştırma içeriğinden sorumlu yönetici olarak görev yaptı.
Web Sitesi: martinanderson.ai
İletişim: martin@martinanderson.ai