Sentetik Yüz Verileri için Plastik Cerrahi

Güney Kore’den yeni bir araştırma, Generative Adversarial Networks (GAN’ler) tarafından oluşturulan sentetik yüz verilerinin kalitesini iyileştirmeyi vaadediyor.

Sistem, GAN işlemleri tarafından üretilen görüntü hatalarını tanımlamak ve bunları düzeltmek capabilityine sahiptir ve hatta bir şapka tarafından gizlenen saçları değiştirebilir, yüzün tamamen eksik olan kısımlarını değiştirebilir, eller ve güneş gözlükleri gibi engelleri kaldırabilir ve manzara ve mimari çıktıda da iyi çalışır.

Her sütunun solunda, hataları olan orijinal GAN çıkışı, ardından diğer iki yaklaşım ve finally Güney Koreli araştırmacıların kullandığı yöntem. Kaynak: https://arxiv.org/pdf/2104.06118.pdf

GAN tarafından oluşturulan görüntülerin kalitesini iyileştirmeye yönelik en recent approaches, hataların işlemin bir meslek hastalığı olduğunu, yöntemin bir ‘doğa gücü’ olduğunu ve ürettiği daha psikodelik veya anormal sonuçların kaçınılmaz bir yan ürün olduğunu varsaymıştır.

Bunun yerine, Güney Koreli araştırma, etkilenen görüntüleri, devam eden generatif zinciri bozmadan “düzeltme” yoluna gitmeyi öneriyor, hatalara neden olan yönleri tanımlayarak ve GAN ağındaki yarı-denetimli seviyede onların etkisini azaltarak veya ortadan kaldırarak.

Proje için, GAN hataları tarafından kötü etkilenen görüntülerin geniş çapta uygulanabilir, el ile etiketlenmiş bir veri seti oluşturmak gerekliydi. Başlangıçta, araştırmacılar, görüntülerin kalitesini değerlendiren bir metric olan Frechet Inception Distance (FID) kullandılar. 200.000 görüntüden oluşan bir çalışmanın içinde en yüksek FID puanına sahip 10.000 görüntü, ayrı “hata birimleri” olarak kullanıldı. Ardından araştırmacılar, 2.000 oluşturulan görüntüyü el ile etiketledi, her birini “normal” veya FID hataları tarafından etkilenmiş olarak sınıflandırdı. Sonra bir model, veri setini hata, normal ve gerçek dünya örnekleri olarak sınıflandırmak için oluşturuldu.

Bunun ardından, Gradient-weighted Class Activation Mapping (Grad-CAM), hata etkilenen bölgeler için maskeler oluşturmak amacıyla kullanıldı, böylece hataların etiketlenmesi otomatik hale geldi.

Yukarıdaki resimde, Grad-CAM maskeleri, LSUN-Church outdoor veri seti ve CelebA-HQ veri seti çıkışlarına uygulanmıştır.

20.000 görüntüden oluşan bir çalışmanın en çok etkilenen 20 sonucu analiz ederek, segmentasyon maskeleri oluşturulmuştur, bu maskelere, daha doğru veya inandırıcı olan sonuçlar yerleştirilebilir, sonraki nesillerde hata üreten birimlerin aktivitesini azaltarak.

Düzeltmelerin insan tarafından değerlendirilmesi, “onarılan” görüntülerin %53’ünün “normal” olarak etiketlendiğini, orijinal görüntülerin %97’sinin ise önemli iyileştirmeler gösterdiğini ortaya koydu.

Araştırmacılar, bu yöntemin, küçük bir yeniden düzenleme ile NVIDIA’nın StyleGAN2 ‘sine de uyarlanabileceğini iddia ediyorlar.

Sentetik Verilerin Faydaları

Öncelikle yüz verilerine ilişkin olarak, gerçek dünya veri setlerinin bilgisayarlı görü için genel olarak az olması, yüz tanıma, duygu tanıma, tıbbi araştırma ve yüz topolojisinin daha granüler segmentasyonu gibi önemli araştırma alanlarında çeşitliliğe yönelik bir engel oluşturuyor.

Web yüzeyindeki verilerin ücretsiz kullanımına yönelik mevcut tepki ve yüz veritabanlarına dahil edilmek üzere gerçek dünya yüz görüntülerinin ad hoc toplaması, araştırmaya bir başka engel oluşturuyor, birçok devlet ve ulus, yüz tanıma veritabanlarının potansiyel yasal işlemlerine karşı kovuyor ve web kazıma ve sosyal medya görüntülerinin bu amaçlar için kullanımını yasaklıyor.

Son on yılda, sınırlı sayıda, iyi düzenlenmiş yüz veri setleri, bu belirsizlikten kaçış imkânı sunuyor, çeşitli yıllık kamu araştırma zorlukları bu veri setleri etrafında merkezleniyor. Ancak, bu, araştırma projelerinin, bu veri setlerine özgü metodolojilere kaymasına yol açmış, yıllık sonuçlar, kaynak malzemesindeki çeşitlilik eksikliği pahasına tutarlı ve karşılaştırılabilir bir şekilde elde edilmiştir – bu durum her yıl yeni araştırmaların bu sınırlar içinde kaldıkça daha da kötüleşiyor.

Ayrıca, bu ‘geleneksel’ veri setlerinden bazıları, ırksal çeşitlilik eksikliği nedeniyle eleştirilere maruz kaldı, bu da bu referans noktalarının yakın gelecekte uygun kaynaklar olarak kabul edilmeyebileceği anlamına geliyor.

Bu, gerçekçi ancak “gerçek dünya” görüntülerinin çok ötesine geçmiş, yüksek kaliteli yüz verilerine ihtiyaç duyulduğunu gösteriyor. Gerçek yüz verilerinin bu şekilde kullanılması, veri toplama mekanizmaları ve teknikleri için yasal ve teknik mekanizmalar kurulana kadar, provenans konusunda sorunlara neden olmayacaktır; ve bu konudaki olası yasal çerçeve değişikliklerine ilişkin olarak, gerçek insanların görüntülerini kullanmaktan daha az bir tehlike oluşturmaktadır.

İleri Okuma:

Sentetik Görüntülerin Gerçekçiliğini İyileştirme
Generatif Sinir Ağlarında İç Birimlerin Otomatik Düzeltmesi