GAN Oluşturduğu Yüzler için Plastik Cerrahi

Güney Kore’den çıkan yeni araştırma, Generative Adversarial Networks (GAN’ler) tarafından oluşturulan sentetik yüz verilerinin kalitesini iyileştirmeyi vaat ediyor.

Sistem, GAN işlemleri tarafından üretilen görüntü hatalarını tanımlayabilme ve bunları giderme kabiliyetine sahiptir, hatta bir şapka tarafından gizlenen saçları değiştirebilir, orijinalinde eksik olan yüzün kısımlarını tamamen değiştirebilir, el ve güneş gözlüğü gibi engelleri kaldırabilir ve ayrıca manzara ve mimari çıktılarda iyi çalışır.

Soldaki her sütun için, orijinal GAN çıktısı hatalarıyla, ardından diğer iki yaklaşım ve nihayet Güney Koreli araştırmacıların kullandığı yöntem. Kaynak: https://arxiv.org/pdf/2104.06118.pdf

GAN tarafından oluşturulan görüntülerin kalitesini iyileştirmeye yönelik en son yaklaşımlar, hataların bu sürecin mesleki bir tehlikesi olduğunu, metodolojinin bir ‘doğa gücü’ olduğunu ve ürettiği daha psikodelik veya anormal sonuçların kaçınılmaz bir yan ürün olduğunu kabul etmiştir.

Bunun yerine, Güney Koreli araştırma, ảnh edilen görüntüleri, devam eden oluşturucu zincirle müdahale etmeden ‘düzeltme’ yöntemini önermektedir. Bu, hatalara neden olan yönleri tanımlayarak ve GAN ağındaki etkilerini yarı-denetimli bir düzeyde azaltarak veya ortadan kaldırarak gerçekleşir. Bu, GAN mimarisindeki yerel self-correcting mekanizmalarını aşar ve genişletir.

Proje için, GAN hataları tarafından kötü şekilde etkilenen görüntülerin geniş çapta uygulanabilir, el-etiketli bir veri kümesinin oluşturulması gerekliydi. Başlangıçta, araştırmacılar, görüntülerin kalitesini GAN çıktısını karşılaştıran bir metrik olan Frechet Inception Distance (FID) kullandılar. 200.000 görüntüden 10.000 görüntüdeki en yüksek FID puanları, ayrı ‘hata birimleri’ olarak kullanıldı. Ardından araştırmacılar, 2.000 oluşturulan görüntüyü el-etiketledi, her birini ‘normal’ veya FID hataları tarafından etkilenmiş olarak sınıflandırdı. Sonra, veri kümesini hata, normal ve rastgele gerçek dünya örnekleri olarak sınıflandırmak için bir model oluşturuldu.

Bundan sonra, Gradient-weighted Class Activation Mapping (Grad-CAM) kullanılarak, hata-etkilenen bölgeler için maskeler oluşturuldu, böylece hataların etiketlenmesi otomatik hale geldi.

Yukarıdaki resimde, Grad-CAM maskeleri, LSUN-Church outdoor veri kümesi ve CelebA-HQ veri kümesi çıkışlarına uygulanmıştır.

20.000 görüntüden en çok etkilenen 20 sonucu analiz ederek, segmentasyon maskeleri oluşturulur ve bu maskelere, oluşturma boyunca daha doğru veya inandırıcı olan temsilci sonuçlar yerleştirilebilir, hata-üreten birimlerin sonraki nesillerdeki aktivasyonunu azaltarak.

Düzeltmelerin insan değerlendirmesi, ‘onarılan’ görüntülerin %53’ünün ‘normal’ olarak etiketlendiğini, orijinal görüntülerin %97’sinin ise önemli iyileştirmeler gösterdiğini ortaya koydu.

Araştırmacılar, bu yöntemin, küçük bir yeniden düzenleme ile, NVIDIA’nın StyleGAN2‘sine de uyarlanabileceğini öne sürüyorlar.

Sentetik Veri Avantajları

Öncelikle yüz verilerine ilişkin olarak, gerçek dünya veri kümelerinin bilgisayarlı görü için önemli araştırma alanlarında (yüz tanıma, duygu tanıma, tıbbi araştırma ve yüzün topolojisindeki daha ince segmentasyon gibi) çeşitliliğe engel olan genel kıtlığı vardır.

Web yüzeyindeki verilerin ücretsiz kullanımı ve yüz resimlerinin yüz veri tabanlarına dahil edilmesi için ad hoc koleksiyonuna yönelik mevcut tepki, araştırma için ek bir engeldir. Birçok devlet ve ülke, web-scraping ve sosyal medya resimlerinin bu amaçlar için el koyulmasına karşı kısıtlamalar getiriyor.

Son on yılda, sınırlı sayıda, yüksek derecede düzenlenmiş yüz veri kümeleri, bu belirsizlikten kaçış için bir sığınak sunmuştur. Ancak bu, araştırma projelerinin, bu veri kümelerine özgü metodolojilere kaymasını ve yüksek maliyetle çeşitlilikten yoksun kaynak malzemesiyle, yıl boyunca tutarlı ve karşılaştırılabilir sonuçlar elde edilmesini sağlamıştır – bu durum her yıl, yeni araştırmaların bu sınırlamalara bağlı kalmasıyla daha da kötüleşmektedir.

Ek olarak, bu ‘geleneksel’ veri kümelerinin bir kısmı, ırksal çeşitlilikten yoksun olmakla eleştirilmiştir, bu da bu benchmarking standartlarının gelecekte uygun kaynaklar olarak kabul edilmeyebileceğini göstermektedir.

Bu, gerçekçi ancak ‘gerçek dünya’ resimlerinden çok uzakta dönüştürülmüş yüksek kaliteli yüz verilerine ihtiyaç duyulduğunu gösterir. GAN tarafından oluşturulan yüzlerin kullanımının, GAN-generated yüzlerin kökeni konusunda sorunlara yol açabileceği dikkate alınmalıdır, ancak bu, yasal ve teknik mekanizmaların bu tür veri toplama için kurulmasından önce ortaya çıkabilecek bir engeldir ve olası yasal çerçeve değişikliklerine ilişkin olarak, bu hala gerçek insanların resimlerini kullanmaktan daha küçük bir tehlikedir.

Diğer okumalar:

Sentetik Görüntülerin Gerçekçiliğini İyileştirme
Oluşturucu Sinir Ağlarında İç Birimlerin Otomatik Düzeltmesi