Bir AI Sistemi Kişi Görüntülerini Daha ‘Güzel’ Yapabilir

Çin’den araştırmacılar, bir kişinin görüntülerini daha ‘güzel’ hale getirebilen yeni bir AI tabanlı görüntü iyileştirme sistemi geliştirdiler. Bu sistem, pekiştirme öğrenimi yaklaşımına dayalı olarak çalışıyor.

Yeni yaklaşım, bir dizi faktöre dayalı olarak bir görüntüdeki varyasyonları yineleyen bir ‘yüz güzelliği tahmini ağı’ kullanır, burada ‘aydınlatma’ ve göz duruşları kritik faktörler olabilir. Burada her sütunun solundaki orijinal kaynaklar EigenGAN sisteminden gelir ve yeni sonuçlar bu kaynakların sağ tarafındadır. Kaynak: https://arxiv.org/pdf/2208.04517.pdf

Teknik, 2021 yılında başka bir Çin projesi olan EigenGAN jeneratöründen keşfedilen yeniliklere dayanmaktadır. EigenGAN, Generatif Karşıt Ağlar (GAN’lar)ın gizil uzayındaki çeşitli anlamsal öznitelikleri tanımlamak ve bunlara bazı kontroller uygulamak için önemli adımlar atmıştır.

Kaynak: https://arxiv.org/pdf/2104.12476.pdf

Sistem, Guangzhou’daki Güney Çin Teknoloji Üniversitesi’nden 2018 yılında yayınlanan SCUT-FBP5500 (SCUT) adlı yüz güzelliği tahmini için bir referans veri setinden türetilen bir ‘estetik puan ağı’ kullanır.

<img class="wp-image-183137 size-full" src="https://www.unite.ai/wp-content/uploads/2022/08/SCUT-FBP5500.jpg" alt="2018 yılında yayınlanan 'SCUT-FBP5500: Çok Paradigmal Yüz Güzelliği Tahmini için Çeşitli Bir Referans Veri Seti' adlı makale, yüzleri algılanan çekicilik açısından sıralayabilen bir 'yüz güzelliği tahmini' (FBP) ağı sunmuştur, ancak yüzleri gerçekten dönüştüremez veya 'yükselteemez'. Kaynak: https://arxiv.org/pdf/1801.06345.pdf

Yeni sistem, EigenGAN jeneratöründen farklı olarak, gerçekten dönüşümleri gerçekleştirebilir. Ancak, 2018 projesi, 60 karma cinsiyetli etiketleyici (50/50 bölünmüş) tarafından sağlanan 5.500 yüz için algoritmik değer yargıları içerir. Bunlar, dönüşümleri olası ‘çekiciliği’ artıracak şekilde bilgilendiren etkili bir ‘ayırıcı’ olarak yeni sisteme entegre edilmiştir.

İlginç bir şekilde, yeni makale, Öznitelik Kontrollü Güzel Beyaz Yüz Oluşturma için Estetik Yönlendirmeli Peşişirme Öğrenimi olarak adlandırılmıştır. Sistem, yalnızca Kaukasyen ırkını içerir, çünkü SCUT veri seti büyük ölçüde Asya kaynaklarına eğilimlidir (4000 eşit olarak bölünmüş Asya kadınları/erkekleri, 1500 eşit olarak bölünmüş Kaukasyen kadınları/erkekleri), bu da veri setindeki ‘ortalama kişi’yi kahverengi saçlı ve kahverengi gözlü olarak yapar.

Dolayısıyla, en az bir ırk içinde renk varyasyonunu barındırmak için, orijinal verilerden Asya bileşenini dışlamak veya bir yöntem geliştirmek için önemli bir maliyetle verileri yeniden oluşturmak gerekliydi. Ayrıca, güzellik algılarındaki kültürel varyasyonlar, böyle sistemlerin, neyin ‘çekici’ olduğunu belirlemede coğrafi olarak yapılandırılabilir olması gerektiğini kaçınılmaz olarak gerektirecektir.

İlgili Öznitelikler

Araştırmacılar, bir kişinin ‘çekici’ bir fotoğrafını belirleyen primary katkıda bulunan faktörleri belirlemek için, çeşitli resim değişikliklerinin etkilerini test ettiler. Bunlar, iyi fotoğrafçılığın iyi genetikten daha önemli olduğunu gösterdi:

Aydınlatmanın yanı sıra, en büyük etkiye sahip diğer yönler, banglar (erkeklerde genellikle bir full saç başı gibi), vücut duruşu ve göz duruşudur (kameranın bakış açısına katılım, çekiciliğe katkıda bulunur).

(‘Ruj rengi’ konusunda, yeni sistem, cinsiyet görünümünü ayırt etmez, ancak bu konuda bir ‘filtre’ olarak yeni ayırıcı sistemi kullanır)

Yöntem

Peşişirme öğrenimi mekanizmasındaki ödül fonksiyonu, SCUT verilerine basit bir regresyon üzerinden çalışır ve yüz güzelliği tahminleri üretir.

Eğitim sistemi, girdi resimlerini (şemadaki alt solda) yineler. İlk olarak, ön eğitimli bir ResNet18 modeli (ImageNet üzerinde eğitilmiştir), beş aynı (‘y’) resimden öznitelikleri çıkarır. Sonra, bir tam bağlantılı katmandan (GRUCell, resimde) potansiyel bir dönüşüm eylemi türetilir ve dönüşümler uygulanır, bu da beş değiştirilmiş resim oluşturur ve bunlar estetik puan ağına beslenir. Bu ağın sıralamaları, Darwin tarzında, hangi varyasyonların geliştirileceğini ve hangilerinin atılacağını belirler.

Yeni sistemin iş akışının geniş bir illüstrasyonu.

Estetik puan ağı, bir Etkin Kanal Dikkati (ECA) modülünü kullanır, ayrıca önceden eğitilmiş bir EfficientNet-B4 örneği, her resimden 1.792 özniteliği çıkarmakla görevlendirilir.

Normalleştirme, bir ReLU aktivasyon fonksiyonu aracılığıyla yapılır, ardından ECA modülünden bir 4 boyutlu vektör elde edilir, bu da aktivasyon ve uyarlanabilir ortalama havuzlama之后 bir boyutlu bir vektöre düzleştirilir. Son olarak, sonuçlar, bir estetik puanı alan regresyon ağına beslenir.

<img class="wp-image-183140 size-full" src="https://www.unite.ai/wp-content/uploads/2022/08/qualitative-comparison-beauty.jpg" alt="Sistemin çıkışının nitel bir karşılaştırması. Alt satırda, EigenGAN yöntemi tarafından tanımlanan ve sonra geliştirilen tüm ayrıntıların toplu toplamını görüyoruz. Resim satırlarının solunda, ortalama FID puanları yer alıyor (daha yüksek daha iyi). Kaynak: https://arxiv.org/pdf/2208.04517.pdf

Testler ve Kullanıcı Çalışması

Önerilen yöntemin beş varyasyonu, algoritmik olarak değerlendirildi (yukarıdaki resme bakın), 1000 resim için Fréchet inception mesafesi (FID, bazı çevrelerde tartışmalı) puanları atandı.

Araştırmacılar, aydınlatmanın iyileştirilmesinin, resimlerdeki kişilerin çekicilik puanını, diğer bazı olası değişikliklerden daha iyi artırdığını belirtiyorlar.

Bu şekilde sistemin test edilmesi, SCUT verisinin tuhaflıklarıyla sınırlıdır, bu veri setinde ‘parlak gülüşler’ yoktur ve yazarlar, bu durumun, muhtemel hedef kullanıcıların (muhtemelen batı pazarı) tercihlerine kıyasla veri setindeki ‘esrarengiz’ görünümü aşırı derecede yüksek puanlayabileceğini öne sürüyorlar.

Ancak, tüm sistem yalnızca 60 kişinin (EigenGAN makalesindeki) ortalama görüşlerine dayandığından ve incelenen kalitenin empirik olmaktan uzak olduğu için, prosedürün veri setinden daha sağlam olduğu iddia edilebilir.

Makalede kısaca bahsedilen bir kullanıcı çalışması (sekiz katılımcı), EigenGAN ve sistemin kendi beş varyantının resimlerini gösterdi ve katılımcılardan ‘en iyi resim’i (çekici kelimesi kullanılmamıştır) seçmelerini istedi.

Üstte, küçük çalışma grubuna sunulan GUI; aşağıda, sonuçlar.

Sonuçlar, yeni sistemin çıkışının katılımcılar arasında en yüksek seçilme oranına ulaştığını gösteriyor (‘MAES’ yukarıdaki resimde).

Güzellik Peşinde (Amaçsızca?)

Bu sistemin faydası, görünüşte önemli bir çaba noktasına kadar Çin’de bu hedeflere yönelik olarak kurulmasına rağmen, kurulması zor görünüyor. Yeni yayında böyle bir şey belirtilmemiştir.

Önceki EigenGAN makalesi, bir güzellik tanıma sisteminin, yüz makyaj sentez öneri sistemlerinde, estetik cerrahide, yüz güzelleştirme veya içerik tabanlı görüntü geri çağırma gibi alanlarda kullanılabileceğini öne sürüyor.

Bu yaklaşımın, kullanıcıların kendi profil resimlerini ‘güzelleştirmelerine’ veya ‘şanslı bir fotoğraf’ çekmelerine de kullanılabileceği varsayılabilir. Ayrıca, dating siteleri, müşterilerini ‘güzellik puanı’ ile derecelendirebilir ve erişim kısıtlamalı seviyeler oluşturabilir, ancak bu, yalnızca liveness kimlik doğrulama ile mümkün olabilir.

Reklamcılıkta, bir algoritmik güzellik değerlendirmesi yöntemi, hedef kitleyi en çok ilgilendirecek creative çıktıyı seçmek için kullanılabilir. Ayrıca, yüz resimlerinin estetik etkisini, deepfake’ler gibi gerçekten değiştirmeden artırma kapasitesi, zaten etkili olan resimlerin çekiciliğini artırabilir.

Yeni çalışma, Çin’in Ulusal Doğal Bilim Vakfı, Karma Sistem Yönetimi ve Kontrolü Devlet Anahtar Laboratuvarı Açık Proje Fonu ve Çin Eğitim Bakanlığı Felsefe ve Sosyal Bilim Araştırması Projesi gibi destekçiler tarafından desteklenmektedir.

* EigenGAN makalesinin birçok önerisi, akademik kaynaklar yerine 2016 yılında yayınlanan ‘Bilgisayar Modelleri ile Yüz Güzelliği Analizi’ adlı ticari bir kitaba işaret etmektedir.

İlk olarak 11 Ağustos 2022’de yayınlandı.