Bir Kişinin Resimlerini Daha ‘Güzel’ Hale Getirebilen Bir AI Sistemi

Çinli araştırmacılar, bir kişinin resimlerini daha ‘güzel’ hale getirebilen yeni bir AI tabanlı görüntü iyileştirme sistemi geliştirdiler. Bu sistem, pekiştirme öğrenimi yaklaşımına dayalı olarak çalışıyor.

Yeni yaklaşım, bir dizi faktöre dayanarak bir görüntüdeki varyasyonları yineleyen bir ‘yüz güzelliği tahmini ağı’ kullanıyor. Her sütunun solundaki orijinal kaynaklar EigenGAN sistemi kaynaklıdır ve sağ taraftaki yeni sonuçlar bu kaynaklara aittir. Kaynak: https://arxiv.org/pdf/2208.04517.pdf

Bu teknik, 2021 yılında geliştirilen ve Generatif Karşıt Ağlar (GAN’lar) içindeki çeşitli semantik öznitelikleri tanımlama ve kontrol etme konusunda önemli adımlar atan EigenGAN jeneratöründen esinlenen yeniliklere dayanmaktadır.

2021 EigenGAN jeneratörü, bir generatif karşıt ağın gizli alanında ‘saç rengi’ gibi yüksek düzeyli kavramları ayırt edebildi. Yeni çalışma, bu yenilikçi araçlığı kullanarak kaynak resimlerini ‘güzelleştirebilen’ bir sistem sunuyor, ancak tanınabilir kimliği değiştirmeden.

Sistem, Guangzhou’daki Güney Çin Teknoloji Üniversitesi’nden 2018 yılında geliştirilen SCUT-FBP5500 (SCUT) benchmark veri kümesinden türetilen bir ‘estetik puanlama ağı’ kullanıyor.

2018 yılında yayınlanan ‘SCUT-FBP5500: Çeşitli Paradigmal Yüz Güzelliği Tahmini İçin Bir Benchmark Veri Kümesi’ adlı makale, yüzleri algılanan çekiciliklerine göre sıralayabilen bir ‘yüz güzelliği tahmini’ (FBP) ağı sunuyor, ancak yüzleri gerçekten dönüştüremez veya ‘yükseltemez’.

Yeni çalışma, 2018 projesinin aksine, gerçekten dönüşümleri gerçekleştirebiliyor, ancak 60 karma cinsiyet etiketleyicisi (50/50 bölünmüş) tarafından sağlanan 5.500 yüz için algoritmik değer yargılarına sahip.

İlginç bir şekilde, yeni makale, Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learning olarak adlandırıldı. Sistemdeki tüm ırkların dışında Kaukasya’nın dışlanması, SCUT veri kümesinin büyük ölçüde Asya kaynaklarına eğilim göstermesi (4000 eşit olarak bölünmüş Asya kadın/erkek, 1500 eşit olarak bölünmüş Kaukasya kadın/erkek) nedeniyle, bu veri kümesindeki ‘ortalama kişi’nin kahverengi saçlı ve gözlü olması nedeniyle.

İlgili Öznitelikler

Bir kişinin ‘çekici’ bir fotoğrafını belirleyen ilk katkıda bulunan faktörleri belirlemek için araştırmacılar, çeşitli değişikliklerin resimlere etkisini test ettiler. Işıklama, banglar (erkeklerde saçın tamamı gibi olabilir) ve vücut duruşu gibi faktörlerin güzellik puanına büyük etkisi olduğu bulundu.

Gözlerin pozisyonu da çekiciliğe önemli bir katkıda bulunmuştur.

(‘Dudak renkleri’ konusunda, yeni sistem, cinsiyet görünümünü ayırt etmez, ancak bu konuda yeni bir ayırıcı sistem kullanır.)

Yöntem

Yeni sistemin pekiştirme öğrenimi mekanizmasındaki ödül fonksiyonu, SCUT veri kümesi üzerinden basit bir regresyonla çalışır.

Sistem, girdi resimlerini (şemadaki alt solda) işler. İlk olarak, önceden eğitilmiş bir ResNet18 modeli (ImageNet üzerinde eğitilmiştir) resimlerden özellikler çıkarır. Sonra, tam bağlantılı bir katmandan (GRUCell) potansiyel bir dönüşüm eylemi türetilir ve bu dönüşüm uygulanır. Daha sonra, beş değiştirilmiş resim estetik puanlama ağına girer ve sıralamaları, Darwin tarzı, hangilerinin geliştirileceğini ve hangilerinin eleneceğini belirler.

Yeni sistemin iş akışı.

Estetik puanlama ağı, Efficient Channel Attention (ECA) modülünü kullanır ve EfficientNet-B4’ün önceden eğitilmiş bir örneği her resimden 1.792 özellik çıkarır.

Sonuçlar, bir regresyon ağına girer ve estetik puanı elde edilir.

Sistemin çıktısının nitel bir karşılaştırması. Alt satırda, EigenGAN yöntemiyle belirlenen ve daha sonra geliştirilen tüm özniteliklerin toplu sonucu görülüyor.

Testler ve Kullanıcı Çalışması

Önerilen yöntemin beş varyasyonu algoritmik olarak değerlendirildi (yukarıdaki resme bakınız) ve 1000 resim için Fréchet inception mesafesi (FID) puanları verildi.

Araştırmacılar, ışıklandırmanın, diğer bazı değişikliklere kıyasla, fotoğraflardaki kişilerin çekicilik puanını daha fazla artırdığını belirtiyorlar.

Kullanıcı çalışması, EigenGAN ve yeni sistemin beş varyantının resimlerini sekiz katılımcıya gösterdi ve en iyi resmi seçmelerini istedi.

Kullanıcı çalışması için sunulan arayüz ve sonuçlar.

Güzellik Peşinde (Hedefsiz?)

Bu sistemin faydası, görünüşte önemli çaba noktasına kadar ulaşıyor Çin’de bu hedeflere ulaşmak için. Yeni yayında bu konuda hiçbir şey belirtilmiyor.

Önceki EigenGAN makalesi, güzellik tanıma sisteminin yüz makyaj sentez öneri sistemlerinde, estetik cerrahide, yüz güzelleştirme veya içerik tabanlı görüntü geri çağırma gibi alanlarda kullanılabileceğini öne sürüyor.

Bu yaklaşım, kullanıcıların kendi profil resimlerini ‘şanslı bir fotoğraf’ elde etmek için ‘güzelleştirebileceği’ bir araç olarak da kullanılabilir.

Ayrıca, dating siteleri de müşterilerini ‘güzellik puanı’ ile derecelendirebilir ve erişim kısıtlamalı seviyeler oluşturabilir.

Reklamcılıkta, güzelliği değerlendirebilen bir algoritmik yöntem, hedef kitleyi en çok ilgilendirebilecek yaratıcı içeriği seçmede kullanılabilir.

Yeni çalışma, Çin’in Ulusal Doğal Bilim Vakfı, Karma Sistem Yönetimi ve Kontrolü Devlet Anahtar Laboratuvarı Açık Fon Projesi ve Çin Eğitim Bakanlığı’nın Felsefe ve Sosyal Bilim Araştırması Projesi gibi destekçiler tarafından desteklendi.

* EigenGAN makalesinin önerileri, akademik kaynaklar yerine 2016 yılında yayınlanan ‘Yüz Güzelliği Analizi için Bilgisayar Modelleri’ adlı ticari bir kitaba işaret ediyor.

İlk olarak 11 Ağustos 2022’de yayınlandı.