Anderson’un Açısı

İnsanların Görüntülerini Daha Güzel Hâle Getirebilen Bir AI Sistemi

Martin Anderson
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Background image: DALL-E 2 'Award-winning 8K photo of the most beautiful Caucasian catwalk model in the world' - https://labs.openai.com/s/kRXusxOR5GcYyb6pqZjNH2AA
Öne çıkan noktalarYeni yapay zeka sistemi, kimliği değiştirmeden yüzleri güzelleştirmek için pekiştirmeli…
Daha fazla göster
  • Yeni yapay zeka sistemi, kimliği değiştirmeden yüzleri güzelleştirmek için pekiştirmeli öğrenme kullanıyor.
  • Algoritmik güzellik puanlarını artırmada genetikten çok aydınlatma ve göz pozu önem taşıyor.
  • Sistem, yalnızca SCUT-FBP5500 veri kümesindeki 60 etiketleyicinin güzellik değerlendirmelerine dayanıyor.

Çinli araştırmacılar, bir kişinin resimlerini daha ‘güzel’ hale getirebilen yeni bir AI tabanlı görüntü iyileştirme sistemi geliştirdiler. Bu sistem, pekiştirme öğrenimi yaklaşımına dayalı olarak çalışıyor.

Yeni yaklaşım, ışıklandırma ve bakış yönü gibi kritik olabilecek bir dizi faktöre dayanarak bir görüntüdeki varyasyonları yineleyen bir 'yüz güzelliği tahmini ağı' kullanıyor. Her sütunun solundaki orijinal kaynaklar EigenGAN sistemi kaynaklıdır ve sağ taraftaki yeni sonuçlar bu kaynaklara aittir. Kaynak: https://arxiv.org/pdf/2208.04517.pdf

Yeni yaklaşım, ışıklandırma ve bakış yönü gibi kritik olabilecek bir dizi faktöre dayanarak bir görüntüdeki varyasyonları yineleyen bir ‘yüz güzelliği tahmini ağı’ kullanıyor. Her sütunun solundaki orijinal kaynaklar EigenGAN sistemi kaynaklıdır ve sağ taraftaki yeni sonuçlar bu kaynaklara aittir. Kaynak: https://arxiv.org/pdf/2208.04517.pdf

Bu teknik, EigenGAN üreticisi için geliştirilen yeniliklere dayanır. Çin’deki bu diğer proje, 2021’de generatif karşıt ağların (GAN) gizli uzayındaki çeşitli anlamsal öznitelikleri belirleme ve kısmen kontrol etmede önemli ilerleme sağlamıştır.

2021 EigenGAN jeneratörü, bir generatif karşıt ağın gizli alanında 'saç rengi' gibi yüksek düzeyli kavramları ayırt edebildi. Yeni çalışma, bu yenilikçi araçlığı kullanarak kaynak resimlerini 'güzelleştirebilen' bir sistem sunuyor, ancak tanınabilir kimliği değiştirmeden; bu, önceki yaklaşımların bir sorunuydu.

2021 EigenGAN jeneratörü, bir generatif karşıt ağın gizli alanında ‘saç rengi’ gibi yüksek düzeyli kavramları ayırt edebildi. Yeni çalışma, bu yenilikçi araçlığı kullanarak kaynak resimlerini ‘güzelleştirebilen’ bir sistem sunuyor, ancak tanınabilir kimliği değiştirmeden; bu, önceki yaklaşımların bir sorunuydu. Kaynak: https://arxiv.org/pdf/2104.12476.pdf

Sistem, Guangzhou’daki Güney Çin Teknoloji Üniversitesi’nden 2018 yılında geliştirilen SCUT-FBP5500 (SCUT) benchmark veri kümesinden türetilen bir ‘estetik puanlama ağı’ kullanıyor.

2018 yılında yayınlanan 'SCUT-FBP5500: Çeşitli Paradigmal Yüz Güzelliği Tahmini İçin Bir Benchmark Veri Kümesi' adlı makale, yüzleri algılanan çekiciliklerine göre sıralayabilen bir 'yüz güzelliği tahmini' (FBP) ağı sunuyor, ancak yüzleri gerçekten dönüştüremez veya 'yükseltemez'.

2018 yılında yayınlanan ‘SCUT-FBP5500: Çeşitli Paradigmal Yüz Güzelliği Tahmini İçin Bir Benchmark Veri Kümesi’ adlı makale, yüzleri algılanan çekiciliklerine göre sıralayabilen bir ‘yüz güzelliği tahmini’ (FBP) ağı sunuyor, ancak yüzleri gerçekten dönüştüremez veya ‘yükseltemez’. Kaynak: https://arxiv.org/pdf/1801.06345.pdf

Yeni çalışmanın aksine 2018 projesi dönüşümleri gerçekleştiremez; ancak yarısı kadın, yarısı erkek 60 etiketleyicinin 5.500 yüz için verdiği algoritmik değer yargılarını içerir. Bunlar, görüntünün çekiciliğini artırması muhtemel dönüşümlere yön vermek üzere yeni sisteme etkili bir ayırt edici olarak dâhil edilmiştir.

İlginç bir şekilde, yeni makale, Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learning olarak adlandırıldı. Sistemde Kafkas kökenliler dışındaki tüm grupların dışlanmasının nedeni, SCUT kaynak verilerinin belirgin biçimde Asya kökenli kişilere ağırlık vermesidir; araştırmacıların kendileri de Çinlidir. Veri kümesinde kadın ve erkek sayıları eşit olacak şekilde 4000 Asya kökenli ve 1500 Kafkas kökenli kişi bulunur. Böylece veri kümesindeki ortalama kişi kahverengi saçlı ve kahverengi gözlü olur.

En azından tek bir grup içinde renk çeşitliliğine yer verebilmek için Asya kökenli bölümün özgün verilerden çıkarılması gerekiyordu. Diğer seçenek, işe yaramayabilecek bir yöntem için verileri yeniden oluşturmanın yüksek maliyetine katlanmaktı. Ayrıca güzellik algısındaki kültürel farklılıklar, bu sistemlerin neyin çekici sayıldığı konusunda belirli ölçüde coğrafi olarak ayarlanabilmesini gerektirir.

İlgili Öznitelikler

Bir kişinin ‘çekici’ bir fotoğrafını belirleyen ilk katkıda bulunan faktörleri belirlemek için araştırmacılar, çeşitli değişikliklerin resimlere etkisini test ettiler. Değişikliklerin algoritmik güzellik algısını ne ölçüde artırdığını incelediler. En az bir etkenin iyi genlerden çok iyi fotoğrafçılıkla ilgili olduğunu buldular.

Işıklandırmanın yanı sıra en etkili özellikler kahkül (erkeklerde bazen başın tamamının saçlı olmasına denk bir etki yaratabilir), vücut duruşu ve bakış yönüdür. Kamerayla göz teması çekiciliği artırır.

(Ruj rengi açısından, hem erkeksi hem kadınsı görünümlerde etkili çalışabilen yeni sistem cinsiyet görünümünü ayırt etmez; bunun yerine yeni ayırt edici sistemi bir filtre olarak kullanır.)

Yöntem

Yeni sistemin pekiştirme öğrenimi mekanizmasındaki ödül fonksiyonu, SCUT veri kümesi üzerinden basit bir regresyonla çalışır.

Sistem, girdi resimlerini (şemadaki alt solda) işler. İlk olarak, önceden eğitilmiş bir ResNet18 modeli (ImageNet üzerinde eğitilmiştir), beş özdeş (“y”) görüntüden özellikler çıkarır. Sonra, bir tam bağlantılı katmanın gizli durumundan (aşağıdaki resimde GRUCell) potansiyel bir dönüşüm eylemi türetilir ve bu dönüşüm uygulanır. Daha sonra, beş değiştirilmiş resim estetik puanlama ağına girer ve sıralamaları, Darwin tarzı, hangilerinin geliştirileceğini ve hangilerinin eleneceğini belirler.

Yeni sistemin iş akışı.

Yeni sistemin iş akışı.

Estetik puanlama ağı, Efficient Channel Attention (ECA) modülünü kullanır ve EfficientNet-B4’ün önceden eğitilmiş bir örneğinin uyarlaması her resimden 1.792 özellik çıkarır.

ReLU etkinleştirme işlevi ile normalleştirmeden sonra ECA modülünden dört boyutlu bir vektör elde edilir. Bu vektör etkinleştirme ve uyarlamalı ortalama havuzlamadan sonra tek boyuta düzleştirilir. Son olarak sonuçlar regresyon ağına verilir ve estetik puanı elde edilir.

Sistemin çıktısının nitel bir karşılaştırması. Alt satırda, EigenGAN yöntemiyle belirlenen ve daha sonra geliştirilen tüm özniteliklerin toplu sonucu görülüyor. Ortalama FID puanları görüntü satırlarının solundadır (yüksek olan daha iyidir).

Sistemin çıktısının nitel bir karşılaştırması. Alt satırda, EigenGAN yöntemiyle belirlenen ve daha sonra geliştirilen tüm özniteliklerin toplu sonucu görülüyor. Ortalama FID puanları görüntü satırlarının solundadır (yüksek olan daha iyidir).

Testler ve Kullanıcı Çalışması

Önerilen yöntemin beş varyasyonu algoritmik olarak değerlendirildi (yukarıdaki resme bakınız) ve 1000 resim için Fréchet inception mesafesi (FID, bazı çevrelerde tartışmalıdır) puanları verildi.

Araştırmacılar, ışıklandırmanın, diğer bazı değişikliklere kıyasla, fotoğraflardaki kişilerin çekicilik puanını daha fazla artırdığını belirtiyorlar.

Bu testler, çok sayıda parlak gülümseme içermeyen SCUT verilerinin özellikleriyle sınırlıdır. Yazarlar, bunun verilerde daha yaygın olan esrarengiz ifadeyi, muhtemel hedef kullanıcıların tercihlerine kıyasla gereğinden yüksek puanlayabileceğini belirtir; burada hedefin Batı pazarı olduğu varsayılır.

Ancak tüm sistem yalnızca 60 kişinin ortalama görüşüne dayandığından (EigenGAN makalesinde) ve incelenen nitelik ampirik olmaktan uzak olduğundan, yöntemin veri kümesinden daha sağlam olduğu ileri sürülebilir.

Makale bu konuyu kısaca ele alsa da kullanıcı çalışması, EigenGAN ve yeni sistemin beş varyantının resimlerini sekiz katılımcıya gösterdi ve en iyi resmi seçmelerini istedi; “çekici” sözcüğünden kaçınıldı.

Kullanıcı çalışması için sunulan arayüz ve sonuçlar.

Kullanıcı çalışması için sunulan arayüz ve sonuçlar.

Sonuçlar, yeni sistemin çıktısının katılımcılar arasında en yüksek seçilme oranına ulaştığını gösterir (yukarıdaki görselde “MAES”).

Güzellik Peşinde (Hedefsiz?)

Bu tür bir sistemin yararını belirlemek zordur. Bu hedeflere yönelik önemli bir araştırma çabası özellikle Çin’de yoğunlaşmış görünse de yeni yayın somut bir kullanım alanı belirtmez.

Önceki EigenGAN makalesi, güzellik tanıma sisteminin yüz makyajı sentezi öneri sistemlerinde, estetik cerrahide, yüz güzelleştirmede veya içerik tabanlı görüntü geri çağırma gibi alanlarda kullanılabileceğini öne sürüyor.

Bu yaklaşım, tanışma sitelerinde son kullanıcıların kendi profil fotoğraflarını garantili bir güzel kareye dönüştürmesinde, eski fotoğraflar veya başkalarının fotoğrafları yerine kullanılabilir.

Ayrıca tanışma siteleri müşterilerini puanlayarak derecelendirmeler ve hatta erişimi kısıtlı seviyeler oluşturabilir. Ancak bunun, gönderilmiş fotoğraflar yerine kişinin canlı varlığını doğrulayan bir çekimle yapılması gerekir; yöntem popülerleşirse müşteriler gönderdikleri fotoğrafları da güzelleştirebilir.

Reklamcılıkta güzelliği değerlendiren algoritmik bir yöntem — merhum bilimkurgu yazarı Michael Crichton’ın 1982 tarihli Looker filminde öngördüğü bir teknoloji — hedef kitlenin ilgisini çekmesi en muhtemel, geliştirilmemiş yaratıcı çıktıyı seçmekte kullanılabilir. Yüz görüntülerinin estetik etkisini deepfake tarzında üzerlerine yazmadan artırmak, zaten etkili olan ve kamuoyunun ilgisini çekmeyi amaçlayan görüntüleri daha da güçlendirebilir.

Yeni çalışma, Çin’in Ulusal Doğal Bilim Vakfı, Karma Sistem Yönetimi ve Kontrolü Devlet Anahtar Laboratuvarı Açık Fon Projesi ve Çin Eğitim Bakanlığı’nın Felsefe ve Sosyal Bilim Araştırması Projesi gibi destekçiler tarafından desteklendi.

* EigenGAN makalesinin önerileri, akademik kaynaklar yerine 2016 yılında yayınlanan ‘Yüz Güzelliği Analizi için Bilgisayar Modelleri’ adlı ticari bir kitaba işaret ediyor.

İlk olarak 11 Ağustos 2022’de yayınlandı.

Makine öğrenimi üzerine yazar, insan görüntüsü sentezi alanında uzman. Metaphysic.ai'nin DNEG'e ait Brahma.ai bünyesine katılmasına kadar araştırma içeriğinden sorumlu yönetici olarak görev yaptı.
Web Sitesi: martinanderson.ai
İletişim: martin@martinanderson.ai