Sistem AI yang Dapat Membuat Gambar Orang Lebih ‘Cantik’

Peneliti dari China telah mengembangkan sistem pengembangan gambar berbasis AI yang mampu membuat gambar seseorang lebih ‘cantik’, berdasarkan pendekatan baru untuk pembelajaran penguatan.

Pendekatan baru ini menggunakan ‘jaringan prediksi kecantikan wajah’ untuk mengulang variasi pada gambar berdasarkan beberapa faktor, di antaranya ‘pencahayaan’ dan pose mata mungkin merupakan faktor kunci. Di sini sumber asli (di sebelah kiri setiap kolom) berasal dari sistem EigenGAN, dengan hasil baru di sebelah kanan. Sumber: https://arxiv.org/pdf/2208.04517.pdf

Teknik ini mengambil inovasi yang ditemukan untuk EigenGAN generator, proyek lain dari China, dari 2021, yang membuat kemajuan signifikan dalam mengidentifikasi dan memperoleh kontrol atas atribut semantik yang beragam dalam ruang laten Jaringan Adversarial Generatif (GANs).

Generator EigenGAN 2021 dapat membedakan konsep tingkat tinggi seperti ‘warna rambut’ dalam ruang laten jaringan adversarial generatif. Karya baru ini membangun pada instrumentality inovatif ini untuk menghasilkan sistem yang dapat ‘mencantikkan’ gambar sumber, tetapi tanpa mengubah identitas yang dapat dikenali – masalah dalam pendekatan sebelumnya. Sumber: https://arxiv.org/pdf/2104.12476.pdf

Sistem ini menggunakan ‘jaringan skor estetika’ yang berasal dari SCUT-FBP5500 (SCUT), sebuah dataset benchmark 2018 untuk prediksi kecantikan wajah, dari Universitas Teknologi China Selatan di Guangzhou.

Dari makalah 2018 ‘SCUT-FBP5500: A Diverse Benchmark Dataset for Multi-Paradigm Facial Beauty Prediction’, yang menawarkan ‘jaringan prediksi kecantikan wajah’ (FBP) yang dapat memeringkat wajah berdasarkan daya tarik yang dirasakan, tetapi yang tidak dapat sebenarnya mengubah atau ‘mengupgrade’ wajah. Sumber: https://arxiv.org/pdf/1801.06345.pdf

Tidak seperti karya baru, proyek 2018 tidak dapat sebenarnya melakukan transformasi, tetapi berisi penilaian algoritma untuk 5.500 wajah, yang disediakan oleh 60 labeler gender campuran (perbagian 50/50). Ini telah dimasukkan ke dalam sistem baru sebagai discriminator efektif, untuk memandu transformasi yang kemungkinan dapat meningkatkan ‘daya tarik’ gambar.

Menariknya, makalah baru ini berjudul Attribute Controllable Beautiful Caucasian Face Generation by Aesthetics Driven Reinforcement Learning. Alasan bahwa semua ras kecuali Kaukasus dikecualikan dari sistem (pertimbangkan juga bahwa peneliti itu sendiri adalah Tionghoa) adalah karena data sumber untuk SCUT cenderung signifikan ke sumber Asia (4.000 wanita/pria Asia yang terbagi rata, 1.500 wanita/pria Kaukasus yang terbagi rata), membuat ‘orang rata-rata’ dalam dataset tersebut berambut coklat dan bermata coklat.

Oleh karena itu, untuk mengakomodasi variasi warna setidaknya dalam satu ras, perlu untuk mengeluarkan komponen Asia dari data asli, atau pergi ke biaya yang signifikan untuk merekonstruksi data untuk mengembangkan metode yang mungkin tidak berhasil. Selain itu, variasi dalam persepsi kecantikan budaya pasti berarti bahwa sistem seperti itu akan memerlukan beberapa derajat konfigurasi geografis dalam hal apa yang merupakan ‘kecantikan’.

Atribut yang Relevan

Untuk menentukan faktor utama yang menyumbang pada foto ‘cantik’ seseorang, para peneliti juga menguji efek dari berbagai perubahan pada gambar, dalam hal seberapa baik augmentasi tersebut meningkatkan persepsi algoritmik ‘kecantikan’. Mereka menemukan bahwa setidaknya satu dari aspek tersebut lebih sentral untuk fotografi yang baik daripada genetika yang baik:

Selain pencahayaan, aspek yang memiliki dampak terbesar pada skor kecantikan adalah poni (yang, dalam kasus pria, dapat sering setara dengan memiliki rambut penuh), pose tubuh, dan disposisi mata (di mana keterlibatan dengan sudut pandang kamera merupakan faktor yang meningkatkan daya tarik).

(Mengenai ‘warna lipstik’, sistem baru, yang dapat bekerja efektif pada presentasi gender pria dan wanita, tidak membedakan penampilan gender, tetapi bergantung pada sistem discriminator baru sebagai ‘filter’ dalam hal ini)

Metode

Fungsi penghargaan dalam mekanisme pembelajaran penguatan pada sistem baru ini ditenagai oleh regresi sederhana atas data SCUT, yang menghasilkan prediksi kecantikan wajah.

Sistem pelatihan mengulang data gambar input (bawah kiri pada skema di bawah). Awalnya, model ResNet18 pra-terlatih (terlatih pada ImageNet) mengekstrak fitur dari lima gambar identik (‘y’). Kemudian, tindakan transformasi potensial diperoleh dari keadaan tersembunyi dari lapisan terhubung penuh (GRUCell, pada gambar di bawah), dan transformasi diterapkan, menghasilkan lima gambar yang diubah yang dimasukkan ke dalam jaringan skor estetika, yang peringkatnya, gaya Darwin, akan menentukan variasi mana yang akan dikembangkan dan mana yang dibuang.

Ilustrasi dari alur kerja sistem baru.

Jaringan skor estetika menggunakan modul Perhatian Saluran Efisien (ECA), sementara adaptasi dari instance pra-terlatih EfficientNet-B4 ditugaskan untuk mengekstrak 1.792 fitur dari setiap gambar.

Setelah normalisasi melalui fungsi aktivasi ReLU, vektor 4-dimensi diperoleh kembali dari modul ECA, yang kemudian diratakan menjadi vektor satu dimensi setelah aktivasi dan penumpukan rata-rata adaptif. Akhirnya, hasilnya dimasukkan ke dalam jaringan regresi, yang mengambil skor estetika.

Perbandingan kualitatif dari output sistem. Pada baris bawah, kita melihat jumlah agregat dari semua aspek yang telah diidentifikasi oleh metode EigenGAN dan kemudian ditingkatkan. Skor FID rata-rata untuk gambar-gambar tersebut berada di sebelah kiri baris gambar (lebih tinggi lebih baik).

Uji dan Studi Pengguna

Lima varian dari metode yang diusulkan dievaluasi secara algoritmik (lihat gambar di atas), dengan skor jarak Fréchet inisiatif (FID, kontroversial dalam beberapa kuadran) yang ditetapkan untuk total 1000 gambar yang diproses oleh sistem.

Para peneliti mencatat bahwa peningkatan pencahayaan mencapai skor daya tarik yang lebih baik untuk subjek dalam foto daripada beberapa perubahan lain yang lebih ‘jelas’ (yaitu, pada penampilan sebenarnya dari orang yang digambarkan).

Untuk sebagian, pengujian sistem dengan cara ini terbatas oleh kekhasan data SCUT, yang tidak memiliki banyak ‘senyum ceria’, dan penulis berargumen bahwa ini bisa berlebihan dalam peringkat ‘tampilan misterius’ dalam data, dibandingkan dengan preferensi kemungkinan pengguna akhir (presumabel, dalam kasus ini, pasar Barat).

Namun, karena seluruh sistem bergantung pada pendapat rata-rata dari hanya 60 orang (dalam makalah EigenGAN), dan karena kualitas yang dipelajari jauh dari empiris, bisa dibilang bahwa prosedur ini lebih solid daripada dataset.

Meskipun hanya disinggung singkat dalam makalah, gambar dari EigenGAN dan lima varian sistem juga ditampilkan dalam studi pengguna terbatas (delapan peserta), yang diminta untuk memilih ‘gambar terbaik’ (kata ‘cantik’ dihindari).

Di atas, antarmuka pengguna yang disajikan kepada kelompok studi kecil; di bawah, hasilnya.

Hasilnya menunjukkan bahwa output sistem baru mencapai tingkat pemilihan tertinggi di antara peserta (‘MAES’ pada gambar di atas).

Pengejaran Kecantikan (Tanpa Tujuan?)

Utilitas sistem seperti ini sulit untuk ditetapkan, meskipun tampaknya ada lokus yang signifikan dari upaya di China menuju tujuan ini. Tidak ada yang diuraikan dalam publikasi baru.

Makalah EigenGAN sebelumnya menyarankan* bahwa sistem pengenalan kecantikan dapat digunakan dalam sistem rekomendasi sintesis rias wajah, bedah kecantikan, pencantikan wajah, atau pencarian gambar berbasis konten.

Presumabel, pendekatan seperti ini juga dapat digunakan di situs kencan, oleh pengguna akhir, untuk ‘mengupgrade’ foto profil mereka sendiri menjadi ‘tembakan keberuntungan’ yang dijamin, sebagai alternatif untuk menggunakan foto lama, atau foto orang lain.

Demikian pula, situs kencan itu sendiri juga dapat ‘menilai’ klien mereka untuk membuat peringkat dan bahkan tingkat akses terbatas, meskipun ini kemungkinan hanya akan berfungsi melalui penangkapan autentikasi kehidupan, bukan foto yang dikirim (yang juga dapat ‘ditingkatkan’ oleh klien, jika pendekatan ini menjadi populer).

Di iklan, metode algoritmik untuk menilai kecantikan (teknologi yang diprediksi oleh penulis fiksi ilmiah terkenal Michael Crichton dalam film 1982-nya Looker) dapat digunakan untuk memilih output kreatif non-ditingkatkan yang paling mungkin menghubungi audiens target, sementara kemampuan untuk benar-benar memaksimalkan dampak estetika gambar wajah, tanpa benar-benar menimpa mereka dalam gaya deepfakes, dapat meningkatkan gambar yang sudah efektif yang dimaksudkan untuk membangkitkan minat publik.

Karya baru ini didukung oleh National Natural Science Foundation of China, Open Fund Project of the State Key Laboratory of Complex System Management and Control, dan Project of Philosophy and Social Science Research from China’s ministry of education, among other supporters.

* Banyak rekomendasi makalah EigenGAN menunjuk ke buku komersial 2016 yang berjudul ‘Computer Models for Facial Beauty Analysis’, bukan sumber akademis.

First published 11th Agustus 2022.