Sektor Sintesis Gambar Mengadopsi Metrik yang Rusak, Klaim Penelitian

Tahun 2021 telah menjadi tahun kemajuan luar biasa dan laju publikasi yang cepat di sektor sintesis gambar, menawarkan arus inovasi baru dan perbaikan teknologi yang dapat mereproduksi kepribadian manusia melalui rendering neural, deepfakes, dan sejumlah pendekatan baru.

Namun, peneliti dari Jerman sekarang mengklaim bahwa standar yang digunakan untuk menilai realisme gambar sintetis secara otomatis rusak; dan bahwa ratusan, bahkan ribuan peneliti di seluruh dunia yang mengandalkannya untuk mengurangi biaya hasil evaluasi berbasis manusia yang mahal mungkin sedang menuju ke jalan buntu.

Untuk menunjukkan bagaimana standar, Fréchet Inception Distance (FID), tidak memenuhi standar manusia untuk menilai gambar, peneliti tersebut mengembangkan GAN mereka sendiri, dioptimalkan untuk FID (sekarang menjadi metrik umum). Mereka menemukan bahwa FID mengikuti obsesi sendiri, berdasarkan kode underlying dengan tujuan yang sangat berbeda dari sintesis gambar, dan bahwa FID secara rutin gagal mencapai standar ‘manusia’ untuk diskriminasi:

FID scores (lebih rendah lebih baik) untuk gambar yang dihasilkan oleh berbagai model menggunakan dataset dan arsitektur standar. Peneliti paper baru ini mengajukan pertanyaan ‘Apakah Anda setuju dengan peringkat ini?’. Sumber: https://openreview.net/pdf?id=mLG96UpmbYz

Selain asertinya bahwa FID tidak sesuai untuk tugas yang dimaksud, paper ini juga menyarankan bahwa ‘obat’ yang jelas, seperti mengganti mesin internalnya dengan mesin yang bersaing, hanya akan menukar satu set bias dengan bias lainnya. Penulis menyarankan bahwa sekarang giliran inisiatif penelitian baru untuk mengembangkan metrik yang lebih baik untuk menilai ‘otentisitas’ dalam foto sintetis.

Paper ini berjudul Internalized Biases in Fréchet Inception Distance, dan berasal dari Steffen Jung di Max Planck Institute for Informatics at Saarland, dan Margret Keuper, Profesor untuk Visual Computing di University of Siegen.

Pencarian Sistem Pencarian untuk Sintesis Gambar

Seperti yang dicatat oleh penelitian baru, kemajuan dalam kerangka sintesis gambar, seperti GAN dan arsitektur encoder/decoder, telah melampaui metode untuk menilai hasil sistem tersebut. Selain biayanya yang mahal dan sulit untuk diskalakan, evaluasi hasil sistem ini oleh manusia tidak menawarkan metode penilaian yang empiris dan dapat diulang.

Oleh karena itu, beberapa kerangka metrik telah muncul, termasuk Inception Score (IS), yang ditampilkan dalam paper 2016 Improved Techniques for Training GANs, yang ditulis bersama oleh penemu GAN, Ian Goodfellow.

Penghapusan skor IS sebagai metrik yang berlaku secara umum untuk beberapa jaringan GAN pada 2018 menyebabkan adopsi FID yang luas di komunitas sintesis gambar GAN. Namun, seperti Inception Score, FID juga berdasarkan pada jaringan klasifikasi gambar Inception v3 Google (IV3).

Penulis paper baru ini berargumen bahwa Fréchet Inception Distance menyebarkan bias yang merusak dalam IV3, menyebabkan klasifikasi kualitas gambar yang tidak dapat diandalkan.

Karena FID dapat diintegrasikan ke dalam kerangka pembelajaran mesin sebagai discriminator (seorang ‘hakim’ yang tertanam yang memutuskan apakah GAN melakukan dengan baik atau harus ‘coba lagi’), FID perlu secara akurat mewakili standar yang akan diterapkan oleh manusia saat menilai gambar.

Fréchet Inception Distance

FID membandingkan bagaimana fitur didistribusikan di seluruh dataset pelatihan yang digunakan untuk membuat model GAN (atau fungsionalitas serupa) dan hasil sistem tersebut.

Oleh karena itu, jika kerangka GAN dilatih pada 10.000 gambar (misalnya) selebriti, FID membandingkan gambar asli (nyata) dengan gambar palsu yang dihasilkan oleh GAN. Semakin rendah skor FID, semakin dekat GAN telah mencapai gambar ‘fotorealistis’, menurut kriteria FID.

Dari paper, hasil GAN yang dilatih pada FFHQ64, subset dari dataset FFHQ NVIDIA yang sangat populer. Di sini, meskipun skor FID sangat rendah 5,38, hasilnya tidak menyenangkan atau meyakinkan bagi manusia rata-rata.

Masalahnya, menurut penulis, adalah bahwa Inception v3, yang asumsinya memuat Fréchet Inception Distance, tidak melihat ke tempat yang tepat – setidaknya, tidak ketika mempertimbangkan tugas yang ada.

Inception V3 dilatih pada tantangan pengenalan objek ImageNet, tugas yang secara argumentatif bertentangan dengan cara tujuan sintesis gambar telah berkembang dalam beberapa tahun terakhir. IV3 menguji ketahanan model dengan melakukan augmentasi data: itu membalik gambar secara acak, memotongnya ke skala acak antara 8-100%, mengubah rasio aspek (dalam kisaran dari 3/4 hingga 4/3), dan secara acak menyuntikkan distorsi warna yang terkait dengan kecerahan, saturasi, dan kontras.

Peneliti Jerman telah menemukan bahwa IV3 memiliki kecenderungan untuk memfavoritkan ekstraksi tepi dan tekstur, bukan informasi warna dan intensitas, yang akan menjadi indeks yang lebih bermakna untuk keaslian gambar sintetis; dan bahwa tujuan aslinya untuk deteksi objek telah diambil alih untuk tugas yang tidak sesuai. Penulis menyatakan*:

‘[Inception v3] memiliki bias untuk mengekstrak fitur berdasarkan tepi dan tekstur daripada informasi warna dan intensitas. Ini sesuai dengan pipa augmentasi yang memperkenalkan distorsi warna, tetapi menjaga informasi frekuensi tinggi tetap utuh (berbeda dengan, misalnya, augmentasi dengan Gaussian blur).

‘Akibatnya, FID mewarisi bias ini. Ketika digunakan sebagai metrik peringkat, model generatif yang mereproduksi tekstur dengan baik mungkin lebih disukai daripada model yang mereproduksi distribusi warna dengan baik. ‘

Data dan Metode

Untuk menguji hipotesis mereka, penulis melatih dua arsitektur GAN, DCGAN dan SNGAN, pada dataset wajah manusia NVIDIA FFHQ, yang di-downsample ke resolusi gambar 64², dengan dataset yang dihasilkan disebut FFHQ64.

Tiga prosedur pelatihan GAN dikejar: GAN G+D, jaringan berbasis diskriminator standar; GAN FID|G+D, di mana FID berfungsi sebagai diskriminator tambahan; dan GAN FID|G, di mana GAN sepenuhnya didukung oleh skor FID yang bergulir.

Secara teknis, penulis mencatat, kerugian FID seharusnya menstabilkan pelatihan, dan bahkan mungkin sepenuhnya menggantikan diskriminator (seperti yang dilakukan dalam #3, GAN FID|G), sambil menghasilkan hasil yang menyenangkan bagi manusia.

Dalam praktek, hasilnya agak berbeda, dengan – penulis menghipotesiskan – model FID yang ‘overfit’ pada metrik yang salah. Peneliti mencatat:

‘Kami menghipotesiskan bahwa generator belajar untuk menghasilkan fitur yang tidak sesuai untuk mencocokkan distribusi data pelatihan. Pengamatan ini menjadi lebih parah dalam kasus [GAN FID|G]. Di sini, kami melihat bahwa diskriminator yang hilang menyebabkan distribusi fitur yang tidak kohesif secara spasial. Misalnya [SNGAN FID|G] menambahkan sebagian besar mata tunggal dan menyelaraskan karakteristik wajah dengan cara yang menakutkan.’

Contoh wajah yang dihasilkan oleh SNGAN FID|G.

Penulis menyimpulkan*:

‘Sementara pengannotator manusia pasti lebih menyukai gambar yang dihasilkan oleh SNGAN D+G daripada SNGAN FID|G (dalam kasus di mana kesetiaan data lebih disukai daripada seni), kami melihat bahwa ini tidak tercermin oleh FID. FID tidak sejalan dengan persepsi manusia.

‘Kami berargumen bahwa fitur diskriminatif yang disediakan oleh jaringan klasifikasi gambar tidak cukup untuk menyediakan dasar metrik yang bermakna.’

Tidak Ada Alternatif yang Mudah

Penulis juga menemukan bahwa mengganti Inception V3 dengan mesin yang serupa tidak menghilangkan masalah. Dengan menggantikan IV3 dengan ‘pilihan luas jaringan klasifikasi yang berbeda’, yang diuji melawan ImageNet-C (subset dari ImageNet yang dirancang untuk memantau korupsi dan gangguan yang umum dihasilkan dalam gambar sintetis), peneliti tidak dapat secara substansial meningkatkan hasilnya:

‘[Bias] yang ada di Inception v3 juga secara luas ada di jaringan klasifikasi lain. Selain itu, kami melihat bahwa jaringan yang berbeda akan menghasilkan peringkat yang berbeda di antara jenis korupsi.

Penulis menyimpulkan paper ini dengan harapan bahwa penelitian yang sedang berlangsung akan mengembangkan metrik yang lebih baik untuk menilai ‘otentisitas’ dalam foto sintetis.

* Penekanan penulis.

Dipublikasikan pertama kali pada 20 Desember 2021, pukul 1 siang GMT+2.