Bagaimana Mengetahui Sistem Sintesis Gambar Menghasilkan Materi ‘Asli’

Sebuah studi baru dari Korea Selatan telah mengusulkan metode untuk menentukan apakah sistem sintesis gambar menghasilkan gambar yang benar-benar baru, atau hanya ‘varian kecil’ dari data pelatihan, yang berpotensi mengalahkan tujuan dari arsitektur tersebut (seperti produksi gambar baru dan asli).

Sangat sering, makalah tersebut menyarankan, yang terakhir adalah benar, karena metrik yang ada yang digunakan oleh sistem tersebut untuk meningkatkan kapasitas generatif mereka selama pelatihan dipaksa untuk memfavoritkan gambar yang relatif dekat dengan gambar sumber (bukan palsu) di dataset.

Setelah semua, jika sebuah gambar yang dihasilkan ‘dekat secara visual’ dengan data sumber, maka sangat mungkin untuk skor lebih baik untuk ‘keaslian’ daripada ‘keaslian’, karena itu ‘setia’ – jika tidak terinspirasi.

Di sektor yang masih sangat muda dan belum teruji untuk dampak hukumnya, ini bisa berakhir menjadi masalah hukum yang penting, jika ternyata konten gambar sintetis yang dikomersialisasikan tidak cukup berbeda dari bahan sumber (seringkali) berhak cipta yang saat ini diperbolehkan memasuki sektor penelitian dalam bentuk dataset web-scraped yang populer (potensi untuk klaim pelanggaran di masa depan dari jenis ini telah muncul ke permukaan baru-baru ini terkait dengan GitHub Co-Pilot AI dari Microsoft ).

Dalam hal output yang semakin koheren dan semantik yang kuat dari sistem seperti OpenAI’s DALL-E 2, Google’s Imagen, dan rilis Cina CogView (serta DALL-E mini yang lebih rendah), ada sangat sedikit cara pasca-fakta untuk menguji keaslian gambar yang dihasilkan.

Memang, mencari beberapa gambar DALL-E 2 yang paling populer akan sering hanya mengarah ke instance lain dari gambar yang sama, tergantung pada mesin pencari.

Mengunggah grup output DALL-E 2 yang lengkap hanya mengarah ke grup output DALL-E 2 lain, karena struktur grid adalah fitur terkuat. Memisahkan dan mengunggah gambar pertama (dari posting Twitter ini pada 8 Juni 2022, dari akun ‘Weird Dall-E Generations’) menyebabkan Google memfokuskan pada bola basket di gambar, mengarahkan pencarian berbasis gambar ke jalan buntu semantik. Untuk pencarian berbasis gambar yang sama, Yandex tampaknya melakukan dekonstruksi dan pencocokan fitur berbasis piksel yang sebenarnya.

Meskipun Yandex lebih mungkin daripada Google Search untuk menggunakan fitur sebenarnya (yaitu fitur yang dihasilkan/dihitung dari gambar) dan karakteristik visual (bukan semantik) dari gambar yang dikirim untuk menemukan gambar serupa, semua mesin pencari berbasis gambar memiliki beberapa jenis agenda atau praktik yang dapat membuatnya sulit untuk mengidentifikasi contoh plagiarisme sumber>dihasilkan melalui pencarian web.

Tambahnya, data pelatihan untuk model generatif mungkin tidak tersedia secara publik dalam keseluruhan, yang lebih lanjut menghambat pemeriksaan forensik keaslian gambar yang dihasilkan.

Sangat menarik, melakukan pencarian berbasis gambar pada salah satu gambar sintetis yang ditampilkan oleh Google di situs Imagen tidak menemukan apa pun yang serupa dengan subjek gambar, dalam hal melihat gambar dan mencari gambar serupa secara impartial:

Yandex, di sisi lain, menemukan sejumlah besar gambar serupa (atau setidaknya terkait secara visual) dari komunitas artistik amatir:

Secara umum, akan lebih baik jika kebaruhan atau keaslian output sistem sintesis gambar dapat diukur dengan beberapa cara, tanpa perlu mengekstrak fitur dari setiap gambar web yang mungkin ada di internet pada saat model dilatih, atau di dataset non-publik yang mungkin menggunakan bahan berhak cipta.

Terkait dengan masalah ini, peneliti dari Sekolah Pascasarjana AI Kim Jaechul di Institut Sains dan Teknologi Korea Advanced (KAIST AI) telah berkolaborasi dengan perusahaan ICT dan pencarian global NAVER Corp untuk mengembangkan Skor Kekhasan yang dapat membantu mengidentifikasi ciptaan yang lebih asli dari sistem sintesis gambar.

Gambar di sini dihasilkan melalui StyleGAN-FFHQ. Dari kiri ke kanan, kolom menunjukkan hasil dari yang terburuk ke yang terbaik. Kami dapat melihat bahwa metrik ‘Truncation trick’ (lihat di bawah) dan metrik Realisme memiliki agenda mereka sendiri, sedangkan skor Kekhasan baru (baris atas) mencari citra yang kohesif tetapi asli (bukan hanya kohesif). Karena ada batasan ukuran gambar dalam artikel ini, silakan lihat makalah sumber untuk detail dan resolusi yang lebih baik. Sumber: https://arxiv.org/pdf/2206.08549.pdf

Makalah baru ini berjudul Skor Kekhasan: Metrik Baru untuk Menilai Kekhasan Gambar Sintetis, dan berasal dari tiga peneliti di KAIST, dan tiga dari NAVER Corp.

Melampaui ‘Trik Murah’

Di antara metrik sebelumnya yang makalah baru ini berusaha untuk meningkatkan adalah ‘Truncation trick’ yang disarankan pada 2019 dalam kolaborasi antara Universitas Heriot-Watt di Inggris dan DeepMind dari Google.

Truncation Trick secara esensial menggunakan distribusi laten yang berbeda untuk sampling daripada yang digunakan untuk melatih model generatif.

Peneliti yang mengembangkan metode ini terkejut bahwa itu berhasil, tetapi mengakui dalam makalah asli bahwa itu mengurangi keragaman output yang dihasilkan. Meskipun demikian, Truncation Trick telah menjadi efektif dan populer, dalam konteks apa yang bisa didefinisikan ulang sebagai ‘trik murah’ untuk mendapatkan hasil yang autentik tanpa benar-benar mengasimilasi semua kemungkinan yang ada dalam data, dan mungkin menyerupai data sumber lebih dari yang diinginkan.

Mengenai Truncation Trick, penulis makalah baru mengamati:

‘[It] tidak dimaksudkan untuk menghasilkan sampel yang jarang dalam dataset pelatihan, tetapi lebih untuk mensintesis gambar yang lebih stabil. Kami menghipotesiskan bahwa model generatif yang ada akan dapat menghasilkan sampel yang lebih kaya dalam distribusi data nyata jika generator dapat diinduksi untuk secara efektif menghasilkan sampel yang jarang.’

Dari tendensi umum untuk bergantung pada metrik tradisional seperti Frechet Inception Distance (FID, yang menghadapi kritik intens pada Desember 2021), skor inisiasi (IS) dan Kernel Inception Distance (KID) sebagai ‘indikator kemajuan’ selama pelatihan model generatif, penulis lebih lanjut mengomentari:

‘Skema pembelajaran ini menyebabkan generator tidak mensintesis sampel yang jarang, yang unik dan memiliki karakteristik kuat yang tidak mencakup proporsi besar dari distribusi gambar nyata. Contoh sampel yang jarang dari dataset publik termasuk orang dengan berbagai aksesori di FFHQ, hewan putih di AFHQ, dan patung yang tidak umum di Metfaces.

‘Kemampuan untuk menghasilkan sampel yang jarang sangat penting tidak hanya karena terkait dengan kemampuan ujung model generatif, tetapi juga karena keunikan memainkan peran penting dalam aplikasi kreatif seperti manusia virtual.

‘Namun, hasil kualitatif dari beberapa studi terbaru jarang berisi contoh-contoh yang jarang ini. Kami menghipotesiskan bahwa sifat skema pembelajaran adversarial memaksa distribusi gambar yang dihasilkan serupa dengan distribusi dataset pelatihan. Dengan demikian, gambar dengan individualitas atau keunikan yang jelas hanya memainkan bagian kecil dalam gambar yang disintesis oleh model.’

Teknik

Peneliti baru mengadaptasi ide yang disajikan dalam karya sebelumnya – penggunaan K-Nearest Neighbors (KNNs) untuk merepresentasikan array data asli (pelatihan) dan sintetis (output) dalam sistem sintesis gambar.

Mengenai metode analisis baru ini, penulis menyatakan:

‘Kami menghipotesiskan bahwa sampel biasa akan lebih dekat satu sama lain, sedangkan sampel unik dan jarang akan berlokasi jarang di ruang fitur.’

Gambar hasil di atas menunjukkan jarak tetangga terdekat (NNDs) terkecil hingga terbesar, dalam arsitektur StyleGAN yang dilatih pada FFHQ.

‘Untuk semua dataset, sampel dengan NNDs terkecil menunjukkan gambar yang representatif dan khas. Sebaliknya, sampel dengan NNDs terbesar memiliki individualitas yang kuat dan sangat berbeda dari gambar khas dengan NNDs terkecil.’

Secara teori, dengan menggunakan metrik baru ini sebagai discriminator, atau setidaknya memasukkannya ke dalam arsitektur discriminator yang lebih kompleks, sistem generatif bisa diarahkan menjauhi imitasi murni menuju algoritma yang lebih inventif, sambil mempertahankan kohesi konsep yang esensial untuk produksi gambar autentik (yaitu ‘manusia’, ‘wanita’, ‘mobil’, ‘gereja’, dll.).

Perbandingan dan Eksperimen

Dalam tes, peneliti melakukan perbandingan kinerja Skor Kekhasan melawan Truncation Trick dan Skor Realisme NVIDIA 2019, dan menemukan bahwa di berbagai kerangka dan dataset, pendekatan ini dapat membedakan ‘hasil unik’.

Meskipun hasilnya yang ditampilkan dalam makalah terlalu luas untuk disertakan di sini, peneliti tampaknya telah menunjukkan kemampuan metode baru untuk mengidentifikasi keunikan dalam gambar sumber (nyata) dan gambar yang dihasilkan (palsu) dalam prosedur generatif:

Contoh pilihan dari hasil visual yang luas yang direproduksi dalam makalah (lihat URL sumber di atas untuk lebih banyak detail). Di sebelah kiri, contoh asli dari FFHQ yang memiliki sangat sedikit tetangga dekat (yaitu baru dan tidak biasa) di dataset asli; di sebelah kanan, gambar palsu yang dihasilkan oleh StyleGAN, yang metrik baru telah mengidentifikasi sebagai benar-benar baru. Karena ada batasan ukuran gambar dalam artikel ini, silakan lihat makalah sumber untuk detail dan resolusi yang lebih baik.

Skor Kekhasan baru tidak hanya memungkinkan kemungkinan mengidentifikasi output generatif ‘baru’ dalam satu arsitektur, tetapi juga, menurut peneliti, memungkinkan perbandingan antara model generatif dengan arsitektur yang berbeda (yaitu autoencoder, VAE, GAN, dll.).

Makalah tersebut mencatat bahwa Skor Kekhasan berbeda dari metrik sebelumnya dengan fokus pada kemampuan kerangka generatif untuk menciptakan gambar unik dan jarang, berlawanan dengan metrik ‘tradisional’, yang memeriksa (lebih mikro) keragaman antara generasi selama pelatihan model.

Melampaui Tugas Terbatas

Meskipun peneliti makalah baru telah melakukan tes pada kerangka kerja domain terbatas (seperti kombinasi generator/dataset yang dirancang untuk menghasilkan gambar orang, atau kucing, misalnya), Skor Kekhasan dapat berpotensi diterapkan pada proses sintesis gambar sewenang-wenang di mana diinginkan untuk mengidentifikasi contoh yang dihasilkan yang menggunakan distribusi yang dihasilkan dari data pelatihan, bukan meningkatkan keaslian (dan mengurangi keragaman) dengan memasukkan distribusi laten asing, atau mengandalkan ‘jalan pintas’ lain yang mengorbankan kebaruhan demi keaslian.

Dalam prakteknya, dan dalam ketiadaan pemahaman yang jelas tentang seberapa besar sistem telah benar-benar mengasimilasi konsep visual dan semantik (seringkali dihambat oleh pengetahuan terbatas tentang data pelatihan), ini bisa menjadi metode yang layak untuk mengidentifikasi ‘moment of inspiration’ yang sebenarnya dalam sistem generatif – titik di mana jumlah konsep dan data input yang memadai telah menghasilkan sesuatu yang benar-benar inventif, bukan sesuatu yang terlalu turunan atau dekat dengan data sumber.

* Konversi saya dari kutipan inline penulis ke tautan.

Publikasi pertama 20 Juni 2022.