Bahasa ‘Tidak Masuk Akal’ yang Dapat Mengalahkan Sistem Moderasi Sintesis Gambar

Penelitian baru dari Universitas Columbia menunjukkan bahwa perlindungan yang mencegah model sintesis gambar seperti DALL-E 2, Imagen, dan Parti dari menghasilkan gambar yang merusak atau kontroversial rentan terhadap serangan adversarial yang melibatkan ‘kata-kata buatan’.

Penulis telah mengembangkan dua pendekatan yang dapat mengalahkan langkah-langkah moderasi konten dalam sistem sintesis gambar, dan menemukan bahwa mereka sangat kuat bahkan di berbagai arsitektur, menunjukkan bahwa kelemahan ini lebih dari sekedar sistemik dan mungkin terkait dengan beberapa prinsip dasar sintesis teks-ke-gambar.

Pendekatan pertama, dan yang lebih kuat, disebut macaronic prompting. Istilah ‘macaronic’ asalnya merujuk pada campuran beberapa bahasa, seperti yang ditemukan dalam Esperanto atau Unwinese. Mungkin contoh yang paling umum adalah Urdu-Inggris, jenis ‘code mixing’ yang umum di Pakistan, yang dengan bebas mencampur kata benda Inggris dan sufiks Urdu.

Compositional macaronic prompting di DALL-E 2. Sumber: https://arxiv.org/pdf/2208.04135.pdf

Di beberapa contoh di atas, bagian dari kata-kata yang bermakna telah dilekatkan bersama, menggunakan Inggris sebagai ‘scaffold’. Contoh lain dalam makalah menggunakan beberapa bahasa di seluruh prompt.

Sistem akan merespons dengan cara yang bermakna karena kurangnya kurasi dalam sumber web yang digunakan untuk melatih sistem. Sumber tersebut sering kali memiliki label multibahasa (yaitu dari dataset yang tidak dirancang khusus untuk tugas sintesis gambar), dan setiap kata yang diingest, dalam bahasa apa pun, akan menjadi ‘token’; tetapi bagian dari kata-kata tersebut juga akan menjadi ‘subwords’ atau token fraksional. Dalam Pemrosesan Bahasa Alami (NLP), jenis ‘stemming’ ini membantu membedakan etimologi kata-kata yang lebih panjang yang mungkin muncul dalam operasi transformasi, tetapi juga menciptakan ‘Lego set’ leksikal yang besar yang dapat dimanfaatkan oleh ‘prompting’ kreatif.

Kata-kata portmanteau monolingual juga efektif dalam mendapatkan gambar melalui bahasa tidak langsung atau non-prosa, dengan hasil yang sangat mirip dapat diperoleh di berbagai arsitektur, seperti DALL-E 2 dan DALL-E Mini (Craiyon).

Di pendekatan kedua, yang disebut evocative prompting, beberapa kata yang digabungkan mirip dengan nada yang lebih muda dari ‘schoolboy Latin’ ditunjukkan dalam Monty Python’s Life of Brian (1979).

Tidak main-main – bahasa Latin palsu sering berhasil memicu respons bermakna dari DALL-E 2.

Penulis menyatakan:

‘Suatu kekhawatiran yang jelas dengan metode ini adalah penghindaran filter konten berdasarkan prompt yang masuk daftar hitam. Secara prinsip, macaronic prompting dapat menyediakan cara yang mudah dan tampaknya dapat diandalkan untuk melewati filter tersebut untuk menghasilkan konten berbahaya, ofensif, ilegal, atau sensitif lainnya, termasuk gambar kekerasan, kebencian, rasisme, seksisme, atau pornografi, dan mungkin gambar yang melanggar hak cipta atau menggambarkan individu nyata.

‘Perusahaan yang menawarkan layanan generasi gambar telah memperhatikan dengan baik untuk mencegah generasi output tersebut sesuai dengan kebijakan konten mereka. Oleh karena itu, macaronic prompting harus diselidiki secara sistematis sebagai ancaman terhadap protokol keamanan yang digunakan untuk generasi gambar komersial.’

Penulis menyarankan beberapa solusi untuk kerentanan ini, beberapa di antaranya mungkin dianggap terlalu ketat.

Solusi pertama yang mungkin adalah yang paling mahal: untuk mengkurasi gambar sumber pelatihan dengan lebih hati-hati, dengan pengawasan manusia yang lebih banyak dan pengawasan algoritmik yang lebih sedikit. Namun, makalah tersebut mengakui bahwa ini tidak akan mencegah sistem sintesis gambar dari membuat konjungsi ofensif antara dua konsep gambar yang secara individu mungkin tidak berbahaya.

Kedua, makalah tersebut menyarankan bahwa sistem sintesis gambar dapat menjalankan output aktual melalui sistem filter, mengintersepasi asosiasi yang bermasalah sebelum disajikan kepada pengguna. Memungkinkan DALL-E 2 saat ini beroperasi dengan filter seperti itu, meskipun OpenAI belum mengungkapkan secara pasti bagaimana moderasi konten DALL-E 2 bekerja.

Akhirnya, penulis mempertimbangkan kemungkinan ‘daftar putih kamus’, yang hanya akan mengizinkan kata-kata yang diverifikasi dan disetujui untuk mengambil dan merender konsep, tetapi mengakui bahwa ini bisa merupakan pembatasan yang terlalu ketat pada utilitas sistem.

Peneliti hanya bereksperimen dengan lima bahasa (Inggris, Jerman, Perancis, Spanyol, dan Italia) dalam membuat prompt-assemblies, tetapi percaya bahwa jenis ‘serangan adversarial’ ini bisa menjadi lebih ‘kriptik’ dan sulit diterapkan dengan memperluas jumlah bahasa, mengingat model hiperskala seperti DALL-E 2 dilatih pada beberapa bahasa (karena lebih mudah menggunakan input ‘mentah’ atau ‘tidak disaring’ daripada mempertimbangkan biaya besar untuk mengkurasi, dan karena dimensi tambahan kemungkinan akan menambah kegunaan sistem).

Makalah tersebut berjudul Adversarial Attacks on Image Generation With Made-Up Words, dan berasal dari Raphaël Millière di Universitas Columbia.

Bahasa Kriptik di DALL-E 2

Telah disarankan sebelumnya bahwa ‘gibberish’ yang DALL-E 2 keluarkan setiap kali mencoba menggambarkan bahasa tertulis bisa menjadi ‘kosakata tersembunyi’. Namun, penelitian sebelumnya tentang bahasa misterius ini belum menawarkan cara untuk mengembangkan string nonce yang dapat memanggil gambar tertentu.

Dari penelitian sebelumnya, makalah tersebut menyatakan:

‘[It] tidak menawarkan metode yang dapat diandalkan untuk menemukan string nonce yang memicu gambar tertentu. Sebagian besar teks ‘gibberish’ yang dimasukkan oleh DALL-E 2 ke dalam gambar tidak tampaknya secara konsisten terkait dengan konsep visual tertentu ketika ditranskripsikan dan digunakan sebagai prompt. Ini membatasi viabilitas pendekatan ini sebagai cara untuk menghindari moderasi konten berbahaya atau ofensif; sebagai hasilnya, ini bukanlah risiko yang sangat mengkhawatirkan untuk penyalahgunaan model generasi gambar yang dipandu teks.’

Sebagai gantinya, dua metode penulis dijabarkan sebagai sarana untuk memanggil gambar yang bermakna dan terkait sambil menghindari etika konvensional yang sekarang berkembang menjadi rekayasa prompt.

Sebagai contoh, penulis mempertimbangkan kata untuk ‘burung’ dalam lima bahasa yang dalam cakupan makalah: Vögel dalam bahasa Jerman, uccelli dalam bahasa Italia, oiseaux dalam bahasa Perancis, dan pájaros dalam bahasa Spanyol.

Dengan byte-pair encoding (BPE) tokenisasi yang digunakan oleh implementasi CLIP yang terintegrasi ke dalam DALL-E 2, kata-kata tersebut di-tokenisasi menjadi bahasa Inggris tanpa aksen, dan dapat ‘dipadukan secara kreatif’ untuk membentuk kata-kata nonce yang tampak seperti ‘gibberish’ bagi kita, tetapi mempertahankan makna yang melekat bagi DALL-E 2, memungkinkan sistem untuk mengekspresikan niat yang dirasakan:

Di contoh di atas, dua ‘kata asing’ untuk burung dilekatkan bersama menjadi string nonsense. Berkat bobot fraksional dari sub-kata, makna dipertahankan.

Penulis menekankan bahwa hasil yang bermakna juga dapat diperoleh tanpa mematuhi batasan segmentasi sub-kata, kemungkinan karena DALL-E 2 (studi utama makalah) telah umum dengan cukup baik untuk membiarkan batasan sub-kata kabur tanpa menghancurkan makna mereka.

Untuk lebih mendemonstrasikan pendekatan yang dikembangkan, makalah tersebut menawarkan contoh macaronic prompting di berbagai domain, menggunakan daftar kata token yang diilustrasikan di bawah (dengan kata-kata hibrida nonsense di sebelah kanan).

Penulis menyatakan bahwa contoh-contoh berikut dari DALL-E 2 tidak ‘cherry-picked’:

Lingua Franca

Makalah tersebut juga mengamati bahwa beberapa contoh seperti itu bekerja dengan baik, atau setidaknya sangat mirip, di kedua DALL-E 2 dan DALL-E Mini (sekarang Craiyon), dan bahwa ini mengejutkan, karena DALL-E 2 adalah model difusi dan DALL-E Mini bukan; kedua sistem dilatih pada dataset yang berbeda; dan DALL-E Mini menggunakan BART tokenizer bukan tokenizer CLIP yang disukai DALL-E 2.

Hasil yang sangat mirip dari DALL-E Mini, dibandingkan dengan gambar sebelumnya, yang menampilkan hasil dari input ‘nonsense’ yang sama dari DALL-E 2.

Sebagaimana terlihat pada gambar pertama di atas, macaronic prompting juga dapat dirakit menjadi kalimat yang sintaksis benar untuk menghasilkan adegan yang lebih kompleks. Namun, ini memerlukan menggunakan Inggris sebagai ‘scaffold’ untuk merakit konsep, membuat prosedur lebih mungkin untuk diintersep oleh sistem sensor standar dalam kerangka sintesis gambar.

Makalah tersebut mengamati bahwa hibridisasi leksikal, ‘perekatan’ kata-kata untuk memicu konten terkait dari sistem sintesis gambar, juga dapat dilakukan dalam satu bahasa, dengan menggunakan kata portmanteau.

Prompting Evokatif

Pendekatan ‘evocative prompting’ yang ditampilkan dalam makalah tersebut bergantung pada ‘memicu’ respons yang lebih luas dari sistem dengan kata-kata yang tidak sepenuhnya didasarkan pada sub-kata atau sub-token atau label yang dibagikan sebagian.

Jenis evocative prompting yang satu adalah pseudolatin, yang dapat, antara lain, menghasilkan gambar obat-obatan fiksi, bahkan tanpa spesifikasi bahwa DALL-E 2 harus mengambil konsep ‘obat’:

Evocative prompting juga bekerja dengan baik, terutama dengan prompt nonsens yang terkait dengan lokasi geografis yang mungkin, dan bekerja dengan cukup andal di berbagai arsitektur DALL-E 2 dan DALL-E Mini:

Kata-kata yang digunakan untuk prompt ini ke DALL-E 2 dan DALL-E Mini mengingatkan nama-nama nyata, tetapi pada dasarnya tidak masuk akal. Namun, sistem telah ‘menangkap atmosfer’ dari kata-kata tersebut.

Tampaknya ada beberapa persilangan antara macaronic dan evocative prompting. Makalah tersebut menyatakan:

‘Tampaknya perbedaan dalam data pelatihan, ukuran model, dan arsitektur model dapat menyebabkan model yang berbeda memroses prompt seperti voiscellpajaraux dan eidelucertlagarzard dalam cara ‘macaronic’ atau ‘evocative’, bahkan ketika model tersebut terbukti responsif terhadap kedua metode prompting.’

Makalah tersebut menyimpulkan:

‘Sementara berbagai sifat dari model ini – termasuk ukuran, arsitektur, prosedur tokenisasi, dan data pelatihan – mungkin mempengaruhi kerentanan mereka terhadap serangan adversarial berbasis teks, bukti awal yang dibahas dalam pekerjaan ini menunjukkan bahwa beberapa serangan tersebut mungkin masih bekerja cukup andal di berbagai model.’

Arguably, hambatan terbesar untuk eksperimen sekitar metode ini adalah risiko diidentifikasi dan diblokir oleh sistem host. DALL-E 2 memerlukan nomor telepon yang terkait dengan setiap akun pengguna, membatasi jumlah ‘akun burner’ yang kemungkinan diperlukan untuk benar-benar menguji batas-batas jenis peretasan leksikal ini, dalam hal mengalahkan metode moderasi yang ada. Saat ini, perlindungan utama DALL-E 2 tetap volatilitas akses.

Dipublikasikan pertama kali pada 9 Agustus 2022.