Solusi Unik DALL-E 2 untuk Makna Ganda

Siapa saja yang telah belajar bahasa Italia akan segera memperhatikan konteks ketika menjelaskan penyapu, karena kata Italia untuk benda rumah tangga yang biasa ini memiliki makna yang sangat tidak pantas sebagai kata kerja*. Meskipun kita belajar sejak dini untuk memisahkan pemetaan semantik dan (sesuai) keteraplikasian kata-kata dengan makna ganda, ini bukanlah keterampilan yang mudah untuk diteruskan kepada sistem sintesis gambar hyperscale seperti DALL-E 2 dan Stable Diffusion, karena mereka bergantung pada modul Contrastive Language-Image Pre-training (CLIP) dari OpenAI, yang memperlakukan objek dan sifat-sifatnya dengan lebih longgar (namun yang semakin mendapatkan tanah dalam ruang sintesis gambar dan video difusi laten).

Studi ini tentang kekurangan ini, sebuah kolaborasi penelitian baru dari Universitas Bar-Ilan dan Allen Institute for Artificial Intelligence menawarkan studi ekstensif tentang seberapa besar DALL-E 2 cenderung melakukan kesalahan semantik seperti ini:

Makna ganda dipisahkan menjadi beberapa interpretasi dalam DALL-E 2 – meskipun sistem difusi laten apa pun dapat menghasilkan contoh seperti itu. Pada gambar kanan atas, menghapus ’emas’ dari prompt mengubah spesies ikan, sedangkan dalam kasus ‘zebra crossing’, perlu menyatakan secara eksplisit permukaan jalan untuk menghilangkan asosiasi ganda. Sumber: https://export.arxiv.org/pdf/2210.10606

Penulis menemukan bahwa kecenderungan ini untuk menafsirkan kata-kata dan frasa ganda tampaknya tidak hanya umum untuk semua model difusi yang dipandu oleh CLIP, tetapi juga bahwa kesalahan ini semakin parah ketika model-model tersebut dilatih pada jumlah data yang semakin besar. Makalah tersebut mencatat bahwa ‘versi yang dikurangi’ dari model teks-ke-gambar, termasuk DALL-E Mini (sekarang Craiyon) menghasilkan kesalahan seperti ini dengan frekuensi yang jauh lebih rendah, dan bahwa Stable Diffusion juga melakukan kesalahan lebih sedikit – meskipun hanya karena, sangat sering, tidak mengikuti prompt sama sekali, yang merupakan jenis kesalahan lain.

Prompt sederhana ‘tanggal’ memaksa DALL-E 2 untuk mengaktifkan dua dari beberapa makna kata tersebut, sedangkan kata ‘fan’ juga terbagi menjadi dua pemetaan semantiknya, dan pada gambar ketiga, frasa ‘kerucut’ secara andal mengubah makanan yang tidak ditentukan dalam prompt menjadi es krim, yang terkait dengan ‘kerucut’.

Menjelaskan bagaimana kita melakukan pemisahan leksikal yang efisien, makalah tersebut menyatakan:

‘Sementara simbol – serta struktur kalimat – mungkin ambigu, setelah interpretasi dibangun, ambiguitas ini sudah terpecahkan. Misalnya, sementara simbol “kelelawar” dalam kalimat “kelelawar terbang” dapat diartikan sebagai tongkat kayu atau hewan, interpretasi kita tentang kalimat tersebut adalah kelelawar kayu terbang atau kelelawar hewan terbang, tetapi tidak keduanya pada saat yang sama. Setelah kata “kelelawar” digunakan dalam interpretasi untuk menunjukkan objek (misalnya, tongkat kayu), kata tersebut tidak dapat digunakan kembali untuk menunjukkan objek lain (hewan) dalam interpretasi yang sama.’

DALL-E 2, makalah tersebut mengamati, tidak terbatas dengan cara ini:

‘Seekor kelelawar terbang di atas stadion bisbol’ – gambar pertama dari makalah, tiga gambar lainnya diperoleh dengan hanya memasukkan prompt yang sama ke DALL-E 2.

Sifat ini telah dinamakan kepekaan sumber daya.

Makalah tersebut mengidentifikasi tiga perilaku abnormal yang ditampilkan oleh DALL-E 2: bahwa kata atau frasa dapat ditafsirkan dan secara efektif dibagi menjadi dua entitas yang berbeda, menghasilkan objek atau konsep untuk masing-masing dalam adegan yang sama; bahwa kata dapat ditafsirkan sebagai modifikasi dari dua entitas yang berbeda (lihat contoh ‘ikan emas’ dan lainnya di atas); dan bahwa kata dapat ditafsirkan secara bersamaan sebagai modifikasi dan entitas alternatif – seperti yang ditunjukkan oleh prompt ‘seekor anjing laut membuka surat’:

‘Seekor anjing laut membuka surat’ – ilustrasi pertama dari makalah, tiga gambar berikutnya adalah reproduksi identik dari DALL-E 2. Contoh fotorealistik di bawah memiliki teks tambahan ‘foto, Canon50, 85mm, F5.6, foto pemenang penghargaan’.

Para penulis mengidentifikasi dua mode kegagalan untuk model difusi dalam hal ini: bahwa hasil prompt pengguna dengan kata-kata yang bermakna ganda sering menampilkan kata yang dikonkretkan bersama dengan beberapa manifestasi konsep; dan kebocoran konsep, di mana sifat-sifat satu objek ‘bocor’ ke objek lain yang dihasilkan.

‘Secara keseluruhan, fenomena yang kami teliti memberikan bukti untuk keterbatasan kemampuan linguistik DALLE-2 dan membuka jalur untuk penelitian masa depan yang akan mengungkap apakah keterbatasan tersebut berasal dari masalah dengan pengkodean teks, model generatif, atau keduanya. Lebih umum, pendekatan yang diusulkan dapat diperluas ke skenario lain di mana proses dekoding digunakan untuk mengungkap bias induktif dan kelemahan model teks-ke-gambar.’

Menggunakan 17 kata yang akan menyebabkan DALL-E 2 membagi input menjadi beberapa output, para penulis mengamati bahwa homonym duplikasi terjadi pada lebih dari 80% dari 216 gambar yang dihasilkan.

Para peneliti menggunakan pasangan stimulus-kontrol untuk memeriksa seberapa jauh bahasa yang spesifik dan argumen yang berlebihan diperlukan untuk menghentikan duplikasi ini. Untuk tes entitas-ke-properti, 10 pasangan seperti itu dibuat, dan para penulis mencatat bahwa prompt stimulus memicu properti yang sama dalam 92,5% kasus, sedangkan prompt kontrol hanya memicu properti tersebut dalam 6,6% kasus.

‘[Untuk] menunjukkan, pertimbangkan seekor zebra dan sebuah jalan, di sini, zebra adalah entitas, tetapi memodifikasi jalan, dan DALLE-2 secara konstan menghasilkan penyeberangan, mungkin karena kesamaan garis-garis zebra dengan penyeberangan. Dan sejalan dengan konjektur kita, kontrol seekor zebra dan jalan kerikil menentukan jenis jalan yang biasanya tidak memiliki penyeberangan, dan memang, semua sampel kontrol kita untuk prompt ini tidak mengandung penyeberangan.’