Apakah DALL-E 2 Hanya ‘Menempelkan Hal-Hal Bersama’ Tanpa Memahami Hubungan Antara Mereka?

Sebuah penelitian baru dari Universitas Harvard menunjukkan bahwa kerangka kerja text-to-image OpenAI yang mendapat perhatian banyak orang, DALL-E 2, memiliki kesulitan yang cukup besar dalam mereproduksi hubungan antara elemen-elemen yang disusun menjadi foto sintetis, meskipun kecanggihan yang mengesankan dari sebagian besar outputnya.

Peneliti melakukan sebuah studi yang melibatkan 169 peserta yang dikumpulkan dari crowdsourced, yang diberikan gambar-gambar DALL-E 2 berdasarkan prinsip-prinsip dasar manusia tentang semantik hubungan, bersama dengan prompt teks yang telah menciptakannya. Ketika diminta untuk menentukan apakah prompt dan gambar tersebut terkait, kurang dari 22% gambar dianggap relevan dengan prompt yang terkait, dalam hal hubungan yang sangat sederhana yang DALL-E 2 diminta untuk visualisasikan.

Tangkapan layar dari percobaan yang dilakukan untuk makalah baru. Peserta diminta untuk memilih semua gambar yang sesuai dengan prompt. Source: https://arxiv.org/pdf/2208.00005.pdf

Hasil penelitian juga menunjukkan bahwa kemampuan DALL-E untuk menggabungkan elemen-elemen yang berbeda mungkin berkurang ketika elemen-elemen tersebut menjadi kurang mungkin terjadi dalam data pelatihan yang memuat sistem tersebut.

Sebagai contoh, gambar untuk prompt ‘anak menyentuh mangkuk’ mendapatkan tingkat kesepakatan 87% (yaitu peserta mengklik sebagian besar gambar sebagai relevan dengan prompt), sedangkan render yang sangat fotorealistik dari ‘seekor monyet menyentuh seekor iguana’ hanya mencapai 11% kesepakatan:

DALL-E mengalami kesulitan dalam menggambarkan peristiwa yang tidak mungkin terjadi seperti ‘seekor monyet menyentuh seekor iguana’.

Dalam contoh kedua, DALL-E 2 sering salah dalam skala dan bahkan spesies, mungkin karena kurangnya gambar-gambar nyata yang menggambarkan peristiwa tersebut. Sebaliknya, masuk akal untuk mengharapkan banyak foto-foto pelatihan yang terkait dengan anak-anak dan makanan, dan bahwa sub-domain/kelas ini telah berkembang dengan baik.

Kesulitan DALL-E dalam menggabungkan elemen-elemen gambar yang sangat kontras menunjukkan bahwa publik saat ini sangat terkesan dengan kemampuan fotorealistik dan interpretatif sistem tersebut sehingga tidak memiliki mata kritis untuk kasus-kasus di mana sistem tersebut telah efektif ‘menempelkan’ satu elemen secara kasar ke elemen lain, seperti dalam contoh-contoh dari situs resmi DALL-E 2:

Sintesis potongan-potongan, dari contoh resmi DALL-E 2. Source: https://openai.com/dall-e-2/

Makalah baru tersebut menyatakan*:

‘Pemahaman relasional adalah komponen fundamental dari kecerdasan manusia, yang muncul awal dalam perkembangan, dan dihitung dengan cepat dan otomatis dalam persepsi.

‘Kesulitan DALL-E 2 dengan hubungan spasial dasar (seperti di dalam, di atas, di bawah) menunjukkan bahwa apa pun yang telah dipelajari, sistem tersebut belum mempelajari jenis representasi yang memungkinkan manusia untuk mengatur dunia dengan fleksibel dan kuat.

‘Interpretasi langsung dari kesulitan ini adalah bahwa sistem seperti DALL-E 2 belum memiliki komposisi relasional.’

Penulis menyarankan bahwa sistem generasi gambar teks-pandu seperti seri DALL-E dapat memanfaatkan algoritma yang umum digunakan dalam robotika, yang memodelkan identitas dan hubungan secara bersamaan, karena kebutuhan agen untuk benar-benar berinteraksi dengan lingkungan daripada hanya membuat campuran dari elemen-elemen yang berbeda.

Salah satu pendekatan seperti itu, yang disebut CLIPort, menggunakan mekanisme CLIP yang sama yang digunakan sebagai elemen penilaian kualitas dalam DALL-E 2:

CLIPort, kolaborasi 2021 antara Universitas Washington dan NVIDIA, menggunakan CLIP dalam konteks yang sangat praktis sehingga sistem yang dilatih dengan itu harus mengembangkan pemahaman tentang hubungan fisik, motivator yang tidak ada dalam DALL-E 2 dan kerangka kerja sintesis gambar ‘fantastis’ lainnya. Source: https://arxiv.org/pdf/2109.12098.pdf

Penulis lebih lanjut menyarankan ‘peningkatan lain yang masuk akal’ mungkin dengan menggabungkan efek multiplicative dalam satu lapisan perhitungan, memungkinkan perhitungan hubungan dengan cara yang terinspirasi oleh kemampuan pemrosesan informasi biologis.

Makalah baru tersebut berjudul Testing Relational Understanding in Text-Guided Image Generation, dan berasal dari Colin Conwell dan Tomer D. Ullman di Departemen Psikologi Harvard.

Beyond Early Criticism

Komentar tentang ‘kecurangan’ di balik realisme dan integritas output DALL-E 2, penulis mencatat karya-karya sebelumnya yang telah menemukan kekurangan dalam sistem generatif gambar DALL-E.

Bulan Juni tahun ini, UoC Berkeley mencatat kesulitan DALL-E dalam menangani refleksi dan bayangan; bulan yang sama, sebuah studi dari Korea menyelidiki ‘keunikan’ dan orisinalitas output DALL-E 2 dengan mata kritis; analisis preliminary gambar DALL-E 2, tidak lama setelah peluncuran, dari NYU dan Universitas Texas, menemukan berbagai masalah dengan komposisi dan faktor-faktor penting lainnya dalam gambar DALL-E 2; dan bulan lalu, karya bersama antara Universitas Illinois dan MIT menawarkan saran untuk perbaikan arsitektur sistem tersebut dalam hal komposisi.

Peneliti lebih lanjut mencatat bahwa para ahli DALL-E seperti Aditya Ramesh telah mengakui masalah kerangka kerja dengan binding, ukuran relatif, teks, dan tantangan lainnya.

Pengembang di balik sistem sintesis gambar Imagen Google telah mengusulkan DrawBench, sistem perbandingan baru yang mengukur akurasi gambar di seluruh kerangka kerja dengan metrik yang beragam.

Sebagai gantinya, penulis makalah baru tersebut menyarankan bahwa hasil yang lebih baik mungkin diperoleh dengan membandingkan perkiraan manusia – bukan metrik algoritmik – terhadap gambar yang dihasilkan, untuk menetapkan di mana kelemahan terletak, dan apa yang dapat dilakukan untuk memitigasinya.

The Study

Untuk tujuan ini, proyek baru tersebut berdasarkan pada prinsip-prinsip psikologi, dan mencoba untuk mundur dari gelombang minat saat ini dalam rekayasa prompt (yang pada dasarnya adalah pengakuan terhadap kekurangan DALL-E 2, atau sistem yang setara), untuk menyelidiki dan memungkinkan mengatasi keterbatasan yang membuat ‘solusi’ tersebut diperlukan.

Makalah tersebut menyatakan:

‘Karya ini berfokus pada satu set 15 hubungan dasar sebelumnya yang telah dijelaskan, diperiksa, atau diusulkan dalam literatur kognitif, perkembangan, atau linguistik. Set ini berisi hubungan spasial yang ditanam (seperti ’X di atas Y’), dan hubungan agen yang lebih abstrak (seperti ’X membantu Y’).

‘Prompt-prompt tersebut sengaja sederhana, tanpa kompleksitas atribut atau elaborasi. Artinya, bukan prompt seperti ‘seekor keledai dan seekor gurita bermain permainan. Keledai itu memegang tali di satu ujung, gurita itu memegang ujung lainnya. Keledai memegang tali di mulutnya. Seekor kucing melompati tali’, kita menggunakan ‘sebuah kotak di atas pisau’.

‘Kesederhanaan masih menangkap rentang yang luas dari hubungan dari berbagai subdomain psikologi manusia, dan membuat kegagalan model yang potensial lebih mencolok dan spesifik.’

Untuk studinya, penulis merekrut 169 peserta dari Prolific, semua berlokasi di AS, dengan rata-rata usia 33, dan 59% perempuan.

Peserta ditunjukkan 18 gambar yang disusun dalam grid 3×6 dengan prompt di bagian atas, dan peringatan di bagian bawah yang menyatakan bahwa semua, beberapa, atau tidak ada gambar mungkin telah dihasilkan dari prompt yang ditampilkan, dan kemudian diminta untuk memilih gambar-gambar yang mereka pikir terkait dengan cara tersebut.

Gambar-gambar yang disajikan kepada individu-individu tersebut didasarkan pada literatur linguistik, perkembangan, dan kognitif, yang terdiri dari delapan hubungan fisik dan tujuh ‘hubungan agen’ (ini akan menjadi jelas dalam beberapa saat).

Hubungan Fisik
di dalam, di atas, di bawah, menutupi, dekat, tertutup oleh, menggantung di atas, dan terikat pada.

Hubungan Agen
mendorong, menarik, menyentuh, memukul, menendang, membantu, dan menghalangi.

Semua hubungan ini diambil dari bidang studi non-CS sebelumnya.

Dua belas entitas kemudian diperoleh untuk digunakan dalam prompt, dengan enam objek dan enam agen:

Objek
kotak, silinder, selimut, mangkuk, cangkir teh, danpisau.

Agen
pria, wanita, anak, robot, monyet, daniguana.

(Peneliti mengakui bahwa memasukkan iguana, bukanlah hal yang umum dalam penelitian sosial atau psikologi, adalah ‘sebuah perlakuan’)

Untuk setiap hubungan, lima prompt yang berbeda dibuat dengan sampling acak dua entitas lima kali, menghasilkan 75 prompt total, masing-masing di mana 18 gambar awal disediakan, tanpa variasi atau kesempatan kedua yang diizinkan.

Results

Makalah tersebut menyatakan*:

‘Peserta melaporkan persetujuan yang rendah antara gambar-gambar DALL-E 2 dan prompt yang digunakan untuk menghasilkannya, dengan rata-rata 22,2% [18,3, 26,6] di seluruh 75 prompt yang berbeda.

‘Prompt agen, dengan rata-rata 28,4% [22,8, 34,2] di seluruh 35 prompt, menghasilkan persetujuan yang lebih tinggi daripada prompt fisik, dengan rata-rata 16,9% [11,9, 23,0] di seluruh 40 prompt.’

Hasil dari studi. Titik-titik hitam menunjukkan semua prompt, dengan setiap titik mewakili prompt individu, dan warna membagi menurut apakah subjek prompt adalah agen atau fisik (yaitu objek).

Untuk membandingkan perbedaan antara persepsi manusia dan algoritma terhadap gambar-gambar tersebut, peneliti menjalankan render mereka melalui kerangka kerja CLIP berbasis ViT-L/14 OpenAI yang open source. Dengan menghitung rata-rata skor, mereka menemukan ‘hubungan moderat’ antara dua set hasil, yang mungkin mengejutkan, mengingat seberapa besar CLIP membantu menghasilkan gambar-gambar tersebut.

Hasil perbandingan CLIP (ViT-L/14) terhadap respons manusia.

Peneliti menyarankan bahwa mekanisme lain dalam arsitektur, mungkin dikombinasikan dengan keberadaan (atau ketiadaan) data dalam set pelatihan, mungkin dapat menjelaskan cara CLIP dapat mengenali keterbatasan DALL-E tanpa dapat melakukan banyak hal tentang masalah tersebut.

Penulis menyimpulkan bahwa DALL-E 2 hanya memiliki kemampuan yang sangat terbatas, jika ada, untuk mereproduksi gambar yang mencakup pemahaman relasional, aspek fundamental dari kecerdasan manusia yang berkembang sangat awal.

‘Gagasan bahwa sistem seperti DALL-E 2 tidak memiliki komposisi mungkin akan mengejutkan siapa pun yang telah melihat respons DALL-E 2 yang sangat masuk akal terhadap prompt seperti ‘sebuah kartun dari seorang bayi lobak putih dalam gaun berjalan dengan seekor anjing poodle’. Prompt seperti ini sering menghasilkan aproksimasi yang masuk akal dari konsep komposisi, dengan semua bagian prompt hadir, dan hadir di tempat yang tepat.

‘Komposisi, bagaimanapun, bukan hanya kemampuan untuk menempelkan hal-hal bersama – bahkan hal-hal yang mungkin tidak pernah Anda lihat sebelumnya. Komposisi memerlukan pemahaman tentang aturan yang mengikat hal-hal bersama. Hubungan adalah aturan seperti itu.’

Man Bites T-Rex

Opini Ketika OpenAI membuka akses kepada lebih banyak pengguna setelah monetisasi beta DALL-E 2, dan karena sekarang Anda harus membayar sebagian besar generasi, kekurangan DALL-E 2 dalam pemahaman relasional mungkin menjadi lebih jelas karena setiap ‘kesalahan’ memiliki bobot keuangan, dan pengembalian uang tidak tersedia.

Bagi mereka yang menerima undangan sedikit lebih awal, telah ada waktu (dan, sampai baru-baru ini, lebih banyak kesempatan untuk bermain dengan sistem) untuk mengamati beberapa ‘kesalahan hubungan’ yang dapat dihasilkan DALL-E 2.

Sebagai contoh, bagi penggemar Jurassic Park, sangat sulit untuk mendapatkan dinosaurus mengejar orang dalam DALL-E 2, meskipun konsep ‘mengejar’ tidak tampaknya ada dalam sistem sensor DALL-E 2, dan meskipun sejarah panjang film-film dinosaurus harus menyediakan contoh pelatihan yang cukup (setidaknya dalam bentuk trailer dan foto-foto publisitas) untuk pertemuan mustahil antara spesies ini.

Respon khas DALL-E 2 terhadap prompt ‘Sebuah foto warna dari T-Rex mengejar seorang pria di sepanjang jalan’. Source: DALL-E 2

Saya telah menemukan bahwa gambar-gambar di atas adalah khas untuk variasi prompt ‘[dinosaurus] mengejar [seorang pria]’, dan bahwa tidak ada jumlah elaborasi dalam prompt yang dapat membuat T-Rex benar-benar mematuhinya. Dalam foto pertama dan kedua, pria itu (lebih atau kurang) mengejar T-Rex; dalam ketiga, mendekatinya dengan pengabaian yang santai terhadap keselamatan; dan dalam gambar terakhir, tampaknya berlari paralel dengan hewan besar itu. Di sekitar 10-15 upaya dengan tema ini, saya telah menemukan bahwa dinosaurus itu ‘terganggu’ dengan cara yang sama.

Hal ini mungkin karena satu-satunya data pelatihan yang dapat diakses DALL-E 2 adalah dalam bentuk ‘manusia melawan dinosaurus’, dari foto-foto publisitas film-film lama seperti One Million Years B.C. (1966), dan bahwa adegan pelarian terkenal Jeff Goldblum dari raja predator hanyalah sebuah outlier dalam tranche data kecil itu.

* Konversi saya dari kutipan inline penulis ke tautan.

Mula-mula diterbitkan 4 Agustus 2022.