Adobe dan Meta Mengutuk Penyalahgunaan Studi Pengguna dalam Penelitian Penglihatan Komputer

Adobe dan Meta, bersama dengan Universitas Washington, telah menerbitkan kritik luas tentang apa yang mereka klaim sebagai penyalahgunaan dan penyalahgunaan studi pengguna dalam penelitian penglihatan komputer (CV).

Studi pengguna sebelumnya biasanya terbatas pada penduduk setempat atau mahasiswa di sekitar kampus lembaga akademis yang berpartisipasi, tetapi sekarang telah beralih hampir seluruhnya ke platform crowdsourcing online seperti Amazon Mechanical Turk (AMT).

Di antara berbagai keluhan, makalah baru ini menyatakan bahwa proyek penelitian dipaksa untuk menghasilkan studi oleh peninjau makalah; sering kali merumuskan studi dengan buruk; mengkomisi studi di mana logika proyek tidak mendukung pendekatan ini; dan sering ‘diperalat’ oleh pekerja kerumunan yang sinis yang ‘mengerti’ jawaban yang diinginkan daripada benar-benar memikirkan masalah.

Makalah lima belas halaman traktat (berjudul Menuju Studi Pengguna yang Lebih Baik dalam Grafik Komputer dan Penglihatan) yang merupakan tubuh sentral makalah baru ini mengajukan banyak kritik lain terhadap cara studi pengguna yang disumberdayakan mungkin sebenarnya menghambat kemajuan sub-sektor penglihatan komputer, seperti pengenalan gambar dan sintesis gambar.

Meskipun makalah ini membahas sejumlah besar masalah terkait studi pengguna, kritik terkuatnya ditujukan pada cara evaluasi output dalam studi pengguna (yaitu ketika manusia yang disumberdayakan dalam studi pengguna dibayar untuk membuat penilaian nilai pada – misalnya – output algoritma sintesis gambar baru) mungkin mempengaruhi seluruh sektor.

Mari kita lihat beberapa poin sentral.

Interpretasi Sensasional

Di antara saran makalah untuk mereka yang menerbitkan di sektor penglihatan komputer, adalah peringatan untuk ‘menginterpretasikan hasil dengan hati-hati’. Makalah ini mengutip satu contoh dari tahun 2021, ketika karya penelitian baru yang mengklaim bahwa ‘individu tidak dapat mengidentifikasi karya seni yang dihasilkan AI dengan akurat’ telah dilaporkan secara luas di pers populer.

Salah satu laporan media yang paling banyak dibaca tentang makalah 2021 ‘Peran Pengetahuan Atribusi AI dalam Evaluasi Karya Seni’, oleh Harsha Gangadharbatla, dikutip sebagai contoh dalam makalah baru. Di sini, sumber The Daily Mail adalah The Times (berbayar). Sumber: Daily Mail (tautan arsip) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Para penulis menyatakan*:

‘[Dalam] satu studi dalam jurnal psikologi, gambar karya seni tradisional dan gambar yang dihasilkan oleh teknologi AI dikumpulkan dari web, dan pekerja kerumunan diminta untuk membedakan gambar mana yang berasal dari sumber mana. Dari hasilnya, disimpulkan bahwa “individu tidak dapat mengidentifikasi karya seni yang dihasilkan AI dengan akurat,” sebuah kesimpulan yang sangat luas yang tidak langsung mengikuti dari eksperimen.

‘Lebih lagi, makalah ini tidak melaporkan detail tentang set gambar mana yang dikumpulkan atau digunakan, membuat klaim sulit, jika tidak mustahil, untuk diverifikasi dan direproduksi.

‘Lebih mengkhawatirkan adalah bahwa pers populer melaporkan hasil ini dengan klaim yang menyesatkan bahwa AI dapat membuat karya seni sebaik manusia.’

Mengatasi Pekerja Kerumunan yang Menipu

Pekerja kerumunan tidak biasanya dibayar banyak untuk upaya mereka. Karena prospek mereka minimal, dan potensi penghasilan terbaik mereka adalah dengan menyelesaikan sejumlah besar tugas, banyak dari mereka cenderung mengambil ‘jalan pintas’ yang akan mempercepat tugas saat ini sehingga mereka dapat melanjutkan ke tugas kecil berikutnya.

Makalah ini mengamati bahwa pekerja kerumunan, seperti sistem pembelajaran mesin, akan belajar pola berulang dalam studi pengguna yang dirumuskan oleh peneliti, dan hanya menginfer ‘jawaban yang benar’ atau ‘diinginkan’, daripada menghasilkan respons organik yang sebenarnya terhadap materi.

Untuk tujuan ini, makalah ini merekomendasikan melakukan pemeriksaan pada pekerja kerumunan, juga dikenal sebagai ‘percobaan validasi’ atau ‘sentinel’ – secara efektif, bagian palsu dari tes yang dirancang untuk melihat apakah pekerja memperhatikan, mengklik secara acak, atau hanya mengikuti pola yang telah mereka infer dari tes, daripada memikirkan tentang pilihan mereka.

Para penulis menyatakan:

‘Misalnya, dalam kasus pasangan gambar yang distilisasi, salah satu gambar pasangan dapat menjadi hasil yang sengaja dan objektif buruk. Selama analisis, data dari peserta yang gagal beberapa pemeriksaan yang telah ditetapkan sebelumnya dapat dibuang, diasumsikan sebagai peserta yang tidak memperhatikan atau inkonsisten.

‘Pemeriksaan ini harus dimasukkan secara acak dalam studi, dan harus tampak sama dengan percobaan lain; jika tidak, peserta mungkin mengerti yang mana percobaan yang merupakan pemeriksaan.’

Mengatasi Peneliti yang Menipu

Dengan atau tanpa niat, peneliti dapat menjadi komplis dalam ‘permainan’ ini; ada banyak cara bagi mereka, mungkin bahkan tidak sengaja, untuk ‘menyampaikan’ pilihan yang diinginkan kepada pekerja kerumunan.

Misalnya, makalah ini mengamati, dengan memilih pekerja kerumunan dengan profil yang mungkin kondusif untuk mendapatkan ‘jawaban ideal’ dalam studi, secara nominal membuktikan hipotesis yang mungkin gagal pada kelompok yang kurang ‘selektif’ dan lebih arbitrer.

Frasiologi juga merupakan perhatian utama:

‘Kata-kata harus mencerminkan tujuan tingkat tinggi, misalnya, “mana gambar yang mengandung lebih sedikit artefak?” bukan “mana gambar yang mengandung lebih sedikit cacat warna di daerah wajah?” Sebaliknya, kata-kata tugas yang tidak tepat meninggalkan terlalu banyak interpretasi, misalnya, “mana gambar yang lebih baik?” mungkin dipahami sebagai “mana yang lebih estetis?” di mana niatnya mungkin untuk mengevaluasi “mana yang lebih realistis?”

Cara lain untuk ‘mempengaruhi’ peserta adalah dengan membiarkan mereka tahu, secara terbuka atau implisit, mana dari pilihan yang mungkin di depan mereka yang merupakan metode penulis, bukan metode sebelumnya atau sampel acak.

Makalah ini menyatakan*:

‘[Peserta] mungkin merespons dengan jawaban yang mereka pikir peneliti inginkan, secara sadar atau tidak, yang dikenal sebagai “efek subjek yang baik”. Jangan menandai output dengan nama seperti “metode kami” atau “metode yang ada”. Peserta dapat dipengaruhi oleh dinamika kekuasaan (yaitu, peneliti yang menjalankan sesi penelitian), peneliti menggunakan bahasa untuk memicu peserta (misalnya, “berapa banyak Anda menyukai alat yang saya bangun kemarin?”), dan peneliti dan peserta memiliki hubungan (misalnya, jika keduanya bekerja di laboratorium atau perusahaan yang sama).’

Pengaturan tugas dalam studi pengguna juga dapat mempengaruhi netralitas studi. Para penulis mencatat bahwa jika, dalam presentasi berdampingan, baseline secara konsisten ditempatkan di sebelah kiri (yaitu ‘gambar A’) dan output algoritma baru di sebelah kanan, peserta studi bisa menginfer bahwa B adalah ‘pilihan terbaik’, berdasarkan asumsi yang berkembang tentang hasil yang diharapkan peneliti.

‘Aspek presentasi lain seperti ukuran gambar di layar, jarak antara gambar, dll. mungkin mempengaruhi respons peserta. Menguji studi dengan beberapa pengaturan yang berbeda mungkin membantu menemukan potensi konflik ini sejak dini.’

Orang yang Salah untuk Produk yang Salah

Para penulis mengamati pada beberapa titik dalam makalah bahwa pekerja kerumunan adalah sumber daya yang lebih ‘generik’ daripada yang diharapkan beberapa dekade lalu, ketika peneliti dipaksa untuk meminta bantuan secara lokal, sering kali dari mahasiswa yang melengkapi pendapatan mereka melalui partisipasi dalam studi.

Persyaratan untuk partisipasi aktif meninggalkan pekerja kerumunan sedikit ruang untuk ‘tidak terkesan’ oleh produk yang mereka uji, dan penulis makalah ini merekomendasikan agar peneliti mengidentifikasi pengguna target sebelum mengembangkan dan menguji produk atau layanan potensial – jika tidak, risiko menghasilkan sesuatu yang sangat sulit dibuat, tetapi tidak diinginkan oleh siapa pun.

‘Memang, kami telah sering menyaksikan peneliti grafik komputer atau penglihatan mencoba mendapatkan penelitian mereka diadopsi oleh praktisi industri, hanya untuk menemukan bahwa penelitian tidak memenuhi kebutuhan pengguna target. Peneliti yang tidak melakukan needfinding di awal mungkin terkejut menemukan bahwa pengguna memiliki kebutuhan atau minat pada alat yang mereka kembangkan selama berbulan-bulan atau bertahun-tahun.

‘Alat seperti itu mungkin berkinerja buruk dalam studi evaluasi, karena pengguna mungkin menemukan bahwa teknologi menghasilkan hasil yang tidak berguna, tidak relevan, atau tidak terduga.’

Makalah ini lebih lanjut mengamati bahwa pengguna yang sebenarnya kemungkinan akan menggunakan produk harus dipilih untuk studi, bahkan jika mereka tidak mudah ditemukan (atau, kemungkinan, tidak murah).

Bukannya kembali ke merekrut di kampus (yang mungkin merupakan langkah yang agak mundur), penulis merekomendasikan agar peneliti ‘merekrut pengguna di alam liar’, berinteraksi dengan komunitas yang relevan.

‘Misalnya, mungkin ada papan pesan online atau komunitas media sosial yang relevan yang dapat dimanfaatkan. Bahkan bertemu dengan satu anggota komunitas dapat memimpin snowball sampling, di mana pengguna yang relevan menawarkan koneksi ke individu serupa dalam jaringan mereka.’

Mengumpulkan Umpan Balik

Makalah ini juga merekomendasikan mengumpulkan umpan balik kualitatif dari mereka yang telah berpartisipasi dalam studi pengguna, tidak hanya karena ini dapat memungkinkan mengungkap asumsi palsu pada bagian peneliti.

‘Ini mungkin membantu memecahkan studi, tetapi juga dapat mengungkapkan aspek tak terduga dari output yang mempengaruhi peringkat pengguna. Apakah peserta “sangat tidak puas” [sic] dengan output karena tidak realistis, tidak estetis, bias, atau karena alasan lain?

‘Tanpa informasi kualitatif, peneliti mungkin bekerja pada memperbaiki algoritma untuk lebih realistis, bukan mengatasi masalah pengguna yang mendasarinya.’

Seperti banyak rekomendasi di seluruh makalah, rekomendasi khusus ini melibatkan pengeluaran waktu dan biaya lebih lanjut pada bagian peneliti, dalam budaya yang, menurut makalah, cenderung beralih ke studi pengguna yang disumberdayakan dengan cepat dan hampir wajib, yang biasanya cukup murah, dan yang sesuai dengan budaya studi yang muncul yang dikritik dalam makalah.

Terlalu Banyak Dipelajari

Makalah ini menyarankan bahwa studi pengguna menjadi semacam ‘persyaratan minimum’ dalam komunitas penglihatan komputer pra-cetak, bahkan dalam kasus di mana studi tidak dapat dirumuskan dengan masuk akal (misalnya, dengan gagasan yang sangat baru atau marginal sehingga tidak ada ‘analisis seperti-untuk-like’ yang dapat dilakukan, dan yang mungkin tidak dapat diukur dengan metrik yang masuk akal yang dapat menghasilkan hasil yang bermakna dalam studi pengguna).

Sebagai contoh ‘penindasan studi’ (bukan frasa penulis), para peneliti mengutip kasus makalah ICLR 2022 untuk yang ulasan peer dapat ditemukan secara online (snapshots arsip diambil 24 Juni 2022; tautan diambil langsung dari makalah baru)^†:

‘Dua peninjau memberikan skor sangat negatif karena, sebagian, kurangnya studi pengguna. Makalah ini akhirnya diterima, disertai dengan ringkasan yang menegur peninjau karena menggunakan “studi pengguna” sebagai alasan untuk ulasan yang buruk, dan menuduh mereka melakukan gatekeeping. Diskusi lengkapnya patut dibaca.

‘Keputusan akhir mencatat bahwa pengajuan tersebut menjelaskan perpustakaan perangkat lunak yang telah diterapkan selama bertahun-tahun, dengan ribuan pengguna (informasi yang tidak diungkapkan kepada peninjau untuk ulasan anonim). Apakah makalah—yang menjelaskan sistem yang sangat berdampak—akan ditolak jika komite tidak memiliki informasi ini?

‘Dan, jika penulis melakukan usaha ekstra untuk mengkonstruksi dan melakukan studi pengguna, apakah itu akan bermakna, dan apakah itu akan cukup untuk meyakinkan peninjau?’

Para penulis menyatakan bahwa mereka telah melihat peninjau dan editor mengenakan ‘persyaratan evaluasi yang berat’ pada makalah yang dikirim, meskipun apakah evaluasi tersebut benar-benar memiliki makna atau nilai.

‘Kami juga telah mengamati penulis dan peninjau menggunakan evaluasi MTurk sebagai penyangga untuk menghindari membuat keputusan yang sulit. Komentar peninjau seperti “Saya tidak bisa membedakan apakah gambar lebih baik, mungkin studi pengguna akan membantu” berpotensi merusak, mendorong penulis untuk melakukan pekerjaan ekstra yang tidak akan memperbaiki makalah yang kurang.

Para penulis menutup makalah dengan ‘seruan untuk bertindak’, bagi komunitas penglihatan komputer dan grafik komputer untuk mempertimbangkan lebih lanjut permintaan mereka untuk studi pengguna, bukan membiarkan budaya studi yang didorong berkembang sebagai default, meskipun ‘kasus tepi’ di mana beberapa pekerjaan paling menarik mungkin tidak sesuai dengan beberapa pipa penelitian dan pengajuan yang paling menguntungkan.

Para penulis menyimpulkan:

‘[Jika] tujuan utama menjalankan studi pengguna adalah untuk memuaskan peninjau daripada menghasilkan pengetahuan baru, maka utilitas dan validitas studi pengguna tersebut harus dipertanyakan oleh penulis dan peninjau. Menghukum karya yang tidak mengandung evaluasi pengguna memiliki konsekuensi yang tidak diinginkan, yaitu mendorong penelitian pengguna yang dilakukan dengan terburu-buru, tidak dilakukan dengan baik.

‘Maksim yang harus diingat adalah bahwa “penelitian pengguna yang buruk mengarah pada hasil yang buruk”, dan penelitian seperti itu akan terus berlanjut jika peninjau terus meminta.’

* Konversi saya dari kutipan inline makalah ke tautan yang relevan
^† Penekanan saya, bukan penulis.

Makalah ini pertama kali diterbitkan pada 24 Juni 2022.