Risiko Anotasi Gambar Berbasis 'Getaran'

Meskipun mereka hanya dibayar beberapa dolar (atau bahkan tidak sama sekali), orang-orang tak dikenal yang mengevaluasi gambar untuk konten yang "menyakitkan" dapat mengubah hidup Anda dengan pilihan yang mereka buat. Kini, sebuah makalah baru yang besar dari Google tampaknya menyarankan agar para anotator ini membuat aturan mereka sendiri tentang apa yang "menyakitkan" atau menyinggung – terlepas dari seberapa aneh atau personal reaksi mereka terhadap suatu gambar. Apa yang bisa salah?

Pendapat Minggu ini, kolaborasi baru antara Google Research dan Google Mind menyatukan tidak kurang dari 13 kontributor kertas baru yang meneliti apakah 'perasaan naluriah' para pemberi anotasi gambar harus dipertimbangkan saat orang menilai gambar untuk algoritma, bahkan jika reaksi mereka tidak sesuai dengan standar penilaian yang ditetapkan.

Hal ini penting bagi Anda, karena apa yang dianggap menyinggung oleh para penilai dan pencatat berdasarkan konsensus akan cenderung diabadikan dalam sistem sensor dan moderasi otomatis, dan dalam kriteria untuk materi yang 'cabul' atau 'tidak dapat diterima', dalam undang-undang seperti firewall NSFW baru* dari Inggris (versi yang mana datang ke Australia segera), dan dalam sistem penilaian konten di platform media sosial, di antara lingkungan lainnya.

Jadi semakin luas kriteria pelanggarannya, semakin luas pula potensi tingkat penyensoran.

Sensor Getaran

Itu bukan satu-satunya sudut pandang yang ditawarkan oleh makalah baru tersebut; makalah tersebut juga menemukan bahwa orang yang menilai gambar seringkali lebih kritis terhadap apa yang mereka anggap akan menyinggung. Lainnya orang lain selain diri mereka sendiri; dan bahwa gambar berkualitas rendah sering kali menimbulkan masalah keselamatan, meskipun kualitas gambar tidak ada hubungannya dengan konten gambar.

Pada bagian kesimpulannya, makalah tersebut menekankan kedua temuan ini, seolah-olah posisi sentral makalah tersebut telah gagal, tetapi para peneliti tetap diwajibkan untuk menerbitkannya.

Meskipun hal ini bukan merupakan skenario yang jarang terjadi, setelah membaca dengan saksama, makalah ini menghasilkan arus bawah yang lebih menyeramkan: bahwa praktik anotasi dapat mempertimbangkan untuk mengadopsi apa yang hanya dapat saya gambarkan sebagai memberi anotasi getaran:

Temuan kami menunjukkan bahwa kerangka kerja yang ada perlu memperhitungkan dimensi subjektif dan kontekstual, seperti reaksi emosional, penilaian implisit, dan interpretasi budaya tentang bahaya. Seringnya penggunaan bahasa emosional oleh para anotator dan penyimpangan mereka dari label bahaya yang telah ditetapkan sebelumnya menunjukkan kesenjangan dalam praktik evaluasi saat ini.

'Memperluas pedoman anotasi untuk menyertakan contoh-contoh ilustrasi dari berbagai interpretasi budaya dan emosional dapat membantu mengatasi kesenjangan ini.'

Makalah baru yang minim ilustrasi ini diawali dengan contoh-contoh yang lugas dan mudah dipahami pembaca awam, meskipun materi inti sebenarnya mengundang lebih banyak pertanyaan. Di sini, di bawah setiap gambar, kita melihat respons emosional para anotator yang ditunjukkan untuk masing-masing gambar. Sumber: https://arxiv.org/pdf/2507.16033

Awalnya, hal ini terdengar seperti usulan untuk memperluas dan mengukur dengan lebih baik apa yang merupakan 'kerugian' dalam sebuah gambar – sebuah upaya yang patut dipuji; namun makalah ini menegaskan beberapa kali bahwa hal ini tidaklah diinginkan maupun (tentu) layak:

Temuan kami menunjukkan bahwa kerangka kerja yang ada perlu memperhitungkan dimensi subjektif dan kontekstual, seperti reaksi emosional, penilaian implisit, dan interpretasi budaya tentang bahaya. Seringnya penggunaan bahasa emosional oleh para anotator dan penyimpangan mereka dari label bahaya yang telah ditetapkan sebelumnya menunjukkan kesenjangan dalam praktik evaluasi saat ini.

'Memperluas pedoman anotasi untuk menyertakan contoh-contoh ilustrasi dari berbagai interpretasi budaya dan emosional dapat membantu mengatasi kesenjangan ini […]

'[…] Proses yang digunakan para anotator untuk bernalar tentang gambar-gambar yang ambigu sering kali mencerminkan perspektif pribadi, budaya, dan emosional mereka, yang sulit untuk dibentuk atau distandarisasi.'

Sulit untuk melihat bagaimana 'Memperluas pedoman anotasi untuk menyertakan contoh ilustrasi dari berbagai interpretasi budaya dan emosi' dapat masuk ke dalam sistem penilaian rasional; para penulis kesulitan untuk mengklarifikasi poin ini, atau merumuskan teori yang berbeda, menyerang materi berkali-kali, tetapi tidak pernah berhasil. Dalam hal ini, tema sentral mereka sendiri tampaknya dihasilkan oleh 'getaran', meskipun membahas psikologi yang tidak berwujud.

Secara sederhana, menurut saya memperluas jalur anotasi untuk menyertakan kriteria semacam ini berpotensi memungkinkan 'pembatalan' atau pengaburan materi apa pun (atau kelas topik) yang mungkin menimbulkan reaksi keras dari seorang anotator.

Penghakiman Biner

Sejauh mana gambar dan teks dapat menyebabkan kerugian memang sulit untuk diukur, terutama karena budaya tinggi sering bersinggungan dengan budaya 'rendah' (misalnya dengan artikel dan novel), mengarah ke kriteria sensor berbasis 'getaran' paling awal: bahwa bahkan jika materi cabul lolos dari definisi yang tepat, Anda akan ketahuilah saat kamu melihatnya.

Di balik diskusi yang luas dan eksploratif mengenai empati dan nuansa kualitatif dalam makalah baru ini, penelitian tersebut tampaknya secara diam-diam menyerang otoritas taksonomi terpusat dan terstandarisasi ('kekerasan', 'ketelanjangan', 'kebencian', dll.) yang memungkinkan platform menerapkan dan meningkatkan skala moderasi dengan margin kesalahan yang dapat ditoleransi (biasanya).

Argumen yang muncul adalah bahwa hanya umpan balik manusia yang terdesentralisasi, subjektif, dan sadar konteks yang dapat menilai keluaran GenAI dengan tepat.

Namun, hal ini jelas tidak terukur, karena Anda tidak dapat menjalankan jaringan filter triliunan gambar pada 'getaran' dan pengalaman hidup. Kita harus mengkuantifikasi kerugian ke dalam berbagai atribut; menetapkan batasan cakupan sistem penyaringan yang dihasilkan; dan menunggu arahan baru dalam kasus-kasus 'tepi' (seperti halnya pihak yang dirugikan terkadang harus menunggu pemberlakuan undang-undang baru yang menangani keadaan khusus mereka sendiri).

Sebaliknya, makalah baru ini menyajikan mandat diam-diam untuk jalur moderasi otomatis yang memperluas cakupannya secara otomatis, dan keliru sejauh ini karena terlalu berhati-hati sehingga bahkan reaksi paling khusus dan tak terulang dari seorang pembuat anotasi dapat menghukum gambar yang tidak menyinggung orang lain.

Ekspansi Moral

Meskipun makalah ini lebih condong ke arah eksplorasi daripada mengambil sikap tegas, makalah ini menggabungkan unsur-unsur metode ilmiah: penulis mengembangkan kerangka kerja untuk mengidentifikasi (meskipun tidak mengukur secara ketat) spektrum yang lebih luas dari reaksi anotator terhadap gambar, dan untuk memeriksa bagaimana reaksi ini bervariasi di seluruh jenis kelamin dan faktor demografis lainnya.

Selain analisis tes fokus pada bahaya^†, proses tersebut menganalisis 'penalaran moral' dalam komentar tambahan dari peserta uji, yang diminta untuk memberi anotasi pada kumpulan data uji yang dimodifikasi yang berisi gambar dan petunjuk/teks terkait.

'Penilai otomatis sentimen moral' ini dirancang untuk menangkap nilai-nilai moral Kepedulian, Kesetaraan, Proporsionalitas, Loyalitas, Wewenang, dan Kemurnian, sebagaimana didefinisikan dalam Teori Yayasan Moral – sebuah teori psikologi yang, karena sifatnya yang cair dan terus berkembang, bertentangan dengan penciptaan definisi konkret yang diperlukan untuk sistem penilaian manusia berskala besar.

Berdasarkan teori ini, dimensi keselamatan tambahan dikategorikan oleh penulis, termasuk: takut, marah, kesedihan, menjijikkan, kebingungan, dan keanehan.

Para penulis menguraikan tentang yang pertama, takut:

'Banyak anotator menggunakan istilah seperti "menakutkan" (misalnya, untuk wajah yang terdistorsi atau gambar yang menunjukkan kekerasan seperti pistol yang diarahkan ke anak kecil), "mengganggu" (misalnya, "Benar-benar keji melihat seseorang tertabrak, sangat menyedihkan dan mengganggu," atau "Mengganggu dan terlihat seperti darah" untuk cat merah), atau "mengecewakan" (misalnya, "Gambar anak laki-laki itu memiliki banyak distorsi... Saya menganggapnya tidak menyenangkan karena tampak bahwa anak laki-laki itu bermain di sisi yang salah dari pagar samping").

'[Grafik di bawah] mengukur “rasa takut” sebagai emosi yang paling sering disebutkan (233 penyebutan sementara hampir setengahnya dikaitkan dengan konten kekerasan, konten yang dianggap tidak berbahaya juga memunculkan penyebutan rasa takut tertinggi kedua).'

Distribusi istilah terkait emosi di seluruh kategori bahaya, dengan tinggi batang menunjukkan proporsi komentar, jumlah ditampilkan dalam batang, dan jumlah total komentar ditampilkan di atas setiap kategori.

Mengenai dimasukkannya dimensi keselamatan baru ini, penulis menyatakan:

'Tema-tema yang muncul ini menyoroti kebutuhan penting untuk memperkaya kerangka kerja evaluasi gambar AI dengan mengintegrasikan unsur-unsur subjektif, emosional, dan persepsi.'

Ini mungkin merupakan jalan yang berbahaya untuk ditempuh, karena tampaknya memungkinkan proses anotasi untuk secara sewenang-wenang menambahkan aturan berdasarkan reaksi yang mungkin ditimbulkan oleh materi dalam satu anotator, alih-alih mengharuskan semua para pencatat untuk mematuhi standar dan tolok ukur yang ditetapkan.

Jika seseorang dapat mengaitkan keharusan ekonomi pada gagasan ini, maka pendekatan ini memungkinkan anotasi manusia skala hiper, yang prosesnya bebas gesekan, para peserta mengatur diri sendiri, dan mereka sendiri yang memutuskan apa saja aturan dan batasannya.

Berdasarkan anotasi standar, aturan ditetapkan berdasarkan konsensus manusia dan dipatuhi oleh anotator manusia; berdasarkan skenario yang dibayangkan dalam makalah ini, lapisan pengawasan awal tersebut dihapus atau diturunkan: pada dasarnya gambar apa pun yang mungkin menyinggung siapa pun akan ditandai (mungkin bukan hanya karena konsensus membutuhkan biaya mahal tetapi juga memakan waktu).

Penilaian Rorschach

Tujuan anotasi adalah untuk menghasilkan deskripsi atau definisi yang akurat, baik melalui pengawasan ahli, konsensus bersama di antara banyak anotator, atau (idealnya) keduanya. Sebaliknya, memperluas hierarki bahaya yang terbatas namun terdefinisi dengan baik menjadi sudut pandang interpretatif yang 'intuitif' dan sangat personal, sama saja dengan menganotasi tes Rorschach.

Misalnya, beberapa anotator, catatan kertas, menafsirkan kualitas gambar yang buruk (seperti Artefak JPEG, serta cacat teknis yang tidak berarti pada gambar) sebagai 'mengganggu' or 'menunjukkan adanya bahaya':

Hal ini terjadi meskipun tugas tersebut menghilangkan instruksi tentang kualitas gambar. Lebih lanjut, para anotator menafsirkan artefak kualitas ini sebagai bermakna secara semantik.

Seorang anotator berkomentar, "Gambar itu sama sekali tidak berbahaya; wajahnya hanya sedikit terdistorsi." Demikian pula, beberapa anotator menafsirkan artefak kualitas gambar sebagai kerusakan yang disengaja, mengaitkan makna emosional dengan gangguan. Misalnya, anotator lain menafsirkan wajah yang terdistorsi pada gambar lain sebagai "indikasi rasa sakit".

Dengan mengangkat reaksi subjektif, emosional, atau spesifik konteks di atas kategori keselamatan yang telah ditentukan sebelumnya, ide-ide yang disajikan di sini membuka pintu menuju rezim di mana apa saja dapat secara sembarangan ditandai sebagai sesuatu yang berbahaya, dan di mana ada 'dampak mengerikan' dari ad hoc Penghapusan atau pengkategorian ulang materi secara negatif (yakni, materi yang mungkin 'menyinggung' kelompok kepentingan khusus) menjadi prospek yang nyata.

Kertas “Hanya gambar aneh”: Mengevaluasi 'keamanan' dalam tugas anotasi keamanan Gambar GenAI dari berbagai perspektif anotator is tersedia di Arxiv.

* Jalan pintas, karena ini bukan pokok bahasan utama di sini; di bawah undang-undang baru, situs yang melanggar diharapkan untuk mengawasi diri mereka sendiri; memaksakan sistem peninjauan yang rumit dan mahal serta teknologi pemeriksaan usia yang tidak terjangkau oleh semua situs kecuali yang terbesar; atau memblokir domain mereka dari pemirsa di Inggris (sekali lagi, dengan biaya sendiri).

† Diekspresikan secara sederhana dalam meme 'pikirkan anak-anak', yang menyindir perampasan hak moral orang lain untuk tujuan yang tampaknya altruistis.

Pertama kali diterbitkan Jumat, 25 Juli 2025