Risiko ‘Vibe’-Berdasarkan Anotasi Gambar

Meskipun mereka dibayar hanya beberapa dolar (atau bahkan tidak sama sekali), orang-orang yang tidak dikenal yang mengevaluasi gambar untuk konten yang ‘merugikan’ dapat mengubah hidup Anda dengan pilihan yang mereka buat. Sekarang, sebuah kertas baru dari Google tampaknya menyarankan bahwa para annotator ini membuat aturan mereka sendiri tentang apa yang dianggap ‘merugikan’ atau ofensif – tidak peduli seberapa aneh atau pribadi reaksi mereka terhadap gambar tertentu. Apa yang bisa salah?

Opini Pada minggu ini, sebuah kolaborasi baru antara Google Research dan Google Mind mengumpulkan tidak kurang dari 13 kontributor untuk sebuah kertas baru yang mengeksplorasi apakah ‘perasaan instingtif’ dari annotator gambar harus dipertimbangkan ketika orang menilai gambar untuk algoritma, bahkan jika reaksi mereka tidak sesuai dengan standar penilaian yang telah ditetapkan.

Hal ini penting bagi Anda, karena apa yang dinilai oleh para penilai dan annotator akan cenderung menjadi bagian dari sistem sensor dan moderasi otomatis, dan dalam kriteria untuk ‘cabul’ atau ‘tidak dapat diterima’ dalam legislasi seperti tembok api NSFW baru* dari UK (versi yang akan datang ke Australia segera), dan dalam sistem penilaian konten pada platform media sosial, di antara lingkungan lainnya.

Jadi, semakin luas kriteria untuk ofensif, semakin luas potensi sensor.

Vibe-Censorship

Itu tidak satu-satunya posisi yang diambil oleh kertas baru ini; juga menemukan bahwa orang yang menilai gambar sering lebih sensorius terhadap apa yang mereka pikir akan menyinggung orang lain selain diri mereka sendiri; dan bahwa gambar berkualitas rendah sering memicu kekhawatiran keamanan, meskipun kualitas gambar tidak ada hubungannya dengan konten gambar.

Di kesimpulannya, kertas tersebut menekankan dua temuan ini, seolah-olah posisi sentral kertas tersebut telah gagal, tetapi peneliti merasa terpaksa untuk menerbitkannya.

Meskipun itu bukan skenario yang tidak biasa, kertas tersebut, setelah dibaca dengan hati-hati, mengandung arus bawah yang lebih sinis: bahwa praktik anotasi dapat mempertimbangkan untuk mengadopsi apa yang saya dapat deskripsikan sebagai vibe-annotating:

‘Temuan kami menunjukkan bahwa kerangka kerja yang ada perlu mempertimbangkan dimensi subjektif dan kontekstual, seperti reaksi emosional, penilaian implisit, dan interpretasi budaya dari bahaya. Penggunaan bahasa emosional oleh annotator dan penyimpangan mereka dari label bahaya yang telah ditetapkan sebelumnya menyoroti kesenjangan dalam praktik evaluasi saat ini.

‘Mengembangkan pedoman anotasi untuk memasukkan contoh ilustratif dari interpretasi budaya dan emosional yang beragam dapat membantu mengatasi kesenjangan ini.’

Kertas baru yang sedikit diilustrasikan ini memulai dengan contoh yang tidak ambigu dan simpatik bagi pembaca rata-rata, meskipun materi inti sebenarnya mengundang banyak pertanyaan. Di sini, di bawah setiap gambar, kita melihat respons emosional annotator yang ditandai untuk gambar masing-masing. Sumber: https://arxiv.org/pdf/2507.16033

Pada awalnya, ini terdengar seperti proposal untuk memperluas dan memperkuat apa yang merupakan ‘bahaya’ dalam gambar – sebuah upaya yang terpuji; tetapi kertas tersebut mengulangi beberapa kali bahwa ini tidak diinginkan atau (secara tidak perlu) dapat dilakukan:

‘Temuan kami menunjukkan bahwa kerangka kerja yang ada perlu mempertimbangkan dimensi subjektif dan kontekstual, seperti reaksi emosional, penilaian implisit, dan interpretasi budaya dari bahaya. Penggunaan bahasa emosional oleh annotator dan penyimpangan mereka dari label bahaya yang telah ditetapkan sebelumnya menyoroti kesenjangan dalam praktik evaluasi saat ini.

‘Mengembangkan pedoman anotasi untuk memasukkan contoh ilustratif dari interpretasi budaya dan emosional yang beragam dapat membantu mengatasi kesenjangan ini […]

‘[…] Proses yang digunakan oleh annotator untuk menilai gambar yang ambigu sering mencerminkan perspektif pribadi, budaya, dan emosional mereka, yang sulit untuk discaffolding atau distandarkan.’

Sulit untuk melihat bagaimana ‘Mengembangkan pedoman anotasi untuk memasukkan contoh ilustratif dari interpretasi budaya dan emosional yang beragam’ dapat masuk ke dalam sistem penilaian yang rasional; penulis berjuang untuk menjelaskan poin ini, atau untuk merumuskan teori yang jelas, menyerang materi banyak kali, tetapi tidak pernah berhasil.

Binary Judgement

Seberapa jauh gambar dan teks dapat menyebabkan bahaya memang sulit untuk diukur, tidak hanya karena budaya tinggi sering bertumpang tindih dengan ‘budaya rendah’ (misalnya dengan seni dan novel), yang mengarah ke kriteria sensor ‘vibe’-berbasis pertama: bahwa bahkan jika materi cabul melarikan diri dari definisi yang tepat, Anda akan mengetahuinya ketika Anda melihatnya.

Di bawah diskusi kertas baru yang luas dan eksploratif tentang empati dan nuansa kualitatif, pekerjaan ini tampaknya menyerang otoritas taksonomi terpusat dan standar (‘kekerasan’, ‘ketelanjangan’, ‘kebencian’, dll.) yang memungkinkan platform untuk mengimplementasikan dan menskalakan moderasi dengan margin kesalahan yang dapat diterima (biasanya).

Argumen yang muncul adalah bahwa hanya umpan balik manusia yang subjektif, kontekstual, dan sadar dapat menilai keluaran GenAI dengan benar.

Namun, ini jelas tidak dapat diskalakan, karena Anda tidak dapat menjalankan pipa filter gambar triliun dengan ‘vibe’ dan pengalaman hidup. Anda harus mengkuantifikasi bahaya menjadi properti yang beragam; menetapkan batas pada cakupan sistem penyaringan yang dihasilkan; dan menunggu direktif baru dalam ‘kasus tepi’ (seperti pihak yang dirugikan harus menunggu pemberlakuan hukum baru yang menangani keadaan mereka sendiri).

Moral Expansion

Meskipun kertas tersebut cenderung menuju eksplorasi daripada mengambil posisi yang jelas, kertas tersebut menggabungkan elemen metode ilmiah: penulis mengembangkan kerangka untuk mengidentifikasi (meskipun tidak secara ketat mengukur) spektrum reaksi annotator yang lebih luas terhadap gambar, dan untuk mengeksaminasi bagaimana reaksi ini bervariasi di seluruh gender dan faktor demografi lainnya.

Di samping analisis ‘fokus bahaya’ dari tes, proses tersebut menganalisis ‘penalaran moral’ dalam komentar tambahan dari peserta tes, yang diminta untuk menandai dataset tes yang dimodifikasi yang berisi gambar dan teks/teks terkait.

‘Moral sentiment autorater’ ini dirancang untuk menangkap nilai-nilai moral Perawatan, Kesetaraan, Proporsionalitas, Kesetiaan, Otoritas, dan Kebersihan, seperti yang didefinisikan dalam Teori Dasar Moral – sebuah teori psikologis yang, karena sifatnya yang cair dan berkembang, bertentangan dengan penciptaan definisi konkrit yang diperlukan untuk sistem penilaian manusia skala besar.

Penulis menjelaskan tentang yang pertama dari ini, ketakutan:

‘Banyak annotator menggunakan istilah seperti “menakutkan” (misalnya, untuk wajah yang terdistorsi atau gambar yang menunjukkan kekerasan seperti senjata yang diarahkan pada anak), “mengganggu” (misalnya, “Absolut vile untuk melihat seseorang dibunuh, sangat mengganggu dan mengganggu,” atau “Mengganggu dan terlihat seperti darah” untuk cat merah), atau “mengganggu” (misalnya, “Gambar anak memiliki banyak distorsi… Saya menemukannya tidak enak karena tampaknya anak itu bermain di sisi yang salah dari rel samping”).

‘[Grafik di bawah] mengkuantifikasi “ketakutan” sebagai emosi yang paling sering disebutkan (233 penyebutan sementara hampir setengah dari penyebutan ini terkait dengan konten kekerasan, konten yang dianggap tidak berbahaya juga memicu penyebutan ketakutan tertinggi).’

Distribusi istilah terkait emosi di seluruh kategori bahaya, dengan tinggi batang yang menunjukkan proporsi komentar, hitungan yang ditampilkan dalam batang, dan total hitungan komentar yang ditampilkan di atas setiap kategori.

Rorschach Judgements

Tujuan anotasi adalah untuk mencapai deskripsi atau definisi yang akurat baik melalui pengawasan ahli, kesepakatan umum di antara beberapa annotator, atau (idealnya) keduanya. Sebaliknya, memperluas hierarki bahaya yang terbatas tetapi didefinisikan dengan baik menjadi posisi interpretatif yang ‘intuitif’ dan sangat pribadi, setara dengan menandai tes Rorschach.

Contohnya, beberapa annotator, seperti yang dicatat dalam kertas, menafsirkan kualitas gambar yang buruk (seperti artefak JPEG, serta kesalahan teknis yang tidak berarti dalam gambar) sebagai ‘mengganggu’ atau ‘petunjuk bahaya’:

‘Hal ini terjadi meskipun tugas tersebut menghilangkan instruksi tentang kualitas gambar. Lebih jauh, annotator menafsirkan artefak kualitas sebagai semantically bermakna.

‘Satu annotator mengomentari, “Gambar itu tidak berbahaya sama sekali; dia hanya memiliki sedikit wajah yang terdistorsi.” Dengan cara yang sama, beberapa annotator menafsirkan artefak kualitas gambar sebagai kerusakan yang disengaja, mengatribusikan makna emosional pada kesalahan. Misalnya, annotator lain menafsirkan wajah yang terdistorsi dalam gambar lain sebagai “petunjuk nyeri”’

Kertas “Just a strange pic”: Evaluating ‘safety’ in GenAI Image safety annotation tasks from diverse annotators’ perspectives tersedia di Arxiv.

* Sebuah jalan pintas, karena ini bukan subjek sentral di sini; di bawah legislasi baru, situs yang melanggar diharapkan untuk melakukan salah satu dari tindakan berikut: memeriksa diri mereka sendiri; menerapkan sistem tinjauan yang kompleks dan mahal dan teknologi verifikasi usia yang tidak terjangkau oleh semua kecuali situs terbesar; atau memblokir domain mereka dari audiens UK (lagi, dengan biaya mereka sendiri).

† Secara sederhana dinyatakan dalam meme ‘pikirkan anak-anak’, yang mengolok-olok penggunaan moralitas seseorang untuk tujuan yang tampaknya altruistik.

Publikasi pertama pada hari Jumat, 25 Juli 2025