Grafik yang Mengesankan Dapat Membuat Penelitian ‘Jahat’ Terlihat Dapat Dipercaya

Penelitian baru menemukan bahwa menumpuk grafik yang rumit dan kompleks dapat membuat orang percaya pada keputusan AI yang bias, bahkan ketika keputusan tersebut jelas tidak adil.

Meskipun praktik ‘menggunakan sains untuk membutakan seseorang’ telah ada sejak lama, namun hal ini tampaknya sedang dipraktekan di era AI saat ini – terutama karena pertumbuhan baru pengajuan makalah ilmiah telah membuat rasio sinyal-ke-bisingan tidak menguntungkan, dan ‘trik murah’ menjadi lebih umum.

Setia pada peribahasa lama ‘kebohongan, kebohongan yang dikutuk, dan statistik‘, alat utama yang digunakan untuk menipu atau menyesatkan pembaca, ketika mempresentasikan sistem baru dan bukti ilmiah yang menjelaskan atau membenarkan klaim di sekitarnya, adalah grafik dan visualisasi data.

Dalam sebuah studi pada tahun 2019 tentang efek grafik pada peserta di Pennsylvania pedesaan, penulis karya tersebut mengamati:

‘Orang yang terkena dampak penyalahgunaan atau kecanduan cenderung menuju grafik yang mewakili zat-zat tersebut. Orang sering menentukan kualitas grafik yang berisi informasi geografis berdasarkan seberapa mudah atau sulit menemukan negara bagian mereka sendiri.

‘Orang lain cenderung menilai grafik tidak berdasarkan pemahaman mereka sendiri, tetapi berdasarkan efektivitas grafik dalam berkomunikasi dengan orang lain.

‘Akhirnya, salah satu peserta bahkan menyarankan bahwa mereka akan memperhatikan visualisasi dari sumber berita lokal daripada nasional.’

Beberapa grafik yang ditunjukkan kepada penduduk Pennsylvania pedesaan dalam sebuah studi pada tahun 2019. Sumber

Efek hipnotis dari grafik data menjadi sangat penting di era pembelajaran mesin baru, di mana kepercayaan sangat penting untuk mempertahankan perekonomian AI (dan, secara argumentatif, mencegah keruntuhan).

Kolaborasi AS/UK pada tahun 2024 Trust Junk dan Evil Knobs: Kalibrasi Kepercayaan dalam Visualisasi AI memperkenalkan konsep Trust Junk: visualisasi XAI ‘yang tidak memiliki koneksi bermakna dengan model atau data yang mendasarinya [dan] digunakan untuk meningkatkan kepercayaan’:

Dari makalah ‘Trust Junk dan Evil Knobs: Kalibrasi Kepercayaan dalam Visualisasi AI’, contoh data yang diputar untuk melayani tujuan sebelumnya (kanan), bukan ditampilkan secara eksplisit (kiri). Pendekatan semacam ini ‘mendorong ketergantungan berlebihan dan membebani pengguna sambil memberikan ilusi kontrol’, menurut makalah tersebut. Sumber

Studi Cepat

Sejak konsep Trust Junk diperkenalkan, belum pernah diuji – sebuah kelalaian yang diatasi oleh sebuah makalah baru dari AS, di mana peserta diberikan hasil dari sebuah studi AI yang seharusnya, tentang siapa dari sekelompok kandidat yang kemungkinan akan lulus ujian bar hukum di AS.

Jika seseorang melihat dengan hati-hati, mereka dapat melihat bahwa kriteria penyaringan adalah a) semua pria kulit hitam dan b) semua orang lain – dengan prediksi bahwa semua pria kulit hitam akan gagal ujian:

Dari makalah baru: stimulus yang dianotasi yang digunakan dalam eksperimen penulis, menunjukkan keputusan model (C) tentang apakah seorang kandidat (B) akan lulus ujian bar, bersama dengan komponen penjelasan yang berfungsi sebagai ‘trust junk’ (A, D, E, F). Model ini diskriminatif, namun penambahan jumlah informasi penjelasan yang tidak relevan membuat peserta setuju lebih dengan outputnya dan menilainya sebagai adil. Sumber

Sebagian besar peserta setuju dengan prediksi model dan menilainya sebagai adil dan dapat dipercaya, dengan kesepakatan, kepercayaan, dan persepsi keadilan meningkat seiring dengan penambahan grafik dan detail yang tidak relevan – bahkan ketika lebih sedikit orang yang memperhatikan bias yang jelas dan diskriminatif.

Beberapa pengguna keberatan dengan studi ini, tetapi tidak karena alasan yang terkait dengan masalah sentral:

‘Kami mencatat 19 contoh di mana peserta secara eksplisit mendeskripsikan model kami sebagai adil (misalnya, [seorang peserta] mengatakan, “Ini adil karena tidak memiliki bias rasial atau gender.”). Namun, peserta terkadang mengungkapkan kekhawatiran tentang model tersebut. [Seorang peserta] mengatakan bahwa mereka khawatir tentang “apa jenis kegelapan orang mungkin menggunakan untuk tujuan tersebut.”

Namun, di seluruh tiga kelompok studi dalam peserta, tidak satu pun yang mengidentifikasi masalah sebenarnya.

Penulis menyimpulkan*:

‘Singkatnya, kami menemukan bahwa trust junk bekerja: peserta baik “ditenangkan” oleh informasi yang tidak relevan atau “dibuat tidak peduli” oleh jumlah besar data dalam penjelasan.

‘Semua manipulasi dan persuasi ini terjadi dalam konteks model yang superficial dan sangat tidak adil, tepatnya kasus di mana kita berharap XAI akan memberdayakan audiens awam untuk membuat penilaian yang akurat.’

Karena kita semakin sering dianjurkan untuk memeriksa apa yang dikatakan AI (apakah untuk motif yang dicurigai, atau melalui output yang rentan kesalahan), kita mungkin cenderung untuk menyelidiki lebih dalam daripada headline dan menganalisis materi sumber dari makalah penelitian, laporan perusahaan, dan berbagai format pengiriman informasi yang tidak netral.

Tapi apakah kita siap untuk memperhatikan ‘grafik yang menenangkan’ yang meyakinkan kita tentang akurasi – atau setidaknya untuk mengabaikan ‘kabut kebenaran’ yang dapat dihasilkan oleh serangkaian grafik?

Makalah baru ini berjudul “Trust Junk” Memimpin pada Dukungan yang Tidak Terjustifikasi untuk Model Prediktif yang Sangat Diskriminatif, dan berasal dari tiga peneliti di Northeastern University di Boston, Massachusetts. Sebuah situs tambahan juga telah disediakan.

Metode

Penulis melakukan eksperimen crowdsourced antar-subjek (yaitu, peserta yang berbeda ditugaskan ke kondisi yang berbeda) pada ‘trust junk’ dalam penjelasan XAI, menguji apakah penambahan jumlah detail teknis yang benar tetapi tidak relevan dapat meyakinkan pengguna bahwa model yang bias adalah adil dan berguna.

Stimulus yang digunakan berdasarkan pekerjaan sebelumnya, dengan dasbor XAI yang dihasilkan menggabungkan beberapa teknik penjelasan menjadi satu antarmuka.

Untuk model yang sangat ‘bias’ tersebut, peneliti mengembangkan ‘junk’ penjelasan untuk studi ini, dengan penjelasan yang disengaja bertema sekitar ‘teknik penipuan’ presentasi data:

‘Kami menyediakan jumlah informasi yang berlebihan untuk tugas klasifikasi biner model kami. Penambahan kami pada jumlah besar detail yang kompleks tetapi pada akhirnya tidak relevan dimaksudkan untuk membebani peserta studi daripada memberikan data yang benar-benar berguna.

‘Teknik ini [secara metaforis] membebani pengguna ke dalam menerima ketidakmampuan mereka untuk memahami data sepenuhnya […].’

Studi ini berdasarkan kontroversi sebelumnya sekitar penilaian AI dalam ujian International Baccalaureate dan General Certificate of Education Advanced Level, menggunakan dataset Law School Admissions Bar Passage dataset, yang berisi data demografis, akademis, dan hasil untuk 20.000 kandidat dari 1991–1997.

Data ini digunakan untuk membangun model yang sengaja bias, memprediksi kegagalan untuk kandidat pria kulit hitam, sementara lulus semua orang lain; namun model ini masih mencapai akurasi 93,7%, karena ketidakseimbangan kelas di seluruh ras dan gender.

Sebuah strategi ‘banding ke otoritas’ juga diuji, dengan petunjuk yang mengesankan secara superficial seperti afiliasi universitas bergengsi, ukuran dataset, dan akurasi yang menyesatkan ditambahkan.

Langkah-langkah yang akan mengungkap ketergantungan model pada ras dan gender dihilangkan, dan hanya hasil yang menguntungkan yang disajikan. Sebuah set kecil kandidat yang serupa kemudian disajikan bersama dengan hasil ujian nyata mereka, bukan prediksi model – dan ini membantu untuk menyembunyikan pola konsisten kegagalan yang diberikan kepada kandidat pria kulit hitam.

Untuk lebih membentuk bagaimana peserta menafsirkan sistem, informasi disajikan dengan cara yang mendorong mereka untuk membentuk penjelasan sederhana tetapi menyesatkan tentang bagaimana model bekerja. Detail tentang semua fitur yang tersedia ditampilkan, menciptakan kesan bahwa banyak faktor mempengaruhi keputusan, meskipun hanya ras dan gender yang digunakan. Sebuah penekanan sinis pada atribut individu juga mendorong peserta untuk membangun cerita yang masuk akal tetapi tidak benar tentang mengapa seorang kandidat diprediksi untuk lulus atau gagal.

‘Korban’

Dalam kelompok uji, setiap penjelasan ditugaskan ke salah satu dari tiga tingkat Trust Junk di seluruh tiga kondisi studi: peserta dalam kondisi Baseline hanya melihat provenance dasar, profil kandidat, dan keputusan model; mereka yang dalam kondisi Model juga melihat statistik akurasi; dan mereka yang dalam Everything juga ditampilkan histogram fitur, dan profil kandidat serupa yang diambil dari data pelatihan.

Studi ini disetujui oleh sebuah dewan tinjauan institusional, dan dilakukan di Prolific, dengan peserta dibayar $15 per jam, dan secara acak ditugaskan ke kondisi.

Setiap peserta meninjau delapan profil kandidat ujian bar dalam urutan acak, dan menilai apakah setiap kandidat akan lulus, dengan kesepakatan digunakan sebagai metrik ketergantungan, diikuti oleh kuesioner untuk menilai kepercayaan, dan sampel akhir dari 28, 27, dan 28 peserta dalam kondisi Baseline, Model, dan Everything.

Penulis berasumsi bahwa penambahan informasi yang semakin banyak yang tampaknya kaya tetapi pada akhirnya mengganggu atau tidak lengkap dapat fairwash model dengan menciptakan kepercayaan yang tidak tepat pada outputnya. Mereka berharap bahwa peserta dalam kondisi Model dan Everything akan menunjukkan kesepakatan dan persepsi keadilan, kepercayaan, dan kegunaan yang lebih tinggi daripada mereka yang dalam kondisi Baseline. Mereka juga menganalisis penjelasan tertulis peserta, untuk melihat bagaimana kontributor membuat kesimpulan tentang keputusan model, dengan fokus pada apakah mereka memperhatikan bias model atau celah dalam informasi yang disediakan.

Hasil Uji

Dalam hal kesepakatan model, peserta studi manusia mengidentifikasi hasil yang benar 66,6% dari waktu, tetapi setuju dengan keputusan model 73,9% dari waktu – menunjukkan kecenderungan untuk mengikuti keputusan model bahkan ketika keputusan tersebut salah. Efek ini memperkuat ketika lebih banyak detail penjelasan ditambahkan, dengan kondisi yang paling detail meningkatkan kesepakatan hingga 82,6%, dan meningkatkan kemungkinan peserta salah mengikuti model:

Skor agregat untuk kesepakatan (kiri), kepercayaan (tengah), dan kepuasan (kanan); peserta dalam kondisi ‘Everything’, yang terpapar konten penjelasan tambahan yang tidak relevan dengan keadilan, melaporkan skor yang jauh lebih tinggi di seluruh ukuran, meskipun model tetap sama dan jelas tidak adil.

Peringkat kepercayaan bervariasi secara signifikan menurut kondisi, dengan peserta dalam kondisi Everything melaporkan kepercayaan yang lebih tinggi (M = 25,3) daripada mereka yang dalam kondisi Baseline (M = 16,8), sementara kondisi Model (M = 20,1) tidak berbeda secara signifikan dari keduanya.

Keputusan kepuasan dengan penjelasan berbeda secara signifikan menurut kondisi, dengan peserta dalam kondisi Everything melaporkan kepuasan yang lebih tinggi (M = 34,2) daripada mereka yang dalam kondisi lain (M = 26,4).

Peserta menilai keadilan menggunakan empat pertanyaan pada skala tujuh poin, yang mencakup bias gender, bias keseluruhan, dan etika, dengan tidak ada perbedaan yang signifikan antara kondisi pada ukuran ini:

Distribusi peringkat peserta di seluruh kondisi untuk keadilan yang dirasakan di seluruh ras dan gender, ketiadaan bias, dan etika keseluruhan. Tingkat detail penjelasan yang lebih tinggi ditemukan terkait dengan peringkat keadilan dan bebas bias yang sedikit lebih tinggi, meskipun model yang mendasarinya tetap tidak berubah dan tidak adil.

Perbedaan muncul untuk keadilan di seluruh ras, di mana kelompok Baseline menilai model sebagai yang paling tidak adil (M = 3,9), sementara kelompok Model dan Everything menilainya lebih tinggi (M = 4,8). Yang lebih mengkhawatirkan adalah bahwa bagian terbesar peserta yang menilai model yang jelas tidak adil sebagai adil berasal dari dua kelompok yang diberikan detail penjelasan yang paling banyak – yang juga merupakan kelompok yang paling tidak mungkin untuk mengenali biasnya.

Kontrol Kualitas

Respon kualitatif menunjukkan bahwa peserta yang diberikan informasi yang paling sedikit lebih mungkin untuk memperhatikan masalah dengan model – terutama ketergantungannya pada ras dan gender. Mereka juga lebih mungkin untuk mengatakan bahwa detail penting hilang.

Sebaliknya, mereka yang diberikan penjelasan yang lebih rinci mengungkapkan kekhawatiran ini kurang sering. Bahkan demikian, hanya tiga peserta di seluruh kondisi yang menunjukkan pemahaman sebagian tentang faktor-faktor kunci yang mendorong keputusan model; dan tidak satu pun yang sepenuhnya mengidentifikasi bagaimana model bekerja.

Grafik yang menunjukkan seberapa sering peserta melaporkan kemungkinan bias ras atau gender dan informasi penjelasan yang hilang di seluruh kondisi, dengan tingkat detail penjelasan yang lebih tinggi terkait dengan lebih sedikit peserta yang memperhatikan bias atau melaporkan informasi yang hilang – meskipun model hanya bergantung pada ras dan gender.

Banyak peserta secara eksplisit mendeskripsikan model sebagai adil, dengan 19 respons semacam itu tercatat, meskipun bias yang jelas.

Pada saat yang sama, beberapa kekhawatiran muncul, dengan beberapa peserta mengungkapkan kekhawatiran tentang bagaimana sistem seperti itu mungkin digunakan, dan 15 respons yang mempertanyakan apakah model dapat menangkap kompleksitas kandidat individu dengan cara yang bermakna.

Penulis menyatakan:

‘Hanya minoritas peserta yang mendeskripsikan model sebagai tidak adil atau bias. Beberapa peserta yang melaporkan kekhawatiran tentang model tidak dapat secara akurat mengartikulasikan mengapa model tersebut bermasalah, dan, dalam ketiadaan informasi model yang penting, mereka bergantung pada penalaran informal, seringkali tidak benar, untuk menjelaskan mengapa model mungkin salah atau tidak adil.’

Makalah ini menyimpulkan*^†:

‘Sementara beberapa masalah yang kami temukan dapat diatasi dengan literasi data yang lebih baik dalam audiens, pendidikan saja tidak cukup (bahkan ahli AI yang mengaku memiliki kebiasaan salah menginterpretasikan atau gagal memahami teknik XAI).

‘Kami mengulangi pernyataan Hullman et al.: keberhasilan penjelasan AI hanya dapat dinilai secara adil ketika mempertimbangkan tujuan dari penjelasan tersebut.

‘Kami mendesak komunitas untuk memperhatikan tujuan retoris dari penjelasan XAI dan kekuatan manipulatifnya sebagai artefak persuasif yang intrinsik.’

Kesimpulan

Ketika sejauh mana model frontier cenderung ‘menghiasi’ pernyataan dengan grafik palsu menjadi jelas, semakin jelas bahwa grafik AI yang dihasilkan tidak boleh diandalkan untuk memperkuat otoritas, tetapi juga bahwa efek ‘ambient’ umum dari visualisasi yang menyertainya adalah sesuatu yang harus kita mulai abaikan – sama seperti keyakinan pada fotografi telah melemah dengan munculnya deepfakes.

Ini adalah perkembangan yang mengkhawatirkan, karena ini merupakan titik lelah lain dalam kemauan publik untuk menilai secara ketat apa yang mereka lihat dan dengar di media, dan berisiko mengalami jenis ‘akuisisi terminal’ dalam informasi yang salah.

* Substitusi saya untuk kutipan inline penulis dengan tautan.

^† Format asli penulis, bukan saya.

Dipublikasikan pertama kali pada hari Senin, 20 Juli 2026