Laporan GEPI tentang Kegagalan AI terhadap Perempuan Mengkaji Cara Algoritma Memperkuat Bias Gender

Skor perekrutan, penilaian kredit, atau rekomendasi klinis dapat tampak tidak memihak, padahal meneruskan ketimpangan dalam data yang mendasarinya. Inilah peringatan utama dalam laporan baru Gender Equity Policy Institute, Bagaimana AI Merugikan Perempuan: Saat Bias Semakin Menguat, yang merangkum penelitian tentang bagaimana sistem otomatis dapat mereproduksi—dan terkadang memperparah—diskriminasi gender.

Ditulis oleh ilmuwan pembelajaran mesin sekaligus peneliti senior GEPI Myriam Shiran, PhD, laporan ini mengulas literatur akademis dan literatur abu-abu mengenai peluang ekonomi, layanan kesehatan, peradilan pidana, konten yang dihasilkan AI, desain AI konsumen, serta kekerasan seksual berbasis gambar yang dimungkinkan oleh AI. Laporan ini merupakan sintesis bukti yang sudah ada, bukan eksperimen baru yang mengukur setiap sistem AI berdasarkan satu tolok ukur.

Argumen terpentingnya membahas apa yang terjadi setelah hasil yang bias keluar dari sebuah model. Rekomendasi memengaruhi keputusan, konten yang dihasilkan membentuk ekspektasi, dan sebagian keluaran menjadi bahan untuk pelatihan di masa mendatang. Karena itu, pola yang tidak adil dapat semakin sulit dikenali saat bergerak melalui sistem-sistem yang berurutan.

Masukan yang Tidak Memuat Gender Tidak Menjamin Hasil yang Adil

Menghapus kolom gender merupakan respons yang wajar terhadap diskriminasi. Ulasan GEPI menjelaskan mengapa langkah itu saja tidak cukup: nama, pendidikan, riwayat pekerjaan, dan detail lainnya masih dapat membawa sinyal terkait gender. Hasil-hasil historis juga dapat merekam perlakuan yang tidak setara sebelum model menemukannya.

Salah satu audit perekrutan yang dikutip dalam laporan, yang dilakukan Wilson dan Caliskan pada 2024, mencakup lebih dari tiga juta perbandingan resume simulasi di sembilan bidang pekerjaan. Model penyaringan yang diuji secara signifikan lebih memilih nama yang diasosiasikan dengan laki-laki dalam 51,9% perbandingan dan nama yang diasosiasikan dengan perempuan dalam 11,1% perbandingan. Sebanyak 37% sisanya tidak menunjukkan preferensi yang signifikan. Hasil ini berasal dari pengujian model yang terkontrol, bukan persentase pelamar kerja nyata yang ditolak.

Bukti yang ditemukan juga beragam, bergantung pada rancangan pengujian. Laporan ini menguraikan audit terpisah pada 2025 yang mendapati bahwa beberapa model bahasa tidak menunjukkan perbedaan gender ketika peneliti hanya mengubah nama, sedangkan perubahan pada detail pendidikan memengaruhi skor. Pengujian yang terlalu sempit dapat melewatkan informasi yang berpengaruh di bagian lain dalam alur kerja yang sama.

Dalam pemberian pinjaman, ulasan tersebut merujuk pada penelitian terhadap sekitar 80.000 pinjaman pribadi tanpa agunan dari sebuah perusahaan teknologi finansial besar di AS. Pinjaman kepada perempuan menghasilkan keuntungan lebih tinggi bagi pemberi pinjaman; penelitian itu mengaitkan temuan ini dengan model yang melebih-lebihkan risiko gagal bayar mereka dan menetapkan harga pinjaman sesuai perkiraan tersebut. Dalam hal ini, persoalannya terletak pada hubungan antara risiko yang diprediksi, pembayaran kembali yang sebenarnya, dan harga yang dibayar peminjam—bukan sekadar apakah gender tercantum dalam pengajuan.

AI Medis Membutuhkan Lebih dari Sekadar Skor Rata-Rata yang Tinggi

Layanan kesehatan memberikan contoh yang sangat jelas tentang bagaimana kinerja pada tingkat populasi dapat menyembunyikan perbedaan penting. Secara keseluruhan, sebuah model mungkin berkinerja baik, tetapi membuat lebih banyak kesalahan untuk orang-orang yang kurang terwakili dalam data pelatihan atau validasinya.

GEPI mengutip penelitian tahun 2024 oleh Zack dan rekan-rekannya, yang menyajikan kasus nyeri dada yang identik kepada GPT-4, dengan keterangan bahwa pasiennya laki-laki atau perempuan. Dalam 200 kali pengujian untuk setiap keterangan, model menilai uji stres jantung sangat penting pada 71% kasus laki-laki dan 58% kasus perempuan—selisih 13 poin persentase.

Temuan itu berkaitan dengan rekomendasi model dalam evaluasi terkontrol, bukan keputusan pengobatan atau hasil pasien yang diamati. Perbedaan ini penting, terutama karena laporan tersebut mencakup studi eksploratif terhadap beragam model, penyakit, dan tugas klinis yang dilakukan pada waktu berbeda.

Ulasan tersebut juga memberikan kualifikasi penting: perbedaan jenis kelamin yang bermakna secara klinis tidak boleh dihapus begitu saja. Tantangannya adalah menentukan apakah perbedaan dalam saran model mencerminkan biologi yang relevan atau asumsi yang tidak berdasar. Untuk itu, diperlukan data evaluasi yang representatif dan pemeriksaan kesalahan secara saksama, bukan tuntutan agar setiap rekomendasi identik.

Bias Dapat Membentuk Representasi maupun Keputusan

Laporan ini membedakan kerugian terhadap akses seseorang pada sumber daya—seperti pinjaman atau layanan medis—dari kerugian dalam cara kelompok digambarkan. Surat rekomendasi, artikel berita, dan gambar pekerjaan yang dihasilkan AI dapat memperkuat stereotip, sekalipun tidak langsung diikuti keputusan alokasi.

Penelitian yang dirangkum GEPI mendapati bahwa model bahasa lebih banyak menggambarkan perempuan melalui kualitas interpersonal, sedangkan laki-laki lebih banyak dikaitkan dengan kepemimpinan atau kemampuan. Studi tentang generator gambar menemukan segregasi gender yang berlebihan dalam berbagai pekerjaan. Hasil tersebut berlaku untuk model dan versi yang diteliti; hasil itu tidak boleh dianggap sebagai audit baru terhadap setiap sistem yang tersedia saat ini.

Asisten dan pendamping konsumen menimbulkan pertanyaan yang berbeda. Suara, kepribadian, dan respons mereka terhadap pelecehan merupakan pilihan produk yang disengaja. Jika evaluasi hanya mengukur keseimbangan statistik jawaban mereka, asumsi yang tertanam dalam rancangan produk bisa luput dari perhatian.

Tinjauan ini juga mengkaji citra seksual sintetis yang dibuat tanpa persetujuan, yang dapat membuat AI mempermudah produksi dan penyebaran konten yang melecehkan. Dampaknya lebih dari sekadar penggambaran yang tidak akurat: penggunaan rupa orang sungguhan tanpa persetujuan dapat menimbulkan kerugian langsung. Hal ini memerlukan respons yang berbeda dari sekadar memperbaiki stereotip pekerjaan dalam karya seni yang dihasilkan AI.

Mengapa Pengujian Independen Penting

GEPI menjelaskan empat mekanisme yang berulang: belajar dari catatan historis yang timpang, mereproduksi stereotip, menyajikan penilaian seolah-olah merupakan pengukuran objektif, serta membiarkan keluaran yang bias memengaruhi keputusan atau model berikutnya.

Audit independen membantu mengungkap mekanisme tersebut. Peneliti dapat mengubah satu atribut pada masukan yang selain itu sebanding, lalu mengamati perubahan keluarannya, bahkan tanpa akses ke arsitektur internal model berpemilik. Namun, keberhasilan pengujian pada satu perintah atau tolok ukur tidak membuktikan bahwa penerapan secara keseluruhan berlangsung adil.

Bagi organisasi yang mengadopsi AI, implikasi praktisnya adalah menguji kasus penggunaan yang sebenarnya. Tim perekrutan perlu menelaah proses dari penilaian penyaringan hingga pemilihan kandidat untuk wawancara. Pemberi pinjaman perlu membandingkan perkiraan risiko dengan hasil pembayaran kembali. Organisasi layanan kesehatan perlu memahami pasien mana yang terwakili dalam data validasi dan di mana kesalahan paling banyak terjadi. Pemeriksaan ini menjawab pertanyaan yang berbeda dari pertanyaan tentang apakah model menghasilkan bahasa yang lancar atau akurat secara rata-rata.

Apa yang Dipastikan oleh Laporan Ini—dan Apa yang Masih Belum Diketahui

Laporan ini terutama mengandalkan bukti dari AS, sembari mengidentifikasi penelitian internasional jika relevan. Sumber-sumbernya mencakup beragam teknologi, tahun, dan metode. Sebagian mendokumentasikan hasil, sementara yang lain mengungkap perilaku yang mengkhawatirkan dalam simulasi. Tinjauan ini tidak menetapkan satu angka diskriminasi yang berlaku universal, dan juga tidak menunjukkan bahwa setiap sistem menghasilkan bias yang sama.

Laporan ini juga mengidentifikasi masalah pengukuran: peneliti sering kali tidak dapat mengakses data institusional yang diperlukan untuk mengaitkan suatu keluaran dengan konsekuensinya. Menemukan kesenjangan itu penting, tetapi memahami dampaknya di dunia nyata mungkin memerlukan catatan yang disimpan oleh pemberi kerja, vendor, pemberi pinjaman, atau penyedia layanan kesehatan.

Kontribusi GEPI adalah menghubungkan temuan-temuan yang kerap dibahas secara terpisah dan mempertanyakan apakah pengujian serta akuntabilitas tetap menyertai AI hingga ke keputusan yang dipengaruhinya. Laporan lengkap, Bagaimana AI Merugikan Perempuan: Saat Bias Semakin Kuat, mencakup metodologi, referensi penelitian, dan bukti dari berbagai sektor yang mendasari argumen tersebut.