AI Tidak Menghapus Bias Manusia. AI Memperluas Jangkauannya.

AI sering digambarkan sebagai cara untuk membuat keputusan lebih objektif: menurut anggapan ini, hilangkan penilaian manusia, maka bias manusia pun hilang. Namun, semakin banyak penelitian yang membantah anggapan tersebut.

Sistem AI belajar dari sejarah manusia. Sistem ini dilatih menggunakan keputusan, bahasa, lembaga, dan mau tidak mau, titik-titik buta kita. Saat menyaring kandidat, menentukan alokasi layanan kesehatan, atau mengevaluasi karyawan, sistem tersebut dapat mereproduksi bias itu dengan skala dan kecepatan yang tak mungkin ditandingi seorang manusia.

Masalah yang lebih besar adalah keputusan tersebut tampak netral. Sebuah skor muncul. Sebuah peringkat tersaji. Sebuah rekomendasi dihasilkan. Tidak terlihat jejak asumsi yang mendasarinya, dan belum tentu ada seorang pun di ruangan itu yang merasa bertanggung jawab atas hasilnya.

Karena itulah, bias AI bukan terutama masalah model. Ini adalah masalah tata kelola. Model dapat dilatih ulang, tetapi pertanyaan yang lebih sulit bersifat organisasional: siapa yang bertanggung jawab atas setiap keputusan, apa yang dioptimalkan oleh sistem, dan siapa yang berwenang untuk menentangnya.

Bias Manusia Masuk ke AI, Lalu Kembali dengan Kecepatan Mesin

Mekanismenya bukanlah sesuatu yang misterius. Model mencocokkan pola statistik dalam data pelatihannya. Jika hasil historis (siapa yang diterima bekerja, siapa yang mendapat layanan kesehatan) sudah mencerminkan diskriminasi, sasaran yang dipelajari model untuk diprediksi pun sejak awal sudah bias. Penelitian terbaru menunjukkan betapa mudahnya hal ini terjadi pada berbagai penyedia dan tugas:

• Perekrutan dalam skala besar. Analisis Stanford terhadap 4 juta lamaran kerja nyata menemukan bahwa 26% pelamar kulit hitam dan 15% pelamar Asia melamar ke posisi yang sistem AI-nya mendiskriminasi kelompok ras mereka. Model-model tersebut telah belajar dari keputusan perekrutan manusia selama puluhan tahun.
• Pemeringkatan CV. Para peneliti University of Washington mengevaluasi lebih dari 550 CV nyata menggunakan model bahasa terkini dan menemukan bahwa nama-nama yang diasosiasikan dengan orang kulit putih lebih disukai dalam 85% kasus, sementara nama laki-laki kulit hitam jarang dipilih.
• Komunikasi di tempat kerja. Penelitian Johns Hopkins yang dirilis awal tahun ini menemukan bahwa GPT-4, Llama, Gemma, dan Mistral menghasilkan email kerja yang kurang canggih dan kurang formal ketika perintahnya memuat pola bahasa yang lebih umum dikaitkan dengan perempuan.

Begitu sistem seperti ini diterapkan, pola-pola tersebut tak lagi sekadar menjadi bagian dari data pelatihan, tetapi juga meresap ke dalam keputusan sehari-hari.

Bahaya Sesungguhnya adalah Skala dan Bungkamnya Suara

Perekrut yang bias mungkin menyaring ratusan CV dalam setahun. Sistem penyaringan yang bias dapat memproses jutaan lamaran dalam semalam dan menerapkan logika keliru yang sama pada setiap lamaran. Keputusan bias seorang manusia sering kali hanya terjadi sekali, sedangkan keputusan bias model dapat dengan cepat menjadi kebijakan.

Layanan kesehatan menawarkan salah satu contoh paling jelas. Sebuah algoritma yang banyak digunakan dan berdampak pada jutaan pasien dirancang untuk mengidentifikasi orang-orang yang akan mendapat manfaat dari perawatan tambahan. Algoritma itu menilai pasien kulit hitam lebih sehat daripada pasien kulit putih yang sama-sama sakit. Tidak ada yang menulis aturan rasis. Algoritma tersebut menggunakan pengeluaran untuk layanan kesehatan sebagai proksi kebutuhan medis. Karena secara historis pasien kulit hitam menerima lebih sedikit layanan dan karena itu mengeluarkan biaya lebih rendah, algoritma tersebut mengartikan pengeluaran yang lebih rendah sebagai tanda kesehatan yang lebih baik. Menurut analisis para peneliti di Science, memperbaiki satu pilihan desain itu saja akan meningkatkan proporsi pasien kulit hitam yang ditandai membutuhkan bantuan tambahan dari 17.7% menjadi 46.5%.

Sistem AI tidak sekadar mencerminkan metrik yang kita berikan; sistem tersebut juga mencerminkan asumsi di balik metrik itu. Bias manusia sama nyatanya, tetapi lebih sulit dilihat dan diuji. Karena itu, solusinya terletak pada tata kelola yang lebih baik, bukan dengan meninggalkan otomatisasi.

Tanamkan Akuntabilitas dalam Pengambilan Keputusan

Pendekatan standar dalam penerapan AI adalah memilih model, mengintegrasikannya ke dalam alur kerja, memantau kinerjanya, lalu meningkatkannya seiring waktu. Jika keluaran sistem berdampak pada orang, pendekatan itu tidak cukup.

Saya menyebut pendekatan alternatif ini integrasi, bukan sekadar penerapan: orang yang bertanggung jawab terlibat langsung dalam pengambilan keputusan dan memiliki wewenang nyata untuk mengubahnya, alih-alih meninjau dasbor setiap tiga bulan setelah keputusan dibuat. Pendekatan ini dimulai dengan tiga langkah:

1. Petakan setiap keputusan yang kini disaring, diberi skor, atau disetujui oleh AI, lalu tunjuk satu orang yang bertanggung jawab atas masing-masing keputusan.
2. Audit riwayat yang dimasukkan ke dalam model sebelum riwayat tersebut menjadi kebijakan.
3. Pastikan orang aman untuk mengesampingkan keputusan model, lalu pantau seberapa sering hal itu dilakukan.

Langkah ketiga paling penting. Jika karyawan belajar bahwa ketidaksetujuan terhadap mesin akan dianggap sebagai kesalahan, mereka akan berhenti melakukannya. Akibatnya, AI menjadi pengambil keputusan secara de facto, meskipun secara teknis manusia masih “terlibat dalam proses”. Pertanyaannya bukan apakah manusia memiliki keputusan akhir, melainkan apakah orang tersebut memiliki wewenang, informasi, dan rasa aman secara psikologis untuk mengatakan, “Mesin itu salah.”

Pelatihan ulang membantu, tetapi bias masuk melalui keputusan: apa yang dioptimalkan model, data mana yang diperhitungkan, dan siapa yang memeriksa keluarannya. Di situlah kita perlu mencari. Kita juga membutuhkan pemimpin AI yang mampu bertanya mengapa sistem memberi peringkat seperti itu dan memiliki wewenang untuk bertindak berdasarkan jawabannya.

Tingkat pengesampingan rekomendasi sistem berguna karena maknanya bisa beragam. Jika orang hampir tidak pernah mengesampingkan sistem, mungkin saja sistem itu memang akurat. Namun, bisa juga mereka belajar bahwa menyatakan ketidaksetujuan tidak aman. Jika hanya orang-orang senior yang mengesampingkannya, staf junior mungkin belajar untuk diam, padahal merekalah yang sering kali paling dekat dengan keluaran sistem dan orang-orang yang terdampak. Tujuannya bukan menghilangkan semua pengesampingan. Tujuannya adalah membangun budaya yang menganggap pengesampingan dengan alasan kuat sebagai tanda bahwa sistem berfungsi. Jika seseorang mengesampingkan rekomendasi model dan ternyata benar, ceritakanlah hal itu secara luas. Kisah tersebut mungkin menjadi bahan pelatihan AI terbaik yang pernah dihasilkan perusahaan Anda.

Uji Hasil, Bukan Niat

Organisasi tidak perlu menunggu kegagalan besar untuk mulai mendeteksi bias. Tiga pengujian dapat dilakukan sekarang:

1. Perbandingan terkendali. Jalankan tugas yang sama dengan hanya mengubah sinyal demografis, seperti nama pada resume atau dialek dalam prompt. Pertahankan semua hal lainnya, termasuk templat prompt dan urutan masukan. Karena keluaran model dapat berbeda-beda dalam setiap proses, ulangi setiap pasangan beberapa kali dan gunakan cukup banyak pasangan agar kesenjangan yang terlihat tidak bisa begitu saja dianggap sebagai kebetulan. Pada dasarnya, begitulah para peneliti mengidentifikasi disparitas dalam pemeringkatan resume dan komunikasi di tempat kerja yang dihasilkan model. Tim internal pun dapat membuat versi awalnya dalam satu sore.
2. Audit proksi. Untuk setiap metrik yang dioptimalkan sistem, ajukan dua pertanyaan: apa yang sebenarnya diukur oleh angka ini, dan siapa yang mungkin tidak terhitung olehnya? Algoritme layanan kesehatan itu tidak buruk dalam memprediksi metrik yang dipilihnya. Algoritme tersebut mampu memprediksi biaya dengan baik. Masalahnya, biaya dijadikan pengganti kebutuhan medis. Sebuah sistem bisa akurat menurut metriknya sendiri, tetapi tetap sangat keliru bagi orang-orang yang terdampak.
3. Perbandingan hasil. Bandingkan tingkat pemilihan atau persetujuan antarkelompok dalam penerapan nyata. Aturan praktis empat perlima yang digunakan dalam praktik ketenagakerjaan AS—yang menandai kelompok dengan tingkat di bawah 80% dari tingkat kelompok tertinggi—merupakan penyaringan awal yang lazim. Padukan pengujian ini dengan pemantauan pengesampingan yang dijelaskan di atas.

Pengujian ini memiliki keterbatasan. Mengganti nama dapat mengungkap sinyal demografis yang eksplisit, tetapi tidak dapat mengungkap proksi seperti kode pos, sekolah, atau jeda masa kerja. Karena itulah perbandingan hasil penting dilakukan. Langkah mitigasi teknis (menimbang ulang data pelatihan, menambahkan batasan keadilan, menyesuaikan ambang keputusan) dapat memperkecil disparitas, tetapi langkah-langkah itu mengharuskan adanya pilihan. Penelitian oleh Kleinberg, Mullainathan, dan Raghavan, serta penelitian terpisah oleh Chouldechova, menunjukkan bahwa ketika kelompok memiliki tingkat dasar yang berbeda, model umumnya tidak dapat memenuhi kalibrasi dan tingkat kesalahan yang sama secara bersamaan. Model tidak dapat menentukan definisi keadilan mana yang harus diprioritaskan. Keputusan itu harus diambil dan didokumentasikan oleh seseorang, sehingga persoalan ini kembali pada tata kelola.

Tinjau Keadilan Bersamaan dengan Akurasi

Terlalu sering, keadilan diperlakukan sebagai inisiatif terpisah, sesuatu yang ditinjau oleh bagian SDM atau hukum setelah tim teknis mengevaluasi akurasi, efisiensi, dan biaya. Pemisahan itu sendiri merupakan bagian dari masalah. Keadilan seharusnya ditinjau dalam rapat yang sama dengan akurasi dan biaya, dengan akuntabilitas yang sama serta penanggung jawab yang ditetapkan.

Pembahasan itu seharusnya melibatkan bagian SDM dan hukum, serta orang-orang yang pernah dinilai secara keliru oleh sistem seperti ini. Orang-orang yang pernah diremehkan sering kali lebih dahulu menyadari hal-hal yang luput dari sistem. Ini merupakan gagasan utama dalam buku saya, The Bias Advantage: perspektif yang selama ini diabaikan organisasi dapat menjadi sumber wawasan yang kuat ketika dilibatkan dalam proses pengambilan keputusan.

Tujuannya bukan menciptakan sistem AI yang tidak pernah melakukan kesalahan, karena itu tidak realistis. Tujuannya adalah membangun organisasi yang mampu mengenali saat AI keliru, memahami penyebabnya, dan mengambil tindakan sebelum kesalahan itu menjadi kenyataan yang harus dihadapi orang lain.