Prof. Julia Stoyanovich, Direktur Pusat AI Bertanggung Jawab – Seri Wawancara

Julia Stoyanovich, adalah seorang profesor di Sekolah Teknik Tandon NYU dan Direktur Pendiri Pusat AI Bertanggung Jawab. Dia baru-baru ini memberikan kesaksian kepada Komite Teknologi Dewan Kota NYC tentang rangkaian tagihan yang diusulkan yang akan mengatur penggunaan AI untuk keputusan perekrutan dan pekerjaan.

Anda adalah Direktur Pendiri Pusat AI Bertanggung Jawab di NYU. Bisakah Anda berbagi dengan kami beberapa inisiatif yang diambil oleh organisasi ini?

Saya bersama dengan Steven Kuyan menjadi direktur Pusat AI Bertanggung Jawab (R/AI) di NYU. Saya dan Steven memiliki minat dan keahlian yang komplementer. Saya adalah seorang akademisi dengan latar belakang ilmu komputer dan minat yang kuat dalam pekerjaan yang terinspirasi oleh penggunaan data, ilmu data yang bertanggung jawab, dan kebijakan. Steven adalah direktur manajemen NYU Tandon Future Labs, sebuah jaringan inkubator dan akselerator startup yang telah memiliki dampak ekonomi yang luar biasa di NYC. Visi kami untuk R/AI adalah untuk membuat “AI yang bertanggung jawab” menjadi sinonim dengan “AI”, melalui kombinasi penelitian terapan, pendidikan publik dan keterlibatan, dan dengan membantu perusahaan besar dan kecil – terutama kecil – mengembangkan AI yang bertanggung jawab.

Beberapa bulan terakhir, R/AI secara aktif terlibat dalam percakapan sekitar pengawasan Sistem Keputusan Otomatis (ADS). Pendekatan kami didasarkan pada kombinasi kegiatan pendidikan dan keterlibatan kebijakan.

Kota New York sedang mempertimbangkan sebuah undang-undang yang diusulkan, Int 1894, yang akan mengatur penggunaan ADS dalam perekrutan melalui kombinasi audit dan pengungkapan publik. R/AI mengajukan komentar publik tentang tagihan tersebut, berdasarkan penelitian kami dan wawasan yang kami kumpulkan dari pencari kerja melalui beberapa kegiatan keterlibatan publik.

Kami juga berkolaborasi dengan The GovLab di NYU dan dengan Institut untuk Etika AI di Universitas Teknik Munich pada sebuah kursus online gratis yang disebut “Etika AI: Perspektif Global” yang diluncurkan awal bulan ini.

Proyek lain R/AI yang baru-baru ini mendapatkan perhatian adalah seri komik “Data, Responsibly” kami. Volume pertama dari seri ini disebut “Mirror, Mirror”, tersedia dalam bahasa Inggris, Spanyol, dan Perancis, dan dapat diakses dengan pembaca layar dalam ketiga bahasa tersebut. Komik ini mendapatkan penghargaan “Inovasi Bulan Ini” dari Metro Lab Network dan GovTech, dan diliput oleh Toronto Star, di antara lainnya.

Apa beberapa masalah saat ini atau potensial dengan bias AI untuk keputusan perekrutan dan pekerjaan?

Pertanyaan ini kompleks dan memerlukan kita untuk pertama-tama memahami apa yang kita maksud dengan “bias”. Hal penting untuk dicatat adalah bahwa sistem perekrutan otomatis adalah “analitik prediktif” – mereka memprediksi masa depan berdasarkan masa lalu. Masa lalu ini direpresentasikan oleh data historis tentang individu yang direkrut oleh perusahaan, dan tentang bagaimana mereka berperforma. Sistem ini kemudian “dilatih” pada data ini, yang berarti bahwa sistem mengidentifikasi pola statistik dan menggunakan pola tersebut untuk membuat prediksi. Pola statistik ini adalah “keajaiban” dari AI, yang merupakan dasar dari model prediktif. Jelas, tetapi penting, data historis dari mana pola ini diperoleh adalah sunyi tentang individu yang tidak direkrut karena kita tidak tahu bagaimana mereka akan berperforma pada pekerjaan yang tidak mereka dapatkan. Dan inilah tempat bias masuk. Jika kita secara sistematis merekrut lebih banyak individu dari kelompok demografis dan sosioekonomi tertentu, maka keanggotaan dalam kelompok ini, dan karakteristik yang terkait dengan keanggotaan kelompok tersebut, akan menjadi bagian dari model prediktif. Misalnya, jika kita hanya melihat lulusan universitas terbaik yang direkrut untuk peran eksekutif, maka sistem tidak dapat belajar bahwa orang-orang yang pergi ke sekolah lain juga dapat berperforma dengan baik. Mudah untuk melihat masalah serupa untuk gender, ras, dan status disabilitas.

Bias dalam AI jauh lebih luas daripada hanya bias dalam data. Bias muncul ketika kita mencoba menggunakan teknologi di mana solusi teknis tidak tepat, atau ketika kita menetapkan tujuan yang salah untuk AI – sering karena kita tidak memiliki suara yang beragam di meja desain, atau ketika kita menyerahkan keagenan kita dalam interaksi manusia-AI setelah AI diterapkan. Setiap alasan untuk bias ini layak mendapatkan diskusi yang lebih panjang yang mungkin tidak dapat dilakukan dalam artikel ini. Dan sehingga, untuk tetap fokus, saya akan kembali ke bias dalam data.

Ketika menjelaskan bias dalam data, saya suka menggunakan metafor refleksi cermin. Data adalah gambaran dunia, refleksi cerminnya. Ketika kita berpikir tentang bias dalam data, kita menginterogasi refleksi ini. Salah satu interpretasi dari “bias dalam data” adalah bahwa refleksi ini terdistorsi – cermin kita under-represent atau over-represent beberapa bagian dari dunia, atau distorsi lainnya. Interpretasi lain dari “bias dalam data” adalah bahwa, bahkan jika refleksi ini 100% setia, refleksi ini masih merupakan refleksi dari dunia seperti adanya hari ini, dan bukan dari apa yang seharusnya atau bisa menjadi. Penting, bukanlah tugas data atau algoritma untuk memberitahu kita apakah refleksi ini sempurna dari dunia yang rusak, atau refleksi yang rusak dari dunia yang sempurna, atau jika distorsi ini saling memperkuat. Ini adalah tugas manusia – individu, kelompok, masyarakat secara luas – untuk mencapai kesepakatan tentang apakah kita setuju dengan dunia seperti adanya, atau, jika tidak, bagaimana kita harus memperbaikinya.

Kembali ke analitik prediktif: Semakin kuat disparitas dalam data, sebagai refleksi dari masa lalu, semakin mungkin disparitas ini akan dipilih oleh model prediktif, dan akan direplikasi – dan bahkan diperburuk – di masa depan.

Jika tujuan kita adalah untuk memperbaiki praktik perekrutan kita dengan memperhatikan kesetaraan dan keberagaman, maka kita tidak dapat mengoutsourcening pekerjaan ini kepada mesin. Kita harus melakukan pekerjaan yang sulit untuk mengidentifikasi penyebab sebenarnya dari bias dalam perekrutan dan pekerjaan secara langsung, dan untuk menegosiasikan solusi sosio-yuridis-teknis dengan input dari semua pemangku kepentingan. Teknologi tentu memiliki peran untuk membantu kita memperbaiki status quo: teknologi dapat membantu kita untuk tetap jujur tentang tujuan dan hasil kita. Namun, berpura-pura bahwa menghilangkan bias dalam data atau analitik prediktif akan menyelesaikan masalah diskriminasi yang mendalam dalam perekrutan adalah naif pada tingkat terbaik.

Anda baru-baru ini memberikan kesaksian kepada Komite Teknologi Dewan Kota NYC, salah satu komentar yang menarik adalah sebagai berikut: “Kami menemukan bahwa baik anggaran pengiklan dan konten iklan secara signifikan berkontribusi pada skew pengiriman Facebook (META ). Kritis, kami mengamati skew signifikan dalam pengiriman sepanjang garis gender dan ras untuk ‘nyata’ iklan untuk peluang pekerjaan dan perumahan meskipun parameter penargetan netral.” Apa beberapa solusi untuk menghindari jenis bias ini?

Komentar yang saya buat ini didasarkan pada sebuah makalah oleh Ali et al. yang disebut “Diskriminasi melalui Optimisasi: Bagaimana Pengiriman Iklan Facebook Dapat Menyebabkan Hasil yang Bias.” Penulis menemukan bahwa mekanisme pengiriman iklan itu sendiri bertanggung jawab untuk memperkenalkan dan memperkuat efek diskriminatif. Jelas, temuan ini sangat bermasalah, terutama karena bermain di latar belakang ketidakjelasan di Facebook dan platform lain – Google (GOOGL ) dan Twitter. Beban ada pada platform untuk dengan segera dan meyakinkan menunjukkan bahwa mereka dapat mengendalikan efek diskriminatif seperti yang ditemukan oleh Ali et al.. Kurang dari itu, saya tidak dapat menemukan justifikasi untuk penggunaan terus-menerus penargetan iklan personalisasi dalam perumahan, pekerjaan, dan domain lain di mana kehidupan dan penghidupan orang banyak dipertaruhkan.

Bagaimana ilmuwan data dan pengembang AI dapat mencegah bias tidak disengaja lainnya merembes ke dalam sistem mereka?

 Bukan hanya ilmuwan data, atau kelompok pemangku kepentingan lain, yang bertanggung jawab untuk memastikan bahwa sistem teknis selaras dengan nilai-nilai masyarakat. Namun, ilmuwan data memang berada di garis depan pertempuran ini. Sebagai ilmuwan komputer sendiri, saya dapat membuktikan bahwa berpikir bahwa sistem yang kita desain adalah “objektif”, “optimal”, atau “benar” sangat menarik. Seberapa sukses ilmu komputer dan ilmu data – seberapa berpengaruh dan seberapa luas digunakan – adalah berkat dan kutukan. Kita teknolog tidak lagi memiliki kemewahan untuk bersembunyi di balik tujuan yang tidak dapat dicapai dari objektivitas dan kebenaran. Beban ada pada kita untuk berpikir dengan hati-hati tentang posisi kita di dunia, dan untuk mendidik diri kita sendiri tentang proses sosial dan politik yang kita pengaruhi. Masyarakat tidak dapat membiayai kita untuk bergerak cepat dan memecahkan hal-hal, kita harus melambatkan dan merefleksikan.

Sangat simbolis bahwa filsafat pernah menjadi pusat dari semua wacana ilmiah dan sosial, kemudian datang matematika, kemudian ilmu komputer. Sekarang, dengan ilmu data menduduki posisi terdepan, kita telah kembali ke akar filsafat kita.

Rekomendasi lain yang Anda buat adalah menciptakan masyarakat yang terinformasi. Bagaimana kita dapat menginformasikan masyarakat yang mungkin tidak terbiasa dengan AI, atau memahami masalah yang terkait dengan bias AI?

Ada kebutuhan yang mendesak untuk mendidik orang-orang non-teknis tentang teknologi, dan untuk mendidik orang-orang teknis tentang implikasi sosialnya. Mencapai kedua tujuan ini akan memerlukan komitmen yang kuat dan investasi yang substansial dari pemerintah kita. Kita perlu mengembangkan materi dan metodologi pendidikan untuk semua kelompok ini, dan menemukan cara untuk mendorong partisipasi. Dan kita tidak dapat meninggalkan pekerjaan ini kepada entitas komersial. Uni Eropa memimpin jalan, dengan beberapa pemerintah yang menyediakan dukungan untuk pendidikan AI dasar warga negara mereka, dan mengintegrasikan kurikulum AI ke dalam program sekolah menengah. Kami di R/AI bekerja pada sebuah kursus yang dapat diakses secara luas dan tersedia secara online, yang bertujuan untuk menciptakan masyarakat yang terlibat yang akan membantu membuat AI menjadi apa yang KITA inginkan. Kami sangat bersemangat tentang pekerjaan ini, silakan tunggu informasi lebih lanjut dalam bulan-bulan mendatang.

Terima kasih atas jawaban yang sangat detail, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Pusat AI Bertanggung Jawab.