Alyssa Simpson Rochwerger, Co-Author of Real World AI – Interview Series

Alyssa Rochwerger adalah seorang pemimpin produk yang berfokus pada pelanggan dan berdedikasi untuk membangun produk yang dapat menyelesaikan masalah sulit bagi orang-orang nyata. Ia telah menjabat berbagai peran kepemimpinan produk untuk organisasi pembelajaran mesin. Ia menjabat sebagai Wakil Presiden produk untuk Figure Eight (diakuisisi oleh Appen), Wakil Presiden AI dan data di Appen, dan direktur produk di IBM Watson. Ia baru-baru ini meninggalkan ruang ini untuk mengejar mimpinya menggunakan teknologi untuk meningkatkan kesehatan. Saat ini, ia menjabat sebagai direktur produk di Blue Shield of California, di mana ia dikelilingi oleh banyak data, masalah sulit, dan tidak ada kecuali kesempatan untuk membuat dampak positif.

Kami membahas buku barunya: The Real World of AI: A Practical Guide for Responsible Machine Learning

Dalam pengantar buku Anda menjelaskan bagaimana sebagai manajer produk IBM Anda pertama kali mengalami masalah dengan sistem AI yang mengeluarkan informasi yang bias ketika gambar seseorang yang menggunakan kursi roda diklasifikasikan oleh algoritma sebagai “loser”. Seberapa besar panggilan bangun ini untuk Anda tentang bias AI?

Saya tidak akan menyebutnya sebagai panggilan bangun sebanyak itu, tetapi lebih sebagai pengalaman pertama saya membangun produk berbasis pembelajaran mesin (saya baru beberapa bulan di posisi itu) dan saya belum tahu cukup tentang bagaimana teknologi ini bekerja untuk mengatur dan mitigasi bias yang tidak diinginkan. Ini adalah pengalaman yang membuka mata saya – dan membuat saya sangat menyadari masalah ini – dan membuat saya sadar bahwa kesetaraan, akses, dan inklusi adalah topik yang saya minati – dan telah lama saya minati – saya bahkan memenangkan penghargaan di perguruan tinggi untuk advokasi saya bagi mahasiswa dengan disabilitas. Pengalaman ini di IBM membantu saya memahami dari perspektif teknis bagaimana mudahnya bias sosial sistemik dapat dikodekan ke dalam produk berbasis pembelajaran mesin jika tim tidak secara aktif menguranginya. Saya senang bekerja di lembaga yang sangat peduli dengan kesetaraan dan mengalokasikan sumber daya untuk menguranginya.

Apa yang Anda pelajari secara pribadi saat melakukan penelitian dan menulis buku ini?

Dari sudut pandang pribadi – saya harus menciptakan waktu untuk menulis buku ini sambil berganti pekerjaan, memiliki anak berusia 1 tahun, dan menghadapi COVID. Saya belajar bagaimana menciptakan waktu untuk membuat prioritas ini, dan bagaimana meminta bantuan dari keluarga saya yang memberi saya waktu untuk memberikan perhatian pada penulisan buku.

Dari sudut pandang profesional – sangat menyenangkan memiliki banyak partisipan yang bersedia dan dengan senang hati berbagi cerita mereka dengan kami untuk dipublikasikan. Profesional pembelajaran mesin dalam pengalaman saya adalah orang-orang yang sangat berpikiran terbuka dan dermawan – yang mau membantu orang lain dan berbagi kesalahan dan pelajaran yang dipelajari. Sayangnya, banyak dari cerita ini tidak termasuk dalam buku ini atau harus disamarkan secara signifikan, karena kekhawatiran untuk mempublikasikan informasi di balik layar yang bisa membuat perusahaan atau individu terlihat buruk jika diambil dari sudut pandang yang salah. Meskipun itu memang biasa, secara pribadi saya merasa itu sangat disayangkan – saya adalah seorang yang besar dalam mempelajari dan tumbuh dari pengalaman dan kesalahan masa lalu jika bisa bermanfaat bagi orang lain.

Apa yang Anda harapkan orang-orang akan pelajari dari membaca buku ini?

Saya berharap orang-orang akan mempelajari bahwa pembelajaran mesin tidaklah menakutkan atau sulit dipahami. Bahwa itu adalah teknologi yang kuat tetapi juga rapuh yang membutuhkan bimbingan dan struktur untuk berhasil menyelesaikan masalah sulit. Juga bahwa penggunaan etis dan bertanggung jawab dari teknologi ini sangat penting untuk kesuksesan dan kematangan – dan bahwa fokus pada mengurangi bias yang merugikan pada awalnya adalah kunci kesuksesan bisnis.

Salah satu contoh bias gender AI yang digambarkan dalam buku adalah Apple Credit Card yang mengeluarkan batas kredit yang lebih rendah untuk wanita daripada pria. Ini adalah contoh bagaimana menghilangkan gender sebagai pilihan gagal untuk mempertimbangkan variabel lain yang dapat berfungsi sebagai proksi untuk gender. Contoh ini menunjukkan bahwa tanpa input “gender” mustahil untuk mengetahui bahwa hasilnya bias sampai setelah produk akhir dirilis. Apa saja jenis input data yang Anda percaya tidak boleh dihilangkan untuk menghindari bias terhadap gender atau minoritas?

Tidak ada aturan yang keras dan cepat – setiap kumpulan data, penggunaan, dan situasi berbeda. Saya akan mendorong praktisi untuk memasuki detail dan nuansa dari masalah yang akan dipecahkan oleh algoritma pembelajaran mesin – dan apa bias yang merugikan yang bisa dikodekan ke dalam keputusan itu.

Buku ini menjelaskan bagaimana tanggung jawab utama ketika berkomunikasi dengan tim AI adalah untuk mendefinisikan hasil yang penting bagi bisnis dengan tepat. Menurut Anda, seberapa sering bisnis gagal dalam tugas ini?

Saya akan mengatakan bahwa dalam pengalaman saya, sebagian besar waktu, hasilnya tidak didefinisikan atau hanya didefinisikan pada tingkat yang longgar. Mendapatkan detail tentang hasil yang spesifik adalah cara yang mudah untuk menyiapkan tim untuk sukses dari awal.

Buku ini berbicara tentang pentingnya menyadari bahwa sistem AI bukanlah sistem “Set it and forget it”. Bisakah Anda membahas ini secara singkat?

Ini adalah kesalahan klasik yang dilakukan oleh sebagian besar perusahaan ketika meluncurkan sistem ML baru ke produksi. Kenyataan berubah – waktu berlalu, apa yang benar kemarin (data pelatihan) mungkin tidak benar besok. Ini tergantung pada keadaan, tetapi dalam kebanyakan kasus, penting untuk dapat belajar dan menyesuaikan diri dan membuat keputusan yang lebih baik berdasarkan informasi yang lebih baru.

Produk berbasis pembelajaran mesin pada dasarnya adalah pembuat keputusan. Untuk menyamakan ini dengan contoh manusia – itu seperti wasit dalam pertandingan sepak bola yang sangat penting. Banyak kali, jika wasit tersebut terlatih dengan baik dan berpengalaman, wasit membuat keputusan yang baik dan pertandingan berlanjut – tetapi terkadang, wasit tersebut membuat keputusan yang buruk – atau tidak yakin apa keputusan yang harus dibuat – dan perlu kembali dan meninjau video – bertanya kepada beberapa orang lain untuk membuat keputusan tentang suatu pertandingan tertentu. Demikian pula – produk ML membutuhkan umpan balik, pelatihan, dan terkadang tidak percaya diri. Mereka membutuhkan opsi cadangan untuk jatuh kembali serta informasi baru untuk dipelajari untuk menjadi lebih baik dari waktu ke waktu. Seorang wasit yang baik akan belajar dari waktu ke waktu dan menjadi lebih baik dalam membuat penilaian.

Bisakah Anda berbicara tentang pentingnya menciptakan tim lintas fungsional yang dapat mengidentifikasi masalah apa yang paling baik dipecahkan dengan menggunakan AI?

Teknologi pembelajaran mesin sangat cocok untuk masalah yang sangat sulit dan spesifik yang tidak dapat dipecahkan dengan pendekatan lain. Setiap masalah sulit – membutuhkan tim untuk sukses. Ketika perusahaan baru dalam AI – seringkali ada narasi yang salah bahwa seorang ilmuwan pembelajaran mesin, atau bahkan tim pembelajaran mesin dapat memecahkan masalah dengan sendirinya. Saya tidak pernah menemukan itu benar. Membutuhkan tim dengan latar belakang dan pendekatan yang berbeda untuk memecahkan masalah sulit – dan tentu saja untuk menerapkan teknologi pembelajaran mesin dengan sukses ke produksi.

Terima kasih atas wawancara yang luar biasa, bagi pembaca (dan terutama eksekutif bisnis) yang ingin mempelajari lebih lanjut, saya sarankan mereka membaca buku The Real World of AI: A Practical Guide for Responsible Machine Learning.