Rintisan Membuat Alat untuk Memantau AI dan Meningkatkan Penggunaan AI yang Etis

Selama setahun terakhir, sepertinya perhatian yang lebih besar telah diberikan untuk memastikan bahwa AI digunakan dengan cara yang etis. Google dan Microsoft telah baru-baru ini memperingatkan investor bahwa penyalahgunaan algoritma AI atau algoritma AI yang dirancang dengan buruk dapat menimbulkan risiko etis dan hukum. Sementara itu, negara bagian California baru-baru ini memutuskan untuk mengesahkan undang-undang yang melarang penggunaan teknologi pengenalan wajah oleh lembaga penegak hukum California.

Baru-baru ini, rintisan seperti Arthur telah berusaha untuk merancang alat yang akan membantu insinyur AI untuk mengukur dan mengkualifikasi kinerja model pembelajaran mesin mereka. Seperti yang dilaporkan oleh Wired, Arthur berusaha untuk memberikan pengembang AI sebuah toolkit yang akan membuatnya lebih mudah bagi mereka untuk menemukan masalah saat merancang aplikasi keuangan, seperti mengungkapkan bias dalam keputusan investasi atau pemberian pinjaman.

Upaya Arthur ditujukan untuk mengatasi “masalah black box” AI. Masalah black box dalam AI menjelaskan bagaimana sistem pembelajaran mesin memetakan fitur ke perilaku tanpa mengungkapkan alasan mengapa perilaku tersebut dipilih/bagaimana fitur tersebut diinterpretasikan. Dengan kata lain, dalam sistem black box, implementasi algoritma yang tepat tidak transparan.

Sistem pembelajaran mesin bekerja dengan mengekstrak pola dari data input dan melakukan penalaran tentang pola tersebut. Hal ini dilakukan dengan memiliki komputer menulis kode sendiri dengan memanipulasi fungsi matematika tertentu. Untuk mengatasi masalah ini, peneliti dan insinyur memerlukan alat yang membuat pengamatan dan analisis perilaku perangkat lunak pembelajaran mesin lebih mudah. Rintisan seperti Arthur mengakui kesulitan dalam memecahkan masalah ini dan tidak mengklaim memiliki solusi optimal, tetapi mereka berharap untuk membuat kemajuan dalam area ini dan membuat membuka black box sedikit lebih mudah. Diharapkan bahwa jika sistem AI dapat dianalisis dengan lebih mudah, maka akan lebih mudah untuk memperbaiki masalah seperti bias.

Perusahaan besar seperti Facebook sudah memiliki beberapa alat untuk menganalisis inner workings dari sistem pembelajaran mesin. Misalnya, Facebook memiliki alat yang disebut Fairness Flow yang dimaksudkan untuk memastikan bahwa iklan yang merekomendasikan pekerjaan kepada orang-orang menargetkan orang-orang dari berbagai latar belakang. Namun, kemungkinan besar tim AI besar tidak akan ingin menghabiskan waktu untuk membuat alat seperti itu, dan oleh karena itu, ada peluang bisnis bagi perusahaan yang ingin membuat alat pemantauan untuk digunakan oleh perusahaan AI.

Arthur fokus pada membuat alat yang memungkinkan perusahaan untuk lebih baik memelihara dan memantau sistem AI setelah sistem tersebut telah diterapkan. Alat Arthur dimaksudkan untuk membiarkan perusahaan melihat bagaimana kinerja sistem mereka berubah seiring waktu, yang secara teoretis akan memungkinkan perusahaan untuk mendeteksi manifestasi potensial dari bias. Jika perangkat lunak rekomendasi pinjaman perusahaan mulai mengecualikan kelompok tertentu pelanggan, bendera dapat diatur untuk menunjukkan bahwa sistem memerlukan tinjauan untuk memastikan bahwa tidak diskriminatif terhadap pelanggan berdasarkan atribut sensitif seperti ras atau jenis kelamin.

Namun, Arthur bukanlah satu-satunya perusahaan yang membuat alat yang memungkinkan perusahaan AI untuk meninjau kinerja algoritma mereka. Banyak rintisan yang berinvestasi dalam pembuatan alat untuk melawan bias dan memastikan bahwa algoritma AI digunakan dengan cara yang etis. Weights & Biases adalah rintisan lain yang membuat alat untuk membantu insinyur pembelajaran mesin menganalisis potensi masalah dengan jaringan mereka. Toyota telah menggunakan alat yang dibuat oleh Weights & Biases untuk memantau perangkat pembelajaran mesin mereka saat mereka dilatih. Sementara itu, rintisan Fiddler bekerja untuk membuat set alat pemantauan AI yang berbeda. IBM bahkan telah membuat layanan pemantauan sendiri yang disebut OpenScale.

Liz O’Sullivan, salah satu co-pencipta Arthur, menjelaskan bahwa minat dalam membuat alat untuk membantu memecahkan Masalah Black Box didorong oleh kesadaran yang meningkat tentang kekuatan AI.

“Orang mulai menyadari betapa kuatnya sistem ini, dan bahwa mereka perlu memanfaatkan keuntungan dengan cara yang bertanggung jawab,” O’Sullivan mengatakan.