Perusahaan Rintisan Membuat Alat untuk Memantau AI dan Meningkatkan Penggunaan AI yang Etis

Selama setahun terakhir, sepertinya perhatian lebih banyak diberikan untuk memastikan bahwa AI digunakan dengan cara yang etis. Google (GOOGL ) dan Microsoft (MSFT ) telah baru-baru ini memperingatkan investor bahwa penyalahgunaan algoritma AI atau algoritma AI yang dirancang dengan buruk dapat menimbulkan risiko etis dan hukum. Sementara itu, negara bagian California baru-baru ini memutuskan untuk mengesahkan undang-undang yang melarang penggunaan teknologi pengenalan wajah oleh lembaga penegak hukum di California.

Baru-baru ini, perusahaan rintisan seperti Arthur telah berusaha merancang alat yang akan membantu insinyur AI untuk mengukur dan mengkualifikasi kinerja model pembelajaran mesin mereka. Seperti yang dilaporkan oleh Wired, Arthur berusaha memberikan pengembang AI sebuah toolkit yang akan membuatnya lebih mudah untuk menemukan masalah saat merancang aplikasi keuangan, seperti mengungkap bias dalam keputusan investasi atau pemberian pinjaman.

Upaya Arthur bertujuan untuk mengatasi masalah “black box” AI. Masalah black box AI menjelaskan bagaimana sistem pembelajaran mesin memetakan fitur ke perilaku tanpa mengungkapkan alasan mengapa perilaku tersebut dipilih/bagaimana fitur tersebut diinterpretasikan. Dengan kata lain, dalam sistem black box, implementasi algoritma yang tepat tidak transparan.

Sistem pembelajaran mesin bekerja dengan mengekstrak pola dari data input dan melakukan penalaran tentang pola tersebut. Hal ini dilakukan dengan memiliki komputer menulis kode sendiri dengan memanipulasi fungsi matematika tertentu. Untuk mengatasi masalah ini, peneliti dan insinyur memerlukan alat yang membuat pengamatan dan analisis perilaku perangkat lunak pembelajaran mesin lebih mudah. Perusahaan rintisan seperti Arthur mengakui kesulitan dalam memecahkan masalah ini dan tidak mengklaim memiliki solusi optimal, tetapi mereka berharap untuk membuat kemajuan dalam area ini dan membuat membuka black box sedikit lebih mudah. Diharapkan bahwa jika sistem AI dapat dianalisis dengan lebih mudah, maka akan lebih mudah untuk memperbaiki masalah seperti bias.

Perusahaan besar seperti Facebook (META ) sudah memiliki beberapa alat untuk menganalisis inner workings sistem pembelajaran mesin. Misalnya, Facebook memiliki alat yang disebut Fairness Flow yang dimaksudkan untuk memastikan bahwa iklan yang merekomendasikan pekerjaan kepada orang-orang menargetkan orang-orang dari berbagai latar belakang. Namun, kemungkinan besar tim AI besar tidak akan ingin menginvestasikan waktu dalam membuat alat seperti itu, dan oleh karena itu, ada peluang bisnis bagi perusahaan yang ingin membuat alat pemantauan untuk digunakan oleh perusahaan AI.

Arthur fokus pada membuat alat yang memungkinkan perusahaan untuk lebih baik memelihara dan memantau sistem AI setelah sistem tersebut telah diterapkan. Alat Arthur dimaksudkan untuk membiarkan perusahaan melihat bagaimana kinerja sistem mereka berubah seiring waktu, yang secara teoretis akan memungkinkan perusahaan untuk menemukan manifestasi potensial bias. Jika perangkat lunak rekomendasi pinjaman perusahaan mulai mengecualikan kelompok tertentu pelanggan, sebuah bendera dapat diatur untuk menunjukkan bahwa sistem perlu ditinjau untuk memastikan bahwa sistem tidak diskriminatif terhadap pelanggan berdasarkan atribut sensitif seperti ras atau jenis kelamin.

Namun, Arthur bukanlah satu-satunya perusahaan yang membuat alat yang memungkinkan perusahaan AI untuk meninjau kinerja algoritma mereka. Banyak perusahaan rintisan yang berinvestasi dalam pembuatan alat untuk melawan bias dan memastikan bahwa algoritma AI digunakan dengan etis. Weights & Biases adalah perusahaan rintisan lain yang membuat alat untuk membantu insinyur pembelajaran mesin menganalisis masalah potensial dengan jaringan mereka. Toyota telah menggunakan alat yang dibuat oleh Weights & Biases untuk memantau perangkat pembelajaran mesin mereka saat mereka dilatih. Sementara itu, perusahaan rintisan Fiddler bekerja untuk membuat set alat pemantauan AI yang berbeda. IBM bahkan telah membuat layanan pemantauan sendiri yang disebut OpenScale.

Liz O’Sullivan, salah satu co-creator Arthur, menjelaskan bahwa minat dalam membuat alat untuk membantu memecahkan masalah Black Box (BBOX.BO ) didorong oleh kesadaran yang semakin meningkat tentang kekuatan AI.

“Orang-orang mulai menyadari betapa kuatnya sistem ini, dan bahwa mereka perlu memanfaatkan keuntungan dengan cara yang bertanggung jawab,” kata O’Sullivan.