Nora Petrova, Insinyur Pembelajaran Mesin & Konsultan AI di Prolific – Seri Wawancara

Nora Petrova, adalah Insinyur Pembelajaran Mesin & Konsultan AI di Prolific. Prolific didirikan pada tahun 2014 dan sudah memiliki pelanggan seperti Google (GOOGL ), Universitas Stanford, Universitas Oxford, King’s College London, dan Komisi Eropa, yang menggunakan jaringan partisipan untuk menguji produk baru, melatih sistem AI di bidang seperti pelacakan mata, dan menentukan apakah aplikasi AI yang berorientasi pada manusia bekerja sesuai dengan yang diinginkan oleh pembuatnya.

Apakah Anda bisa berbagi informasi tentang latar belakang Anda di Prolific dan karir hingga saat ini? Apa yang membuat Anda tertarik dengan AI?

Peran saya di Prolific terbagi antara menjadi penasihat tentang penggunaan AI dan peluang, serta menjadi Insinyur Pembelajaran Mesin yang lebih hands-on. Saya memulai karir saya di bidang Teknik Perangkat Lunak dan secara bertahap beralih ke Pembelajaran Mesin. Saya telah menghabiskan sebagian besar 5 tahun terakhir untuk fokus pada kasus penggunaan NLP dan masalah.

Apa yang membuat saya tertarik dengan AI awalnya adalah kemampuan untuk belajar dari data dan kaitannya dengan cara kita, sebagai manusia, belajar dan bagaimana otak kita terstruktur. Saya pikir Pembelajaran Mesin dan Neurosains dapat saling melengkapi dan membantu memperdalam pemahaman kita tentang bagaimana membangun sistem AI yang mampu menavigasi dunia, menampilkan kreativitas, dan menambah nilai bagi masyarakat.

Apakah ada beberapa masalah bias AI yang Anda ketahui secara pribadi?

Bias inheren dalam data yang kita berikan kepada model AI dan menghilangkannya sepenuhnya sangat sulit. Namun, sangat penting bahwa kita menyadari bias yang ada dalam data dan menemukan cara untuk mengurangi bias yang berbahaya sebelum kita mempercayakan model dengan tugas penting dalam masyarakat. Masalah terbesar yang kita hadapi adalah model yang memperkuat stereotip berbahaya, prasangka sistemik, dan ketidakadilan dalam masyarakat. Kita harus menyadari bagaimana model AI ini akan digunakan dan pengaruhnya terhadap penggunanya, serta memastikan bahwa mereka aman sebelum disetujui untuk digunakan dalam kasus yang sensitif.

Beberapa area yang menonjol di mana model AI telah menunjukkan bias berbahaya termasuk diskriminasi terhadap kelompok yang kurang terwakili dalam penerimaan sekolah dan universitas, serta stereotip gender yang negatif yang mempengaruhi rekrutmen wanita. Bukan hanya itu, algoritma keadilan kriminal ditemukan telah menandai terdakwa Afrika-Amerika sebagai “berisiko tinggi” hampir dua kali lipat dari yang menandai terdakwa kulit putih di AS, sementara teknologi pengenalan wajah masih menderita tingkat kesalahan yang tinggi untuk minoritas karena kurangnya data pelatihan yang representatif.

Contoh di atas hanya mencakup sebagian kecil dari bias yang ditunjukkan oleh model AI, dan kita dapat memprediksi masalah yang lebih besar akan muncul di masa depan jika kita tidak fokus pada mengurangi bias sekarang. Penting untuk diingat bahwa model AI belajar dari data yang mengandung bias karena pengambilan keputusan manusia yang dipengaruhi oleh bias yang tidak terkendali dan tidak disadari. Dalam banyak kasus, mengandalkan keputusan manusia mungkin tidak menghilangkan bias. Menghilangkan bias secara nyata akan melibatkan memahami bagaimana bias hadir dalam data yang kita gunakan untuk melatih model, mengisolasi faktor-faktor yang menyumbang pada prediksi yang bias, dan secara kolektif memutuskan apa yang kita ingin dasarkan keputusan penting. Mengembangkan serangkaian standar sehingga kita dapat mengevaluasi model untuk keamanan sebelum mereka digunakan untuk kasus yang sensitif akan menjadi langkah maju yang penting.

Halusinasi AI adalah masalah besar dengan jenis AI generatif apa pun. Apakah Anda bisa membahas bagaimana pelatihan human-in-the-loop (HITL) dapat mengurangi masalah ini?

Halusinasi dalam model AI adalah bermasalah dalam kasus penggunaan tertentu dari AI generatif, tetapi penting untuk dicatat bahwa mereka tidak menjadi masalah dalam diri mereka sendiri. Dalam penggunaan kreatif tertentu dari AI generatif, halusinasi diterima dan menyumbang pada respons yang lebih kreatif dan menarik.

Mereka dapat menjadi bermasalah dalam kasus di mana ketergantungan pada informasi faktual sangat tinggi. Misalnya, dalam perawatan kesehatan, di mana pengambilan keputusan yang kuat sangat penting, memberikan profesional kesehatan dengan informasi faktual yang dapat diandalkan sangat penting.

HITL mengacu pada sistem yang memungkinkan manusia untuk memberikan umpan balik langsung kepada model untuk prediksi yang di bawah tingkat kepercayaan tertentu. Dalam konteks halusinasi, HITL dapat digunakan untuk membantu model mempelajari tingkat kepercayaan yang harus mereka miliki untuk berbagai kasus sebelum mengeluarkan respons. Ambang batas ini akan bervariasi tergantung pada kasus penggunaan dan mengajar model perbedaan dalam ketelitian yang diperlukan untuk menjawab pertanyaan dari berbagai kasus penggunaan akan menjadi langkah penting untuk mengurangi halusinasi yang bermasalah. Misalnya, dalam kasus hukum, manusia dapat menunjukkan kepada model AI bahwa pemeriksaan fakta adalah langkah yang diperlukan ketika menjawab pertanyaan berdasarkan dokumen hukum yang kompleks dengan banyak klausa dan kondisi.

Bagaimana pekerja AI seperti pengannotator data membantu mengurangi masalah bias potensial?

Pekerja AI dapat pertama-tama membantu mengidentifikasi bias yang ada dalam data. Setelah bias diidentifikasi, menjadi lebih mudah untuk mengembangkan strategi mitigasi. Pengannotator data juga dapat membantu dengan mengembangkan cara untuk mengurangi bias. Misalnya, untuk tugas NLP, mereka dapat membantu dengan menyediakan alternatif cara untuk menyusun teks yang bermasalah sehingga bias yang ada dalam bahasa dapat dikurangi. Selain itu, keberagaman dalam pekerja AI dapat membantu mengurangi masalah bias dalam pelabelan.

Bagaimana Anda memastikan bahwa pekerja AI tidak secara tidak sengaja memberikan bias manusia mereka sendiri ke dalam sistem AI?

Ini tentu saja merupakan masalah yang kompleks yang memerlukan pertimbangan hati-hati. Menghilangkan bias manusia hampir mustahil, dan pekerja AI mungkin secara tidak sengaja memberikan bias mereka sendiri kepada model AI, sehingga kunci untuk mengembangkan proses yang membimbing pekerja menuju praktik terbaik.

Beberapa langkah yang dapat diambil untuk menjaga bias manusia seminimal mungkin termasuk:

• Pelatihan komprehensif pekerja AI tentang bias tidak sadar dan memberikan mereka alat untuk mengidentifikasi dan mengelola bias mereka sendiri selama pelabelan.
• Daftar periksa yang mengingatkan pekerja AI untuk memverifikasi respons mereka sebelum mengirimkannya.
• Mengjalankan penilaian yang memeriksa tingkat pemahaman yang pekerja AI miliki, di mana mereka ditunjukkan contoh respons di berbagai jenis bias, dan diminta untuk memilih respons yang paling tidak bias.

Regulator di seluruh dunia bermaksud untuk mengatur output AI, apa yang menurut Anda regulator salah pahami, dan apa yang mereka lakukan dengan benar?

Penting untuk memulai dengan mengatakan bahwa ini adalah masalah yang sangat sulit yang belum ada yang menemukan solusinya. Masyarakat dan AI akan berkembang dan mempengaruhi satu sama lain dengan cara yang sangat sulit untuk diprediksi. Bagian dari strategi yang efektif untuk menemukan praktik regulasi yang kuat dan berguna adalah memperhatikan apa yang terjadi dalam AI, bagaimana orang-orang meresponsnya, dan apa efeknya terhadap berbagai industri.

Saya pikir hambatan signifikan untuk regulasi AI yang efektif adalah kurangnya pemahaman tentang apa yang dapat dilakukan model AI dan bagaimana mereka bekerja. Ini, pada gilirannya, membuatnya lebih sulit untuk memprediksi akibat yang model ini akan memiliki pada berbagai sektor dan bagian masyarakat. Area lain yang kurang adalah kepemimpinan pemikiran tentang bagaimana mengarahkan model AI ke nilai-nilai manusia dan apa yang terlihat seperti keamanan dalam istilah yang lebih konkrit.

Regulator telah mencari kolaborasi dengan ahli di bidang AI, telah berhati-hati untuk tidak menghambat inovasi dengan aturan yang terlalu ketat seputar AI, dan telah memulai mempertimbangkan konsekuensi AI terhadap penggantian pekerjaan, yang semua sangat penting. Penting untuk berhati-hati karena pemikiran kita tentang regulasi AI menjadi jelas seiring waktu dan melibatkan sebanyak mungkin orang untuk mendekati masalah ini dengan cara yang demokratis.

Bagaimana solusi Prolific dapat membantu perusahaan mengurangi bias AI, dan masalah lain yang kita bahas?

Pengumpulan data untuk proyek AI belum selalu menjadi proses yang dipertimbangkan atau sengaja. Kami sebelumnya telah melihat metode pengikisan, pengalihan, dan lain-lain yang marak. Namun, bagaimana kita melatih AI sangat penting, dan model generasi berikutnya akan perlu dibangun pada data yang dikumpulkan dengan sengaja, berkualitas tinggi, dari orang-orang nyata, dan dari orang-orang yang kita miliki kontak langsung. Inilah tempat Prolific membuat tanda.

Domain lain, seperti polling, penelitian pasar, atau penelitian ilmiah, telah mempelajari hal ini sejak lama. Audiens yang Anda sampel memiliki dampak besar pada hasil yang Anda dapatkan. AI mulai mengejar, dan kita mencapai persimpangan sekarang.

Sekarang adalah waktu untuk memulai memperhatikan menggunakan sampel yang lebih baik dan bekerja dengan kelompok yang lebih representatif untuk pelatihan dan penyempurnaan AI. Keduanya sangat penting untuk mengembangkan model yang aman, tidak bias, dan sejalan.

Prolific dapat membantu menyediakan alat yang tepat bagi perusahaan untuk melakukan eksperimen AI dengan aman dan mengumpulkan data dari partisipan di mana bias diperiksa dan dimitrasi sepanjang jalan. Kami dapat membantu menyediakan panduan tentang praktik terbaik seputar pengumpulan data, seleksi, kompensasi, dan perlakuan yang adil terhadap partisipan.

Apakah Anda memiliki pandangan tentang transparansi AI, apakah pengguna harus dapat melihat data yang digunakan untuk melatih algoritma AI?

Saya pikir ada pro dan kontra untuk transparansi, dan keseimbangan yang baik belum ditemukan. Perusahaan menahan informasi tentang data yang mereka gunakan untuk melatih model AI mereka karena takut akan tuntutan hukum. Yang lain telah bekerja untuk membuat model AI mereka tersedia secara publik dan telah merilis semua informasi tentang data yang mereka gunakan. Transparansi penuh membuka banyak peluang untuk mengeksploitasi kerentanan model ini. Kerahasiaan penuh tidak membantu membangun kepercayaan dan melibatkan masyarakat dalam membangun AI yang aman. Titik tengah yang baik akan menyediakan transparansi yang cukup untuk membangun kepercayaan bahwa model AI telah dilatih pada data yang berkualitas baik dan relevan yang kita setujui. Kita perlu memperhatikan bagaimana AI mempengaruhi berbagai industri dan membuka dialog dengan pihak yang terkena dampak dan memastikan bahwa kita mengembangkan praktik yang bekerja untuk semua orang.

Saya juga pikir penting untuk mempertimbangkan apa yang pengguna anggap memuaskan dalam hal keterjelasan. Jika mereka ingin memahami mengapa model menghasilkan respons tertentu, memberikan mereka data mentah yang modelnya dilatih tidak akan membantu menjawab pertanyaan mereka. Oleh karena itu, membangun alat keterjelasan dan interpretasi yang baik sangat penting.

Penelitian keselarasan AI bertujuan untuk mengarahkan sistem AI menuju tujuan, preferensi, atau prinsip etika manusia. Apakah Anda bisa membahas bagaimana pekerja AI dilatih dan bagaimana ini digunakan untuk memastikan AI selaras mungkin?

Ini adalah area penelitian yang aktif, dan belum ada kesepakatan tentang strategi yang harus kita gunakan untuk mengarahkan model AI ke nilai-nilai manusia atau bahkan set nilai yang harus kita tuju.

Pekerja AI biasanya diminta untuk secara otentik mewakili preferensi mereka dan menjawab pertanyaan tentang preferensi mereka dengan jujur, serta mematuhi prinsip-prinsip seputar keamanan, tidak adanya bias, keamanan, dan kemanfaatan.

Mengenai keselarasan dengan tujuan, prinsip etika, atau nilai, ada beberapa pendekatan yang menjanjikan. Salah satu contoh yang menonjol adalah pekerjaan oleh The Meaning Alignment Institute pada Democratic Fine-Tuning. Ada posting yang sangat baik yang memperkenalkan ide di sini.

Terima kasih atas wawancara yang luar biasa dan untuk berbagi pandangan Anda tentang bias AI, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Prolific.