Rintisan Membuat Alat AI untuk Mendeteksi Pelecehan Email

Sejak gerakan Me Too mendapatkan perhatian pada akhir 2017, perhatian yang lebih besar diberikan pada insiden pelecehan seksual, termasuk pelecehan di tempat kerja dan pelecehan melalui email atau pesan instan.

Seperti dilaporkan oleh The Guardian, peneliti dan insinyur AI telah membuat alat untuk mendeteksi pelecehan melalui komunikasi teks, yang disebut MeTooBots. MeTooBots sedang diimplementasikan oleh perusahaan di seluruh dunia untuk mengidentifikasi komunikasi yang berpotensi berbahaya dan melecehkan. Salah satu contoh adalah bot yang dibuat oleh perusahaan Nex AI, yang saat ini digunakan oleh sekitar 50 perusahaan yang berbeda. Bot ini menggunakan algoritma yang memeriksa dokumen perusahaan, obrolan, dan email, dan membandingkannya dengan data pelatihan tentang pesan yang melecehkan atau menindas. Pesan yang dianggap berpotensi melecehkan atau berbahaya dapat dikirim ke manajer HR untuk ditinjau, meskipun Nex AI belum mengungkapkan istilah spesifik yang dicari bot tersebut dalam komunikasi yang dianalisis.

Rintisan lainnya juga telah membuat alat deteksi pelecehan yang ditenagai AI. Rintisan AI Spot memiliki chatbot yang dapat memungkinkan karyawan untuk melaporkan tuduhan pelecehan seksual secara anonim. Bot tersebut akan mengajukan pertanyaan dan memberikan saran untuk mengumpulkan lebih banyak detail dan memajukan penyelidikan tentang insiden tersebut. Spot ingin membantu tim HR menangani masalah pelecehan dengan cara yang sensitif sambil tetap menjaga anonimitas.

Menurut The Guardian, Prof. Brian Subirana, profesor AI MIT dan Harvard, menjelaskan bahwa upaya untuk menggunakan AI untuk mendeteksi pelecehan memiliki keterbatasan. Pelecehan dapat sangat halus dan sulit dideteksi, seringkali hanya muncul sebagai pola yang terungkap ketika menganalisis data selama beberapa minggu. Bot juga belum dapat menganalisis dinamika interpersonal atau budaya yang lebih luas yang mungkin bermain. Meskipun kompleksitas mendeteksi pelecehan, Subirana percaya bahwa bot dapat memainkan peran dalam melawan pelecehan online. Subirana dapat melihat bot digunakan untuk melatih orang untuk mendeteksi pelecehan ketika mereka melihatnya, membuat database pesan yang berpotensi bermasalah. Subirana juga menyatakan bahwa ada efek placebo yang membuat orang kurang mungkin melecehkan rekan kerja mereka bahkan jika mereka curiga bahwa pesan mereka sedang diawasi, bahkan jika mereka tidak.

Sementara Subirana percaya bahwa bot memiliki potensi penggunaan dalam melawan pelecehan, Subirana juga berpendapat bahwa kerahasiaan data dan privasi adalah masalah besar. Subirana menyatakan bahwa teknologi seperti itu dapat menciptakan atmosfer ketidakpercayaan dan kecurigaan jika disalahgunakan. Sam Smethers, direktur eksekutif organisasi NGO hak-hak perempuan Fawcett Society, juga mengungkapkan kekhawatiran tentang bagaimana bot dapat disalahgunakan. Smethers menyatakan:

“Kami ingin melihat dengan hati-hati bagaimana teknologi ini dikembangkan, siapa yang berada di belakangnya, dan apakah pendekatan yang diambil dipandu oleh budaya tempat kerja yang berusaha mencegah pelecehan dan mempromosikan kesetaraan, atau apakah itu hanya cara lain untuk mengontrol karyawan mereka.”

Metode menggunakan bot untuk mendeteksi pelecehan dan tetap melindungi anonimitas dan privasi harus dikerjakan antara pengembang bot, perusahaan, dan regulator. Beberapa metode memungkinkan untuk menggunakan kekuatan prediktif bot dan AI sambil tetap menjaga privasi termasuk menjaga komunikasi anonim. Misalnya, laporan dapat dibuat oleh bot yang hanya mencakup kehadiran bahasa yang berpotensi berbahaya dan hitungan seberapa sering bahasa yang mungkin melecehkan muncul. HR kemudian dapat memahami apakah penggunaan bahasa beracun menurun setelah seminar kesadaran, atau sebaliknya dapat menentukan apakah mereka harus waspada terhadap peningkatan pelecehan.

Meskipun ada perselisihan tentang penggunaan algoritma pembelajaran mesin dan bot dalam mendeteksi pelecehan, kedua belah pihak tampaknya setuju bahwa keputusan akhir untuk campur tangan dalam kasus pelecehan harus dilakukan oleh manusia, dan bahwa bot hanya boleh mengingatkan orang tentang pola yang cocok daripada mengatakan dengan pasti bahwa sesuatu adalah contoh pelecehan.