Rintisan Membuat Alat AI untuk Mendeteksi Pelecehan Email

Sejak gerakan Me Too mendapat perhatian pada akhir 2017, perhatian yang lebih besar diberikan pada insiden pelecehan seksual, termasuk pelecehan di tempat kerja dan pelecehan melalui email atau pesan instan.

Seperti yang dilaporkan oleh The Guardian, peneliti dan insinyur AI telah membuat alat untuk mendeteksi pelecehan melalui komunikasi teks, yang disebut MeTooBots. MeTooBots sedang diimplementasikan oleh perusahaan di seluruh dunia untuk menandai komunikasi yang berpotensi berbahaya dan melecehkan. Salah satu contoh adalah bot yang dibuat oleh perusahaan Nex AI, yang saat ini digunakan oleh sekitar 50 perusahaan berbeda. Bot tersebut menggunakan algoritma yang memeriksa dokumen perusahaan, obrolan, dan email, dan membandingkannya dengan data pelatihan pesan yang melecehkan atau menindas. Pesan yang dianggap berpotensi melecehkan atau berbahaya dapat dikirim ke manajer HR untuk ditinjau, meskipun Nex AI belum mengungkapkan istilah spesifik yang dicari bot tersebut dalam komunikasi yang dianalisis.

Perusahaan rintisan lainnya juga telah membuat alat deteksi pelecehan yang didukung AI. Perusahaan AI Spot memiliki chatbot yang dapat memungkinkan karyawan untuk melaporkan tuduhan pelecehan seksual secara anonim. Bot tersebut akan mengajukan pertanyaan dan memberikan saran untuk mengumpulkan lebih banyak detail dan memajukan penyelidikan terhadap insiden tersebut. Spot ingin membantu tim HR menangani masalah pelecehan dengan cara yang sensitif sambil tetap menjaga anonimitas.

Menurut The Guardian, Prof. Brian Subirana, profesor AI MIT dan Harvard, menjelaskan bahwa upaya untuk menggunakan AI untuk mendeteksi pelecehan memiliki keterbatasan. Pelecehan dapat sangat halus dan sulit dideteksi, seringkali muncul hanya sebagai pola yang terungkap ketika menganalisis data selama beberapa minggu. Bot juga belum dapat menganalisis dinamika interpersonal atau budaya yang lebih luas yang mungkin terlibat. Meskipun kompleksitas mendeteksi pelecehan, Subirana percaya bahwa bot dapat memainkan peran dalam melawan pelecehan online. Subirana dapat melihat bot digunakan untuk melatih orang untuk mendeteksi pelecehan ketika mereka melihatnya, membuat database pesan yang berpotensi bermasalah. Subirana juga menyatakan bahwa ada efek placebo yang dapat membuat orang kurang mungkin melecehkan rekan kerja mereka, bahkan jika mereka curiga pesan mereka sedang diawasi, bahkan jika mereka tidak.

Meskipun Subirana percaya bahwa bot memiliki potensi penggunaan dalam melawan pelecehan, Subirana juga berargumen bahwa kerahasiaan data dan privasi adalah masalah besar. Subirana menyatakan bahwa teknologi tersebut dapat menciptakan atmosfer ketidakpercayaan dan kecurigaan jika disalahgunakan. Sam Smethers, direktur eksekutif organisasi hak-hak perempuan Fawcett Society, juga mengungkapkan kekhawatiran tentang bagaimana bot dapat disalahgunakan. Smethers menyatakan:

“Kami ingin memeriksa dengan hati-hati bagaimana teknologi ini dikembangkan, siapa yang berada di baliknya, dan apakah pendekatan yang diambil dipandu oleh budaya tempat kerja yang berusaha mencegah pelecehan dan mempromosikan kesetaraan, atau apakah itu hanya cara lain untuk mengontrol karyawan mereka.”

Cara menggunakan bot untuk mendeteksi pelecehan dan tetap melindungi anonimitas dan privasi harus dikerjakan oleh pengembang bot, perusahaan, dan regulator. Beberapa metode yang mungkin untuk menggunakan kekuatan prediktif bot dan AI sambil tetap menjaga privasi termasuk menjaga komunikasi anonim. Misalnya, laporan dapat dibuat oleh bot yang hanya mencakup kehadiran bahasa yang berpotensi berbahaya dan hitungan seberapa sering bahasa yang mungkin melecehkan muncul. HR kemudian dapat memahami apakah penggunaan bahasa beracun menurun setelah seminar kesadaran, atau sebaliknya dapat menentukan apakah mereka harus waspada terhadap peningkatan pelecehan.

Meskipun ada perselisihan tentang penggunaan algoritma pembelajaran mesin dan bot dalam mendeteksi pelecehan, kedua belah pihak tampaknya setuju bahwa keputusan akhir untuk campur tangan dalam kasus pelecehan harus diambil oleh manusia, dan bahwa bot hanya boleh memberi tahu orang tentang pola yang cocok daripada mengatakan dengan pasti bahwa sesuatu adalah contoh pelecehan.