Стартапи створюють інструменти штучного інтелекту для виявлення електронної знущання

З моменту, коли рух Me Too набув популярності у кінці 2017 року, все більше уваги приділяється інцидентам сексуального знущання, включаючи знущання на робочому місці та знущання через електронну пошту або миттєві повідомлення.

Як повідомляє The Guardian, дослідники та інженери штучного інтелекту створили інструменти для виявлення знущання через текстові повідомлення, яких назвали MeTooBots. MeTooBots реалізуються компаніями по всьому світу для відзначення потенційно шкідливих та знущальних повідомлень. Одним із прикладів є бот, створений компанією Nex AI, який зараз використовується близько 50 різними компаніями. Бот використовує алгоритм, який аналізує документи компанії, чат та електронні листи та порівнює їх зі своїми навчальними даними про знущання чи булінг. Повідомлення, які вважаються потенційно знущальними або шкідливими, можуть бути надіслані менеджеру з персоналу для розгляду, хоча Nex AI не розкрила конкретних термінів, які бот шукає в повідомленнях, які він аналізує.

Інші стартапи також створили інструменти виявлення знущання на основі штучного інтелекту. Стартап Spot володіє чат-ботом, який дозволяє працівникам анонімно повідомляти про випадки сексуального знущання. Бот задає питання та надає поради для збору додаткової інформації та проведення розслідування інциденту. Spot хоче допомогти командам з персоналу займатися питаннями знущання чутливим чином, зберігаючи при цьому анонімність.

За даними The Guardian, професор Браян Субірана, професор штучного інтелекту в MIT і Гарварді, пояснив, що спроби використовувати штучний інтелект для виявлення знущання мають свої обмеження. Знущання може бути дуже тонким і важко виявити, часто проявляючись лише як закономірність, яка відкривається при аналізі тижнів даних. Боти також не можуть, на даний момент, вийти за рамки виявлення певних ключових слів і аналізу ширших міжособистісних чи культурних динамік, які можуть бути в гри. Навіть незважаючи на складності виявлення знущання, Субірана вважає, що боти можуть відігравати роль у боротьбі з онлайн-знущанням. Субірана бачить, як боти можуть використовуватися для навчання людей виявляти знущання, коли вони його бачать, створюючи базу даних потенційно проблемних повідомлень. Субірана також заявив, що може бути плацебо-ефект, який робить людей менш схильними до знущання над колегами, навіть якщо вони підозрюють, що їхні повідомлення можуть бути розглянуті, навіть якщо вони не будуть.

Хоча Субірана вважає, що боти мають свій потенціал у боротьбі зі знущанням, Субірана також стверджував, що конфіденційність даних і приватність є великою проблемою. Субірана заявляє, що така технологія може потенційно створити атмосферу недовіри та підозріливості, якщо її неправильно використовувати. Сем Сметерс, виконавчий директор організації з прав жінок Fawcett Society, також висловив занепокоєння щодо того, як боти можуть бути неправильно використані. Сметерс заявив:

“Ми хотіли б ретельно розглянути, як розробляється технологія, хто стоїть за нею, і чи підходи, які приймаються, ґрунтуються на культурі робочого місця, яка прагне запобігти знущанню та сприяти рівності, чи це просто ще один спосіб контролювати працівників.”

Методи використання ботів для виявлення знущання та захисту анонімності та приватності повинні бути розроблені розробниками ботів, компаніями та регуляторами. Одним із можливих методів використання передбачувальної сили ботів та штучного інтелекту при збереженні приватності є збереження анонімності спілкування. Наприклад, бот може генерувати звіти, які містять лише присутність потенційно шкідливої мови та кількість випадків, коли з’являється можливо знущальна мова. Команда з персоналу може тоді зрозуміти, чи зменшується використання токсичної мови після семінарів зі zvýщення обізнаності, чи навпаки, чи вони повинні бути насторожені щодо збільшення знущання.

Незважаючи на розбіжності щодо відповідного використання алгоритмів машинного навчання та ботів для виявлення знущання, обидві сторони, здається, погоджуються, що остаточне рішення про втручання у випадки знущання повинно бути прийнято людиною, а боти повинні лише повідомляти про виявлені закономірності, а не стверджувати, що щось є випадком знущання.