Стартапы создают инструменты ИИ для обнаружения электронного харассмента

С тех пор, как движение Me Too приобрело известность в конце 2017 года, все больше внимания уделяется инцидентам сексуального харассмента, включая харассмент на рабочем месте и харассмент через электронную почту или мгновенные сообщения.

Как сообщает The Guardian, исследователи и инженеры ИИ создают инструменты для обнаружения харассмента через текстовые сообщения, которые называются MeTooBots. MeTooBots внедряются компаниями по всему миру, чтобы пометить потенциально вредные и харассментные сообщения. Одним из примеров является бот, созданный компанией Nex AI, который в настоящее время используется около 50 различными компаниями. Бот использует алгоритм, который анализирует документы компании, чат и электронные письма и сравнивает их с обучающими данными о буллинге или харассменте. Сообщения, которые могут быть сочтены потенциально харассментными или вредными, могут быть отправлены менеджеру по персоналу для рассмотрения, хотя Nex AI не раскрыла конкретные термины, которые бот ищет в сообщениях, которые он анализирует.

Другие стартапы также создали инструменты для обнаружения харассмента на основе ИИ. Стартап Spot владеет чат-ботом, который позволяет сотрудникам анонимно сообщать о случаях сексуального харассмента. Бот задает вопросы и дает советы, чтобы собрать больше информации и провести расследование инцидента. Spot хочет помочь командам по персоналу решать проблемы харассмента чувствительным образом, сохраняя при этом анонимность.

По сообщению The Guardian, профессор Брайан Субирана, профессор ИИ в MIT и Гарварде, объяснил, что попытки использовать ИИ для обнаружения харассмента имеют свои ограничения. Харассмент может быть очень тонким и трудным для обнаружения, часто проявляясь только как закономерность, которая выявляется при анализе недель данных. Боты также не могут, пока, выходить за рамки обнаружения определенных триггерных слов и анализа более широких межличностных или культурных динамик, которые могут быть потенциально актуальны. Несмотря на сложности обнаружения харассмента, Субирана считает, что боты могут сыграть роль в борьбе с онлайн-харассментом. Субирана видит возможность использования ботов для обучения людей обнаруживать харассмент, когда они его видят, создавая базу данных потенциально проблемных сообщений. Субирана также заявил, что может быть эффект плацебо, который делает людей менее склонными к харассменту своих коллег, даже если они подозревают, что их сообщения могут быть проверены, даже если они не проверяются.

Хотя Субирана считает, что боты имеют потенциальные применения в борьбе с харассментом, Субирана также утверждал, что конфиденциальность данных и приватность являются серьезной проблемой. Субирана заявляет, что такая технология может потенциально создать атмосферу недоверия и подозрений, если она будет неправильно использована. Сэм Сметерс, генеральный директор женской правозащитной организации Fawcett Society, также выразил обеспокоенность по поводу того, как боты могут быть неправильно использованы. Сметерс заявил:

“Мы хотели бы внимательно изучить, как технология разрабатывается, кто стоит за ней, и является ли подход, принятый в ней, информированным о культуре рабочего места, которая стремится предотвратить харассмент и содействовать равенству, или это просто еще один способ контролировать сотрудников.”

Методы использования ботов для обнаружения харассмента и защиты анонимности и приватности должны быть разработаны разработчиками ботов, компаниями и регулирующими органами. Некоторые возможные методы использования прогностической силы ботов и ИИ, сохраняя при этом приватность, включают сохранение анонимности сообщений. Например, бот может генерировать отчеты, которые включают только наличие потенциально вредного языка и количество раз, когда язык может быть использован. Отдел по персоналу может затем получить представление о том, снижается ли использование токсичного языка после семинаров по повышению осведомленности или, наоборот, определить, следует ли им быть настороже в отношении увеличения харассмента.

Несмотря на разногласия по поводу подходящего использования алгоритмов машинного обучения и ботов для обнаружения харассмента, обе стороны, кажется, согласны с тем, что окончательное решение о вмешательстве в случаях харассмента должно быть принято человеком, и что боты должны только предупреждать людей о совпадающих закономерностях, а не заявлять окончательно, что что-то является случаем харассмента.