Стартапы, создающие инструменты ИИ для обнаружения электронной харассмент

С тех пор, как движение Me Too приобрело известность в конце 2017 года, все больше внимания уделяется инцидентам сексуальной харассмент, включая харассмент на рабочем месте и харассмент через электронную почту или мгновенные сообщения.

Как сообщает The Guardian, исследователи и инженеры ИИ создают инструменты для обнаружения харассмента через текстовые сообщения, называемые MeTooBots. MeTooBots внедряются компаниями по всему миру для флагирования потенциально вредных и харассментных сообщений. Одним из примеров является бот, созданный компанией Nex AI, который в настоящее время используется около 50 различными компаниями. Бот использует алгоритм, который анализирует документы компании, чат и электронные письма и сравнивает их с обучающими данными о буллинге или харассментных сообщениях. Сообщения, которые могут быть сочтены потенциально харассментными или вредными, могут быть отправлены менеджеру по персоналу для рассмотрения, хотя Nex AI не раскрыла конкретные термины, которые бот ищет при анализе сообщений.

Другие стартапы также создали инструменты для обнаружения харассмента на основе ИИ. Стартап Spot владеет чат-ботом, который позволяет сотрудникам анонимно сообщать о случаях сексуальной харассмент. Бот задает вопросы и дает советы, чтобы собрать больше информации и провести расследование инцидента. Spot хочет помочь командам по персоналу решать проблемы харассмента деликатным образом, сохраняя при этом анонимность.

По данным The Guardian, профессор Брайан Субирана, профессор ИИ в MIT и Гарварде, объяснил, что попытки использовать ИИ для обнаружения харассмента имеют ограничения. Харассмент может быть очень тонким и трудным для обнаружения, часто проявляясь только как закономерность, которая раскрывается при анализе недель данных. Боты также не могут пока выйти за рамки обнаружения определенных триггерных слов и проанализировать более широкие межличностные или культурные динамики, которые могут быть задействованы. Несмотря на сложности обнаружения харассмента, Субирана считает, что боты могут сыграть роль в борьбе с онлайн-харассментом. Субирана видит возможность использования ботов для обучения людей обнаруживать харассмент, когда они его видят, создавая базу данных потенциально проблемных сообщений. Субирана также заявил, что может быть эффект плацебо, который делает людей менее склонными к харассменту своих коллег, даже если они подозревают, что их сообщения могут быть просмотрены, даже если они не являются таковыми.

Хотя Субирана считает, что боты имеют потенциальные применения в борьбе с харассментом, Субирана также утверждает, что конфиденциальность данных и неприкосновенность частной жизни являются серьезной проблемой. Субирана заявляет, что такая технология может потенциально создать атмосферу недоверия и подозрительности, если она будет неправильно использована. Сэм Сметерс, генеральный директор женской правозащитной организации Fawcett Society, также выразила обеспокоенность по поводу того, как боты могут быть неправильно использованы. Сметерс заявила:

«Мы хотели бы внимательно рассмотреть, как разрабатывается технология, кто стоит за ней и является ли подход, используемый для предотвращения харассмента и содействия равенству на рабочем месте, или это просто еще один способ контролировать сотрудников».

Методы использования ботов для обнаружения харассмента и защиты анонимности и неприкосновенности частной жизни должны быть разработаны разработчиками ботов, компаниями и регулирующими органами. Некоторые возможные методы использования прогностической силы ботов и ИИ, сохраняя при этом неприкосновенность частной жизни, включают сохранение анонимности сообщений. Например, отчеты, сгенерированные ботом, могут включать только наличие потенциально вредного языка и количество случаев, когда появляется возможно харассментный язык. Менеджер по персоналу может затем получить представление о том, снижаются ли случаи токсичного языка после семинаров по повышению осведомленности или, наоборот, следует ли быть настороже в отношении увеличения харассмента.

Несмотря на разногласия по поводу использования алгоритмов машинного обучения и ботов для обнаружения харассмента, обе стороны, кажется, согласны с тем, что окончательное решение о вмешательстве в случае харассмента должно быть принято человеком, и что боты должны только предупреждать людей о совпадающих закономерностях, а не утверждать окончательно, что что-то является случаем харассмента.