Startups Criando Ferramentas de IA Para Detectar Assédio por E-mail

Desde que o movimento Me Too ganhou destaque no final de 2017, mais e mais atenção é dada a incidentes de assédio sexual, incluindo assédio no local de trabalho e assédio por e-mail ou mensagens instantâneas.

Como relatado pelo The Guardian, pesquisadores e engenheiros de IA têm criado ferramentas para detectar assédio por meio de comunicações de texto, apelidados de MeTooBots. MeTooBots estão sendo implementados por empresas em todo o mundo para sinalizar comunicações potencialmente prejudiciais e assediadoras. Um exemplo disso é um bot criado pela empresa Nex AI, que está sendo usado por cerca de 50 empresas diferentes. O bot utiliza um algoritmo que examina documentos da empresa, chat e e-mails e os compara com seus dados de treinamento de mensagens de bullying ou assédio. Mensagens consideradas potencialmente assediadoras ou prejudiciais podem ser enviadas a um gerente de RH para revisão, embora a Nex AI não tenha revelado os termos específicos que o bot procura em comunicações que analisa.

Outras startups também criaram ferramentas de detecção de assédio alimentadas por IA. A startup de IA Spot possui um chatbot que permite que os funcionários relatem anonimamente alegações de assédio sexual. O bot fará perguntas e dará conselhos para coletar mais detalhes e avançar na investigação do incidente. A Spot deseja ajudar as equipes de RH a lidar com questões de assédio de maneira sensível, preservando a anonimidade.

De acordo com o The Guardian, o Prof. Brian Subirana, professor de IA do MIT e Harvard, explicou que as tentativas de usar IA para detectar assédio têm limitações. O assédio pode ser muito sutil e difícil de detectar, frequentemente se manifestando apenas como um padrão que se revela ao examinar semanas de dados. Os bots também não podem, por enquanto, ir além da detecção de certas palavras-chave e analisar a dinâmica interpersonal ou cultural mais ampla que pode estar em jogo. Apesar das complexidades de detectar assédio, Subirana acredita que os bots podem desempenhar um papel na luta contra o assédio online. Subirana pode ver os bots sendo usados para treinar as pessoas a detectar assédio quando o veem, criando um banco de dados de mensagens potencialmente problemáticas. Subirana também afirmou que pode haver um efeito placebo que torna as pessoas menos propensas a assediar seus colegas, mesmo que suspeitem que suas mensagens possam estar sendo examinadas, mesmo que não estejam.

Embora Subirana acredite que os bots tenham usos potenciais na luta contra o assédio, Subirana também argumentou que a confidencialidade dos dados e a privacidade são uma grande preocupação. Subirana afirma que essa tecnologia pode criar uma atmosfera de desconfiança e suspeita se mal utilizada. Sam Smethers, CEO da ONG de direitos das mulheres Fawcett Society, também expressou preocupação sobre como os bots podem ser mal utilizados. Smethers afirmou:

“Gostaríamos de examinar cuidadosamente como a tecnologia está sendo desenvolvida, quem está por trás disso e se a abordagem adotada é informada por uma cultura de trabalho que busca prevenir o assédio e promover a igualdade, ou se é apenas mais uma maneira de controlar os funcionários.”

Os métodos de usar bots para detectar assédio e proteger a anonimidade e a privacidade terão que ser trabalhados entre os desenvolvedores de bots, empresas e reguladores. Alguns métodos possíveis de utilizar o poder preditivo dos bots e da IA, preservando a privacidade, incluem manter as comunicações anônimas. Por exemplo, relatórios podem ser gerados pelo bot que incluem apenas a presença de linguagem potencialmente prejudicial e contagens de quantas vezes a linguagem potencialmente assediadora aparece. O RH pode então ter uma ideia se o uso de linguagem tóxica está diminuindo após seminários de conscientização, ou se, por outro lado, devem estar atentos a um aumento no assédio.

Apesar da discordância sobre os usos apropriados de algoritmos de aprendizado de máquina e bots na detecção de assédio, ambos os lados parecem concordar que a decisão final de intervir em casos de assédio deve ser tomada por um ser humano, e que os bots devem apenas alertar as pessoas sobre padrões correspondentes, em vez de dizer definitivamente que algo foi um caso de assédio.