Startups criando ferramentas de IA para detectar assédio por e-mail

Desde que o movimento Me Too ganhou destaque no final de 2017, cada vez mais atenção é dada a incidentes de assédio sexual, incluindo assédio no local de trabalho e assédio por e-mail ou mensagens instantâneas.

Conforme relatado pelo The Guardian, pesquisadores e engenheiros de IA criaram ferramentas para detectar assédio por meio de comunicações de texto, apelidadas de MeTooBots. Os MeTooBots estão sendo implementados por empresas em todo o mundo para sinalizar comunicações potencialmente prejudiciais e de assédio. Um exemplo disso é um bot criado pela empresa Nex AI, que atualmente é utilizado por cerca de 50 empresas diferentes. O bot utiliza um algoritmo que examina documentos da empresa, bate-papo e e-mails e os compara com seus dados de treinamento de mensagens de bullying ou assédio. As mensagens consideradas potencialmente assediadoras ou prejudiciais podem ser enviadas a um gerente de RH para revisão, embora o Nex AI não tenha revelado os termos específicos que o bot procura nas comunicações que analisa.

Outras startups também criaram ferramentas de detecção de assédio com inteligência artificial. A startup de IA Spot possui um chatbot capaz de permitir que os funcionários denunciem anonimamente alegações de assédio sexual. O bot fará perguntas e dará conselhos para coletar mais detalhes e aprofundar a investigação sobre o incidente. A Spot quer ajudar as equipes de RH a lidar com questões de assédio de maneira sensível e, ao mesmo tempo, garantir que o anonimato seja preservado.

De acordo com o The Guardian, o professor Brian Subirana, professor de IA do MIT e de Harvard, explicou que as tentativas de usar IA para detectar assédio têm suas limitações. O assédio pode ser muito sutil e difícil de detectar, frequentemente se manifestando apenas como um padrão que se revela ao examinar semanas de dados. Os bots também não podem, até o momento, ir além da detecção de certas palavras-chave e analisar a dinâmica interpessoal ou cultural mais ampla que poderia estar em jogo. Apesar das complexidades da detecção do assédio, Subirana acredita que os bots podem desempenhar um papel importante no combate ao assédio online. Subirana pode ver os bots sendo usados ​​para treinar pessoas para detectar assédio quando o virem, criando um banco de dados de mensagens potencialmente problemáticas. Subirana também afirmou que pode haver um efeito placebo que torna as pessoas menos propensas a assediar seus colegas, mesmo que suspeitem que suas mensagens possam estar sendo examinadas, mesmo que não estejam.

Embora Subirana acredite que os bots têm seu uso potencial no combate ao assédio, Subirana também argumentou que a confidencialidade dos dados e a privacidade são uma grande preocupação. Subirana afirma que tal tecnologia poderia criar uma atmosfera de desconfiança e suspeita se mal utilizada. Sam Smethers, o executivo-chefe da ONG de direitos das mulheres, a Fawcett Society, também expressou preocupação sobre como os bots podem ser mal utilizados. Smethers declarou:

“Gostaríamos de examinar cuidadosamente como a tecnologia está sendo desenvolvida, quem está por trás dela e se a abordagem adotada é informada por uma cultura no local de trabalho que busca prevenir o assédio e promover a igualdade, ou se é de fato apenas outra maneira controlar seus funcionários”.

Métodos de uso de bots para detectar assédio e ainda proteger o anonimato e a privacidade terão que ser trabalhados entre desenvolvedores de bots, empresas e reguladores. Alguns métodos possíveis de utilizar o poder preditivo de bots e IA e, ao mesmo tempo, proteger a privacidade incluem manter as comunicações anônimas. Por exemplo, relatórios podem ser gerados pelo bot que incluem apenas a presença de linguagem potencialmente prejudicial e contam com que frequência a linguagem possivelmente ofensiva aparece. O RH pode então ter uma ideia se o uso de linguagem tóxica está diminuindo após os seminários de conscientização ou, inversamente, pode determinar se eles devem ficar atentos ao aumento do assédio.

Apesar da discordância sobre o uso apropriado de algoritmos de aprendizado de máquina e bots na detecção de assédio, ambos os lados parecem concordar que a decisão final de intervir em casos de assédio deve ser tomada por um ser humano, e que os bots só devem alertar as pessoas sobre padrões correspondentes, em vez de do que dizer definitivamente que algo foi um caso de assédio.