Startups que crean herramientas de inteligencia artificial para detectar el acoso por correo electrónico

Desde que el movimiento Me Too saltó a la fama a fines de 2017, se presta cada vez más atención a los incidentes de acoso sexual, incluido el acoso en el lugar de trabajo y el acoso por correo electrónico o mensajería instantánea.

Según lo informado por The Guardian, los investigadores e ingenieros de IA han estado creando herramientas para detectar el acoso a través de comunicaciones de texto, denominadas MeTooBots. Empresas de todo el mundo están implementando MeTooBots para detectar comunicaciones potencialmente dañinas y acosadoras. Un ejemplo de esto es un bot creado por la empresa Nex AI, que actualmente está siendo utilizado por alrededor de 50 empresas diferentes. El bot utiliza un algoritmo que examina los documentos de la empresa, el chat y los correos electrónicos y los compara con sus datos de entrenamiento de mensajes de intimidación o acoso. Los mensajes que se consideren potencialmente acosadores o dañinos se pueden enviar a un gerente de recursos humanos para su revisión, aunque Nex AI no ha revelado los términos específicos que busca el bot en las comunicaciones que analiza.

Otras nuevas empresas también han creado herramientas de detección de acoso impulsadas por IA. La startup de inteligencia artificial Spot posee un chatbot que permite a los empleados denunciar de forma anónima denuncias de acoso sexual. El bot hará preguntas y dará consejos para recopilar más detalles y continuar con la investigación del incidente. Spot quiere ayudar a los equipos de recursos humanos a lidiar con los problemas de acoso de manera sensible y al mismo tiempo garantizar que se mantenga el anonimato.

Según The Guardian, el Prof. Brian Subirana, profesor de IA del MIT y Harvard, explicó que los intentos de utilizar la IA para detectar el acoso tienen sus limitaciones. El acoso puede ser muy sutil y difícil de detectar, manifestándose con frecuencia solo como un patrón que se revela al examinar semanas de datos. Los bots tampoco pueden, hasta el momento, ir más allá de la detección de ciertas palabras desencadenantes y analizar las dinámicas interpersonales o culturales más amplias que podrían estar en juego. A pesar de las complejidades de detectar el acoso, Subirana cree que los bots podrían desempeñar un papel en la lucha contra el acoso en línea. Subirana pudo ver que los bots se utilizan para capacitar a las personas para que detecten el acoso cuando lo ven, creando una base de datos de mensajes potencialmente problemáticos. Subirana también afirmó que podría haber un efecto placebo que hace que las personas sean menos propensas a acosar a sus colegas incluso si sospechan que sus mensajes pueden estar siendo analizados, incluso si no es así.

Si bien Subirana cree que los bots tienen usos potenciales para combatir el acoso, Subirana también argumentó que la confidencialidad de los datos y la privacidad es una preocupación importante. Subirana afirma que dicha tecnología podría potencialmente crear una atmósfera de desconfianza y sospecha si se usa mal. Sam Smethers, directora ejecutiva de la ONG de derechos de las mujeres Fawcett Society, también expresó su preocupación sobre cómo se podría hacer un mal uso de los bots. Smethers declaró:

“Querríamos observar detenidamente cómo se está desarrollando la tecnología, quién está detrás de ella y si el enfoque adoptado se basa en una cultura laboral que busca prevenir el acoso y promover la igualdad, o si de hecho es solo otra forma de hacerlo. para controlar a sus empleados”.

Los métodos para usar bots para detectar el acoso y aún así proteger el anonimato y la privacidad deberán ser elaborados entre los desarrolladores de bots, las empresas y los reguladores. Algunos métodos posibles para utilizar el poder predictivo de los bots y la IA sin dejar de proteger la privacidad incluyen mantener las comunicaciones anónimas. Por ejemplo, el bot podría generar informes que solo incluyan la presencia de lenguaje potencialmente dañino y cuente la frecuencia con la que aparece el lenguaje posiblemente acosador. Recursos humanos podría entonces tener una idea de si el uso de lenguaje tóxico está disminuyendo después de los seminarios de concientización o, por el contrario, podría determinar si deben estar atentos a un aumento del acoso.

A pesar del desacuerdo sobre el uso apropiado de los algoritmos de aprendizaje automático y los bots para detectar el acoso, ambas partes parecen estar de acuerdo en que la decisión final de intervenir en casos de acoso debe ser tomada por un humano, y que los bots solo deben alertar a las personas sobre patrones coincidentes en lugar de hacerlo. que decir definitivamente que algo fue un caso de acoso.