Startups que crean herramientas de IA para detectar acoso por correo electrónico

Desde que el movimiento Me Too ganó prominencia a fines de 2017, se presta más atención a los incidentes de acoso sexual, incluido el acoso laboral y el acoso a través de correo electrónico o mensajería instantánea.

Según informa The Guardian, investigadores y ingenieros de IA han estado creando herramientas para detectar acoso a través de comunicaciones de texto, llamadas MeTooBots. MeTooBots se están implementando en empresas de todo el mundo para marcar comunicaciones potencialmente dañinas y acosadoras. Un ejemplo de esto es un bot creado por la empresa Nex AI, que actualmente se utiliza en alrededor de 50 empresas diferentes. El bot utiliza un algoritmo que examina documentos de la empresa, chat y correos electrónicos y los compara con sus datos de capacitación de mensajes de acoso o bullying. Los mensajes considerados potencialmente acosadores o dañinos se pueden enviar a un gerente de recursos humanos para su revisión, aunque Nex AI no ha revelado los términos específicos que el bot busca en las comunicaciones que analiza.

Otras startups también han creado herramientas de detección de acoso con IA. La startup de IA Spot posee un chatbot que permite a los empleados denunciar anónimamente alegaciones de acoso sexual. El bot hará preguntas y dará consejos para recopilar más detalles y avanzar en la investigación del incidente. Spot quiere ayudar a los equipos de recursos humanos a tratar los problemas de acoso de manera sensible mientras se preserva la anonimidad.

Según The Guardian, el profesor Brian Subirana, profesor de IA de MIT y Harvard, explicó que los intentos de utilizar IA para detectar acoso tienen sus limitaciones. El acoso puede ser muy sutil y difícil de detectar, y a menudo se manifiesta como un patrón que solo se revela al examinar semanas de datos. Los bots también no pueden, por ahora, ir más allá de la detección de ciertas palabras desencadenantes y analizar la dinámica interpersonal o cultural más amplia que podría estar en juego. A pesar de las complejidades de detectar acoso, Subirana cree que los bots podrían desempeñar un papel en la lucha contra el acoso en línea. Subirana puede ver a los bots siendo utilizados para entrenar a las personas para detectar acoso cuando lo ven, creando una base de datos de mensajes potencialmente problemáticos. Subirana también afirmó que podría haber un efecto placebo que hace que las personas sean menos propensas a acosar a sus colegas, incluso si sospechan que sus mensajes pueden estar siendo examinados, aunque no lo estén.

Si bien Subirana cree que los bots tienen usos potenciales en la lucha contra el acoso, Subirana también argumentó que la confidencialidad de los datos y la privacidad son una gran preocupación. Subirana afirma que dicha tecnología podría crear un ambiente de desconfianza y sospecha si se utiliza mal. Sam Smethers, directora ejecutiva de la sociedad de derechos de las mujeres Fawcett, también expresó preocupación sobre cómo los bots podrían ser utilizados mal. Smethers declaró:

“Queremos examinar cuidadosamente cómo se está desarrollando la tecnología, quién está detrás de ella y si el enfoque adoptado está informado por una cultura laboral que busca prevenir el acoso y promover la igualdad, o si es solo otra forma de controlar a los empleados”.

Los métodos para utilizar bots para detectar acoso y proteger la anonimidad y la privacidad tendrán que ser trabajados entre los desarrolladores de bots, las empresas y los reguladores. Algunos métodos posibles para utilizar el poder predictivo de los bots y la IA mientras se protege la privacidad incluyen mantener las comunicaciones anónimas. Por ejemplo, los informes podrían ser generados por el bot que solo incluyen la presencia de lenguaje potencialmente dañino y cuentan cuántas veces aparece el lenguaje potencialmente acosador. Los recursos humanos podrían obtener una idea de si el uso de lenguaje tóxico disminuye después de seminarios de concienciación, o podrían determinar si deben estar atentos a un aumento del acoso.

A pesar de la discrepancia sobre los usos apropiados de los algoritmos de aprendizaje automático y los bots en la detección de acoso, ambos lados parecen estar de acuerdo en que la decisión final de intervenir en casos de acoso debe ser tomada por un ser humano, y que los bots solo deben alertar a las personas sobre patrones coincidentes en lugar de afirmar definitivamente que algo fue un caso de acoso.