Les startups créent des outils d’IA pour détecter le harcèlement par e-mail

Depuis que le mouvement Me Too est devenu important à la fin de 2017, plus d’attention est portée aux incidents de harcèlement sexuel, y compris le harcèlement sur le lieu de travail et le harcèlement par e-mail ou messagerie instantanée.

Selon un article du Guardian, des chercheurs et ingénieurs en intelligence artificielle ont créé des outils pour détecter le harcèlement par les communications textuelles, appelés MeTooBots. Les MeTooBots sont mis en œuvre par des entreprises du monde entier pour signaler les communications potentiellement nuisibles et harcelantes. Un exemple est un bot créé par la société Nex AI, qui est actuellement utilisé par environ 50 différentes entreprises. Le bot utilise un algorithme qui examine les documents de l’entreprise, les chats et les e-mails, et les compare à ses données de formation de messages de harcèlement ou d’intimidation. Les messages considérés comme potentiellement harcelants ou nuisibles peuvent alors être envoyés à un responsable des ressources humaines pour examen, bien que Nex AI n’ait pas révélé les termes spécifiques que le bot recherche dans les communications qu’il analyse.

D’autres startups ont également créé des outils de détection de harcèlement basés sur l’IA. La startup Spot possède un chatbot capable de permettre aux employés de signaler anonymement des allégations de harcèlement sexuel. Le bot posera des questions et donnera des conseils pour recueillir plus de détails et approfondir l’enquête sur l’incident. Spot souhaite aider les équipes des ressources humaines à traiter les problèmes de harcèlement de manière sensible tout en préservant l’anonymat.

Selon le Guardian, le professeur Brian Subirana, professeur d’IA au MIT et à Harvard, a expliqué que les tentatives d’utilisation de l’IA pour détecter le harcèlement ont leurs limites. Le harcèlement peut être très subtil et difficile à détecter, se manifestant souvent sous forme de modèle qui ne se révèle que lors de l’examen de semaines de données. Les bots ne peuvent pas, pour l’instant, aller au-delà de la détection de certains mots déclencheurs et analyser les dynamiques interpersonnelles ou culturelles plus larges qui pourraient être en jeu. Malgré les complexités de la détection du harcèlement, Subirana pense que les bots pourraient jouer un rôle dans la lutte contre le harcèlement en ligne. Subirana voit les bots être utilisés pour former les gens à détecter le harcèlement lorsqu’ils le voient, en créant une base de données de messages potentiellement problématiques. Subirana a également déclaré qu’il pourrait y avoir un effet placebo qui rend les gens moins susceptibles de harceler leurs collègues, même s’ils soupçonnent que leurs messages pourraient être examinés, même s’ils ne le sont pas.

Alors que Subirana pense que les bots ont leur utilité potentielle dans la lutte contre le harcèlement, Subirana a également argumenté que la confidentialité des données et la vie privée sont une préoccupation majeure. Subirana déclare que cette technologie pourrait potentiellement créer une atmosphère de méfiance et de suspicion si elle est mal utilisée. Sam Smethers, la directrice générale de l’organisation non gouvernementale pour les droits des femmes Fawcett Society, a également exprimé des inquiétudes sur la manière dont les bots pourraient être mal utilisés. Smethers a déclaré:

« Nous voudrions examiner attentivement la manière dont la technologie est développée, qui se cache derrière, et si l’approche adoptée est éclairée par une culture de travail qui cherche à prévenir le harcèlement et à promouvoir l’égalité, ou si elle est en fait juste un autre moyen de contrôler les employés. »

Les méthodes d’utilisation des bots pour détecter le harcèlement et protéger l’anonymat et la vie privée devront être élaborées entre les développeurs de bots, les entreprises et les régulateurs. Certaines méthodes possibles pour utiliser le pouvoir prédictif des bots et de l’IA tout en préservant la vie privée incluent le maintien de l’anonymat des communications. Par exemple, des rapports pourraient être générés par le bot qui ne comprennent que la présence de langage potentiellement nuisible et le nombre de fois où le langage potentiellement harcelant apparaît. Les ressources humaines pourraient alors avoir une idée si l’utilisation de langage toxique diminue après des séminaires de sensibilisation, ou inversement, déterminer s’ils devraient être à l’affût d’une augmentation du harcèlement.

Malgré le désaccord sur les utilisations appropriées des algorithmes d’apprentissage automatique et des bots dans la détection du harcèlement, les deux parties semblent s’accorder sur le fait que la décision ultime d’intervenir dans les cas de harcèlement devrait être prise par un humain, et que les bots ne devraient jamais faire que signaler des modèles correspondants plutôt que de dire catégoriquement qu’il s’agit d’un cas de harcèlement.