Startups créant des outils d’IA pour détecter le harcèlement par courriel

Depuis que le mouvement Me Too est devenu célèbre à la fin de 2017, plus d’attention est portée aux incidents de harcèlement sexuel, y compris le harcèlement sur le lieu de travail et le harcèlement par courriel ou messagerie instantanée.

Comme le rapporte The Guardian, des chercheurs et ingénieurs en IA ont créé des outils pour détecter le harcèlement par les communications textuelles, surnommés MeTooBots. Les MeTooBots sont mis en œuvre par des entreprises du monde entier afin de signaler les communications potentiellement nuisibles et harcelantes. Un exemple de ceci est un robot créé par la société Nex AI, qui est actuellement utilisé par environ 50 différentes entreprises. Le robot utilise un algorithme qui examine les documents de l’entreprise, les conversations et les courriels et les compare à ses données de formation de messages de intimidation ou de harcèlement. Les messages considérés comme potentiellement harcelants ou nuisibles peuvent alors être envoyés à un responsable des ressources humaines pour examen, bien que Nex AI n’ait pas révélé les termes spécifiques que le robot recherche dans les communications qu’il analyse.

D’autres startups ont également créé des outils de détection de harcèlement alimentés par l’IA. La startup Spot possède un chatbot capable de permettre aux employés de signaler de manière anonyme des allégations de harcèlement sexuel. Le robot posera des questions et donnera des conseils afin de collecter plus de détails et de poursuivre une enquête sur l’incident. Spot souhaite aider les équipes des ressources humaines à traiter les problèmes de harcèlement de manière sensible tout en préservant l’anonymat.

Selon The Guardian, le professeur Brian Subirana, professeur d’IA au MIT et à Harvard, a expliqué que les tentatives d’utilisation de l’IA pour détecter le harcèlement ont leurs limites. Le harcèlement peut être très subtil et difficile à détecter, se manifestant souvent uniquement sous forme de modèle qui se révèle lors de l’examen de semaines de données. Les robots ne peuvent pas, pour l’instant, aller au-delà de la détection de certains mots déclencheurs et analyser les dynamiques interpersonnelles ou culturelles plus larges qui pourraient être en jeu. Malgré les complexités de la détection du harcèlement, Subirana croit que les robots pourraient jouer un rôle dans la lutte contre le harcèlement en ligne. Subirana peut voir les robots être utilisés pour former les gens à détecter le harcèlement lorsqu’ils le voient, en créant une base de données de messages potentiellement problématiques. Subirana a également déclaré qu’il pourrait y avoir un effet placebo qui rend les gens moins susceptibles de harceler leurs collègues même s’ils soupçonnent que leurs messages pourraient être examinés, même s’ils ne le sont pas.

Bien que Subirana croie que les robots ont leur potentiel d’utilisation dans la lutte contre le harcèlement, Subirana a également argumenté que la confidentialité des données et la vie privée constituent une préoccupation majeure. Subirana déclare que cette technologie pourrait potentiellement créer une atmosphère de méfiance et de suspicion si elle est mal utilisée. Sam Smethers, la directrice générale de l’ONG des droits des femmes Fawcett Society, a également exprimé des inquiétudes quant à la façon dont les robots pourraient être mal utilisés. Smethers a déclaré :

« Nous voudrions examiner attentivement la façon dont la technologie est développée, qui se trouve derrière elle, et si l’approche adoptée est informée par une culture de lieu de travail qui cherche à prévenir le harcèlement et à promouvoir l’égalité, ou si elle est en fait juste un autre moyen de contrôler les employés. »

Les méthodes d’utilisation des robots pour détecter le harcèlement et protéger encore l’anonymat et la vie privée devront être élaborées entre les développeurs de robots, les entreprises et les régulateurs. Certaines méthodes possibles d’utilisation du pouvoir prédictif des robots et de l’IA tout en préservant la vie privée incluent le maintien de l’anonymat des communications. Par exemple, des rapports pourraient être générés par le robot qui n’incluent que la présence de langage potentiellement nuisible et des comptes de la fréquence à laquelle le langage potentiellement harcelant apparaît. Les ressources humaines pourraient alors avoir une idée si l’utilisation de langage toxique diminue après des séminaires de sensibilisation, ou inversement, pourraient déterminer s’ils devraient être à l’affût d’une augmentation du harcèlement.

Malgré le désaccord sur les utilisations appropriées des algorithmes d’apprentissage automatique et des robots pour détecter le harcèlement, les deux parties semblent s’accorder sur le fait que la décision ultime d’intervenir dans les cas de harcèlement devrait être prise par un humain, et que les robots ne devraient jamais faire que signaler les modèles correspondants plutôt que de dire de manière définitive qu’il s’agit d’un cas de harcèlement.