Startups erstellen AI-Tools zur Erkennung von E-Mail-Belästigung

Seit die Me Too-Bewegung Ende 2017 an Bedeutung gewann, wird zunehmend mehr Aufmerksamkeit auf Vorfälle von sexueller Belästigung gelegt, einschließlich Belästigung am Arbeitsplatz und Belästigung per E-Mail oder Instant Messaging.

Wie von The Guardian berichtet, haben AI-Forscher und Ingenieure Tools entwickelt, um Belästigung durch Textkommunikation zu erkennen, die als MeTooBots bezeichnet werden. MeTooBots werden von Unternehmen auf der ganzen Welt implementiert, um potenziell schädliche und belästigende Kommunikationen zu kennzeichnen. Ein Beispiel dafür ist ein Bot, der von dem Unternehmen Nex AI erstellt wurde und derzeit von etwa 50 verschiedenen Unternehmen verwendet wird. Der Bot verwendet einen Algorithmus, der Unternehmensdokumente, Chat- und E-Mail-Nachrichten untersucht und mit seinen Trainingsdaten von Belästigungs- oder Bedrohungsnachrichten vergleicht. Nachrichten, die als potenziell belästigend oder schädlich eingestuft werden, können dann an einen HR-Manager zur Überprüfung gesendet werden, obwohl Nex AI die spezifischen Begriffe, nach denen der Bot in den Kommunikationen sucht, die er analysiert, nicht preisgegeben hat.

Andere Startups haben auch AI-gestützte Belästigungserkennungstools entwickelt. Das AI-Startup Spot besitzt einen Chatbot, der es Mitarbeitern ermöglicht, Anschuldigungen von sexueller Belästigung anonym zu melden. Der Bot stellt Fragen und gibt Ratschläge, um mehr Details zu sammeln und eine Untersuchung des Vorfalls voranzutreiben. Spot will HR-Teams dabei helfen, Belästigungsprobleme auf eine sensible Weise zu behandeln, während gleichzeitig die Anonymität gewahrt wird.

Laut The Guardian erklärte Prof. Brian Subirana, AI-Professor am MIT und Harvard, dass Versuche, AI zur Erkennung von Belästigung zu verwenden, ihre Grenzen haben. Belästigung kann sehr subtil und schwer zu erkennen sein und manifestiert sich häufig nur als Muster, das sich bei der Untersuchung von Wochen von Daten offenbart. Bots können derzeit nicht über die Erkennung bestimmter Trigger-Wörter hinausgehen und die breiteren zwischenmenschlichen oder kulturellen Dynamiken analysieren, die möglicherweise im Spiel sind. Trotz der Komplexität der Erkennung von Belästigung glaubt Subirana, dass Bots eine Rolle bei der Bekämpfung von Online-Belästigung spielen können. Subirana kann sich vorstellen, dass Bots verwendet werden, um Menschen zu trainieren, Belästigung zu erkennen, wenn sie sie sehen, und eine Datenbank von potenziell problematischen Nachrichten zu erstellen. Subirana sagte auch, dass es einen Placebo-Effekt geben könnte, der Menschen weniger wahrscheinlich belästigt, selbst wenn sie vermuten, dass ihre Nachrichten überprüft werden, auch wenn sie es nicht sind.

Während Subirana glaubt, dass Bots ihre potenziellen Verwendungszwecke bei der Bekämpfung von Belästigung haben, argumentierte Subirana auch, dass die Vertraulichkeit von Daten und die Privatsphäre ein großes Anliegen sind. Subirana sagt, dass eine solche Technologie möglicherweise eine Atmosphäre des Misstrauens und der Verdächtigung schaffen könnte, wenn sie missbraucht wird. Sam Smethers, die Geschäftsführerin der Frauenrechts-NGO Fawcett Society, äußerte auch Bedenken hinsichtlich der Möglichkeit, dass die Bots missbraucht werden könnten. Smethers sagte:

“Wir würden uns genau ansehen, wie die Technologie entwickelt wird, wer dahinter steckt und ob der Ansatz von einer Arbeitsplatzkultur geprägt ist, die darauf abzielt, Belästigung zu verhindern und Gleichberechtigung zu fördern, oder ob es sich in Wirklichkeit nur um einen weiteren Weg handelt, um die Mitarbeiter zu kontrollieren.”

Methoden, um Bots zur Erkennung von Belästigung zu verwenden und gleichzeitig Anonymität und Privatsphäre zu schützen, müssen zwischen Bot-Entwicklern, Unternehmen und Regulierungsbehörden ausgearbeitet werden. Einige mögliche Methoden, um die Vorhersagekraft von Bots und AI zu nutzen und gleichzeitig die Privatsphäre zu schützen, umfassen die Anonymisierung von Kommunikationen. Beispielsweise könnten Berichte von dem Bot generiert werden, die nur die Anwesenheit von potenziell schädlicher Sprache und die Häufigkeit, mit der möglicherweise belästigende Sprache verwendet wird, enthalten. HR könnte dann eine Vorstellung davon bekommen, ob die Verwendung von toxischer Sprache nach Bewusstseinsseminaren zurückgeht oder ob sie darauf achten sollten, ob es eine Zunahme von Belästigung gibt.

Trotz der Uneinigkeit über die angemessene Verwendung von Machine-Learning-Algorithmen und Bots bei der Erkennung von Belästigung scheinen beide Seiten darin zu übereinstimmen, dass die endgültige Entscheidung, in Fällen von Belästigung einzugreifen, von einem Menschen getroffen werden sollte und dass Bots nur darauf hinweisen sollten, dass Muster gefunden wurden, anstatt definitiv zu sagen, dass etwas ein Fall von Belästigung war.