Startups entwickeln AI-Tools zur Erkennung von E-Mail-Belästigung

Seit die Me-Too-Bewegung Ende 2017 an Bedeutung gewann, wird immer mehr Aufmerksamkeit auf Vorfälle von sexueller Belästigung gelegt, einschließlich Belästigung am Arbeitsplatz und Belästigung per E-Mail oder Instant Messaging.

Wie die Zeitung The Guardian berichtet, haben AI-Forscher und Ingenieure Tools entwickelt, um Belästigung in Textkommunikationen zu erkennen, die als MeTooBots bezeichnet werden. MeTooBots werden von Unternehmen auf der ganzen Welt eingesetzt, um potenziell schädliche und belästigende Kommunikationen zu markieren. Ein Beispiel dafür ist ein Bot, der von dem Unternehmen Nex AI entwickelt wurde und derzeit von etwa 50 verschiedenen Unternehmen verwendet wird. Der Bot verwendet einen Algorithmus, der Unternehmensdokumente, Chat- und E-Mail-Nachrichten analysiert und mit seinem Trainingsdatensatz von Belästigungs- oder Schikane-Nachrichten vergleicht. Nachrichten, die als potenziell belästigend oder schädlich eingestuft werden, können dann an einen HR-Manager zur Überprüfung gesendet werden, obwohl Nex AI die spezifischen Begriffe, nach denen der Bot sucht, nicht offengelegt hat.

Andere Startups haben ebenfalls AI-gestützte Belästigungserkennungstools entwickelt. Das AI-Startup Spot besitzt einen Chatbot, der es Mitarbeitern ermöglicht, Anschuldigungen von sexueller Belästigung anonym zu melden. Der Bot stellt Fragen und gibt Ratschläge, um mehr Details zu sammeln und eine Untersuchung des Vorfalls zu fördern. Spot möchte HR-Teams helfen, Belästigungsprobleme auf eine sensible Weise zu behandeln, während die Anonymität gewahrt bleibt.

Laut The Guardian erklärte Prof. Brian Subirana, AI-Professor an der MIT und Harvard, dass Versuche, AI zur Erkennung von Belästigung einzusetzen, ihre Grenzen haben. Belästigung kann sehr subtil und schwer zu erkennen sein und manifestiert sich häufig nur als Muster, das sich erst bei der Analyse von Wochen von Daten zeigt. Bots können derzeit nicht über die Erkennung bestimmter Trigger-Wörter hinausgehen und die umfassenderen zwischenmenschlichen oder kulturellen Dynamiken analysieren, die möglicherweise im Spiel sind. Trotz der Komplexität der Erkennung von Belästigung glaubt Subirana, dass Bots eine Rolle bei der Bekämpfung von Online-Belästigung spielen können. Subirana kann sich vorstellen, dass Bots verwendet werden, um Menschen zu trainieren, Belästigung zu erkennen, wenn sie sie sehen, und eine Datenbank von potenziell problematischen Nachrichten zu erstellen. Subirana sagte auch, dass es einen Placebo-Effekt geben könnte, der Menschen weniger wahrscheinlich macht, ihre Kollegen zu belästigen, selbst wenn sie vermuten, dass ihre Nachrichten überprüft werden, auch wenn sie es nicht sind.

Während Subirana glaubt, dass Bots ihre potenziellen Anwendungsbereiche bei der Bekämpfung von Belästigung haben, argumentiert Subirana auch, dass die Vertraulichkeit von Daten und die Privatsphäre ein großes Anliegen sind. Subirana erklärt, dass eine solche Technologie möglicherweise eine Atmosphäre des Misstrauens und der Verdächtigung schaffen könnte, wenn sie missbraucht wird. Sam Smethers, die Geschäftsführerin der Frauenrechts-NGO Fawcett Society, äußerte auch Bedenken hinsichtlich der Möglichkeit, dass die Bots missbraucht werden könnten. Smethers sagte:

„Wir würden uns genau ansehen, wie die Technologie entwickelt wird, wer dahinter steckt und ob der Ansatz von einer Arbeitsplatzkultur geprägt ist, die darauf abzielt, Belästigung zu verhindern und Gleichberechtigung zu fördern, oder ob es sich nur um einen weiteren Weg handelt, um die Mitarbeiter zu kontrollieren.“

Methoden, um Bots zur Erkennung von Belästigung einzusetzen und gleichzeitig Anonymität und Privatsphäre zu schützen, müssen zwischen Bot-Entwicklern, Unternehmen und Regulierungsbehörden ausgearbeitet werden. Einige mögliche Methoden, um die Vorhersagekraft von Bots und AI zu nutzen und gleichzeitig die Privatsphäre zu schützen, umfassen die Anonymisierung von Kommunikationen. Beispielsweise könnten Berichte generiert werden, die nur die Anwesenheit von potenziell schädlicher Sprache und die Häufigkeit, mit der möglicherweise belästigende Sprache auftritt, enthalten. HR könnte dann eine Vorstellung davon bekommen, ob die Verwendung von toxischer Sprache nach Bewusstseinsseminaren abnimmt oder ob sie auf der Hut vor erhöhter Belästigung sein sollten.

Trotz der Meinungsverschiedenheiten über den Einsatz von Machine-Learning-Algorithmen und Bots zur Erkennung von Belästigung scheinen beide Seiten übereinzustimmen, dass die endgültige Entscheidung, in Fällen von Belästigung einzugreifen, von einem Menschen getroffen werden sollte und dass Bots nur darauf hinweisen sollten, dass Muster erkannt wurden, anstatt definitiv zu sagen, dass etwas ein Fall von Belästigung war.