Startups creëren AI-hulpmiddelen om e-mailpesten te detecteren

Sinds de Me Too-beweging eind 2017 aan populariteit won, wordt er steeds meer aandacht besteed aan incidenten van seksuele intimidatie, waaronder intimidatie op de werkplek en intimidatie via e-mail of instant messaging.

Volgens een artikel in The Guardian hebben AI-onderzoekers en -ingenieurs hulpmiddelen ontwikkeld om intimidatie via tekstcommunicatie te detecteren, die MeTooBots worden genoemd. MeTooBots worden door bedrijven over de hele wereld geïmplementeerd om mogelijk schadelijke en intimiderende communicatie te signaleren. Een voorbeeld hiervan is een bot dat is ontwikkeld door het bedrijf Nex AI, dat momenteel door ongeveer 50 verschillende bedrijven wordt gebruikt. De bot gebruikt een algoritme dat bedrijfsdocumenten, chatberichten en e-mails onderzoekt en vergelijkt met zijn trainingsgegevens van pestende of intimiderende berichten. Berichten die mogelijk als intimiderend of schadelijk worden beschouwd, kunnen vervolgens naar een HR-manager worden gestuurd voor beoordeling, hoewel Nex AI niet heeft onthuld welke specifieke termen de bot zoekt in de communicatie die het analyseert.

Andere startups hebben eveneens AI-gestuurde hulpmiddelen voor het detecteren van intimidatie ontwikkeld. De AI-startup Spot heeft een chatbot die het voor werknemers mogelijk maakt om anoniem aangiftes van seksuele intimidatie te doen. De bot stelt vragen en geeft advies om meer details te verzamelen en een onderzoek naar het incident te starten. Spot wil helpen om HR-teams om te gaan met intimidatiekwesties op een gevoelige manier, terwijl anoniemheid wordt behouden.

Volgens The Guardian legde prof. Brian Subirana, AI-professor aan MIT en Harvard, uit dat pogingen om AI te gebruiken voor het detecteren van intimidatie beperkingen hebben. Intimidatie kan heel subtiel zijn en moeilijk te detecteren, en manifesteert zich vaak alleen als een patroon dat zich openbaart wanneer men wekenlang gegevens onderzoekt. Bots kunnen nog niet verder gaan dan het detecteren van bepaalde triggerwoorden en het analyseren van de bredere interpersoonlijke of culturele dynamiek die mogelijk een rol speelt. Ondanks de complexiteit van het detecteren van intimidatie, gelooft Subirana dat bots een rol kunnen spelen bij het bestrijden van online intimidatie. Subirana ziet de bots als een hulpmiddel om mensen te trainen om intimidatie te detecteren wanneer ze het zien, en om een database te creëren van mogelijk problematische berichten. Subirana stelde ook dat er een placebo-effect kan zijn dat mensen minder geneigd maakt om hun collega’s te intimideren, zelfs als ze vermoeden dat hun berichten worden gecontroleerd, ook al gebeurt dat niet.

Hoewel Subirana gelooft dat bots hun potentieel hebben in het bestrijden van intimidatie, stelde Subirana ook dat de vertrouwelijkheid van gegevens en privacy een grote zorg is. Subirana stelt dat deze technologie een atmosfeer van wantrouwen en verdenking kan creëren als ze op de verkeerde manier wordt gebruikt. Sam Smethers, de directeur van de vrouwenrechten-NGO de Fawcett Society, uitte ook zorgen over hoe de bots kunnen worden misbruikt. Smethers stelde:

“We zouden graag willen kijken naar hoe de technologie wordt ontwikkeld, wie erachter zit, en of de aanpak is geïnformeerd door een bedrijfscultuur die gericht is op het voorkomen van intimidatie en het bevorderen van gelijkheid, of dat het in feite alleen maar een andere manier is om werknemers te controleren.”

Methoden om bots te gebruiken om intimidatie te detecteren en anoniemheid en privacy te beschermen, moeten worden uitgewerkt tussen bot-ontwikkelaars, bedrijven en regelgevers. Mogelijke methoden om de voorspellende kracht van bots en AI te gebruiken en tegelijkertijd privacy te beschermen, zijn onder andere het anoniem houden van communicatie. Bijvoorbeeld, rapporten kunnen door de bot worden gegenereerd die alleen de aanwezigheid van mogelijk schadelijke taal en het aantal keren dat mogelijk intimiderende taal voorkomt, bevatten. HR kan dan een idee krijgen of het gebruik van giftige taal afneemt na bewustwordingsseminars, of kan bepalen of ze op moeten letten voor toegenomen intimidatie.

Ondanks de meningsverschillen over het juiste gebruik van machine learning-algoritmen en bots bij het detecteren van intimidatie, lijken beide partijen het erover eens te zijn dat de uiteindelijke beslissing om in te grijpen in gevallen van intimidatie door een mens moet worden genomen, en dat bots alleen maar mensen moeten waarschuwen voor overeenkomende patronen, in plaats van definitief te zeggen dat iets een geval van intimidatie is.