Startups die AI-hulpmiddelen ontwikkelen om e-mail intimidatie te detecteren

Sinds de Me Too-beweging in late 2017 aan populariteit won, wordt er meer aandacht besteed aan incidenten van seksuele intimidatie, waaronder werkplekintimidatie en intimidatie via e-mail of instant messaging.

Volgens The Guardian hebben AI-onderzoekers en -ingenieurs hulpmiddelen ontwikkeld om intimidatie via tekstcommunicatie te detecteren, die MeTooBots worden genoemd. MeTooBots worden door bedrijven over de hele wereld geïmplementeerd om mogelijk schadelijke en intimiderende communicatie te markeren. Een voorbeeld hiervan is een bot die is gemaakt door het bedrijf Nex AI, dat momenteel door ongeveer 50 verschillende bedrijven wordt gebruikt. De bot gebruikt een algoritme dat bedrijfsdocumenten, chatberichten en e-mails onderzoekt en vergelijkt met zijn trainingsdata van pestende of intimiderende berichten. Berichten die mogelijk als intimiderend of schadelijk worden beschouwd, kunnen vervolgens naar een HR-manager worden gestuurd voor beoordeling, hoewel Nex AI niet heeft onthuld welke specifieke termen de bot zoekt in de communicatie die het analyseert.

Andere startups hebben ook AI-gestuurde hulpmiddelen voor het detecteren van intimidatie ontwikkeld. De AI-startup Spot heeft een chatbot die het mogelijk maakt voor werknemers om anoniem aangiftes van seksuele intimidatie te doen. De bot zal vragen stellen en advies geven om meer details te verzamelen en een onderzoek naar het incident te starten. Spot wil helpen om HR-teams om te gaan met intimidatiekwesties op een gevoelige manier, terwijl anoniemheid behouden blijft.

Volgens The Guardian legde prof. Brian Subirana, AI-professor aan MIT en Harvard, uit dat pogingen om AI te gebruiken om intimidatie te detecteren beperkingen hebben. Intimidatie kan zeer subtiel zijn en moeilijk te detecteren, en manifesteert zich vaak alleen als een patroon dat zich openbaart wanneer men wekenlang gegevens onderzoekt. Bots kunnen nog niet verder gaan dan het detecteren van bepaalde triggerwoorden en het analyseren van de bredere interpersoonlijke of culturele dynamiek die mogelijk een rol speelt. Ondanks de complexiteit van het detecteren van intimidatie, gelooft Subirana dat bots een rol kunnen spelen in de bestrijding van online intimidatie. Subirana ziet de bots als een middel om mensen te trainen om intimidatie te detecteren wanneer ze het zien, en om een database te creëren van mogelijk problematische berichten. Subirana stelde ook dat er een placebo-effect kan zijn dat mensen minder geneigd maakt om hun collega’s te intimideren, zelfs als ze vermoeden dat hun berichten mogelijk worden gecontroleerd, zelfs als dat niet het geval is.

Hoewel Subirana gelooft dat bots hun potentieel hebben in de bestrijding van intimidatie, stelde Subirana ook dat de vertrouwelijkheid van gegevens en privacy een groot probleem is. Subirana stelt dat dergelijke technologie een sfeer van wantrouwen en verdenking kan creëren als het misbruikt wordt. Sam Smethers, de directeur van de vrouwenrechten-NGO de Fawcett Society, uitte ook bezorgdheid over hoe de bots misbruikt kunnen worden. Smethers stelde:

“We zouden heel goed moeten kijken naar hoe de technologie wordt ontwikkeld, wie erachter zit en of de aanpak die wordt gevolgd, is geïnformeerd door een werkplekcultuur die ernaar streeft om intimidatie te voorkomen en gelijkheid te bevorderen, of dat het in feite gewoon een andere manier is om werknemers te controleren.”

Methoden om bots te gebruiken om intimidatie te detecteren en anoniemheid en privacy te beschermen, moeten worden uitgewerkt tussen bot-ontwikkelaars, bedrijven en regulators. Mogelijke methoden om de voorspellende kracht van bots en AI te gebruiken, terwijl privacy wordt beschermd, zijn onder andere het anonimiseren van communicatie. Bijvoorbeeld, rapporten kunnen door de bot worden gegenereerd die alleen de aanwezigheid van mogelijk schadelijke taal en het aantal keren dat mogelijk intimiderende taal voorkomt, bevatten. HR kan dan een idee krijgen of het gebruik van giftige taal afneemt na bewustzijnssessies, of kan bepalen of ze op hun hoede moeten zijn voor toegenomen intimidatie.

Ongeacht de meningsverschillen over het gebruik van machine learning-algoritmen en bots in het detecteren van intimidatie, lijken beide partijen het erover eens te zijn dat de uiteindelijke beslissing om in te grijpen in gevallen van intimidatie door een mens moet worden genomen, en dat bots alleen maar mensen moeten waarschuwen voor overeenkomende patronen, in plaats van definitief te zeggen dat iets een geval van intimidatie was.