Startups skapar AI-verktyg för att upptäcka e-posttrakasserier

Sedan Me Too-rörelsen blev framträdande i slutet av 2017, har allt mer uppmärksamhet ägnats åt incidenter av sexuella trakasserier, inklusive trakasserier på arbetsplatsen och trakasserier via e-post eller direktmeddelanden.

Som rapporterats av The Guardian, har AI-forskare och ingenjörer skapat verktyg för att upptäcka trakasserier via textkommunikation, kallade MeTooBots. MeTooBots implementeras av företag runt om i världen för att markera potentiellt skadliga och trakasserande meddelanden. Ett exempel på detta är en bot skapad av företaget Nex AI, som för närvarande används av cirka 50 olika företag. Boten använder en algoritm som undersöker företagsdokument, chatt och e-post och jämför dem med sin träningsdata av trakasserande eller kränkande meddelanden. Meddelanden som bedöms som potentiellt trakasserande eller skadliga kan sedan skickas till en HR-chef för granskning, även om Nex AI inte har avslöjat de specifika villkor som boten letar efter i de kommunikationer den analyserar.

Andra startups har också skapat AI-drivna verktyg för att upptäcka trakasserier. AI-startupen Spot äger en chattbot som kan aktivera anställda att anonymt rapportera anklagelser om sexuella trakasserier. Boten kommer att ställa frågor och ge råd för att samla in mer information och fortsätta en utredning av incidenten. Spot vill hjälpa HR-team att hantera trakasserier på ett känsligt sätt samtidigt som de säkerställer att anonymitet upprätthålls.

Enligt The Guardian förklarade professor Brian Subirana, MIT och Harvard AI-professor, att försöken att använda AI för att upptäcka trakasserier har sina begränsningar. Trakasserier kan vara mycket subtila och svåra att upptäcka, och de manifesterar sig ofta bara som ett mönster som avslöjar sig när man undersöker veckors data. Botar kan inte, ännu, gå utöver upptäckten av vissa utlösande ord och analysera de bredare interpersonella eller kulturella dynamikerna som kan vara i spel. Trots komplexiteten i att upptäcka trakasserier, tror Subirana att botar kan spela en roll i att bekämpa online-trakasserier. Subirana kan se botarna användas för att utbilda människor att upptäcka trakasserier när de ser dem, och skapa en databas med potentiellt problematiska meddelanden. Subirana sa också att det kan finnas en placebobeffekt som gör att människor är mindre benägna att trakassera sina kollegor, även om de misstänker att deras meddelanden kan granskas, även om de inte är det.

Medan Subirana tror att botar har sin potentiala användning i att bekämpa trakasserier, hävdade Subirana också att konfidentialitet och integritet är en stor oro. Subirana påstår att sådan teknik kan skapa en atmosfär av misstro och misstänksamhet om den missbrukas. Sam Smethers, vd för den kvinnliga rättighets-NGO Fawcett Society, uttryckte också oro över hur botarna kan missbrukas. Smethers sa:

“Vi skulle vilja undersöka noggrant hur tekniken utvecklas, vem som ligger bakom den och om tillvägagångssättet är informerat av en arbetsplatskultur som syftar till att förhindra trakasserier och främja jämställdhet, eller om det i själva verket bara är ett annat sätt att kontrollera anställda.”

Metoder för att använda botar för att upptäcka trakasserier och fortfarande skydda anonymitet och integritet måste utarbetas mellan bot-utvecklare, företag och myndigheter. Vissa möjliga metoder för att använda botarnas och AI:s prediktiva kraft samtidigt som man skyddar integriteten inkluderar att hålla kommunikationen anonym. Till exempel kan rapporter genereras av boten som endast innehåller närvaron av potentiellt skadlig språk och antalet gånger det potentiellt trakasserande språket förekommer. HR kan sedan få en uppfattning om användningen av toxiskt språk minskar efter medvetenhetsseminarierna, eller omvänt kan bestämma om de bör vara på utkik efter ökad trakasserier.

Trots oenigheten om lämplig användning av maskinlärningsalgoritmer och botar för att upptäcka trakasserier, verkar båda sidor vara överens om att den slutliga beslutet att ingripa i fall av trakasserier bör fattas av en människa, och att botar endast bör varna människor om matchade mönster snarare än att säga bestämt att något var ett fall av trakasserier.