Startups som lager AI-verktøy for å påvise e-post-forfølgelse

Siden Me Too-bevegelsen kom i fremtredende stilling i slutten av 2017, blir det mer og mer fokus på hendelser med seksuell trakassering, inkludert trakassering på arbeidsplassen og trakassering gjennom e-post eller direktemeldinger.

Som rapportert av The Guardian, har AI-forskere og ingeniører laget verktøy for å påvise trakassering gjennom tekstkommunikasjon, kalt MeTooBots. MeTooBots blir implementert av selskaper over hele verden for å markere potensielt skadelig og trakasserende kommunikasjon. Et eksempel på dette er en bot laget av selskapet Nex AI, som for tiden brukes av om lag 50 forskjellige selskaper. Boten bruker en algoritme som undersøker selskapets dokumenter, chat og e-post og sammenligner det med dens treningsdata for trakassering eller trakasserende meldinger. Meldinger som anses å være potensielt trakasserende eller skadelig kan deretter sendes til en HR-sjef for gjennomgang, selv om Nex AI ikke har avslørt de spesifikke uttrykkene som boten søker etter i kommunikasjonen den analyserer.

Andre startups har også laget AI-drevne verktøy for å påvise trakassering. AI-startupen Spot eier en chatbot som kan aktivere ansatte til å rapportere anklager om seksuell trakassering anonymt. Boten vil stille spørsmål og gi råd for å samle inn mer informasjon og videre en undersøkelse av hendelsen. Spot ønsker å hjelpe HR-team å håndtere trakasseringssaker på en sensitiv måte samtidig som anonymitet bevares.

Ifølge The Guardian, forklarte professor Brian Subirana, MIT og Harvard AI-professor, at forsøk på å bruke AI til å påvise trakassering har sine begrensninger. Trakassering kan være svært subtil og vanskelig å oppdage, og manifesterer seg ofte bare som et mønster som avsløres når man undersøker uker med data. Boter kan heller ikke, per i dag, gå utenfor oppdaging av bestemte utløsende ord og analysere de bredere interpersonlige eller kulturelle dynamikkene som potensielt kan være i spill. Til tross for kompleksiteten ved å påvise trakassering, mener Subirana at boter kan spille en rolle i bekjempelse av nett-trakassering. Subirana kan se botene brukes til å trene mennesker til å påvise trakassering når de ser det, og lage en database over potensielt problematiske meldinger. Subirana uttalte også at det kunne være en placeboeffekt som gjør at mennesker er mindre sannsynlig til å trakassere kolleger selv om de mistenker at meldingene deres kan bli undersøkt, selv om de ikke er det.

Selv om Subirana mener at boter har sine potensielle bruksområder i bekjempelse av trakassering, argumenterte Subirana også for at konfidensialitet og personvern er en stor bekymring. Subirana påpeker at slik teknologi potensielt kan skape en atmosfære av mistillit og mistanke hvis den misbrukes. Sam Smethers, sjef for kvinnerettighets-NGO Fawcett Society, uttrykte også bekymring over hvordan botene kunne misbrukes. Smethers uttalte:

“Vi ville ønske å se nøye på hvordan teknologien utvikles, hvem som står bak den, og om tilnærmingen som er tatt, er informert av en arbeidsplasskultur som søker å forebygge trakassering og fremme likestilling, eller om det i virkeligheten bare er en annen måte å kontrollere ansatte på.”

Metoder for å bruke boter til å påvise trakassering og samtidig beskytte anonymitet og personvern, må utarbeides mellom bot-utviklere, selskaper og myndigheter. Noen mulige metoder for å utnytte botenes og AIens prediktive kraft samtidig som personvern beskyttes, inkluderer å holde kommunikasjon anonym. For eksempel kan rapporter genereres av boten som bare inkluderer tilstedeværelsen av potensielt skadelig språk og teller hvor ofte det potensielt trakasserende språket oppstår. HR kan deretter få en idé om hvorvidt bruken av giftig språk går ned etter bevisstgjøringssamtaler, eller om de bør være på utkikk etter økt trakassering.

Til tross for uenigheten om passende bruksområder for maskinlæringsalgoritmer og boter i å påvise trakassering, synes begge sider å være enige om at den endelige avgjørelsen om å gripe inn i trakasseringstilfeller bør være menneskelig, og at boter bare skal varsle mennesker om mønster som er matchet, og ikke si bestemt at noe var en hendelse med trakassering.