Startups som lager AI-verktøy for å oppdage e-post-mobbing

Siden Me Too-bevegelsen ble fremtredende i slutten av 2017, har det blitt mer fokus på hendelser av seksuell trakassering, inkludert trakassering på arbeidsplassen og trakassering gjennom e-post eller instant-meldinger.

Som rapportert av The Guardian, har AI-forskere og ingeniører laget verktøy for å oppdage trakassering gjennom tekstkommunikasjon, kalt MeTooBots. MeTooBots blir implementert av selskaper over hele verden for å markere potensielt skadelig og trakasserende kommunikasjon. Et eksempel på dette er en bot laget av selskapet Nex AI, som for tiden brukes av rundt 50 forskjellige selskaper. Boten bruker en algoritme som undersøker selskapets dokumenter, chat og e-post og sammenligner det med dens treningsdata for mobbing eller trakasserende meldinger. Meldinger som anses for å være potensielt trakasserende eller skadelig kan deretter sendes til en HR-sjef for gjennomgang, selv om Nex AI ikke har avslørt de spesifikke betingelsene som boten søker etter i kommunikasjonen den analyserer.

Andre startups har også laget AI-drevne trakasseringsovervåkingsverktøy. AI-startupen Spot eier en chatbot som kan aktivere ansatte til å melde anonymt om påstander om seksuell trakassering. Boten vil stille spørsmål og gi råd for å samle inn flere detaljer og fremme en undersøkelse av hendelsen. Spot ønsker å hjelpe HR-team å håndtere trakasseringsspørsmål på en sensitiv måte samtidig som anonymitet beholdes.

Ifølge The Guardian, forklarte professor Brian Subirana, MIT og Harvard AI-professor, at forsøk på å bruke AI til å oppdage trakassering har sine begrensninger. Trakassering kan være svært subtil og vanskelig å oppdage, ofte manifestere seg bare som et mønster som avsløres når man undersøker uker med data. Boter kan heller ikke, per nå, gå utenfor oppdaging av bestemte utløsende ord og analysere de bredere mellommenneskelige eller kulturelle dynamikkene som potensielt kan være i spill. Til tross for kompleksiteten ved å oppdage trakassering, mener Subirana at boter kan spille en rolle i å bekjempe netttrakassering. Subirana kan se botene brukes til å trene mennesker til å oppdage trakassering når de ser det, og lage en database over potensielt problematiske meldinger. Subirana uttalte også at det kunne være en placeboeffekt som gjør at mennesker blir mindre sannsynlig til å trakassere sine kolleger, selv om de mistenker at meldingene deres kan bli undersøkt, selv om de ikke er det.

mens Subirana mener at boter har sine potensielle bruksområder i å bekjempe trakassering, argumenterte Subirana også for at konfidensialitet av data og personvern er en stor bekymring. Subirana påpeker at slik teknologi potensielt kan skape en atmosfære av mistillit og mistanke hvis den misbrukes. Sam Smethers, sjef for kvinnerettighets-NGOen Fawcett Society, uttrykte også bekymring over hvordan botene kunne misbrukes. Smethers uttalte:

“Vi ville ønske å se nøye på hvordan teknologien utvikles, hvem som står bak den, og om tilnærmingen er informert av en arbeidsplasskultur som søker å forebygge trakassering og fremme likhet, eller om det i virkeligheten bare er en annen måte å kontrollere ansatte på.”

Metoder for å bruke boter til å oppdage trakassering og samtidig beskytte anonymitet og personvern, må utarbeides mellom bot-utviklere, selskaper og regulatorene. Noen mulige metoder for å bruke botenes prediktive kraft og AI samtidig som man beskytter personvern, inkluderer å holde kommunikasjon anonym. For eksempel kan rapporter genereres av boten som bare inkluderer tilstedeværelsen av potensielt skadelig språk og teller hvor ofte det muligens trakasserende språket dukker opp. HR kan deretter få en idé om hvorvidt bruken av giftig språk går ned etter bevisstgjøringssamtaler, eller om de skal holde øye med økt trakassering.

Til tross for uenighet om passende bruksområder for maskinlæringsalgoritmer og boter i å oppdage trakassering, ser det ut til at begge parter er enige om at den ultimate avgjørelsen om å gripe inn i trakasseringstilfeller bør være menneskelig, og at boter bare skal varsle mennesker om mønster som matcher, og ikke si bestemt at noe var et tilfelle av trakassering.