Le startup che creano strumenti di intelligenza artificiale per rilevare gli abusi via email

Dal momento in cui il movimento Me Too è emerso alla fine del 2017, è stata data sempre più attenzione agli incidenti di molestie sessuali, comprese le molestie sul posto di lavoro e le molestie attraverso email o messaggistica istantanea.

Come riportato da The Guardian, i ricercatori e gli ingegneri di intelligenza artificiale hanno creato strumenti per rilevare le molestie attraverso le comunicazioni testuali, chiamati MeTooBots. I MeTooBots stanno essere implementati da aziende di tutto il mondo per segnalare comunicazioni potenzialmente dannose e moleste. Un esempio di ciò è un bot creato dalla società Nex AI, che attualmente viene utilizzato da circa 50 diverse aziende. Il bot utilizza un algoritmo che esamina i documenti aziendali, le chat e le email e li confronta con i dati di addestramento di messaggi di bullismo o molestie. I messaggi ritenuti potenzialmente molesti o dannosi possono quindi essere inviati a un responsabile delle risorse umane per la revisione, sebbene Nex AI non abbia rivelato i termini specifici che il bot cerca attraverso le comunicazioni che analizza.

Altre startup hanno anche creato strumenti di rilevamento delle molestie alimentati da intelligenza artificiale. La startup di intelligenza artificiale Spot possiede un chatbot in grado di abilitare gli dipendenti a segnalare in modo anonimo le accuse di molestie sessuali. Il bot chiederà domande e darà consigli per raccogliere ulteriori dettagli e approfondire l’indagine sull’incidente. Spot vuole aiutare i team delle risorse umane a gestire le questioni di molestie in modo sensibile, preservando al tempo stesso l’anonimato.

Secondo The Guardian, il prof. Brian Subirana, professore di intelligenza artificiale al MIT e a Harvard, ha spiegato che i tentativi di utilizzare l’intelligenza artificiale per rilevare le molestie hanno i loro limiti. Le molestie possono essere molto sottili e difficili da rilevare, manifestandosi spesso solo come un modello che si rivela quando si esaminano settimane di dati. I bot non possono, al momento, andare oltre la rilevazione di determinate parole scatenanti e analizzare la più ampia dinamica interpersonale o culturale che potrebbe essere in gioco. Nonostante le complessità della rilevazione delle molestie, Subirana crede che i bot possano svolgere un ruolo nella lotta contro le molestie online. Subirana può vedere i bot utilizzati per addestrare le persone a rilevare le molestie quando le vedono, creando un database di messaggi potenzialmente problematici. Subirana ha anche affermato che potrebbe esserci un effetto placebo che rende le persone meno propense a molestare i loro colleghi, anche se sospettano che i loro messaggi possano essere esaminati, anche se non lo sono.

Sebbene Subirana creda che i bot abbiano il loro potenziale uso nella lotta contro le molestie, Subirana ha anche sostenuto che la riservatezza dei dati e la privacy sono una grande preoccupazione. Subirana afferma che tale tecnologia potrebbe potenzialmente creare un’atmosfera di sfiducia e sospetto se utilizzata in modo improprio. Sam Smethers, amministratore delegato della società per i diritti delle donne Fawcett, ha anche espresso preoccupazione su come i bot potrebbero essere utilizzati in modo improprio. Smethers ha affermato:

“Vorremmo esaminare attentamente come la tecnologia viene sviluppata, chi ci sta dietro e se l’approccio adottato è informato da una cultura aziendale che cerca di prevenire le molestie e promuovere l’uguaglianza, o se è in realtà solo un altro modo per controllare i dipendenti.”

I metodi per utilizzare i bot per rilevare le molestie e proteggere al tempo stesso l’anonimato e la privacy dovranno essere lavorati tra gli sviluppatori di bot, le aziende e i regolatori. Alcuni possibili metodi per utilizzare il potere predittivo dei bot e dell’intelligenza artificiale, preservando al tempo stesso la privacy, includono il mantenimento dell’anonimato delle comunicazioni. Ad esempio, i rapporti potrebbero essere generati dal bot che includono solo la presenza di linguaggio potenzialmente dannoso e il numero di volte in cui il linguaggio potenzialmente molesto appare. Le risorse umane potrebbero quindi avere un’idea se l’uso del linguaggio tossico sta diminuendo dopo seminari di sensibilizzazione, o altrimenti potrebbero determinare se dovrebbero essere alla ricerca di un aumento delle molestie.

Nonostante il disaccordo sull’uso appropriato degli algoritmi di apprendimento automatico e dei bot nella rilevazione delle molestie, entrambi i lati sembrano concordare sul fatto che la decisione finale di intervenire in casi di molestie dovrebbe essere presa da un essere umano e che i bot dovrebbero solo segnalare alle persone i modelli corrispondenti, anziché affermare in modo definitivo che qualcosa era un caso di molestia.