Nuovo studio tenta di migliorare gli algoritmi di rilevamento del discorso d’odio

Le società di social media, in particolare Twitter, hanno a lungo affrontato critiche per il modo in cui segnalano i discorsi e decidono quali account bloccare. Il problema sottostante ha quasi sempre a che fare con gli algoritmi che utilizzano per monitorare i post online. I sistemi di intelligenza artificiale sono ben lontani dall’essere perfetti in questo compito, ma c’è un lavoro costante in corso per migliorarli.

Incluso in questo lavoro c’è uno nuovo studio condotto all’Università del Sud della California che tenta di ridurre certi errori che potrebbero portare a pregiudizi razziali.

Insufficiente riconoscimento del contesto

Uno dei problemi che non riceve molta attenzione è legato agli algoritmi progettati per fermare la diffusione di discorsi d’odio, ma che in realtà amplificano i pregiudizi razziali. Ciò accade quando gli algoritmi non riescono a riconoscere il contesto e finiscono per segnalare o bloccare tweet di gruppi minoritari.

Il più grande problema degli algoritmi in relazione al contesto è che sono eccessivamente sensibili a certi termini di identificazione di gruppo come “nero”, “gay” e “transessuale”. Gli algoritmi considerano questi classificatori di discorso d’odio, ma spesso vengono utilizzati dai membri di quei gruppi e il contesto è importante.

Nel tentativo di risolvere questo problema di cecità al contesto, i ricercatori hanno creato un classificatore di discorso d’odio più sensibile al contesto. Il nuovo algoritmo è meno probabile di etichettare erroneamente un post come discorso d’odio.

L’algoritmo

I ricercatori hanno sviluppato i nuovi algoritmi tenendo presente due nuovi fattori: il contesto in relazione agli identificatori di gruppo e se ci sono anche altre caratteristiche di discorso d’odio presenti nel post, come il linguaggio deumanizzante.

Brendan Kennedy è uno studente di dottorato in informatica e co-autore principale dello studio, pubblicato il 6 luglio su ACL 2020.

“Vogliamo avvicinare il rilevamento del discorso d’odio alla prontezza per l’applicazione nel mondo reale”, ha detto Kennedy.

“I modelli di rilevamento del discorso d’odio spesso ‘si rompono’ o generano previsioni errate quando vengono introdotti in dati del mondo reale, come i social media o altri testi online, perché sono influenzati dai dati con cui sono stati addestrati ad associare l’apparizione di termini di identificazione sociale con il discorso d’odio”.

Il motivo per cui gli algoritmi sono spesso inaccurati è che sono stati addestrati su set di dati sbilanciati con tassi estremamente alti di discorso d’odio. A causa di ciò, gli algoritmi non riescono a imparare come gestire ciò che i social media sembrano nel mondo reale.

Il professor Xiang è un esperto di elaborazione del linguaggio naturale.

“È fondamentale che i modelli non ignorino gli identificatori, ma li abbino al contesto giusto”, ha detto Ren.

“Se insegni a un modello con un set di dati sbilanciato, il modello inizia a rilevare schemi strani e a bloccare utenti in modo inappropriato”.

Per testare l’algoritmo, i ricercatori hanno utilizzato un campione casuale di testo da due siti di social media che hanno un alto tasso di discorso d’odio. Il testo è stato prima segnalato manualmente da esseri umani come pregiudizievole o deumanizzante. Il modello di stato dell’arte è stato quindi misurato contro il modello dei ricercatori per la segnalazione inappropriata di discorso non d’odio, attraverso l’utilizzo di 12.500 articoli del New York Times senza discorso d’odio. Mentre i modelli di stato dell’arte sono riusciti a raggiungere il 77% di accuratezza nell’identificazione del discorso d’odio rispetto al non discorso d’odio, il modello dei ricercatori ha raggiunto il 90%.

“Questo lavoro da solo non rende il rilevamento del discorso d’odio perfetto, è un progetto enorme su cui molti stanno lavorando, ma fa progressi incrementali”, ha detto Kennedy.

“In aggiunta alla prevenzione dei post sui social media dei membri di gruppi protetti dall’essere inappropriatamente censurati, speriamo che il nostro lavoro aiuti a garantire che il rilevamento del discorso d’odio non faccia danni inutili rafforzando associazioni spurie di pregiudizio e deumanizzazione con gruppi sociali”.