Ny studie forsøger at forbedre hadefuldt tale-detectionsalgoritmer

Sociale medie-selskaber, især Twitter, har længe været kritiseret for, hvordan de markerer tale og beslutter, hvilke konti der skal lukkes. Det underliggende problem har næsten altid at gøre med de algoritmer, de bruger til at overvåge online-indlæg. Kunstig intelligens-systemer er langt fra perfekte, når det kommer til denne opgave, men der arbejdes konstant på at forbedre dem. 

Indeholdt i dette arbejde er en ny studie fra University of Southern California, der forsøger at reducere visse fejl, der kan resultere i racemæssig bias.

Fejl i at genkende kontekst

Et af de problemer, der ikke får så megen opmærksomhed, har at gøre med algoritmer, der er designet til at stoppe spredningen af hadefuldt tale, men i stedet forstærker racemæssig bias. Dette sker, når algoritmerne ikke kan genkende konteksten og ender med at markere eller blokere tweets fra minoritetsgrupper.

Det største problem med algoritmerne i forhold til kontekst er, at de er overfølsomme over for visse gruppe-identificerende termer som “sort”, “homoseksuel” og “transkøns”. Algoritmerne betragter disse hadefuldt tale-klassificatorer, men de bruges ofte af medlemmer af disse grupper, og konteksten er vigtig.

I et forsøg på at løse dette problem med kontekst-blindhed, skabte forskerne en mere kontekst-følsom hadefuldt tale-klassificator. Den nye algoritme er mindre sandsynlig til at mislabele et indlæg som hadefuldt tale.

Algoritmen

Forskerne udviklede de nye algoritmer med to nye faktorer i mente: konteksten i forhold til gruppe-identificatorerne og om der også er andre træk af hadefuldt tale til stede i indlægget, som f.eks. dehumaniserende sprog.

Brendan Kennedy er en Ph.D.-studerende i datalogi og medforfatter af studiet, der blev offentliggjort den 6. juli på ACL 2020.

“Vi vil bringe hadefuldt tale-detection tættere på at være klar til rigtig verden,” sagde Kennedy.

“Hadefuldt tale-detectionsmodeller ‘brækker’ ofte, eller genererer dårlige forudsigelser, når de introduceres til rigtig verden-data, såsom sociale medier eller andre online-tekstdata, fordi de er forvrængede af de data, de er trænet på at associerer fremtoningen af sociale identificator-termer med hadefuldt tale.”

Grunden til, at algoritmerne ofte er upræcise, er, at de er trænet på ubalancerede datasæt med ekstremt høje rater af hadefuldt tale. På grund af dette, kan algoritmerne ikke lære, hvordan de skal håndtere, hvad sociale medier faktisk ligner i den rigtige verden. 

Professor Xiang er en ekspert i naturlig sprogbehandling.

“Det er nøgle til, at modellerne ikke ignorerer identificatorer, men matcher dem med den rigtige kontekst,” sagde Ren.

“Hvis du lærer en model fra et ubalanceret datasæt, begynder modellen at få fat i underlige mønstre og blokere brugere på urigtig vis.”

For at teste algoritmen, brugte forskerne en tilfældig prøve af tekst fra to sociale medie-sites, der har en høj rate af hadefuldt tale. Teksten var først håndmarkeret af mennesker som fordomsfuld eller dehumaniserende. Den nyeste model blev derefter målt imod forskernes egen model for at markere ikke-hadefuldt tale på urigtig vis, ved hjælp af 12.500 New York Times-artikler med ingen hadefuldt tale til stede. Mens den nyeste model kunne opnå 77% nøjagtighed i at identificere hadefuldt tale kontra ikke-hadefuldt tale, var forskernes model højere med 90%. 

“Dette arbejde i sig selv gør ikke hadefuldt tale-detection perfekt, det er et enormt projekt, som mange arbejder på, men det skaber inkremental fremgang,” sagde Kennedy.

“Ud over at forhindre, at sociale medie-indlæg fra medlemmer af beskyttede grupper ikke bliver urigtigt censureret, håber vi, at vores arbejde vil hjælpe med at sikre, at hadefuldt tale-detection ikke gør unødig skade ved at forstærke forkerte associationer af fordom og dehumanisering med sociale grupper.”