Ny studie forsøger at forbedre hadefuldt tale-detectionsalgoritmer

Sociale medie-selskaber, især Twitter, har længe været kritiseret for, hvordan de markerer tale og beslutter, hvilke konti der skal lukkes. Det underliggende problem har næsten altid noget at gøre med de algoritmer, de bruger til at overvåge online-indlæg. Kunstig intelligens-systemer er langt fra perfekte, når det kommer til denne opgave, men der arbejdes konstant på at forbedre dem. 

Med i dette arbejde er en ny studie fra University of Southern California, der forsøger at reducere visse fejl, der kan resultere i racemæssig bias.

Fejl i at genkende kontekst

Et af problemerne, der ikke får så megen opmærksomhed, har at gøre med algoritmer, der er ment til at stoppe spredningen af hadefuldt tale, men i stedet forstærker racemæssig bias. Dette sker, når algoritmerne ikke kan genkende konteksten og ender med at markere eller blokere tweets fra minoritetsgrupper.

Det største problem med algoritmerne i forhold til kontekst er, at de er overfølsomme over for bestemte gruppe-identificerende termer som “sort”, “homoseksuel” og “transgender”. Algoritmerne betragter disse hadefuldt tale-klassificatorer, men de bruges ofte af medlemmer af disse grupper, og konteksten er vigtig.

I et forsøg på at løse dette problem med kontekst-blindhed, skabte forskerne en mere kontekst-følsom hadefuldt tale-klassificator. Den nye algoritme er mindre sandsynlig til at mislabele et indlæg som hadefuldt tale.

Algoritmen

Forskerne udviklede de nye algoritmer med to nye faktorer i mente: konteksten i forhold til gruppe-identificatorerne og om der også er andre træk af hadefuldt tale til stede i indlægget, som f.eks. dehumaniserende sprog.

Brendan Kennedy er en computer science Ph.D.-studerende og co-lead forfatter af studiet, der blev offentliggjort den 6. juli på ACL 2020.

“Vi vil bringe hadefuldt tale-detection tættere på at være klar til virkelighedsanvendelse,” sagde Kennedy.

“Hadefuldt tale-detectionsmodeller ‘bryder’ ofte sammen, eller genererer dårlige forudsigelser, når de introduceres til virkelighedsdata, såsom sociale medier eller andre online tekstdata, fordi de er fordommede af de data, de er trænet på til at associerer udseendet af sociale identificatorer med hadefuldt tale.”

Grunden til, at algoritmerne ofte er upræcise, er, at de er trænet på ubalancerede datasets med ekstremt høje rater af hadefuldt tale. På grund af dette, kan algoritmerne ikke lære, hvordan de skal håndtere, hvad sociale medier faktisk ligner i den virkelige verden. 

Professor Xiang er ekspert i naturlig sprogbehandling.

“Det er nøgle for modellerne ikke at ignorere identificatorer, men at matche dem med den rette kontekst,” sagde Ren.

“Hvis du lærer en model fra en ubalanceret dataset, begynder modellen at opfange underlige mønstre og blokere brugere upassende.”

For at teste algoritmen, brugte forskerne en tilfældig stikprøve af tekst fra to sociale medie-sites, der har en høj rate af hadefuldt tale. Teksten var først håndmarkeret af mennesker som fordomsfuld eller dehumaniserende. Den mest avancerede model blev derefter målt mod forskernes egen model for upassende markering af ikke-hadefuldt tale gennem brug af 12.500 New York Times-artikler med ingen hadefuldt tale til stede. Mens den mest avancerede model kunne opnå 77% nøjagtighed i at identificere hadefuldt tale kontra ikke-hadefuldt tale, var forskernes model højere med 90%. 

“Dette arbejde i sig selv gør ikke hadefuldt tale-detection perfekt, det er et enormt projekt, som mange arbejder på, men det skaber inkrementel fremgang,” sagde Kennedy.

“Foruden at forhindre sociale medie-indlæg fra medlemmer af beskyttede grupper i at blive upassende censureret, håber vi, at vores arbejde vil hjælpe med at sikre, at hadefuldt tale-detection ikke gør unødig skade ved at forstærke spurious associationer af fordom og dehumanisering med sociale grupper.”