Nieuwe studie probeert haatzaaiende taal detectie-algoritmes te verbeteren

Socialemediabedrijven, met name Twitter, krijgen al lang kritiek over hoe ze toespraken markeren en beslissen welke accounts ze moeten verbannen. Het onderliggende probleem heeft bijna altijd te maken met de algoritmes die ze gebruiken om online berichten te controleren. Kunstmatige intelligentiesystemen zijn verre van perfect als het gaat om deze taak, maar er wordt constant gewerkt aan het verbeteren ervan.

Onderdeel van dat werk is een nieuwe studie van de University of Southern California die probeert bepaalde fouten te verminderen die tot raciale vooroordelen kunnen leiden.

Fouten bij het herkennen van context

Een van de problemen die minder aandacht krijgen, heeft te maken met algoritmes die bedoeld zijn om de verspreiding van haatzaaiende taal tegen te gaan, maar die eigenlijk raciale vooroordelen versterken. Dit gebeurt wanneer de algoritmes de context niet herkennen en tweets van minderheden markeren of blokkeren.

Het grootste probleem met de algoritmes in verband met context is dat ze te gevoelig zijn voor bepaalde groepsidentificerende termen zoals “zwart”, “homoseksueel” en “transseksueel”. De algoritmes beschouwen deze termen als haatzaaiende taalclassificaties, maar ze worden vaak door leden van die groepen gebruikt en de setting is belangrijk.

In een poging om dit probleem van contextblindheid op te lossen, hebben de onderzoekers een meer contextgevoelige haatzaaiende taalclassificatie gemaakt. De nieuwe algoritme is minder waarschijnlijk om een bericht ten onrechte als haatzaaiende taal te labelen.

Het algoritme

De onderzoekers hebben de nieuwe algoritmes ontwikkeld met twee nieuwe factoren in gedachten: de context in verband met de groepsidentificatoren en of er ook andere kenmerken van haatzaaiende taal in het bericht aanwezig zijn, zoals dehumaniserende taal.

Brendan Kennedy is een promovendus in de informatica en co-auteur van de studie, die op 6 juli 2020 werd gepubliceerd op ACL 2020.

“We willen haatzaaiende taal detectie dichter bij de werkelijke wereld brengen”, zei Kennedy.

“Haatzaaiende taal detectiemodellen ‘breken’ of geven slechte voorspellingen wanneer ze in contact komen met werkelijke wereldgegevens, zoals sociale media of andere online tekstgegevens, omdat ze bevooroordeeld zijn door de gegevens waarop ze getraind zijn om de verschijning van sociale identificerende termen met haatzaaiende taal te associëren.”

De reden waarom de algoritmes vaak onnauwkeurig zijn, is dat ze getraind zijn op onevenwichtige datasets met extreem hoge percentages haatzaaiende taal. Daardoor leren de algoritmes niet hoe ze werkelijke sociale media-gegevens moeten verwerken.

Professor Xiang is een expert in natuurlijke taalverwerking.

“Het is belangrijk dat modellen identificatoren niet negeren, maar ze combineren met de juiste context”, zei Ren.

“Als je een model traint met een onevenwichtige dataset, begint het model vreemde patronen te herkennen en gebruikers ongepast te blokkeren.”

Om het algoritme te testen, gebruikten de onderzoekers een willekeurige steekproef van tekst van twee socialemediawebsites met een hoog percentage haatzaaiende taal. De tekst was eerst handmatig gemarkeerd door mensen als vooroordeel of dehumaniserend. Het state-of-the-art-model werd vervolgens gemeten tegen het model van de onderzoekers voor het ten onrechte markeren van niet-haatzaaiende taal, met behulp van 12.500 artikelen van The New York Times zonder haatzaaiende taal. Terwijl het state-of-the-art-model een nauwkeurigheid van 77% bereikte bij het identificeren van haatzaaiende taal versus niet-haatzaaiende taal, was het model van de onderzoekers hoger met 90%.

“Dit werk maakt haatzaaiende taal detectie niet perfect, dat is een enorm project waar veel mensen aan werken, maar het maakt incrementele vooruitgang”, zei Kennedy.

“Naast het voorkomen van ongepaste censuur van socialemediaberichten van leden van beschermde groepen, hopen we dat ons werk zal helpen ervoor te zorgen dat haatzaaiende taal detectie geen onnodige schade aanricht door de associatie van vooroordelen en dehumanisering met sociale groepen te versterken.”