Statistisch model helpt bij het detecteren van desinformatie op sociale media

Een wiskunde-professor van de American University, samen met zijn team van medewerkers, heeft een statistisch model ontwikkeld dat desinformatie in sociale media-berichten kan detecteren.

Machine learning wordt steeds vaker gebruikt om de verspreiding van desinformatie te stoppen, maar er is nog een groot obstakel wat betreft het probleem van black boxes. Dit verwijst naar situaties waarin onderzoekers niet begrijpen hoe een machine tot dezelfde beslissing komt als menselijke trainers.

Desinformatie detecteren met statistische modellen

Zois Boukouvalas, assistent-professor in de afdeling Wiskunde en Statistiek van AU, gebruikte een Twitter-dataset met desinformatie-tweets over COVID-19 om te demonstreren hoe statistische modellen desinformatie in sociale media kunnen detecteren tijdens grote evenementen zoals een pandemie of ramp.

Boukouvalas en zijn collega’s, waaronder AU-student Caitlin Moroney en Computer Science Professor Nathalie Japkowics, demonstreerden hoe de beslissingen van het model overeenkomen met die van mensen in de recent gepubliceerde onderzoek.

“We zouden graag willen weten wat een machine denkt als het beslissingen neemt, en hoe en waarom het het eens is met de mensen die het hebben getraind,” zei Boukouvalas. “We willen niet iemands sociale media-account blokkeren omdat het model een vooringenomen beslissing neemt.”

De methode die het team gebruikte, is een type machine learning dat vertrouwt op statistiek. Statistische modellen zijn effectief en bieden een andere manier om desinformatie te bestrijden.

Het model behaalde een hoge voorspellingsprestatie en classificeerde een testset van 112 echte en desinformatie-tweets met een nauwkeurigheid van bijna 90%.

“Wat significant is aan deze bevinding, is dat ons model nauwkeurigheid behaalde terwijl het transparant was over hoe het de tweets die desinformatie bevatten, detecteerde,” zei Boukouvalas verder. “Deep learning-methoden kunnen deze nauwkeurigheid met transparantie niet bereiken.”

Trainen en voorbereiden van het model

De onderzoekers bereidden het model voor om het te trainen voordat ze het testten op een dataset, aangezien de informatie die door mensen wordt verstrekt, vooringenomenheid en black boxes kan introduceren.

De tweets werden door de onderzoekers gelabeld als desinformatie of echt op basis van een set van vooraf gedefinieerde regels over de taal die in desinformatie wordt gebruikt. Het team hield ook rekening met nuances in de menselijke taal en linguïstische kenmerken die in verband staan met desinformatie.

Voordat het model werd getraind, identificeerde socio-linguist Professor Christine Mallinson van de University of Maryland Baltimore County de tweets voor schrijfstijlen die geassocieerd worden met desinformatie, vooringenomenheid en minder betrouwbare bronnen in nieuwsmedia.

“Zodra we deze invoer in het model stoppen, probeert het de onderliggende factoren te begrijpen die leiden tot de scheiding van goede en slechte informatie,” zei Japkowicz. “Het leert de context en hoe woorden met elkaar interacteren.”

De onderzoekers zullen nu proberen de gebruikersinterface voor het model te verbeteren, evenals de mogelijkheid om desinformatie in sociale media-berichten te detecteren die afbeeldingen of andere multimedia bevatten. Het statistische model moet leren hoe verschillende elementen met elkaar interacteren om desinformatie te creëren.

Zowel Boukouvalas als Japkowicz zeggen dat menselijke intelligentie en nieuwsgeletterdheid essentieel zijn om de verspreiding van desinformatie te stoppen.

“Door ons werk ontwerpen we tools op basis van machine learning om het publiek te waarschuwen en te onderwijzen om desinformatie te elimineren, maar we geloven sterk dat mensen een actieve rol moeten spelen in het niet verspreiden van desinformatie in de eerste plaats,” zei Boukouvalas.