Statistisch model helpt bij het detecteren van misinformatie op sociale media

Een wiskunde-professor van de American University, samen met zijn team van medewerkers, heeft een statistisch model ontwikkeld dat misinformatie in sociale media-berichten kan detecteren.

Machine learning wordt steeds vaker gebruikt om de verspreiding van misinformatie te stoppen, maar er is nog een groot obstakel wat betreft het probleem van black boxes dat optreedt. Dit verwijst naar het feit dat onderzoekers niet begrijpen hoe een machine tot dezelfde beslissing komt als menselijke trainers.

Misinformatie detecteren met statistische modellen

Zois Boukouvalas, assistent-professor in de afdeling Wiskunde en Statistiek van de AU, gebruikte een Twitter-dataset met misinformatie-tweets over COVID-19 om te demonstreren hoe statistische modellen misinformatie in sociale media kunnen detecteren tijdens grote evenementen zoals een pandemie of ramp.

Boukouvalas en zijn collega’s, waaronder AU-student Caitlin Moroney en Computer Science Professor Nathalie Japkowicz, demonstreerden hoe de beslissingen van het model overeenkomen met die van mensen in het nieuw gepubliceerde onderzoek.

“We zouden graag willen weten wat een machine denkt wanneer het beslissingen neemt, en hoe en waarom het het eens is met de mensen die het hebben getraind,” zei Boukouvalas. “We willen niet iemands sociale media-account blokkeren omdat het model een vooringenomen beslissing neemt.”

De methode die het team gebruikte, is een soort machine learning die op statistiek berust. Statistische modellen zijn effectief en bieden een andere manier om misinformatie te bestrijden.

Het model behaalde een hoog voorspellingsresultaat en classificeerde een testset van 112 echte en misinformatie-tweets met een nauwkeurigheid van bijna 90%.

“Wat belangrijk is aan deze vinding, is dat ons model nauwkeurigheid behaalde terwijl het transparant was over hoe het de tweets die misinformatie bevatten, detecteerde,” vervolgde Boukouvalas. “Diepe leer-methoden kunnen deze nauwkeurigheid met transparantie niet bereiken.”

Het model trainen en voorbereiden

De onderzoekers bereidden het model voor om het te trainen op een dataset, aangezien de informatie die door mensen wordt verstrekt, vooringenomenheid en black boxes kan introduceren.

De tweets werden door de onderzoekers gelabeld als misinformatie of echt op basis van een set van vooraf gedefinieerde regels over de taal die in misinformatie wordt gebruikt. Het team hield ook rekening met nuances in de menselijke taal en linguïstische kenmerken die zijn gekoppeld aan misinformatie.

Voordat het model werd getraind, identificeerde socio-linguist Professor Christine Mallinson van de University of Maryland Baltimore County de tweets voor schrijfstijlen die zijn geassocieerd met misinformatie, vooringenomenheid en minder betrouwbare bronnen in nieuwsmedia.

“Zodra we die invoer in het model stoppen, probeert het de onderliggende factoren te begrijpen die leiden tot de scheiding van goede en slechte informatie,” zei Japkowicz. “Het leert de context en hoe woorden met elkaar omgaan.”

De onderzoekers zullen nu proberen de gebruikersinterface voor het model te verbeteren, evenals de mogelijkheid om misinformatie in sociale media-berichten te detecteren die afbeeldingen of andere multimedia bevatten. Het statistische model moet leren hoe een verscheidenheid aan verschillende elementen met elkaar omgaat om misinformatie te creëren.

Zowel Boukouvalas als Japkowicz zeggen dat menselijke intelligentie en nieuwsgeletterdheid essentieel zijn om de verspreiding van misinformatie te stoppen.

“Door ons werk ontwerpen we tools op basis van machine learning om het publiek te waarschuwen en te onderwijzen om misinformatie te elimineren, maar we geloven sterk dat mensen een actieve rol moeten spelen in het niet verspreiden van misinformatie in de eerste plaats,” zei Boukouvalas.