Statistisk modell hjälper till att upptäcka desinformation på sociala medier

En matematikprofessor från American University, tillsammans med sitt team av samarbetspartner, har utvecklat en statistisk modell som kan upptäcka desinformation i sociala medieinlägg.

Maskinlärning används alltmer för att stoppa spridningen av desinformation, men det finns fortfarande ett stort hinder när det gäller problemet med svarta lådor som uppstår. Detta refererar till när forskare inte förstår hur en maskin kommer fram till samma beslut som mänskliga utbildare.

Upptäckande av desinformation med statistiska modeller

Zois Boukouvalas, biträdande professor i AU:s avdelning för matematik och statistik, använde en Twitter-dataset med desinformationstweets om COVID-19 för att demonstrera hur statistiska modeller kan upptäcka desinformation i sociala medier under stora händelser som en pandemi eller katastrof.

Boukouvalas och hans kollegor, som inkluderar AU-studenten Caitlin Moroney och datavetenskapsprofessorn Nathalie Japkowics, demonstrerade hur modellens beslut överensstämmer med mänskliga beslut i den nyligen publicerade forskningen.

“Vi vill veta vad en maskin tänker när den fattar beslut, och hur och varför den överensstämmer med de människor som utbildat den”, sa Boukouvalas. “Vi vill inte blockera någons sociala mediekonto för att modellen fattar ett partiskt beslut.”

Metoden som användes av teamet är en typ av maskinlärning som bygger på statistik. Statistiska modeller är effektiva och erbjuder ett annat sätt att bekämpa desinformation.

Modellen uppnådde en hög förutsägelseprestanda och klassificerade en testuppsättning av 112 riktiga och desinformationstweets med nästan 90% noggrannhet.

“Vad som är betydelsefullt med denna upptäckt är att vår modell uppnådde noggrannhet samtidigt som den erbjuder insyn i hur den upptäckte tweets som var desinformation”, fortsatte Boukouvalas. “Djupinlärningsmetoder kan inte uppnå denna typ av noggrannhet med insyn.”

Träning och förberedelse av modellen

Forskarna förberedde sig för att träna modellen innan de testade den på en dataset, eftersom informationen som tillhandahålls av människor kan introducera partiskhet och svarta lådor.

Tweets klassificerades av forskarna som antingen desinformation eller riktiga baserat på en uppsättning fördefinierade regler om språk som används i desinformation. Teamet beaktade också nyanser i mänskligt språk och lingvistiska egenskaper som är kopplade till desinformation.

Innan modellen tränades, identifierade socio-lingvistikprofessorn Christine Mallinson från University of Maryland Baltimore County tweets för skrivstilar som är associerade med desinformation, partiskhet och mindre tillförlitliga källor i nyhetsmedier.

“När vi lägger till dessa indata i modellen, försöker den förstå de underliggande faktorerna som leder till separationen av bra och dålig information”, sa Japkowicz. “Den lär sig sammanhanget och hur ord interagerar.”

Forskarna kommer nu att försöka förbättra användargränssnittet för modellen, samt dess förmåga att upptäcka desinformation i sociala medieinlägg som innehåller bilder eller andra multimedia. Den statistiska modellen kommer att kräva att lära sig hur en mängd olika element interagerar med varandra för att skapa desinformation.

Både Boukouvalas och Japkowicz säger att mänsklig intelligens och nyhetsläskunnighet är nyckeln till att stoppa spridningen av desinformation.

“Genom vårt arbete, designar vi verktyg baserade på maskinlärning för att varna och utbilda allmänheten i syfte att eliminera desinformation, men vi tror starkt att människor måste spela en aktiv roll i att inte sprida desinformation från första början”, sa Boukouvalas.