Statistisk modell hjälper till att upptäcka missinformation på sociala medier

En matematikprofessor från American University, tillsammans med sitt team av medarbetare, har utvecklat en statistisk modell som kan upptäcka missinformation i inlägg på sociala medier.

Maskinlärning används alltmer för att stoppa spridningen av missinformation, men det finns fortfarande ett stort hinder när det gäller problemet med svarta lådor som uppstår. Detta refererar till när forskare inte förstår hur en maskin kommer fram till samma beslut som mänskliga utbildare. 

Att upptäcka missinformation med statistiska modeller

Zois Boukouvalas, biträdande professor i AU:s matematik- och statistikavdelning, använde en Twitter-dataset med missinformations-tweets om COVID-19 för att demonstrera hur statistiska modeller kan upptäcka missinformation på sociala medier under stora händelser som en pandemi eller katastrof. 

Boukouvalas och hans kollegor, som inkluderar AU-studenten Caitlin Moroney och datavetenskapsprofessorn Nathalie Japkowics, demonstrerade hur modellens beslut stämmer överens med mänskliga beslut i den nyligen publicerade forskningen.

“Vi vill veta vad en maskin tänker när den fattar beslut, och hur och varför den stämmer överens med de människor som tränat den”, sa Boukouvalas. “Vi vill inte blockera någons sociala mediekonto för att modellen fattar ett partiskt beslut.”

Metoden som användes av teamet är en typ av maskinlärning som förlitar sig på statistik. Statistiska modeller är effektiva och erbjuder ett annat sätt att bekämpa missinformation.

Modellen uppnådde en hög prediktionsprestanda och klassificerade en testuppsättning av 112 riktiga och missinformations-tweets med nästan 90% noggrannhet. 

“Det som är betydelsefullt med denna upptäckt är att vår modell uppnådde noggrannhet samtidigt som den erbjöd transparens om hur den upptäckte tweets som var missinformation”, fortsatte Boukouvalas. “Djupinlärningsmetoder kan inte uppnå denna typ av noggrannhet med transparens.”

Träning och förberedelse av modellen

Forskarna förberedde sig för att träna modellen innan de testade den på en dataset, eftersom informationen som tillhandahålls av människor kan introducera partiskhet och svarta lådor. 

Tweets märktes av forskarna som antingen missinformation eller riktiga baserat på en uppsättning fördefinierade regler om språk som används i missinformation. Teamet övervägde också nyanser i mänskligt språk och lingvistiska funktioner som är kopplade till missinformation.

Innan modellen tränades identifierade socio-lingvistikprofessorn Christine Mallinson från University of Maryland Baltimore County tweets för skrivstilar som är associerade med missinformation, partiskhet och mindre tillförlitliga källor i nyhetsmedier.

“När vi lägger till dessa indata i modellen försöker den förstå de underliggande faktorerna som leder till separationen av bra och dålig information”, sa Japkowicz. “Den lär sig sammanhanget och hur ord interagerar.”

Forskarna kommer nu att försöka förbättra användargränssnittet för modellen, samt dess förmåga att upptäcka missinformation i inlägg på sociala medier som innehåller bilder eller andra multimedia. Den statistiska modellen kommer att kräva att lära sig hur en mängd olika element interagerar med varandra för att skapa missinformation.

Både Boukouvalas och Japkowicz säger att mänsklig intelligens och nyhetsläskunnighet är nyckeln till att stoppa spridningen av missinformation. 

“Genom vårt arbete designar vi verktyg baserade på maskinlärning för att varna och utbilda allmänheten i syfte att eliminera missinformation, men vi tror starkt att människor måste spela en aktiv roll i att inte sprida missinformation från början”, sa Boukouvalas.