Statistisk modell hjelper med å oppdage misinformasjon på sosiale medier

En matematikklærer fra American University, sammen med sitt team av samarbeidspartnere, har utviklet en statistisk modell som kan oppdage misinformasjon i sosiale medieinnlegg.

Maskinlæring brukes stadig mer for å stoppe spredningen av misinformasjon, men det er fortsatt et stort hinder når det gjelder problemet med “black boxes” som oppstår. Dette refererer til når forskerne ikke forstår hvordan en maskin kommer frem til samme beslutning som menneskelige trenere. 

Oppdaging av misinformasjon med statistiske modeller

Zois Boukouvalas, assistentprofessor i AU’s avdeling for matematikk og statistikk, brukte en Twitter-datasett med misinformasjonstweets om COVID-19 for å demonstrere hvordan statistiske modeller kan oppdage misinformasjon på sosiale medier under større hendelser som en pandemi eller katastrofe. 

Boukouvalas og hans kolleger, som inkluderer AU-studenten Caitlin Moroney og professor i datavitenskap Nathalie Japkowics, demonstrerte hvordan modellens beslutninger stemmer overens med menneskers i den nyt publisert forskning.

“Vi ønsker å vite hva en maskin tenker når den tar beslutninger, og hvordan og hvorfor den er enig med de menneskene som har trent den,” sa Boukouvalas. “Vi ønsker ikke å blokkere noen sin sosiale mediekonto fordi modellen tar en fordomsfull beslutning.”

Metoden som ble brukt av teamet er en type maskinlæring som baserer seg på statistikk. Statistiske modeller er effektive og gir en annen måte å bekjempe misinformasjon på.

Modellen oppnådde en høy prediksjonsytelse og klassifiserte en testsett på 112 ekte og misinformasjonstweets med nesten 90% nøyaktighet. 

“Hva som er betydningsfullt med denne funn er at vår modell oppnådde nøyaktighet samtidig som den tilbyr transparens om hvordan den oppdaget tweetene som var misinformasjon,” fortsatte Boukouvalas. “Dyp læring metoder kan ikke oppnå denne typen nøyaktighet med transparens.”

Trening og forberedelse av modellen

Forskerne forberedte seg på å trene modellen før de testet den på en datasett, siden informasjonen som blir gitt av mennesker kan introdusere fordommer og “black boxes”. 

Tweetene ble merket av forskerne som enten misinformasjon eller ekte basert på en sett med forhåndsdefinerte regler om språk som brukes i misinformasjon. Teamet tok også hensyn til nuanser i menneskespråk og lingvistiske trekk som er knyttet til misinformasjon.

Før modellen ble trent, identifiserte sosiolingvisten professor Christine Mallinson fra University of Maryland Baltimore County tweetene for skrivestiler som er assosiert med misinformasjon, fordommer og mindre pålitelige kilder i nyhetsmediene.

“Når vi legger til disse innputtene i modellen, prøver den å forstå de underliggende faktorene som fører til separasjonen av god og dårlig informasjon,” sa Japkowicz. “Den lærer konteksten og hvordan ordene samhandler.”

Forskerne vil nå se på å forbedre brukergrensesnittet for modellen, samt dens evne til å oppdage misinformasjon i sosiale medieinnlegg som inkluderer bilder eller andre multimedieelementer. Den statistiske modellen må lære hvordan en rekke ulike elementer samhandler med hverandre for å skape misinformasjon.

Både Boukouvalas og Japkowicz sier at menneskelig intelligens og nyhetslitteratur er nøkkel til å stoppe spredningen av misinformasjon. 

“Gjennom vårt arbeid, designer vi verktøy basert på maskinlæring for å varsle og utdanne allmennheten for å eliminere misinformasjon, men vi tror sterkt på at mennesker må spille en aktiv rolle i å ikke spre misinformasjon fra første sted,” sa Boukouvalas.