Statistisk modell hjelper med å oppdage feilinformasjon på sosiale medier

En matematikklærer fra American University, sammen med sitt team av samarbeidspartnere, har utviklet en statistisk modell som kan oppdage feilinformasjon i sosiale medieinnlegg.

Maskinlæring brukes stadig mer for å stoppe spredning av feilinformasjon, men det er fortsatt en stor hindring når det gjelder problemet med “black boxes” som oppstår. Dette refererer til når forskerne ikke forstår hvordan en maskin kommer frem til samme beslutning som menneskelige trenere.

Oppdaging av feilinformasjon med statistiske modeller

Zois Boukouvalas, assistentprofessor i AU’s avdeling for matematikk og statistikk, brukte en Twitter-datasett med feilinformasjons-tweets om COVID-19 for å demonstrere hvordan statistiske modeller kan oppdage feilinformasjon i sosiale medier under større hendelser som en pandemi eller katastrofe.

Boukouvalas og hans kolleger, som inkluderer AU-studenten Caitlin Moroney og professor i datavitenskap Nathalie Japkowicz, demonstrerte hvordan modellens beslutninger stemmer overens med menneskers i den nyt publiserte forskningen.

“Vi ønsker å vite hva en maskin tenker når den tar beslutninger, og hvordan og hvorfor den er enig med de menneskene som har trent den,” sa Boukouvalas. “Vi ønsker ikke å blokkere noen sin sosiale mediekonto fordi modellen tar en fordomsfull beslutning.”

Metoden som ble brukt av teamet er en type maskinlæring som baserer seg på statistikk. Statistiske modeller er effektive og gir en annen måte å bekjempe feilinformasjon på.

Modellen oppnådde en høy prediksjonsytelse og klassifiserte en testsett på 112 ekte og feilinformasjons-tweets med nesten 90% nøyaktighet.

“Hva som er betydelig med denne funn er at vår modell oppnådde nøyaktighet samtidig som den tilbyr transparens om hvordan den oppdaget tweets som var feilinformasjon,” fortsatte Boukouvalas. “Djuplæring-metoder kan ikke oppnå denne type nøyaktighet med transparens.”

Trening og forberedelse av modellen

Forskerne forberedte seg på å trene modellen før de testet den på en datasett, siden informasjonen som ble gitt av mennesker kan introdusere fordommer og “black boxes”.

Tweets ble merket av forskerne som enten feilinformasjon eller ekte basert på en sett med forhåndsdefinerte regler om språk som ble brukt i feilinformasjon. Teamet tok også hensyn til nuanser i menneskelig språk og lingvistiske trekk som er knyttet til feilinformasjon.

Før modellen ble trent, identifiserte sosiolingvist-professor Christine Mallinson fra University of Maryland Baltimore County tweets for skrivestiler som var assosiert med feilinformasjon, fordommer og mindre pålitelige kilder i nyhetsmedier.

“Når vi legger disse innputtene inn i modellen, prøver den å forstå de underliggende faktorene som fører til skille mellom god og dårlig informasjon,” sa Japkowicz. “Den lærer konteksten og hvordan ord samhandler.”

Forskerne vil nå se på å forbedre brukergrensesnittet for modellen, samt dens evne til å oppdage feilinformasjon i sosiale medieinnlegg som inkluderer bilder eller andre multimedie-elementer. Den statistiske modellen vil være nødt til å lære hvordan en rekke ulike elementer samhandler for å skape feilinformasjon.

Både Boukouvalas og Japkowicz sier at menneskelig intelligens og nyhetslitteratur er nøkkel til å stoppe spredning av feilinformasjon.

“Gjennom vårt arbeid, designer vi verktøy basert på maskinlæring for å varsle og utdanne allmennheten for å eliminere feilinformasjon, men vi tror sterkt på at mennesker må spille en aktiv rolle i ikke å spre feilinformasjon fra første sted,” sa Boukouvalas.