Statistisk model hjælper med at opdage misinformationsindhold på sociale medier

En matematikprofessor fra American University, sammen med hans team af samarbejdspartnere, har udviklet en statistisk model, der kan opdage misinformationsindhold i sociale medieindlæg.

Maskinlæring bliver mere og mere brugt til at stoppe spredningen af misinformationsindhold, men der er stadig en stor hindring, der involverer problemet med sorte kasser, der opstår. Dette refererer til, når forskere ikke forstår, hvordan en maskine når frem til samme beslutning som menneskelige trænere.

At opdage misinformationsindhold med statistiske modeller

Zois Boukouvalas, adjunkt i AU’s afdeling for matematik og statistik, brugte en Twitter-datasæt med misinformationsindhold om COVID-19 til at demonstrere, hvordan statistiske modeller kan opdage misinformationsindhold på sociale medier under store begivenheder som en pandemi eller katastrofe.

Boukouvalas og hans kolleger, der inkluderer AU-studenten Caitlin Moroney og professor i datalogi Nathalie Japkowics, demonstrerede, hvordan modellens beslutninger er i overensstemmelse med menneskers i den nyt offentliggjort forskning.

“Vi vil gerne vide, hvad en maskine tænker, når den træffer beslutninger, og hvordan og hvorfor den er enig med de mennesker, der har trænet den,” sagde Boukouvalas. “Vi vil ikke blokere nogen sociale medie-konti, fordi modellen træffer en fordomsfuld beslutning.”

Metoden, som holdet brugte, er en type maskinlæring, der afhænger af statistik. Statistiske modeller er effektive og giver en anden måde at bekæmpe misinformationsindhold på.

Modellen opnåede en høj forudsigelsespræstation og klassificerede en test-sæt på 112 ægte og misinformationsindhold tweets med næsten 90% nøjagtighed.

“Det, der er betydningsfuldt ved denne opdagelse, er, at vores model opnåede nøjagtighed, samtidig med at den tilbød gennemsigtighed om, hvordan den opdagede de tweets, der var misinformationsindhold,” fortsatte Boukouvalas. “Dybe læringmetoder kan ikke opnå denne slags nøjagtighed med gennemsigtighed.”

Træning og forberedelse af modellen

Forskerne forberedte sig på at træne modellen, før de testede den på en datasæt, da den information, der blev leveret af mennesker, kan introducere fordomme og sorte kasser.

Tweets blev mærket af forskerne som enten misinformationsindhold eller ægte på basis af en sæt af foruddefinerede regler om sprog, der blev brugt i misinformationsindhold. Holdet overvejede også nuancer i menneskesprog og lingvistiske funktioner, der er knyttet til misinformationsindhold.

Før træning af modellen identificerede socio-lingvist professor Christine Mallinson fra University of Maryland Baltimore County tweets for skrivestile, der var forbundet med misinformationsindhold, fordomme og mindre pålidelige kilder i nyhedsmedier.

“Når vi tilføjer disse input til modellen, prøver den at forstå de underliggende faktorer, der fører til adskillelsen af godt og dårligt indhold,” sagde Japkowicz. “Det lærer konteksten og hvordan ord interagerer.”

Forskerne vil nu se på at forbedre brugergrænsefladen for modellen, samt dens evne til at opdage misinformationsindhold i sociale medieindlæg, der inkluderer billeder eller andre multimedie. Den statistiske model skal lære, hvordan en række forskellige elementer interagerer med hinanden for at skabe misinformationsindhold.

Både Boukouvalas og Japkowicz siger, at menneskelig intelligens og nyhedsbevidsthed er nøglefaktorer i at stoppe spredningen af misinformationsindhold.

“Gennem vores arbejde designere vi værktøjer baseret på maskinlæring til at advare og uddanne offentligheden for at eliminere misinformationsindhold, men vi tror stærkt på, at mennesker skal spille en aktiv rolle i ikke at sprede misinformationsindhold fra starten,” sagde Boukouvalas.