Statistisk Model Hjælper Med At Opdage Misinformation På Sociale Medier

En matematikprofessor fra American University, sammen med hans team af samarbejdspartnere, har udviklet en statistisk model, der kan opdage misinformation i sociale medie-indlæg.

Maskinlæring bliver mere og mere brugt til at stoppe spredningen af misinformation, men der er stadig en stor hindring, der involverer problemet med sorte kasser, der opstår. Dette referer til, når forskere ikke forstår, hvordan en maskine når frem til samme beslutning som menneskelige trænere.

Opdaging Af Misinformation Med Statistiske Modeller

Zois Boukouvalas, assistentprofessor i AU’s afdeling for matematik og statistik, brugte en Twitter-dataset med misinformation-indlæg om COVID-19 til at demonstrere, hvordan statistiske modeller kan opdage misinformation på sociale medier under store begivenheder som en pandemi eller katastrofe.

Boukouvalas og hans kolleger, der inkluderer AU-studenten Caitlin Moroney og professor i datalogi Nathalie Japkowicz, demonstrerede, hvordan modellens beslutninger er i overensstemmelse med menneskers i den nyt offentliggjort forskning.

“Vi vil gerne vide, hvad en maskine tænker, når den træffer beslutninger, og hvordan og hvorfor den er enig med de mennesker, der har trænet den,” sagde Boukouvalas. “Vi vil ikke blokere nogen sociale medie-konti, fordi modellen træffer en fordomsfuld beslutning.”

Metoden, der blev brugt af teamet, er en type maskinlæring, der afhænger af statistik. Statistiske modeller er effektive og giver en anden måde at bekæmpe misinformation på.

Modellen opnåede en høj prædictionspræstation og klassificerede en test-sæt på 112 rigtige og misinformation-indlæg med næsten 90% nøjagtighed.

“Det, der er betydningsfuldt ved denne opdagelse, er, at vores model opnåede nøjagtighed, samtidig med at den tilbød gennemsigtighed om, hvordan den opdagede indlæggene, der var misinformation,” fortsatte Boukouvalas. “Deep learning-metoder kan ikke opnå denne type nøjagtighed med gennemsigtighed.”

Træning Og Forberedelse Af Modellen

Forskerne forberedte sig på at træne modellen, før de testede den på en dataset, da informationen, der blev leveret af mennesker, kan introducere fordomme og sorte kasser.

Indlæggene blev mærket af forskerne som enten misinformation eller rigtigt baseret på en sæt af foruddefinerede regler om sprog, der blev brugt i misinformation. Teamet overvejede også nuancer i menneskers sprog og lingvistiske funktioner, der er forbundet med misinformation.

Før modellen blev trænet, identificerede socio-lingvistisk professor Christine Mallinson fra University of Maryland Baltimore County indlæggene for skrivestile, der var forbundet med misinformation, fordomme og mindre pålidelige kilder i nyhedsmedier.

“Når vi tilføjer disse input til modellen, prøver den at forstå de underliggende faktorer, der fører til adskillelsen af god og dårlig information,” sagde Japkowicz. “Den lærer konteksten og hvordan ord interagerer.”

Forskerne vil nu se på at forbedre brugergrænsefladen for modellen, samt dens evne til at opdage misinformation i sociale medie-indlæg, der inkluderer billeder eller andre multimedie-elementer. Den statistiske model vil være nødt til at lære, hvordan en række forskellige elementer interagerer med hinanden for at skabe misinformation.

Både Boukouvalas og Japkowicz siger, at menneskelig intelligens og nyhedsbevidsthed er nøglefaktorer til at stoppe spredningen af misinformation.

“Gennem vores arbejde, designer vi værktøjer baseret på maskinlæring til at advare og uddanne offentligheden for at eliminere misinformation, men vi tror stærkt på, at mennesker skal spille en aktiv rol i ikke at sprede misinformation fra starten,” sagde Boukouvalas.