Generering og identificering af propaganda med maskinlæring

Nyt forskning fra USA og Qatar tilbyder en ny metode til at identificere falske nyheder, der er skrevet på en måde, som mennesker faktisk skriver falske nyheder – ved at indlejre ukorrekte udsagn i en overvejende sand kontekst, og ved brug af populære propaganda-teknikker som appeller til autoritet og belastet sprog.

Projektet har resulteret i oprettelsen af en ny træningsdataset for falske nyheder kaldet PropaNews, der inkorporerer disse teknikker. Forskerne har fundet, at detektorer trænet på den nye dataset er 7,3-12% mere præcise i at identificere menneskeskrevet desinformation end tidligere state-of-the-art-tilgange.

Fra den nye artikel, eksempler på ‘appel til autoritet’ og ‘belastet sprog’. Kilde: https://arxiv.org/pdf/2203.05386.pdf

Forskerne hævder, at til deres bedste viden, er projektet det første til at inkorporere propaganda-teknikker (i stedet for direkte faktuelle ukorrekte udsagn) i maskin-genererede teksteksempler, der skal bruges til at træne falske nyheds-detektorer.

De fleste nyere arbejder på dette område, hævder de, har studeret bias eller omskrevet ‘propaganda’-data i konteksten af bias (muligvis fordi bias blev et højtfundable maskinlæringsområde i post-Analytica-æraen).

Forskerne skriver:

‘I modsætning hertil genererer vores arbejde falske nyheder ved at inkorporere propaganda-teknikker og bevare det meste af den korrekte information. Derfor er vores tilgang mere egnet til at studere forsvar mod menneskeskrevet falske nyheder.’

De illustrerer yderligere den voksende nødvendighed for mere sofistikerede propaganda-detections-teknikker*:

‘[Menneskeskrevet] desinformation, der ofte bruges til at manipulere bestemte befolkningsgrupper, havde en katastrofal indvirkning på flere begivenheder, såsom præsidentvalget i USA i 2016, Brexit, COVID-19-pandemien og det seneste russiske angreb på Ukraine. Derfor er vi i urgent behov for en forsvarsmekanisme mod menneskeskrevet desinformation.’

Artiklen hefter er titlen Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation, og kommer fra fem forskere fra University of Illinois Urbana-Champaign, Columbia University, Hamad Bin Khalifa University i Qatar, University of Washington og Allen Institute for AI.

Definering af usandhed

Udfordringen ved at kvantificere propaganda er i høj grad en logistisk udfordring: det er meget dyrt at hyre mennesker til at genkende og annotere virkelige materialer med propaganda-lignende egenskaber til inklusion i en træningsdataset, og potentelt langt billigere at udtrække og anvende højniveaufunktioner, der sandsynligvis vil virke på ‘usete’, fremtidige data.

I service af en mere skalerbar løsning, indsamlede forskerne initialt menneskeskabt desinformation fra nyhedssteder, der blev vurderet til at have lav faktuel nøjagtighed, via Media Bias Fact Check-sitet.

De fandt, at 33% af de studerede artikler brugte uærlige propaganda-teknikker, herunder følelsesudløsende termer, logiske fejl og appel til autoriteter. Yderligere 55% af artiklerne indeholdt ukorrekte oplysninger blandet med korrekte oplysninger.

Generering af appeller til autoritet

Appel til autoritet-tilgangen har to brugsområder: citering af ukorrekte udsagn og citering af helt fiktive udsagn. Forskningen fokuserer på det sidste brugsområde.

Fra det nye projekt, Natural Language Inference-rammen RoBERTa identificerer to yderligere eksempler på appel til autoritet og belastet sprog.

Med det formål at skabe maskin-genereret propaganda til den nye dataset, brugte forskerne den forudtrænede seq2seq-arkitektur BART til at identificere betydningsfulde sætninger, der senere kunne ændres til propaganda. Da der ikke var en offentligt tilgængelig dataset relateret til dette opgave, brugte forfatterne en extractiv summarization-model forslagt i 2019 til at estimere sætningsbetydning.

For en artikel fra hver nyhedsudgiver, der blev studeret, erstattede forskerne disse ‘markerede’ sætninger med falske argumenter fra ‘autoriteter’ afledt både fra Wikidata Query Service og fra autoriteter, der blev nævnt i artiklerne (dvs. personer og/eller organisationer).

Generering af belastet sprog

Belastet sprog omfatter ord, ofte sensationelle adverbier og adjektiver (som i ovenstående eksempel), der indeholder implicitte værdidomme indlejret i konteksten af at levere en faktisk oplysning.

For at udlede data omkring belastet sprog, brugte forfatterne en dataset fra en studie fra 2019, der indeholdt 2.547 belastet sprog-eksempler. Da ikke alle eksemplerne i 2019-dataen indeholdt følelsesudløsende adverbier eller adjektiver, brugte forskerne SpaCy til at udføre afhængigheds-parsing og Part of Speech (PoS)-tagging, og beholdt kun passende eksempler til inklusion i rammen.

Filterprocessen resulterede i 1.017 eksempler på gyldigt belastet sprog. Endnu et eksemplar af BART blev brugt til at maskere og erstatte betydningsfulde sætninger i kilde-dokumenterne med belastet sprog.

PropaNews Dataset

Efter mellemmodel-træning udført på 2015 CNN/DM-dataset fra Google Deep Mind og Oxford University, genererede forskerne PropaNews-datasettet, der omdannede ikke-trivielle artikler fra ‘pålidelige’ kilder som The New York Times og The Guardian til ‘ændrede’ versioner, der indeholdt kunstigt skabt algoritme-propaganda.

Eksperimentet var modelleret på en studie fra 2013 fra Hanover, der automatisk genererede tidslinje-summeringer af nyhedsartikler over 17 nyhedsbegivenheder og i alt 4.535 historier.

Den genererede desinformation blev præsenteret for 400 unikke arbejdere på Amazon Mechanical Turk (AMT), der dækkede 2000 Human Intelligence Tasks (HITs). Kun de propaganda-belastede artikler, der blev vurderet som korrekte af arbejderne, blev inkluderet i den endelige version af PropaNews. Adjudikation på uenigheder blev vurderet med Worker Agreement With Aggregate (WAWA)-metoden.

Den endelige version af PropaNews indeholder 2.256 artikler, balanceret mellem falske og rigtige udsagn, 30% af hvilke udnytter appel til autoritet, og yderligere 30% bruger belastet sprog. Resten indeholder blot ukorrekte oplysninger af den type, der har domineret tidligere datasets i dette forskningsfelt.

Dataene blev fordelt 1.256:500:500 på tværs af trænings-, test- og valideringsdistributioner.

HumanNews Dataset

For at evaluere effekten af de trænede propaganda-detections-rutiner, samlede forskerne 200 menneskeskrevne nyhedsartikler, herunder artikler, der blev afvist af Politifact, og offentliggjort mellem 2015-2020.

Disse data blev suppleret med yderligere afviste artikler fra upålidelige nyhedsmedier og summen faktatjekket af en datalogi-student.

Den endelige dataset, kaldet HumanNews, indeholder også 100 artikler fra Los Angeles Times.

Tests

Detektionsprocessen blev sat op imod tidligere rammer i to former: PN-Silver, der ignorerer AMT-annotator-validering, og PN-Gold, der inkluderer valideringen som et kriterium.

Konkurrerende rammer inkluderede 2019-tilbuddet Grover-GEN, 2020’s Fact-GEN og FakeEvent, hvor artikler fra PN-Silver erstattes med dokumenter genereret af disse ældre metoder.

Variationer af Grover og RoBERTa viste sig at være mest effektive, når de blev trænet på den nye PropaNews-dataset, og forskerne konkluderede, at ‘detektorer trænet på PROPANEWS performer bedre i at identificere menneskeskrevet desinformation sammenlignet med træning på andre datasets’.

Forskerne observerer også, at selv den semi-handicappede ablation-dataset PN-Silver overgår ældre metoder på andre datasets.

Er det forældet?

Forfatterne gentager manglen på forskning indtil dato omkring den automatiserede generering og identificering af propaganda-centreret falske nyheder, og advarer om, at brugen af modeller trænet på data før kritiske begivenheder (såsom COVID eller den aktuelle situation i Østeuropa) ikke kan forventes at performe optimalt:

‘Omkring 48% af de misclassificerede menneskeskrevne desinformation skyldes manglen på evnen til at erhverve dynamisk viden fra nye nyhedssteder. For eksempel er COVID-relaterede artikler normalt offentliggjort efter 2020, mens ROBERTA blev forudtrænet på nyhedsartikler udgivet før 2019. Det er meget udfordrende for ROBERTA at detektere desinformation om sådanne emner, medmindre detektoren er udstyret med evnen til at erhverve dynamisk viden fra nyhedsartikler.’

Forfatterne bemærker yderligere, at RoBERTa opnår en nøjagtighed på 69,0% for detektion af falske nyhedsartikler, hvor materialet er offentliggjort før 2019, men falder til 51,9% nøjagtighed, når den anvendes mod nyhedsartikler offentliggjort efter denne dato.

Paltering og kontekst

Selv om studiet ikke direkte behandler det, er det muligt, at denne type dybdeinddykning i semantisk påvirkning kan adressere mere subtile våbenisering af sprog, såsom paltering – den selvbetjenende og selektive brug af sande udsagn for at opnå et ønsket resultat, der kan modsige ånden og hensigten bag de understøttende beviser, der bruges.

En relateret og lidt mere udviklet forskningslinje i NLP, computer vision og multimodal forskning er studiet af kontekst som en hjælper til betydning, hvor selektiv og selvbetjenende omordning eller genkontekstualisering af sande fakta bliver lig med et forsøg på at fremkalde en anden reaktion end faktaene måske ellers ville have, hvis de var præsenteret på en klarere og mere lineær måde.

* Min konvertering af forfatternes inline-citationer til direkte links.

Først offentliggjort den 11. marts 2022.