Generering og identifisering av propaganda med maskinlæring

Ny forskning fra USA og Qatar tilbyr en ny metode for å identifisere falske nyheter som er skrevet på en måte som mennesker faktisk skriver falske nyheter – ved å innlemme uriktige utsagn i en hovedsakelig sann kontekst, og ved å bruke populære propaganda-teknikker som appeller til myndighet og ladede språk.

Prosjektet har resultert i opprettelsen av en ny treningsdataset for å oppdage falske nyheter, kalt PropaNews, som inkorporerer disse teknikkene. Forskerne har funnet ut at detektorer trent på den nye datasetten er 7,3-12% mer nøyaktige i å oppdage menneskeskrevne desinformasjonskampanjer enn tidligere metoder.

Fra den nye artikkelen, eksempler på ‘appell til myndighet’ og ‘ladede språk’. Kilde: https://arxiv.org/pdf/2203.05386.pdf

Forskerne hevder at dette prosjektet er det første som inkorporerer propaganda-teknikker (i stedet for rett og slett feilaktig informasjon) i maskin-genererte teksteksempler som skal brukes til å trene opp falske nyhetsdetektorer.

De fleste nyere studier i dette feltet, hevder de, har studert bias, eller omformulert ‘propaganda’-data i konteksten av bias (antagelig fordi bias ble et høyt finansiert maskinlæring-område i post-Analytica-æraen).

Forskerne sier:

‘I motsetning til vårt arbeid, genererer vi falske nyheter ved å inkorporere propaganda-teknikker og bevare majoriteten av korrekt informasjon. Derfor er vår tilnærming mer egnet for å studere forsvar mot menneskeskrevne falske nyheter.’

De illustrerer videre den voksende urgensen av mer avanserte propaganda-detteknikker*:

‘[Menneskeskrevne] desinformasjonskampanjer, som ofte brukes til å manipulere bestemte befolkninger, har hatt katastrofale konsekvenser på flere hendelser, som 2016 US Presidential Election, Brexit, COVID-19-pandemien, og det nylige Russlands angrep på Ukraina. Derfor er vi i urgent behov for et forsvarsmekanisme mot menneskeskrevne desinformasjonskampanjer.’

Den artikkelen heter Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation, og kommer fra fem forskere ved University of Illinois Urbana-Champaign, Columbia University, Hamad Bin Khalifa University i Qatar, University of Washington, og Allen Institute for AI.

Definering av usannhet

Ufordringen med å kvantifisere propaganda er i stor grad en logistisk utfordring: det er svært dyrt å hyre mennesker til å gjenkjenne og annotere virkelige materialer med propaganda-lignende egenskaper for inklusjon i en treningsdataset, og potensielt mye billigere å trekke ut og bruke høy-nivå-egenskaper som sannsynligvis vil fungere på ‘usette’, fremtidige data.

I service av en mer skalerbar løsning, samlet forskerne initialt menneskeskapt desinformasjon fra nyhetskilder som ble ansett å være lav i faktisk nøyaktighet, via Media Bias Fact Check-nettstedet.

De fant ut at 33% av artiklene som ble studert brukte uærlige propaganda-teknikker, inkludert emotiv-utløsende termer, logiske feil, og appell til myndighet. En ytterligere 55% av artiklene inneholdt feilaktig informasjon blandet med korrekt informasjon.

Generering av appeller til myndighet

Appell til myndighet-tilnærmingen har to brukstilfeller: sitater av feilaktige utsagn, og sitater av fullstendig fiktive utsagn. Forskningen fokuserer på det siste tilfelle.

Fra det nye prosjektet, Natural Language Inference-rammeverket RoBERTa identifiserer to ytterligere eksempler på appell til myndighet og ladede språk.

Med målet om å skape maskin-generert propaganda for den nye datasetten, brukte forskerne den forhånds-trente seq2seq-arkitekturen BART for å identifisere sentrale setninger som senere kunne bli endret til propaganda. Da det ikke fantes noen offentlig tilgjengelig datasett relatert til denne oppgaven, brukte forfatterne en ekstraktiv summeringsmodell forslagt i 2019 for å estimere setning-salience.

For en artikkel fra hver nyhetskanal som ble studert, erstattet forskerne disse ‘merkede’ setningene med feilaktige argumenter fra ‘myndigheter’ avledet både fra Wikidata Query Service og fra myndigheter nevnt i artiklene (dvs. personer og/eller organisasjoner).

Generering av ladede språk

Ladede språk inkluderer ord, ofte sensasjonaliserte adverb og adjektiv (som i ovennevnte eksempel), som inneholder implisitte verdi-dømminger innviklet i konteksten av å levere en fakta.

For å avlede data om ladede språk, brukte forfatterne en datasett fra en studie fra 2019 som inneholdt 2 547 ladede språk-eksempler. Da ikke alle eksemplene i 2019-dataene inkluderte emotiv-utløsende adverb eller adjektiv, brukte forskerne SpaCy for å utføre avhengighets-parsing og Part of Speech (PoS)-tagging, og beholdt bare passende eksempler for inklusjon i rammeverket.

Filterprosessen resulterte i 1 017 eksempler på gyldige ladede språk. En annen instans av BART ble brukt til å maskere og erstatte sentrale setninger i kilde-dokumentene med ladede språk.

PropaNews Dataset

Etter mellomliggende modell-trening utført på 2015 CNN/DM dataset fra Google Deep Mind og Oxford University, genererte forskerne PropaNews-datasetten, og konverterte ikke-trivielle artikler fra ‘pålitelige’ kilder som The New York Times og The Guardian til ‘endrede’ versjoner som inneholdt kunstig propaganda.

Eksperimentet ble modellert etter en studie fra 2013 fra Hanover, som automatisk genererte tidslinje-summeringer av nyhetshistorier over 17 nyhetshendelser, og totalt 4 535 historier.

De genererte desinformasjonskampanjene ble presentert for 400 unike arbeidere på Amazon Mechanical Turk (AMT), som omfattet 2000 Human Intelligence Tasks (HITs). Bare de propaganda-ladde artiklene som ble ansett å være nøyaktige av arbeiderne, ble inkludert i den endelige versjonen av PropaNews. Adjudikasjon på uenigheter ble poengsatt med Worker Agreement With Aggregate (WAWA)-metoden.

Den endelige versjonen av PropaNews inneholder 2 256 artikler, balansert mellom falske og ekte utgang, 30% av disse bruker appell til myndighet, med en ytterligere 30% som bruker ladede språk. Resten inneholder bare feilaktig informasjon av den typen som har dominert tidligere datasett i dette forskningsfeltet.

Dataene ble delt 1 256:500:500 over trenings-, testing- og valideringsfordeling.

HumanNews Dataset

For å evaluere effektiviteten av de trenede propaganda-detteknikkene, samlet forskerne 200 menneskeskrevne nyhetsartikler, inkludert artikler som ble avvist av Politifact, og publisert mellom 2015-2020.

Disse dataene ble supplert med ytterligere avviste artikler fra upålitelige nyhetskilder, og summen faktisk sjekket av en datavitenskaps-student.

Den endelige datasetten, kalt HumanNews, inkluderer også 100 artikler fra Los Angeles Times.

Tester

Detekteringsprosessen ble sammenlignet med tidligere rammeverk i to former: PN-Silver, som ignorerer AMT-annotator-validering, og PN-Gold, som inkluderer valideringen som et kriterium.

Konkurrerende rammeverk inkluderte 2019-tilbudet Grover-GEN, 2020 Fact-GEN, og FakeEvent, hvor artikler fra PN-Silver erstattes med dokumenter generert av eldre metoder.

Variante av Grover og RoBERTa viste seg å være mest effektive når de ble trenet på den nye PropaNews-datasetten, og forskerne konkluderte med at ‘detektorer trenet på PROPANEWS fungerer bedre i å identifisere menneskeskrevne desinformasjonskampanjer sammenlignet med å trene på andre datasett’.

Forskerne observerer også at selv den semi-cripplede ablasjons-datasett PN-Silver overgår eldre metoder på andre datasett.

Er det for gammelt?

Forskerne gjentar mangelen på forskning til dato om den automatiske genereringen og identifiseringen av propaganda-sentrert falske nyheter, og advarer om at bruk av modeller trenet på data før kritiske hendelser (slik som COVID eller, antagelig, den nåværende situasjonen i Øst-Europa) ikke kan forventes å fungere optimalt:

‘Om lag 48% av de feilaktig klassifiserte menneskeskrevne desinformasjonskampanjer skyldes evnen til å tilegne seg dynamisk kunnskap fra nye nyhetskilder. For eksempel er COVID-relaterte artikler vanligvis publisert etter 2020, mens ROBERTA ble forhåndstrent på nyhetsartikler publisert før 2019. Det er svært vanskelig for ROBERTA å detektere desinformasjon om slike emner med mindre detektoren er utstyrt med evnen til å tilegne seg dynamisk kunnskap fra nyhetsartikler.’

Forskerne merker også at RoBERTa oppnår en 69,0% nøyaktighet for å detektere falske nyhetsartikler hvor materialet er publisert før 2019, men faller ned til 51,9% nøyaktighet når den brukes mot nyhetsartikler publisert etter denne datoen.

Paltering og kontekst

Selv om studien ikke direkte berører dette, er det mulig at denne type dybde-innsikt i semantisk påvirkning kan til slutt kunne håndtere mer subtile våpenisering av språk, som paltering – den selvbetjent og selektive bruken av sanne utsagn for å oppnå et ønsket resultat som kan motsi den oppfattede ånd og intensjonen bak den støttende bevisningen som brukes.

En relatert og litt mer utviklet forskningslinje i NLP, datavisualisering og multimodal forskning er studiet av kontekst som et tillegg til mening, hvor selektiv og selvbetjent omordning eller omkontekstualisering av sanne fakta blir likeverdig med et forsøk på å fremkalle en annen reaksjon enn fakta måtte vanligvis ha, hvis de ble presentert på en klarere og mer lineær måte.

* Min konvertering av forfatternes inline-citater til direkte lenker.

Først publisert 11. mars 2022.