Generera och identifiera propaganda med maskininlärning

Ny forskning från USA och Qatar erbjuder en ny metod för att identifiera falska nyheter som har skrivits på det sätt som människor faktiskt skriva falska nyheter – genom att bädda in felaktiga uttalanden i ett i stort sett sanningsenligt sammanhang, och genom att använda populära propagandatekniker som t.ex. överklagar till myndighet och laddat språk.

Projektet har resulterat i skapandet av en ny datauppsättning för upptäckt av falska nyheter som heter PropaNews, som innehåller dessa tekniker. Studiens författare har funnit att detektorer som tränats på den nya datamängden är 7.3-12 % mer exakta när det gäller att upptäcka mänsklig skriven desinformation än tidigare toppmoderna metoder.

Från den nya tidningen, exempel på "överklagande till myndighet" och "laddat språk". Källa: https://arxiv.org/pdf/2203.05386.pdf

Författarna hävdar att projektet, så vitt de vet, är det första som införlivar propagandatekniker (snarare än enkla faktafel) i maskingenererade textexempel som är avsedda att underblåsa falska nyhetsdetektorer.

Det senaste arbetet inom detta område, hävdar de, har studerat partiskhet, eller omformulerat "propaganda"-data i samband med partiskhet (förmodligen för att partiskhet blev en mycket finansierbar maskininlärningssektor i post-Analytica-eran).

Författarna säger:

'I motsats till detta genererar vårt arbete falska nyheter genom att införliva propagandateknik och bevara majoriteten av den korrekta informationen. Därför är vårt tillvägagångssätt mer lämpat för att studera försvar mot mänskligt skrivna falska nyheter.'

De illustrerar ytterligare den växande angelägenheten av mer sofistikerade propagandadetekteringstekniker*:

"[Mänskligt skriven] desinformation, som ofta används för att manipulera vissa befolkningsgrupper, hade en katastrofal inverkan på flera händelser, som t.ex. 2016: s amerikanska presidentval, Brexit, den COVID-19-pandemi, och det senaste Rysslands angrepp på Ukraina. Därför är vi i akut behov av en försvarsmekanism mot mänskligt skriven desinformation.'

Smakämnen papper har titeln Fake Fake News för Real Fake News Detektering: Propagandaladdad träningsdatagenerering, och kommer från fem forskare vid University of Illinois Urbana-Champaign, Columbia University, Hamad Bin Khalifa University i Qatar, University of Washington och Allen Institute for AI.

Definiera osanning

Utmaningen med att kvantifiera propaganda är till stor del logistisk: det är mycket dyrt att anställa människor för att känna igen och kommentera verkligt material med propagandaliknande egenskaper för inkludering i en träningsdatauppsättning, och potentiellt mycket billigare att extrahera och använda funktioner på hög nivå som sannolikt kommer att fungera på "osynliga" framtida data.

Som tjänst för en mer skalbar lösning samlade forskarna inledningsvis in mänskligt skapade desinformationsartiklar från nyhetskällor som bedömdes vara låga i faktatillförlitlighet, via webbplatsen Media Bias Fact Check.

De fann att 33 % av de studerade artiklarna använde oseriösa propagandatekniker, inklusive känsloutlösande termer, logiska felbedömningaroch överklaga till myndigheter. Ytterligare 55 % av artiklarna innehöll felaktig information blandat med korrekt information.

Generera överklaganden till myndigheten

Smakämnen vädja till myndighet tillvägagångssättet har två användningsfall: citering av felaktiga påståenden och citering av helt fiktiva påståenden. Forskningen fokuserar på det andra användningsfallet.

Från det nya projektet identifierar ramverket Natural Language Inference RoBERTa ytterligare två exempel på att vädja till auktoriteter och laddat språk.

I syfte att skapa maskingenererad propaganda för den nya datamängden använde forskarna den förtränade seq2seq-arkitekturen BART för att identifiera framträdande meningar som senare skulle kunna ändras till propaganda. Eftersom det inte fanns någon allmänt tillgänglig datauppsättning relaterad till denna uppgift, använde författarna en extraktiv sammanfattningsmodell föreslås i 2019 för att uppskatta straffens betydelse.

För en artikel från varje studerat nyhetsutbud ersatte forskarna dessa "markerade" meningar med falska argument från "myndigheter" härledda både från Wikidata Query Service och från myndigheter som nämns i artiklarna (dvs. personer och/eller organisationer).

Genererar laddat språk

Laddat språk inkluderar ord, ofta sensationella adverb och adjektiv (som i det ovan illustrerade exemplet), som innehåller implicita värdebedömningar som är inblandade i sammanhanget för att leverera ett faktum.

För att härleda data om laddat språk använde författarna en datauppsättning från en 2019 studie innehållande 2,547 XNUMX laddat språk instanser. Eftersom inte alla exempel i 2019 års data inkluderade känsloutlösande adverb eller adjektiv använde forskarna SpaCy för att utföra beroendeanalys och Part of Speech (PoS)-taggning, med endast lämpliga exempel för inkludering i ramverket.

Filtreringsprocessen resulterade i 1,017 XNUMX prover av giltiga laddat språk. En annan instans av BART användes för att maskera och ersätta framträdande meningar i källdokumenten med laddat språk.

PropaNews Dataset

Efter mellanliggande modellutbildning genomförd 2015 CNN/DM-datauppsättning från Google Deep Mind och Oxford University, genererade forskarna PropaNews-datauppsättningen och konverterade icke-triviala artiklar från "pålitliga" källor som t.ex. The New York Times och The Guardian till "ändrade" versioner som innehåller skapad algoritmisk propaganda.

Experimentet var modellerat på en 2013 studie från Hannover, som automatiskt genererade tidslinjesammanfattningar av nyhetsartiklar över 17 nyhetshändelser och totalt 4,535 XNUMX artiklar.

Den genererade desinformationen skickades till 400 unika arbetare på Amazon Mechanical Turk (AMT), som spänner över 2000 Human Intelligence Tasks (HITs). Endast de propagandatyngda artiklarna anses exakt av arbetarna inkluderades i den slutliga versionen av PropaNews. Bedömning av meningsskiljaktigheter gjordes av Worker Agreement With Aggregate (WAWA) -metoden.

Den slutliga versionen av PropaNews innehåller 2,256 30 artiklar, balanserade mellan falska och verkliga utdata, varav XNUMX % utnyttjar vädja till myndighet, med ytterligare 30 % användning laddat språk. Resten innehåller helt enkelt felaktig information av den typ som till stor del har fyllt tidigare datamängder inom detta forskningsfält.

Uppgifterna delades upp 1,256 500:500:XNUMX över utbildnings-, testnings- och valideringsfördelningar.

HumanNews Dataset

För att utvärdera effektiviteten av de tränade propagandadetekteringsrutinerna sammanställde forskarna 200 mänskligt skrivna nyhetsartiklar, inklusive artiklar som avslöjats av Politifact, och publicerade mellan 2015-2020.

Dessa data utökades med ytterligare avslöjade artiklar från opålitliga nyhetsmedier, och summan faktagranskades av en datavetenskaplig doktorand.

Den slutliga datamängden, med titeln HumanNews, innehåller också 100 artiklar från Los Angeles Times.

Tester

Detekteringsprocessen ställdes mot tidigare ramverk i två former: PN-Silver, som bortser från AMT-annotatorvalidering, och PN-Guld, som inkluderar valideringen som ett kriterium.

Konkurrerande ramverk inkluderade 2019 års erbjudande Grover-GEN, 2020-talet Fakta-GENoch FakeEvent, där artiklar från PN-Silver ersätts med dokument genererade med dessa äldre metoder.

Varianter av Grover och RobERTa visade sig vara mest effektiva när de tränades på den nya PropaNews-datauppsättningen, där forskarna drog slutsatsen att "detektorer som tränats på PROPANEWS presterar bättre för att identifiera mänskligt skriven desinformation jämfört med träning på andra datamängder".

Forskarna observerar också att även den halvförlamade ablationsdatauppsättningen PN-Silver överträffar äldre metoder på andra datauppsättningar.

Inaktuell?

Författarna upprepar bristen på forskning hittills angående automatiserad generering och identifiering av propagandacentrerade falska nyheter, och varnar för att användningen av modeller tränade på data före kritiska händelser (som covid, eller, utan tvekan, den nuvarande situationen i östra delen av landet). Europa) kan inte förväntas fungera optimalt:

”Omkring 48 % av den felklassificerade mänskligt skriven desinformation orsakas av oförmågan att skaffa dynamisk kunskap från nya nyhetskällor. Till exempel publiceras covid-relaterade artiklar vanligtvis efter 2020, medan ROBERTA var förutbildad i nyhetsartiklar som släpptes före 2019. Det är mycket utmanande för ROBERTA att upptäcka desinformation om sådana ämnen om inte detektorn är utrustad med förmågan att skaffa dynamisk kunskap från nyhetsartiklar.'

Författarna noterar vidare att RoBERTa uppnår en 69.0 % noggrannhet för detektering av falska nyhetsartiklar där materialet publiceras före 2019, men sjunker till 51.9 % träffsäkerhet när det tillämpas mot nyhetsartiklar publicerade efter detta datum.

Paltering och sammanhang

Även om studien inte direkt tar upp det, är det möjligt att denna typ av djupdykning i semantisk affekt så småningom skulle kunna ta itu med mer subtil beväpning av språk, som t.ex. pammande – den egennyttiga och selektiva användningen av sanningsenliga uttalanden för att uppnå ett önskat resultat som kan motsätta sig den upplevda andan och avsikten med de använda bevisen.

En relaterad och lite mer utvecklad forskningslinje inom NLP, datorseende och multimodal forskning är studie av sammanhang som ett tillägg till mening, där selektiv och självtjänande omordning eller omkontextualisering av sanna fakta blir likvärdigt med ett försök att visa på en annan reaktion än vad fakta vanligtvis kan åstadkomma, om de hade presenterats på ett tydligare och mer linjärt sätt.

* Min konvertering av författarnas inline-citat till direkta hyperlänkar.

Första gången publicerad 11 mars 2022.