Generering och identifiering av propaganda med maskinlärande

Ny forskning från USA och Qatar erbjuder en ny metod för att identifiera falska nyheter som har skrivits på det sätt som människor verkligen skriver falska nyheter – genom att infoga inkorrekta uttalanden i ett i huvudsak sanningsenligt sammanhang, och genom användning av populära propagandatekniker som appeller till auktoritet och laddad språk.

Projektet har resulterat i skapandet av en ny träningssamling för falska nyhetsdetektering som kallas PropaNews, som inkorporerar dessa tekniker. Studiens författare har funnit att detektorer som tränats på den nya samlingen är 7,3-12% mer exakta i att upptäcka mänsklig skriven desinformation än tidigare state-of-the-art-metoder.

Från den nya artikeln, exempel på ‘appell till auktoritet’ och ‘laddad språk’. Källa: https://arxiv.org/pdf/2203.05386.pdf

Författarna hävdar att deras arbete, såvitt de vet, är det första som inkorporerar propagandatekniker (i stället för renodlad faktamässig inkorrekthet) i maskingenererade textexempel som är avsedda att bränsle falska nyhetsdetektorer.

Det mesta av det senaste arbetet inom detta område, hävdar de, har studerat partiskhet, eller omformulerat ‘propaganda’-data i sammanhanget med partiskhet (troligen eftersom partiskhet blev ett högt finansierat maskinlärandeområde i post-Analytica-eran).

Författarna skriver:

‘Till skillnad från vårt arbete genererar vi falska nyheter genom att inkorporera propagandatekniker och bevara den stora majoriteten av korrekt information. Därför är vår metod mer lämplig för att studera försvar mot mänsklig skriven falsk information.’

De illustrerar vidare den växande brådskan med mer avancerade propagandadetekteringsmetoder*:

‘[Mänsklig] desinformation, som ofta används för att manipulera vissa befolkningar, har haft katastrofala konsekvenser på flera händelser, såsom 2016 års presidentval i USA, Brexit, COVID-19-pandemin och det senaste Rysslands angrepp på Ukraina. Därför är vi i behov av ett försvarsmekanism mot mänsklig skriven desinformation.’

Den artikeln heter Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation och kommer från fem forskare vid University of Illinois Urbana-Champaign, Columbia University, Hamad Bin Khalifa University i Qatar, University of Washington och Allen Institute for AI.

Definiering av osanning

Uppgiften att kvantifiera propaganda är till stor del en logistisk utmaning: det är mycket dyrt att anställa människor för att känna igen och annotera verkliga material med propagandaliknande egenskaper för att inkludera i en träningssamling, och potentiellt mycket billigare att extrahera och använda högnivåfunktioner som sannolikt kommer att fungera på ‘osynliga’, framtida data.

För att skapa en mer skalbar lösning samlade forskarna initialt in mänsklig skriven desinformation från nyhetskällor som anses ha låg faktamässig noggrannhet, via webbplatsen Media Bias Fact Check.

De fann att 33% av de studerade artiklarna använde oärliga propagandatekniker, inklusive känsloutlösande termer, logiska fel och appell till auktoriteter. Ytterligare 55% av artiklarna innehöll inkorrekta uppgifter blandade med korrekta uppgifter.

Generering av appeller till auktoritet

Appell till auktoritet-metoden har två användningsområden: citering av inkorrekta uttalanden och citering av helt fiktiva uttalanden. Forskningen fokuserar på det senare användningsområdet.

Från det nya projektet, identifierar Natural Language Inference-ramverket RoBERTa två ytterligare exempel på appell till auktoritet och laddad språk.

Med målet att skapa maskingenererad propaganda för den nya samlingen använde forskarna den förtränade seq2seq-arkitekturen BART för att identifiera betydelsefulla meningar som senare kunde ändras till propaganda. Eftersom det inte fanns någon offentligt tillgänglig samling relaterad till denna uppgift använde författarna en extraktiv sammanfattningsmodell föreslagen 2019 för att uppskatta meningsbetydelse.

För en artikel från varje undersökt nyhetskälla ersatte forskarna dessa ‘markerade’ meningar med falska argument från ‘auktoriteter’ som hämtats både från Wikidata Query Service och från auktoriteter som nämns i artiklarna (dvs. personer och/eller organisationer).

Generering av laddad språk

Laddad språk inkluderar ord, ofta sensationella adverb och adjektiv (som i ovanstående exempel), som innehåller implicita värderingar som är sammanflätade i sammanhanget med att leverera en faktum.

För att hämta data om laddad språk använde författarna en samling från en 2019-studie som innehöll 2 547 laddad språk-exempel. Eftersom inte alla exemplen i 2019 års data innehöll känsloutlösande adverb eller adjektiv använde forskarna SpaCy för att utföra beroendeanalys och Part of Speech (PoS)-taggning, och behöll endast lämpliga exempel för inkludering i ramverket.

Filterprocessen resulterade i 1 017 exempel på giltig laddad språk. Ytterligare en instans av BART användes för att maskera och ersätta betydelsefulla meningar i källdokumenten med laddad språk.

PropaNews-samlingen

Efter mellanliggande modellträning som utfördes på 2015 års CNN/DM-samlingen från Google Deep Mind och Oxford University genererade forskarna PropaNews-samlingen, som omvandlade icke-triviala artiklar från ’tillförlitliga’ källor som The New York Times och The Guardian till ‘ändrade’ versioner som innehöll konstgjord algoritmisk propaganda.

Experimentet modellerades efter en 2013-studie från Hanover, som automatiskt genererade tidslinjesammanfattningar av nyhetsberättelser över 17 nyhetsrelaterade händelser, och totalt 4 535 berättelser.

Den genererade desinformationen skickades till 400 unika arbetare på Amazon Mechanical Turk (AMT), som omfattade 2 000 Human Intelligence Tasks (HITs). Endast de propagandabefängda artiklarna som ansågs korrekta av arbetarna inkluderades i den slutliga versionen av PropaNews. Adjudikation på oenigheter poängsattes med Worker Agreement With Aggregate (WAWA)-metoden.

Den slutliga versionen av PropaNews innehåller 2 256 artiklar, balanserade mellan falska och riktiga utdata, varav 30% använder appell till auktoritet, och ytterligare 30% använder laddad språk. Resterande innehåller enbart inkorrekta uppgifter av den typ som har dominerat tidigare samlingar inom detta forskningsområde.

Data delades upp i 1 256:500:500 över tränings-, test- och valideringsfördelningar.

HumanNews-samlingen

För att utvärdera effektiviteten hos de tränade propagandadetekteringsrutinerna sammanställde forskarna 200 mänsklig skrivna nyhetsartiklar, inklusive artiklar som avfärdats av Politifact, och publicerade mellan 2015-2020.

Denna data kompletterades med ytterligare avfärdade artiklar från otillförlitliga nyhetskällor, och den totala summan faktakontrollerades av en datavetenskapsstudent.

Den slutliga samlingen, som heter HumanNews, innehåller också 100 artiklar från Los Angeles Times.

Tester

Detektionsprocessen testades mot tidigare ramverk i två former: PN-Silver, som bortser från AMT-annotatorvalidering, och PN-Gold, som inkluderar validering som ett kriterium.

Medtävlare inkluderade 2019 års Grover-GEN, 2020 års Fact-GEN och FakeEvent, där artiklar från PN-Silver ersätts med dokument genererade av dessa äldre metoder.

Variationer av Grover och RoBERTa visade sig vara mest effektiva när de tränades på den nya PropaNews-samlingen, och forskarna drog slutsatsen att ‘detektorer som tränats på PropaNews presterar bättre i att identifiera mänsklig skriven desinformation jämfört med träning på andra samlingar’.

Forskarna observerar också att även den halvt funktionshindrade ablations-samlingen PN-Silver presterar bättre än äldre metoder på andra samlingar.

Föråldrad?

Författarna upprepar bristen på forskning om den automatiserade genereringen och identifieringen av propaganda-centrerad falsk information, och varnar för att modeller som tränats på data före kritiska händelser (såsom COVID eller den aktuella situationen i östra Europa) inte kan förväntas fungera optimalt:

‘Ungefär 48% av de felklassificerade mänskliga desinformationerna orsakas av oförmågan att förvärva dynamisk kunskap från nya nyhetskällor. Till exempel publiceras COVID-relaterade artiklar vanligtvis efter 2020, medan ROBERTA tränades på nyhetsartiklar publicerade före 2019. Det är mycket svårt för ROBERTA att upptäcka desinformation om sådana ämnen om inte detektorn är utrustad med förmågan att förvärva dynamisk kunskap från nyhetsartiklar.’

Författarna noterar vidare att RoBERTa uppnår en precision på 69,0% för upptäckt av falska nyhetsartiklar där materialet publiceras före 2019, men sjunker till 51,9% precision när den tillämpas på nyhetsartiklar publicerade efter detta datum.

Paltning och sammanhang

Även om studien inte direkt behandlar detta, är det möjligt att denna typ av djupdykning i semantisk påverkan kan komma att behandla mer subtila vapen för språk, såsom paltning – det självservande och selektiva användandet av sanningsenliga uttalanden i syfte att uppnå ett önskat resultat som kan strida mot den uppfattade andan och avsikten med det stödjande beviset som används.

En relaterad och något mer utvecklad forskningslinje inom NLP, datorseende och multimodal forskning är studiet av sammanhang som ett tillägg till betydelse, där selektiv och självservande omordning eller omkontextualisering av sanningsenliga fakta blir likvärdig med ett försök att framkalla en annan reaktion än de som fakta kan ha i en tydligare och mer linjär form.

* Min omvandling av författarnas inline-citationer till direkt hyperlänkar.

Publicerad första gången den 11 mars 2022.