Het genereren en identificeren van propaganda met machine learning

Nieuw onderzoek uit de Verenigde Staten en Qatar biedt een novate methode voor het identificeren van nepnieuws dat is geschreven op een manier waarop mensen daadwerkelijk nepnieuws schrijven – door onjuiste verklaringen in een grotendeels waarheidsgetrouwe context in te bedden en door het gebruik van populaire propagandatechnieken zoals beroep op autoriteit en geladen taal.

Het project heeft geresulteerd in de creatie van een nieuwe trainingsdataset voor het detecteren van nepnieuws, genaamd PropaNews, die deze technieken bevat. De auteurs van de studie hebben ontdekt dat detectors die zijn getraind op de nieuwe dataset 7,3-12% nauwkeuriger zijn in het detecteren van door mensen geschreven desinformatie dan eerdere state-of-the-art-benaderingen.

Uit het nieuwe artikel, voorbeelden van ‘beroep op autoriteit’ en ‘geladen taal’. Bron: https://arxiv.org/pdf/2203.05386.pdf

De auteurs beweren dat, voor zover zij weten, het project het eerste is dat propagandatechnieken (in plaats van rechttoe rechtaan feitelijke onnauwkeurigheid) in machine gegenereerde tekstvoorbeelden opneemt die zijn bedoeld om nepnieuwsdetectors te voeden.

Het meeste recente onderzoek op dit gebied, zo beweren zij, heeft zich gericht op vooroordelen, ofwel heeft ‘propaganda’-gegevens herformeerd in de context van vooroordelen (waarschijnlijk omdat vooroordelen een hoog gefinancierde machine learningsector werden in de post-Analytica-periode).

De auteurs verklaren:

‘In tegenstelling tot ons werk, genereren wij nepnieuws door propagandatechnieken te incorporeren en het merendeel van de correcte informatie te behouden. Daarom is onze benadering meer geschikt voor het bestuderen van verdediging tegen door mensen geschreven nepnieuws.’

Zij illustreren verder de groeiende urgentie van meer geavanceerde propagandadetectietechnieken*:

‘[Door mensen geschreven] desinformatie, die vaak wordt gebruikt om bepaalde bevolkingsgroepen te manipuleren, had een catastrofale impact op meerdere gebeurtenissen, zoals de Amerikaanse presidentsverkiezingen van 2016, Brexit, de COVID-19-pandemie en de recente aanval van Rusland op Oekraïne. Daarom hebben wij dringend behoefte aan een verdedigingsmechanisme tegen door mensen geschreven desinformatie.’

Het artikel heeft als titel Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation en komt van vijf onderzoekers aan de University of Illinois Urbana-Champaign, Columbia University, Hamad Bin Khalifa University in Qatar, de University of Washington en het Allen Institute for AI.

Definiëring van onwaarheid

De uitdaging om propaganda te kwantificeren is grotendeels een logistieke uitdaging: het is zeer duur om mensen in te huren om echte materialen te herkennen en te annoteren met propagandakenmerken voor opname in een trainingsdataset, en mogelijk veel goedkoper om hoogwaardige kenmerken te extraheren en te gebruiken die waarschijnlijk zullen werken op ‘onbekende’, toekomstige gegevens.

Om een meer schaalbare oplossing te bieden, verzamelden de onderzoekers initieel door mensen gegenereerde desinformatieartikelen uit nieuwsbronnen die laag scoorden op feitelijke nauwkeurigheid, via de Media Bias Fact Check-site.

Zij vonden dat 33% van de bestudeerde artikelen onfatsoenlijke propagandatechnieken gebruikten, waaronder emotie-uitlokkende termen, logische valkuilen en beroep op autoriteiten. Een extra 55% van de artikelen bevatte onjuiste informatie vermengd met juiste informatie.

Het genereren van beroepen op autoriteit

De beroep op autoriteit-aanpak heeft twee gebruikscases: het citeren van onjuiste verklaringen en het citeren van volledig fictieve verklaringen. Het onderzoek richt zich op de tweede gebruikscase.

Uit het nieuwe project, de Natural Language Inference-framework RoBERTa identificeert twee verdere voorbeelden van beroepen op autoriteit en geladen taal.

Met als doel machine gegenereerde propaganda te creëren voor de nieuwe dataset, gebruikten de onderzoekers de pregetrainde seq2seq-architectuur BART om relevante zinnen te identificeren die later konden worden gewijzigd in propaganda. Aangezien er geen openbare dataset voor deze taak beschikbaar was, gebruikten de auteurs een extractieve samenvattingsmodel voorgesteld in 2019 om zinsaliëntie te schatten.

Voor één artikel uit elke onderzochte nieuwsuitgever, vervingen de onderzoekers deze ‘gemarkeerde’ zinnen met valse argumenten van ‘autoriteiten’ afgeleid van de Wikidata Query Service en van autoriteiten vermeld in de artikelen (d.w.z. personen en/of organisaties).

Het genereren van geladen taal

Geladen taal omvat woorden, vaak sensationele bijvoeglijke naamwoorden en bijwoorden (zoals in het bovenstaande voorbeeld), die impliciete waardeoordelen bevatten die verweven zijn in de context van het overbrengen van een feit.

Om gegevens over geladen taal te verkrijgen, gebruikten de auteurs een dataset uit een studie uit 2019 met 2.547 geladen taal-instanties. Aangezien niet alle voorbeelden in de gegevens van 2019 emotie-uitlokkende bijwoorden of bijvoeglijke naamwoorden bevatten, gebruikten de onderzoekers SpaCy om afhankelijkheidsanalyse en Part of Speech (PoS)-tagging uit te voeren en alleen geschikte voorbeelden te behouden voor opname in het kader.

Het filterproces resulteerde in 1.017 monsters van valide geladen taal. Een andere instantie van BART werd gebruikt om relevante zinnen in de brondocumenten te maskeren en te vervangen met geladen taal.

PropaNews Dataset

Na tussenliggende modeltraining uitgevoerd op de CNN/DM-dataset van 2015 van Google Deep Mind en Oxford University, genereerden de onderzoekers de PropaNews-dataset, waarbij niet-triviale artikelen uit ‘betrouwbare’ bronnen zoals The New York Times en The Guardian werden omgezet in ‘gewijzigde’ versies met gekunstelde algoritme-propaganda.

Het experiment was gemodelleerd naar een studie uit 2013 van Hanover, die automatisch gegenereerde tijdslijnsamenvattingen van nieuwsverhalen over 17 nieuwsgebeurtenissen maakte, en in totaal 4.535 verhalen.

De gegenereerde desinformatie werd voorgelegd aan 400 unieke werknemers op Amazon Mechanical Turk (AMT), verdeeld over 2000 Human Intelligence Tasks (HITs). Alleen de propaganda-bevattende artikelen die door de werknemers als juist werden beschouwd, werden opgenomen in de definitieve versie van PropaNews. Geschillen werden gescoord met de Worker Agreement With Aggregate (WAWA)-methode.

De definitieve versie van PropaNews bevat 2.256 artikelen, in evenwicht tussen nep en echt, waarvan 30% beroep op autoriteit gebruikt en een verdere 30% geladen taal. De rest bevat alleen onjuiste informatie van het type dat grotendeels eerder datasets in dit onderzoeksgebied heeft bevolkt.

De gegevens werden gesplitst in 1.256:500:500 over trainings-, test- en validatiedistributies.

HumanNews Dataset

Om de effectiviteit van de getrainde propagandadetectieroutines te evalueren, compileerden de onderzoekers 200 door mensen geschreven nieuwsartikelen, waaronder artikelen die door Politifact waren ontmaskerd en tussen 2015-2020 werden gepubliceerd.

Deze gegevens werden aangevuld met extra ontmaskerde artikelen uit onbetrouwbare nieuwsmedia-uitgevers en het totaal werd door een afgestudeerde student in de informatica gecontroleerd.

De definitieve dataset, getiteld HumanNews, bevat ook 100 artikelen uit Los Angeles Times.

Tests

Het detectieproces werd getest tegen eerdere kaders in twee vormen: PN-Silver, die AMT-annotatorvalidatie negeert, en PN-Gold, die de validatie als criterium opneemt.

Concurrerende kaders omvatten de aanbod van 2019 Grover-GEN, 2020’s Fact-GEN en FakeEvent, waarin artikelen uit PN-Silver worden vervangen door documenten gegenereerd door deze oudere methoden.

Variaties van Grover en RoBERTa bleken het meest effectief te zijn wanneer ze waren getraind op de nieuwe PropaNews-dataset, waarbij de onderzoekers concludeerden dat ‘detectors getraind op PROPANEWS beter presteren in het identificeren van door mensen geschreven desinformatie in vergelijking met training op andere datasets’.

De onderzoekers merken ook op dat zelfs de semi-gehandicapte ablatiedataset PN-Silver oude methoden op andere datasets overtreft.

Verouderd?

De auteurs herhalen het gebrek aan onderzoek tot nu toe met betrekking tot de geautomatiseerde generatie en identificatie van propaganda-georiënteerd nepnieuws, en waarschuwen dat het gebruik van modellen getraind op gegevens vóór kritieke gebeurtenissen (zoals COVID, of, naar men kan aannemen, de huidige situatie in Oost-Europa) niet kan worden verwacht om optimaal te presteren:

‘Ongeveer 48% van de misgeclassificeerde door mensen geschreven desinformatie wordt veroorzaakt door de onmogelijkheid om dynamische kennis te verkrijgen uit nieuwe nieuwsbronnen. Bijvoorbeeld, COVID-gerelateerde artikelen worden meestal gepubliceerd na 2020, terwijl ROBERTA was voorgetraind op nieuwsartikelen die vóór 2019 waren gepubliceerd. Het is zeer moeilijk voor ROBERTA om desinformatie over dergelijke onderwerpen te detecteren, tenzij de detector is uitgerust met de mogelijkheid om dynamische kennis te verkrijgen uit nieuwsartikelen.’

De auteurs merken verder op dat RoBERTa een nauwkeurigheid van 69,0% bereikt voor de detectie van nepnieuwsartikelen waarvan het materiaal vóór 2019 is gepubliceerd, maar daalt tot 51,9% nauwkeurigheid wanneer het wordt toegepast op nieuwsartikelen die na deze datum zijn gepubliceerd.

Palters en context

Hoewel de studie dit niet rechtstreeks aanspreekt, is het mogelijk dat dit soort diepe duik in semantische affect uiteindelijk subtiele wapenarisatie van taal kan aanpakken, zoals palters – het zelfbedienende en selectieve gebruik van waarheidsgetrouwe verklaringen om een gewenst resultaat te verkrijgen dat mogelijk in strijd is met de gepercipieerde geest en intentie van de ondersteunende bewijsstukken die worden gebruikt.

Een verwant en iets meer ontwikkeld onderzoeksgebied in NLP, computerzien en multimodaal onderzoek is de studie van context als een aanvulling op de betekenis, waar selectieve en zelfbedienende herschikking of hercontextualisering van ware feiten equivalent wordt aan een poging om een andere reactie te verkrijgen dan de feiten zouden kunnen hebben als ze op een duidelijker en lineairdere manier zouden zijn gepresenteerd.

* Mijn conversie van de inline citaten van de auteurs naar directe hyperlinks.

Publicatie 11 maart 2022.