AI kan helpen bij het identificeren van ‘roze slijm’ nieuws

Agenda-gedreven meningsmolen, ontworpen om de publieke mening te beïnvloeden in plaats van de publieke dienst, kunnen moeilijker te herkennen zijn als AI wordt gebruikt om ze meer origineel en rationeel te laten klinken. Dus de race is begonnen om voorop te blijven in het ‘roze slijm detectie’ spel.

De defunding van traditionele lokale media-outlets in de afgelopen twintig jaar, zowel door evoluerende media-trends als – recentelijk – door US-regeringsbeleid, heeft een leegte achtergelaten in regionale verslaggeving die graag is overgenomen door partizan organisaties die AI gebruiken om hun agenda’s te drijven.

Om de term ‘partizan’ in context te plaatsen (gezien geen enkele nieuwsorganisatie zonder politieke tendensen is), hebben we het over oliegroepen die regionale nieuwswebsites runnen vanuit afgelegen locaties, zonder enige echte lokale middelen, maar met de opdracht om de publieke reputatie van het bedrijf te verdedigen; politiek gemotiveerde nieuwswebsites zonder enige inkomstenstroom die opkomen voor verkiezingen; en hele netwerken van pro-republikeinse nieuwswebsites die nergens vandaan verschijnen, vlak voor de verkiezingen.

In 2024 werd geschat dat AI-gedreven roze slijm nieuws eindelijk de echte nieuwsuitzendingen had ingehaald; op dat moment vond een Australische enquête dat 41% van de consumenten de voorkeur gaf aan roze slijm bronnen boven ‘echte’ bronnen.

Dit soort verborgen verkiezingscampagnes kan worden beschouwd als een existential bedreiging voor de democratie (met betrekking tot politiek gemotiveerde uitgaven) en het publieke vertrouwen in redelijke standaarden van eerlijkheid in de verslaggeving.

Daarom zouden methoden om het karakteristieke output van roze slijm uitgevers en omroepen te onderscheiden van meer traditionele media-organisaties, van grote hulp zijn om ten minste te begrijpen wie de spelers en drijvende krachten zijn in de huidige informatie klimaat.

Zoals het er nu voor staat, zijn de tropen en sjablonen van echte nieuwsorganisaties heel gemakkelijk na te bootsen, en AI maakt schaalbare publicatie een huidige en betaalbare realiteit, met behulp van veel van dezelfde trucs die worden overgenomen door budget-beperkte ‘oude media’ uitgevers en omroepen.

Signaal en Ruis

Een nieuwe studie uit de VS richt zich op dit probleem, door het groeiende gebruik van Large Language Models te onderzoeken om roze slijm websites minder generisch en gemakkelijk te laten klinken, en door een leerframework te creëren dat is ontworpen om bij te blijven met de evoluerende veranderingen in roze slijm (PS) output.

Getiteld Exposing Pink Slime Journalism: Linguistic Signatures and Robust Detection Against LLM-Generated Threats, het nieuwe werk komt van vijf onderzoekers aan de Universiteit van Texas.

Het nieuwe werk onderzoekt hoe massaal geproduceerde PS lokale nieuwsartikelen verschillen van legitieme verslaggeving, met de focus op hun afhankelijkheid van korte, herhalende structuren en gesjabloneerde zinswendingen met minimale variatie; en de auteurs merken op dat PS-artikelen de neiging hebben om identieke sjablonen te hergebruiken die zijn ontworpen om de publieke mening te manipuleren, met beroepen op emotie bovenaan in de inhoud:

From the new paper – multiple outlets publish near-identical articles with only location details changed, revealing a copy-paste strategy used to mass-produce content that mimics legitimate local news. Source

Traditionele detectiemodellen die zijn getraind op deze kenmerken, presteren goed tegen dergelijke inhoud, maar falen wanneer de artikelen zijn herschreven met behulp van AI-chatbots om meer natuurlijk of gesofisticeerd te lijken.

De tests van de auteurs geven aan dat zelfs kleine stylistische veranderingen die zijn geïntroduceerd door grote taalmodellen, de detectie-accuraatheid kunnen verminderen met maximaal 40%. Om dit te mitigeren, stellen zij een continu leerframework voor dat incrementeel de detectiemodellen op zowel oorspronkelijke als AI- herschreven artikelen traint, om bij te blijven met de veranderende linguïstische patronen.

Methode

Om gegevens voor het project te verzamelen, gebruikten de auteurs de Pink Slime Dataset, met 7,9 miljoen artikelen die 1093 uitgaven dekken van 2021-2023, waaruit zij 9472 roze slijm artikelen verkregen na filtering. Zij gebruikten ook de LIAR dataset, die geannoteerde valse nieuws bevat, evenals de NELA-GT-2021 collectie, die alleen Amerikaanse artikelen bevat*.

Om hun trainings- en testsets voor te bereiden, gebruikten de auteurs eerst de T-distributed Stochastic Neighbor Embedding (t-SNE) algoritme om de artikel embeddings te reduceren tot twee dimensies. Zij pasten vervolgens de data clustering algoritme Density-Based-Spatial-Clustering-of-Applications-with-Noise (DBSCAN) toe om clusters van soortgelijke roze slijm artikelen te isoleren.

Elke cluster werd behandeld als een groep van verwante verhalen, waarvan velen nog steeds hetzelfde sjabloon volgden, ondanks een geconcerteerde inspanning om duplicaten aan te pakken.

Om te voorkomen dat soortgelijke artikelen in zowel de trainings- als testsets voorkwamen, werden hele clusters willekeurig geselecteerd, met 80% gebruikt voor training en 20% voor testing. Omdat de legitieme nieuwsartikelen geen duidelijke clusters vormden, werd een willekeurige split toegepast.

Dit proces werd drie keer herhaald, om consistentie te garanderen en om sampling bias te reduceren.

Karakteristieken van Roze Slijm

In een reactie op de onderscheidende kenmerken van PS versus reguliere nieuws, beweren de onderzoekers dat PS-stijl lokale nieuwsartikelen aanzienlijk korter en eenvoudiger zijn dan legitieme verslaggeving, met een gemiddelde van minder dan negen zinnen per artikel.

Een hoger percentage eenvoudige zinnen en een zwaardere afhankelijkheid van bijvoeglijke naamwoorden zijn verder kenmerken van roze slijm, volgens het paper, en geven aan een voorkeur voor herhalende, emotioneel geladen taal.

Lexicale rijkdom werd gemeten met behulp van de Root-Type-Token Ratio (RTTR), en bleek aanzienlijk lager te zijn in de PS-artikelen, die ook aanzienlijk minder unieke naamwoorden bevatten.

Deze patronen geven een beperkt vocabulaire en een formuleuze stijl aan, in tegenstelling tot legitieme lokale nieuws, dat wordt gekenmerkt door complexe part-of-speech patronen opgebouwd rond hulpwerkwoorden, voornaamwoorden en conjunctionen. In plaats daarvan geven de valse artikelen de voorkeur aan basis-nomen-prepositie structuren, met frequent gebruik van punctuation-based trigrams, wat een minder formeel, meer gefragmenteerd schrijfstijl suggereert.

Tests

Om de associaties tussen verschillende soorten nieuwsartikelen te onderzoeken, op basis van linguïstische en structurele kenmerken, werden embeddings gegenereerd met behulp van de 435-miljoen parameter stella_en_400M_v5 model, en gereduceerd met Principal Component Analysis (PCA) en t-SNE voor visualisatie.

Wanneer geprojecteerd op twee dimensies, vormden de valse lokale nieuwsartikelen kleine, dichte clusters, elk overeenkomend met smal gefocuste onderwerpen zoals misdaadstatistieken, aandelenupdates of charitatieve donaties:

Clustering patterns from a t-SNE projection reveal that pink slime articles form tight, repetitive groupings, while legitimate news displays broader, more varied distributions aligned with topic and style diversity.

Zoals we kunnen zien, in zekere mate, in de visualisatie hierboven, geeft dit patroon aan een rigide, sjabloon-gedreven formaat, met minimale variatie tussen artikelen.

Interessant is dat artikelen die zijn gelabeld als ‘vals nieuws’ afwijken van de valse lokale inhoud, en een distributie laten zien die meer in overeenstemming is met echt nieuws, wat aangeeft dat massaal geproduceerde lokale vervalsingen niet noodzakelijkerwijs minder waarheidsgetrouw zijn, maar ook mechanisch verschillend in vorm en compositie.

Daarentegen vormen ‘legitieme’ lokale nieuws minder en meer verspreide clusters, consistent met meer diverse taal en onderwerp, terwijl nationale nieuwsartikelen nog meer dispersie laten zien, wat een bredere onderwerpenreeks en losser stylistische consistentie weerspiegelt.

Feature comparisons between legitimate local news and pink slime content, indicating that PS articles are shorter, use simpler sentence structures, contain more adjectives, exhibit lower lexical richness, favor basic part-of-speech trigrams, and contain fewer unique noun phrases.

Detectie

De onderzoekers hebben twee belangrijke benaderingen geëvalueerd om roze slijm inhoud te detecteren: classificatie, op basis van handmatig gemaakte linguïstische kenmerken; en transformer-gebaseerde fine-tuning.

Voor de handmatige benadering werden structurele in plaats van semantische kenmerken benadrukt, met behulp van zins telling; lexicale rijkdom; syntactische diepte; part-of-speech co-occurrentie waarschijnlijkheden; afhankelijkheid label co-occurrentie waarschijnlijkheden; leesbaarheid; en part-of-speech tellingen.

Drie modellen werden getest op deze kenmerken set: XGBoost; Random Forest; en Support Vector Machine (SVM) – met Random Forest die licht betere resultaten liet zien overall.

Beide XGBoost en Random Forest wezen hoge predictieve importantie toe aan kenmerken zoals zins telling en het aantal unieke naamwoorden. Leesbaarheid en lexicale rijkdom maatregelen hadden ook een sterke invloed op de classificatie, hoewel de modellen deze anders gewogen hadden, met XGBoost die de voorkeur gaf aan Flesch en RTTR, terwijl Random Forest meer afhankelijk was van CTTR:

Feature importance scores based on SHAP (SHapley Additive exPlanations) highlight how each input feature influences the model’s output across samples. In this case, SHAP values reveal that both XGBoost and Random Forest relied most heavily on sentence count and unique noun phrases to distinguish pink slime from real news, while assigning varying weight to measures of lexical richness and readability.

Zoals we kunnen zien in de eerdere kenmerken vergelijkingen (hierboven), geven roze slijm artikelen de voorkeur aan sensationeel nieuws boven details, met een lagere lexicale rijkdom, en met minder unieke naamwoorden – wat de conclusie ondersteunt dat deze soort inhoud zeer gesjabloneerd en herhalend is.

Part-of-speech trigram patronen bevestigen dat legitieme lokale nieuws de neiging heeft om meer structureel complexe vormen te gebruiken, met behulp van hulpwerkwoorden, voornaamwoorden en conjunctionen, terwijl roze slijm de voorkeur geeft aan basis-nomen-prepositie structuren, met frequent gebruik van punctuation-based trigrams, wat een minder formeel, meer gefragmenteerd schrijfstijl suggereert.

Een tweede ronde van testing betrof het fine-tunen van transformer modellen op volledige artikeltekst, om zowel semantische inhoud als syntactische structuur te vangen.

BERT, XLNet, en Flan-T5 werden getest, met BERT die de hoogste F1-score behaalde van 89,31% – hoewel het paper opmerkt dat prestatieverschillen niet statistisch significant waren. In tegenstelling tot de handmatige classificatoren, leren deze modellen alle gewichten tijdens de training, waardoor ze taak-specifieke representaties rechtstreeks uit de data kunnen leren.

Een aanvullende embedding-gebaseerde methode gebruikte een fully-connected downstream classificator die beter presteerde dan de handmatige modellen, maar niet de nauwkeurigheid van volledige fine-tuning bereikte.

Deze benaderingen profiteerden van bredere linguïstische context – gunstig, gezien roze slijm artikelen vaak inhoud recyclen over uitgaven heen. Handmatige kenmerken, daarentegen, vertrouwen op oppervlakkige syntaxis alleen, waardoor hun vermogen om te generaliseren over bronnen beperkt is.

Boosting Roze Slijm met LLM’s

Om te testen of roze slijm artikelen moeilijker te detecteren konden worden gemaakt, hebben de onderzoekers ze herschreven met behulp van grote taalmodellen. Prompts werden ontworpen om de schrijfstijl te verbeteren door inhoud uit te breiden, zinscomplexiteit toe te voegen, het overmatig gebruik van bijvoeglijke naamwoorden te reduceren, een neutrale toon af te dwingen, meer gevarieerde vocabulaire te gebruiken en het aantal unieke naamwoorden te verhogen, met als doel de oppervlakkige kenmerken die de meeste detectiesystemen afhankelijk van zijn, te verbergen.

De geteste modellen waren Gemma‑2B; Mistral‑7B; Llama‑1B; Llama‑3B; Llama‑8B; Qwen‑7B; GPT‑4o mini; en Claude‑3.5‑Haiku.

Detection performance (F1) of a fine-tuned BERT classifier when pink slime articles are rewritten by different LLMs. Lower scores indicate more successful obfuscation.

Van deze resultaten merken de auteurs op:

‘[Onder] open-source modellen was Qwen het meest effectief in het ontwijken van detectie: toen getest tegen een eerder gefine-tune BERT classificator (baseline F1-score: 89%), leidde het tot een daling van 28,34% in detectie [prestatie].

‘Gesloten bron modellen waren aanzienlijk krachtiger, met zowel GPT-4o-mini als Claude-3.5-Haiku die de F1-score met gemiddeld 40% verlaagden, wat de uitdaging aangeeft die wordt gevormd door hoge kwaliteit LLM-gegenereerde verduistering.’

Deze resultaten, zo beweren de auteurs, laten zien hoe gemakkelijk LLM’s roze slijm inhoud kunnen verbergen, waardoor het veel moeilijker wordt voor huidige tools om ze te detecteren**.

Conclusie

Opinie Deze onderzoekslijn bevat enkele interessante dilemma’s, niet in de laatste plaats dat zo veel mensen (volgens ten minste één enquête, eerder genoemd) ondersteunen roze slijm inhoud, wetend wat het is, dat het de pejoratieve context in twijfel trekt. Het is alsof mensen weten dat ‘Soylent Green is people’, maar ze haalten hun schouders op en blijven eten; of zo lijkt het, vanuit een liberale sensibiliteit.

Dit publieke onverschilligheid voor algoritme nieuws kan evolueren en zelfs terugdraaien – maar voorlopig lijkt het dieper te worden.

Een andere zaak die me trof, toen ik het paper las, was de manier waarop de eenvoudige proza en reductionisme van roze slijm output werd behandeld als een tekortkoming met een mogelijke technologische oplossing, wanneer het minimalisme, emotionalisme en beperkt vocabulaire allemaal zeer intentioneel zijn.

Als de verschillende belangengroepen achter roze slijm hun bereik willen uitbreiden naar een meer intellectueel of liberaal publiek (hoewel dit misschien niet hun sterkste punt is), lijkt het waarschijnlijker dat ze hun kamp zullen opslaan dichter bij hun doelpubliek, in plaats van hun stijl van taal en toon te veranderen, die al lijkt te werken op bestaande platforms.

* Vanwege enige ongelukkige opmaak in het paper, ontbreekt de extra bron van lokale nieuwsartikelen een duidelijke toewijzing. Raadpleeg het bronpaper en gok welke van de ‘Horne’ verwijzingen van toepassing is.

** Hier verwijzen we de lezer naar het bronpaper voor details van de secundaire, aanvullende experimenten die de resultatensectie van het nieuwe paper afsluiten.

First published Friday, 12 december 2025