AI kan helpen bij het identificeren van ‘roze slijm’ nieuws

Agenda-gedreven meningsmolen, ontworpen om de publieke opinie te beïnvloeden in plaats van de publieke dienst te verlenen, kunnen moeilijker te herkennen zijn als AI wordt gebruikt om ze meer origineel en rationeel te laten klinken. Dus de race is begonnen om voorop te blijven lopen in het ‘roze slijm detectie’ spel.

De defunding van traditionele lokale media-outlets in de afgelopen twintig jaar, zowel als gevolg van evoluerende mediatoestanden als – onlangs – van US overheidsbeleid, heeft een leegte achtergelaten in regionale verslaggeving die enthousiast is overgenomen door partisan organisaties die AI gebruiken om hun agenda’s te drijven.

Om de term ‘partisan’ in context te plaatsen (gezien het feit dat geen enkele nieuwsorganisatie zonder politieke neigingen is), hebben we het over oliegroepen die regionale nieuwswebsites runnen vanuit verre locaties, zonder enige echte lokale middelen, maar met een opdracht om de openbare reputatie van het bedrijf te verdedigen; politiek gemotiveerde nieuwswebsites zonder enige inkomstenstroom die opwarmen voor verkiezingen; en hele netwerken van pro-Republikeinse nieuwswebsites die plotseling verschijnen, dicht bij de verkiezingsdatum.

In 2024 werd geschat dat AI-gedreven roze slijm nieuws eindelijk de overhand had gekregen op echte nieuwsuitzendingen; op dat moment vond een Australische enquête dat 41% van de consumenten de voorkeur gaf aan roze slijm bronnen boven ‘echte’ bronnen.

Deze vorm van verhulde verkiezingscampagnes kan worden betoogd, is geëvolueerd van een eenvoudige donkere kunst tot een existentieel gevaar voor de democratie (met betrekking tot politiek gemotiveerde uitlaten) en het publieke vertrouwen in redelijke standaarden van eerlijkheid in rapportage.

Daarom zouden methoden om het karakteristieke output van roze slijm uitgevers en uitzenders te onderscheiden van meer traditionele media-organisaties van grote hulp zijn, tenminste in het begrijpen van wie de spelers en drijvende krachten zijn in de huidige informatieklimaat.

Zoals het er nu uitziet, zijn de tropen en sjablonen van echte nieuwsorganisaties heel gemakkelijk na te bootsen, en AI maakt schaalbare publicatie een huidige en betaalbare realiteit, met behulp van veel van dezelfde trucs die worden overgenomen door budget-getroffen ‘oude media’ uitgevers en uitzenders.

Signaal en Ruis

Een nieuwe studie uit de VS richt zich op dit probleem, door het groeiende gebruik van Large Language Models te onderzoeken om roze slijm websites minder generisch en gemakkelijk te laten klinken, en door een leerframework te creëren dat is ontworpen om bij te blijven met de evoluerende veranderingen in roze slijm (PS) output.

Getiteld Exposing Pink Slime Journalism: Linguistic Signatures and Robust Detection Against LLM-Generated Threats, het nieuwe werk komt van vijf onderzoekers aan de University of Texas.

Het nieuwe werk onderzoekt hoe massaal geproduceerde PS lokale nieuwsartikelen verschillen van legitieme rapportage, met de focus op hun afhankelijkheid van korte, herhalende structuren en gesjabildeerde zinnen met minimale variatie; en de auteurs merken op dat PS-artikelen de neiging hebben om identieke sjablonen te hergebruiken die zijn ontworpen om de publieke opinie te manipuleren, met beroepen op emotie bovenaan in de inhoud:

Uit het nieuwe papier – meerdere uitlaten publiceren bijna identieke artikelen met alleen locatiegegevens gewijzigd, waardoor een kopieer-plak-strategie wordt onthuld die wordt gebruikt om inhoud te massaproductie die legitieme lokale nieuws imiteert. Bron

Traditionele detectiemodellen getraind op deze trekken presteren goed tegen dergelijke inhoud, maar falen wanneer de artikelen zijn herschreven met behulp van AI-chatbots om meer natuurlijk of gesofisticeerd te lijken.

De tests van de auteurs geven aan dat zelfs kleine stylistische veranderingen die worden geïntroduceerd door grote taalmodellen de detectie-accuraatheid kunnen verlagen met maximaal 40%. Om dit te mitigeren, stellen ze een continu leerframework voor dat incrementeel de detectiemodellen opnieuw traint op zowel oorspronkelijke als AI- herschreven artikelen, om aan te passen aan de veranderende linguïstische patronen.

Methode

Om gegevens voor het project te vestigen, gebruikten de auteurs de Pink Slime Dataset, met 7,9 miljoen artikelen die 1.093 uitlaten dekken tijdens 2021-2023, waaruit ze 9.472 roze slijm artikelen kregen na filtering. Ze gebruikten ook de LIAR dataset, die geannoteerde valse nieuws bevat, evenals de NELA-GT-2021 collectie, die alleen VS-artikelen* bevat.

Om hun trainings- en testsets voor te bereiden, gebruikten de auteurs eerst de T-distributed Stochastic Neighbor Embedding (t-SNE) algoritme om de artikel embeddings te reduceren tot twee dimensies. Ze pasten vervolgens de data clustering algoritme Density-Based-Spatial-Clustering-of-Applications-with-Noise (DBSCAN) toe om clusters van soortgelijke roze slijm artikelen te isoleren.

Elke cluster werd behandeld als een groep van verwante verhalen, waarvan veel nog steeds hetzelfde sjabloon volgden, ondanks een geconcerteerde inspanning om duplicates aan te pakken.

Om te voorkomen dat soortgelijke artikelen in zowel de trainings- als testsets verschijnen, werden hele clusters willekeurig geselecteerd, met 80% gebruikt voor training en 20% voor testing. Omdat de legitieme nieuwsartikelen geen duidelijke clusters vormden, werd een willekeurige split toegepast in plaats daarvan.

Dit proces werd drie keer herhaald, om consistentie te waarborgen en om sampling bias te reduceren.

Karakteristieken van Roze Slijm

In een reactie op de onderscheidende trekken van PS versus reguliere nieuws, beweren de onderzoekers dat PS-stijl lokale nieuwsartikelen aanzienlijk korter en eenvoudiger zijn dan legitieme rapportage, met gemiddeld minder dan negen zinnen per artikel.

Een hoger percentage eenvoudige zinnen en een zwaardere afhankelijkheid van bijvoeglijke naamwoorden zijn verder kenmerken van roze slijm, volgens het papier, en geven een voorkeur aan herhalende, emotioneel geladen taal aan.

Lexicale rijkdom werd gemeten met behulp van de Root-Type-Token Ratio (RTTR), en bleek aanzienlijk lager te zijn in de PS-artikelen, die ook aanzienlijk minder unieke naamwoordgroepen vertoonden.

Deze patronen duiden op een beperkt vocabulaire en een formuleuze stijl, in tegenstelling tot legitieme lokale nieuws, dat wordt gekenmerkt door complexe deel-van-de-spraak patronen opgebouwd rond hulpwerkwoorden, voornaamwoorden en conjunctionen. In plaats daarvan geven de valse artikelen de voorkeur aan basis-nomen-voegwoord structuren, met frequent gebruik van punt-gesteunde trigrammen, wat een minder formeel, meer gefragmenteerd schrijfstijl suggereert.

Tests

Om de associaties tussen verschillende soorten nieuwsartikelen te onderzoeken, op basis van linguïstische en structurele kenmerken, werden embeddings gegenereerd met behulp van de 435-miljoen parameter stella_en_400M_v5 model, en gereduceerd met Principal Component Analysis (PCA), en t-SNE voor visualisatie.

Wanneer ze worden geprojecteerd in twee dimensies, vormen de valse lokale nieuwsartikelen kleine, dichte clusters, elk overeenkomend met smal gefocuste onderwerpen zoals misdaadstatistieken, aandelenupdates of charitatieve donaties:

Clusterpatronen van een t-SNE-projectie onthullen dat roze slijm artikelen strakke, herhalende groeperingen vormen, terwijl legitieme nieuws bredere, meer gevarieerde distributies vertoont die zijn uitgelijnd met onderwerp- en stijl diversiteit.

Zoals we kunnen zien, tot op zekere hoogte, in de visualisatie hierboven, suggereert dit patroon een rigide, sjabloon-gedreven formaat, met minimale variatie tussen artikelen.

Interessant is dat artikelen die zijn gelabeld als ‘valse nieuws’ afwijken van de valse lokale inhoud, en een distributie vertonen die meer in overeenstemming is met echt nieuws, wat aangeeft dat massaal geproduceerde lokale valse nieuws mogelijk niet alleen minder waarheidsgetrouw zijn, maar ook mechanisch verschillend zijn in vorm en samenstelling.

In tegenstelling tot ‘legitieme’ lokale nieuws, vormen legitieme lokale nieuwsartikelen minder en meer verspreide clusters, consistent met meer diverse taal en onderwerpen, terwijl nationale nieuwsartikelen nog meer dispersie vertonen, wat een bredere onderwerpenreeks en losse stilistische consistentie weerspiegelt.

Kenmerkvergelijkingen tussen legitieme lokale nieuws en roze slijm inhoud, waaruit blijkt dat PS-artikelen korter zijn, gebruikmaken van eenvoudigere zinsstructuren, meer bijvoeglijke naamwoorden bevatten, een lagere lexicale rijkdom vertonen, de voorkeur geven aan basis-deel-van-de-spraak trigrammen en minder unieke naamwoordgroepen bevatten.

Detectie

De onderzoekers hebben twee belangrijke benaderingen geëvalueerd om roze slijm inhoud te detecteren: classificatie, op basis van handmatig gemaakte linguïstische kenmerken; en transformer-gebaseerde fijne afstemming.

Voor de handmatige benadering werden structurele in plaats van semantische kenmerken benadrukt, met behulp van zins telling; lexicale rijkdom; syntactische diepte; deel-van-de-spraak co-occurrerende waarschijnlijkheden; afhankelijkheidstag co-occurrerende waarschijnlijkheden; leesbaarheid; en deel-van-de-spraak tellingen.

Drie modellen werden getest op deze kenmerkenset: XGBoost; Random Forest; en Support Vector Machine (SVM) – met Random Forest die enigszins sterker resultaten over het algemeen liet zien.

Beide XGBoost en Random Forest wezen hoge predictieve importantie toe aan kenmerken zoals zins telling en het aantal unieke naamwoordgroepen. Leesbaarheid en lexicale rijkdom maatregelen hadden ook een sterke invloed op de classificatie, hoewel de modellen deze anders gewogen hadden, met XGBoost die de voorkeur gaf aan Flesch en RTTR, terwijl Random Forest meer gewicht gaf aan CTTR:

Kenmerkimportancescores op basis van SHAP (SHapley Additive exPlanations) benadrukken hoe elke invoerkenmerk de uitvoer van het model beïnvloedt over steekproeven. In dit geval onthullen SHAP-waarden dat zowel XGBoost als Random Forest het meest afhankelijk waren van zins telling en unieke naamwoordgroepen om roze slijm te onderscheiden van echt nieuws, terwijl ze verschillende gewichten toewezen aan maatregelen van lexicale rijkdom en leesbaarheid.

Zoals eerder te zien is in de kenmerkvergelijkingen (hierboven), geven roze slijm artikelen de voorkeur aan sensationeel nieuws boven details, met een lagere lexicale rijkdom, en met minder distincte naamwoordgroepen – wat de conclusie versterkt dat dit soort inhoud hoogstwaarschijnlijk zeer gesjabiloneerd en herhaald is.

Deel-van-de-spraak trigrampatronen bevestigen dat legitieme lokale nieuws de voorkeur geeft aan meer structureel complexe vormen, met inbegrip van hulpwerkwoorden, voornaamwoorden en conjunctionen, terwijl roze slijm de voorkeur geeft aan gefragmenteerde of minimale syntaxis. Deze patronen suggereren een betrouwbare basis voor het onderscheiden van synthetische lokale inhoud van echte journalistiek.

Een tweede ronde van testing omvatte het fijne afstemmen van transformermodellen op volledige artikeltekst, om zowel semantische inhoud als syntactische structuur te vangen.

BERT, XLNet, en Flan-T5 werden getest, met BERT die de hoogste F1-score behaalde van 89,31% – hoewel het papier opmerkt dat prestatieverschillen niet statistisch significant waren. In tegenstelling tot de handmatige classificatoren, passen deze modellen alle gewichten aan tijdens de training, waardoor ze taakspecifieke representaties rechtstreeks uit de gegevens kunnen leren.

Een aanvullende embedding-gebaseerde methode met een volledig verbonden downstream classificator presteerde beter dan de handmatige modellen, maar kon de nauwkeurigheid van volledige fijne afstemming niet evenaren.

Deze benaderingen profiteerden van bredere linguïstische context – gunstig, gezien het feit dat roze slijm artikelen vaak inhoud recyclen over uitlaten. Handmatige kenmerken, daarentegen, vertrouwen op oppervlakkige syntaxis alleen, waardoor hun vermogen om te generaliseren over bronnen wordt beperkt.

Boosting Roze Slijm met LLM’s

Om te testen of roze slijm artikelen moeilijker te detecteren konden worden gemaakt, hebben de onderzoekers ze herschreven met behulp van grote taalmodellen. Prompts werden ontworpen om de schrijfstijl te verbeteren door inhoud uit te breiden, zinscomplexiteit toe te voegen, het overmatig gebruik van bijvoeglijke naamwoorden te reduceren, een neutrale toon af te dwingen, een meer gevarieerd vocabulaire te gebruiken en het aantal unieke naamwoordgroepen te verhogen, met als doel de oppervlakkige kenmerken te verhullen die de meeste detectiesystemen afhankelijk van zijn.

De geteste modellen waren Gemma‑2B; Mistral‑7B; Llama‑1B; Llama‑3B; Llama‑8B; Qwen‑7B; GPT‑4o mini; en Claude‑3.5‑Haiku.

Detectieprestatie (F1) van een fijne afgestemde BERT-classificator wanneer roze slijm artikelen zijn herschreven door verschillende LLM’s. Lagere scores geven aan dat de verhulling succesvoller is.

Over deze resultaten merken de auteurs op:

‘[Onder] open-source modellen was Qwen het meest effectief in het ontwijken van detectie: toen getest tegen een eerder fijne afgestemde BERT-classificator (basisscore F1: 89%), leidde het tot een daling van 28,34% in detectieprestatie.

‘Gesloten modellen waren aanzienlijk krachtiger, met zowel GPT-4o-mini als Claude-3.5-Haiku, die de F1-score verlaagden met gemiddeld 40%, waardoor de uitdaging wordt benadrukt die wordt gevormd door hoge kwaliteit LLM-gegenereerde verhulling.’

Deze resultaten, beweren de auteurs, laten zien hoe gemakkelijk LLM’s roze slijm inhoud kunnen verhullen, waardoor het veel moeilijker wordt voor huidige tools om ze te detecteren**.

Conclusie

Opinie Deze onderzoekslijn bevat enkele interessante dilemma’s, niet in de laatste plaats dat zo veel mensen (volgens ten minste één enquête, eerder genoemd) ondersteunen roze slijm inhoud, wetend wat het is, dat het de pejoratieve context in twijfel trekt. Het is alsof mensen weten dat ‘Soylent Green is mensen’, maar ze haalen hun schouders op en blijven eten; of zo lijkt het, vanuit een liberale gevoeligheid.

Deze publieke onverschilligheid voor algoritmische nieuws kan evolueren en zelfs terugdraaien – maar voorlopig lijkt het te verdiepen.

Een andere zaak die me trof, toen ik het papier las, was de manier waarop de eenvoudigere proza en reductie van roze slijm output werd behandeld als een tekortkoming met een mogelijke technische oplossing, wanneer de minimalisme, emotionalisme en beperkte vocabulaire allemaal zeer intentioneel zijn.

Als de verschillende belangengroepen achter roze slijm hun bereik willen uitbreiden naar een meer intellectueel of liberaal publiek (hoewel dit misschien niet hun sterkste punt is), lijkt het meer waarschijnlijk dat ze hun kamp zullen opslaan dichter bij hun doelpubliek, in plaats van een stijl van taal en toon te veranderen die al hun doelen lijkt te bereiken op bestaande platforms.

* Vanwege enige onfortuinlijke opmaak in het papier, ontbreekt de extra bron van lokale nieuwsartikelen een duidelijke toewijzing. Raadpleeg het bronpapier en gok welke van de ‘Horne’-verwijzingen van toepassing is.

** Hier verwijzen we de lezer naar het bronpapier voor details van de secundaire, aanvullende experimenten die het resultaatengedeelte van het nieuwe papier afsluiten.

First published Friday, December 12, 2025