AI kan hjælpe med at identificere ‘pink slime’ nyheder

Agenda-drevne meningsskabere, designet mere til at påvirke offentlig mening end til at tjene offentligheden, kan være sværere at spotte, hvis AI bruges til at gøre dem lyde mere originale og rationelle. Så kapløbet er i gang for at føre an i ‘pink slime-detektions’-spillet.

Den finansiering af traditionelle lokale medieudbydere over de sidste tyve år, både på grund af udviklingen i medietendenser og – senest – på grund af US-regeringens politik, har efterladt en tomrum i regional rapportering, som er blevet ivrigt overtaget af partisan organisationer bruger AI til at drive deres dagsordener.

For at sætte begrebet ‘partisan’ i perspektiv (givet, at ingen nyhedsorganisation er uden politiske tendenser af en slags), taler vi om olieselskaber, der driver regionale nyhedssteder fra fjerne beliggenheder, uden nogen rigtige lokale ressourcer, men med en opgave til at forsvare virksomhedens offentlige rygte; politisk motiverede nyhedssteder fraværende enhver indtægtsstrøm gearer op før valg; og hele netværk af pro-republikanske nyhedssteder lignende fremkommer fra ingensteds, tæt på afstemningstidspunktet.

I 2024 blev det estimeret, at AI-drevne pink slime-nyheder endelig var kommet til at overgå ægte nyhedsudbydere; på det tidspunkt fandt en australsk undersøgelse, at 41% af forbrugerne foretrak pink slime-kilder over ‘ægte’ kilder.

Denne type skjult valgkamp, kan det siges, er udviklet fra en mere dunkel kunst til en eksistential trussel mod demokrati (med hensyn til politisk motiverede udbydere) og til offentlighedens tillid til rimelige standarder for retfærdighed i rapporteringen.

Derfor ville metoder til at skelne karakteristika for pink slime-udgivere og -udsendere fra mere traditionelle medieorganisationer være af stor hjælpe ved mindst at forstå, hvem spillerene og drivkræfterne er i den nuværende informationsklima.

Som det står, er trope og skabeloner for ægte nyhedsorganisationer meget lette at efterligne, og AI gør det muligt at udgive på en billig og aktuel måde, ved at bruge mange af de samme tricks der bliver brugt af budget-strukne ‘gamle medie’-udbydere og -udsendere.

Signal og støj

En ny undersøgelse fra USA beskæftiger sig med dette problem, ved at undersøge den voksende brug af store sprogmodeller til at gøre pink slime-websider lyde mindre generiske og lette at spotte, og ved at oprette et læringsramme designet til at følge med udviklingen i pink slime (PS)-output.

Titlen At afsløre Pink Slime Journalistik: Lingvistiske signaturer og robust detektion mod LLM-genererede trusler, den nye arbejde kommer fra fem forskere på University of Texas.

Det nye arbejde undersøger, hvordan masseproducerede PS-lokale nyhedsartikler adskiller sig fra legitime rapportering, med fokus på deres afhængighed af korte, repetitive strukturer og skabeloner med minimal variation; og forfatterne bemærker, at PS-artikler tenderer til at genbruge identiske skabeloner designet til at manipulere offentlig mening, med appeller til følelse øverst i indholdet:

Fra den nye artikel – multiple udbydere publicerer næsten identiske artikler med kun lokationsdetaljer ændret, hvilket afslører en kopier-og-lim-strategi brugt til at masseproducere indhold, der ligner legitime lokale nyheder. Kilde

Traditionelle detektionsmodeller trænet på disse træk fungerer godt mod denne type indhold, men fejler, når artiklerne er omskrevet ved hjælp af AI-chatbots til at se mere naturlige eller sofistikerede ud.

Forfatternes egne tests indikerer, at selv mindre stilistiske ændringer introduceret af store sprogmodeller kan reducere detektionsnøjagtigheden med op til 40%. For at imødegå dette foreslår de en kontinuerlig lærings ramme, der træner detektionsmodellerne på både originale og AI-omskrevne artikler, for at tilpasse sig skiftende sprogmønstre.

Metode

For at etablere data til projektet brugte forfatterne Pink Slime Dataset, der indeholder 7,9 millioner artikler, der dækker 1.093 udbydere i perioden 2021-2023, hvorfra de fik 9.472 pink slime-artikler efter filtrering. De brugte også LIAR-dataset, der indeholder annoterede falske nyheder, samt NELA-GT-2021 samlingen, der kun indeholder amerikanske artikler*.

For at forberede deres trænings- og testmængder brugte forfatterne først T-distributed Stochastic Neighbor Embedding (t-SNE) algoritmen til at reducere artikel indlejninger til to dimensioner. De anvendte derefter dataklusteringsalgoritmen Density-Based-Spatial-Clustering-of-Applications-with-Noise (DBSCAN) til at isolere kluster af lignende pink-slime artikler.

Hver kluster blev behandlet som en gruppe af relaterede historier, mange af dem følger stadig den samme skabelon, på trods af en bevidst indsats for at adresse duplikater.

For at forhindre lignende artikler i at dukke op i både trænings- og testmængder, blev hele kluster valgt tilfældigt, med 80% brugt til træning og 20% til test. Fordi de legitime nyhedsartikler ikke dannede klare kluster, blev en tilfældig split anvendt i stedet.

Denne proces blev gentaget tre gange for at sikre konsistens og reducere stikprøveforvrængning.

Karakteristika af Pink Slime

I kommentarer til de karakteristiske træk af PS vs. almindelige nyheder, hævder forskerne, at PS-stil lokale nyhedsartikler er betydeligt kortere og enklere end legitime rapportering, med en gennemsnit på færre end ni sætninger per artikel.

En højere proportion af simple sætninger og en tungere afhængighed af tillægsord er yderligere kendetegn for pink slime, ifølge artiklen, og indikerer en forkærlighed for repetitive, følelsesladet sprog.

Leksikalsk rigdom blev målt ved hjælp af Root-Type-Token Ratio (RTTR), og fundet at være bemærkelsesværdigt lavere i PS-artiklerne, der også viste færre unikke navnefraser.

Disse mønstre indikerer en begrænset vokabular og en formel stil, i modsætning til legitime lokale nyheder, der kendetegnes af komplekse dele af tale mønstre bygget op omkring hjælpeverber, pronominer og konjunktioner. I stedet favoriserer de falske artikler grundlæggende navne-forhold-strukturer, med hyppig brug af punktum-baserede trigrammer, hvilket antyder en mindre formel, mere fragmenteret skrivestil.

Tests

For at undersøge associationer mellem forskellige typer nyhedsartikler baseret på lingvistiske og strukturelle træk, blev indlejninger genereret ved hjælp af 435-million parameter stella_en_400M_v5 model, og reduceret med Principal Component Analysis (PCA) og t-SNE til visualisering.

Når projiceret ind i to dimensioner, dannede de falske lokale nyhedsartikler små, tætte kluster, hver svarende til snævert fokuserede emner som kriminalitetsstatistik, aktieopdateringer eller velgørenhedsdonationer:

Klusteringsmønstre fra en t-SNE-projektion afslører, at pink slime-artikler danner tætte, repetitive grupperinger, mens legitime nyheder viser bredere, mere varierede distributioner i overensstemmelse med emne- og stildiversitet.

Som vi kan se, til en vis grad, i visualiseringen ovenfor, antyder dette mønster en rigid, skabelon-drevet format, med minimal variation mellem artikler.

Interessant nok afviger artikler, der er markeret som ‘falske nyheder’, fra de falske lokale indhold, og viser en distribution mere i overensstemmelse med rigtige nyheder, hvilket indikerer, at masseproducerede lokale falske kan være mekanisk forskellige i form og sammensætning.

I modsætning hertil danner ‘legitime’ lokale nyheder færre og mere spredte kluster, i overensstemmelse med mere divers sprog og emne, mens nationale nyhedsartikler viser endnu større spredning, reflekterende en bredere emneområde og en løsere stilistisk konsistens.

Funktionssammenligninger mellem legitime lokale nyheder og pink slime-indhold, der angiver, at PS-artikler er kortere, bruger enklere sætningsstrukturer, indeholder flere tillægsord, viser lavere leksikalsk rigdom, favoriserer grundlæggende del af tale-trigrammer og indeholder færre unikke navnefraser.

Detektion

Forskerne evaluerede to hovedtilgange til at detektere pink slime-indhold: klassificering, baseret på håndlavet lingvistiske funktioner; og transformer-baseret fine-tuning.

For den håndlavede tilgang blev strukturelle snarere end semantiske karakteristika fremhævet, ved at bruge sætningstælling; leksikalsk rigdom; syntaktisk dybde; del af tale-samlinger sandsynlighed; afhængigheds-tag-samlinger sandsynlighed; læselighed; og del af tale-tælling.

Tre modeller blev testet på denne funktionssæt: XGBoost; Random Forest; og Support Vector Machine (SVM) – med Random Forest, der viste lidt stærkere resultater overall.

Både XGBoost og Random Forest tildelte høj forudsigelsesværdi til funktioner som sætningstælling og antallet af unikke navnefraser. Læselighed og leksikalsk rigdom målinger påvirkede også klassificeringen stærkt, selv om modellerne vægtede disse forskelligt, med XGBoost, der favoriserede Flesch og RTTR, mens Random Forest lænede sig mod CTTR:

Funktionværdier baseret på SHAP (SHapley Additive exPlanations) fremhæver, hvordan hver inputfunktion påvirker modellens output over prøver. I dette tilfælde afslører SHAP-værdier, at både XGBoost og Random Forest afhængigt mest af sætningstælling og unikke navnefraser til at skelne pink slime fra rigtige nyheder, mens de tildeler varierende vægt til målinger af leksikalsk rigdom og læselighed.

Som set i de tidligere funktionssammenligninger (ovenfor), favoriserer pink slime-artikler sensationisme over detaljer, med en lavere leksikalsk rigdom, og med færre distinkte navnefraser – hvilket støtter konklusionen, at denne type indhold er højst skabelon-drevet og repetitivt.

Del af tale-trigram mønstre bekræfter, at legitime lokale nyheder tenderer til at bruge mere strukturelt komplekse former, der involverer hjælpeverber, pronominer og konjunktioner, mens pink slime favoriserer fragmenterede eller minimalistiske syntaks. Disse mønstre antyder en pålidelig grund for at skelne syntetisk lokal indhold fra rigtig journalistik.

En anden runde tests involverede fine-tuning af transformer-modeller på fuld artikeltekst, for at fange både semantisk indhold og syntaktisk struktur.

BERT, XLNet, og Flan-T5 blev testet, med BERT, der opnåede den højeste F1-score på 89,31% – selv om artiklen bemærker, at performancesforskelle ikke var statistisk signifikante. Modellerne opdaterer alle vægte under træning, hvilket giver dem mulighed for at lære opgave-specifikke repræsentationer direkte fra data.

En yderligere indlejningsbaseret metode, der anvendte en fuldt-tilsluttet downstream-klassifikator, fungerede bedre end de håndlavede klassifikatorer, men nåede ikke præcisionen af fuld fine-tuning.

Disse tilgange havde fordel af en bredere lingvistisk kontekst – hvilket er fordelagtigt, da pink slime-artikler ofte genbruger indhold på tværs af udbydere.

Boosting Pink Slime med LLM’er

For at teste, om pink slime-artikler kunne gøres sværere at detektere, omskrev forskerne dem ved hjælp af store sprogmodeller. Prompts blev designet til at forbedre skrivestilen ved at udvide indhold, tilføje sætningskompleksitet, reducere overbrug af tillægsord, gennemtvinge en neutral tone, bruge mere varieret vokabular, og øge antallet af unikke navnefraser, med det formål at skjule de overfladiske træk, som de fleste detektionssystemer afhænger af.

Modellerne, der blev testet, var Gemma-2B; Mistral-7B; Llama-1B; Llama-3B; Llama-8B; Qwen-7B; GPT-4o mini; og Claude-3.5-Haiku.

Detektionspræstation (F1) af en finjusteret BERT-klassifikator, når pink slime-artikler er omskrevet af forskellige LLM’er. Lavere score indikerer mere succesfuld kamuflering.

Af disse resultater kommenterer forfatterne:

‘[Blandt] open-source-modeller var Qwen den mest effektive til at undgå detektion: når testet mod en tidligere finjusteret BERT-klassifikator (baseline F1-score: 89%), førte det til en 28,34% nedgang i detektionspræstation.

‘Lukkede modeller var betydeligt mere potente, med både GPT-4o-mini og Claude-3.5-Haiku, der reducerede F1-scoren med en gennemsnit på 40%, hvilket fremhæver udfordringen, der stilles af højkvalitets LLM-genereret kamuflering.’

Disse resultater, som forfatterne påstår, viser, hvor let LLM’er kan kamuflere pink slime-indhold, og gøre det meget sværere for nuværende værktøjer at fange**.

Konklusion

Mening Denne linje af forskning indeholder nogle interessante dilemmaer, ikke mindst det, at så mange mennesker (ifølge mindst én undersøgelse, nævnt tidligere) støtter PS-indhold, selv om de ved, hvad det er, hvilket bringer den pejorative kontekst i spørgsmål. Det er, som om mennesker ved, at ‘Soylent Green er mennesker’, men de trækker på skuldrene og fortsætter med at spise; eller sådan kan det se ud, set fra et liberalt synspunkt.

Denne offentlige ligegyldighed overfor algorithmisk nyheder kan udvikle sig og endda gå tilbage – men for øjeblikket synes det at være dybere.

En anden ting, der slog mig, da jeg læste artiklen, var måden, hvorpå den simple prosa og reductionismen i pink slime-output blev behandlet som en svaghed med en mulig teknologisk løsning, når minimalismen, emotionalismen og det begrænsede vokabular sandsynligvis alle er helt bevidste valg.

Hvis de forskellige interessegrupper bag PS ønsker at udvide deres rækkevidde til en mere intellektuel eller liberal publikum (selv om dette muligvis ikke spiller til deres styrker), synes det mere sandsynligt, at de vil slå lejr tættere på deres målpublikum, snarere end at ændre en skrivestil og en tone, der allerede synes at opnå deres mål på eksisterende platforme.

* På grund af nogen uheldig formatering i artiklen, har den ekstra kilde til lokale nyhedsartikler ikke en klar tilskrivning. Se venligst artiklen og gæt, hvilken af ‘Horne’-henvisningerne, der anvendes.

** Her henviser vi læseren til artiklen for detaljer om de sekundære, supplerende eksperimenter, der afslutter resultatsættet i den nye artikel.

Først udgivet fredag, den 12. december 2025