AI kan hjælpe med at identificere ‘Pink Slime’-nyheder

Agenda-drevne meningsdannende medier, designet mere til at påvirke offentlig mening end til at tjene offentligheden, kan være sværere at spotte, hvis AI bruges til at gøre dem lyde mere originale og rationelle. Så kapløbet er i gang for at føre an i ‘pink slime-detektionsspillet’.

Finansieringen af traditionelle lokale medier er blevet reduceret over de sidste tyve år, både på grund af udviklingen i medietendenser og – for nylig – på grund af US-regeringens politik, har efterladt et tomrum i regional rapportering, som er blevet ivrigt overtaget af partisan organisationer bruger AI til at fremme deres dagsordener.

For at sætte begrebet ‘partisan’ i perspektiv (givet, at ingen nyhedsorganisation er uden politiske tendenser af en eller anden art), taler vi om olieselskaber, der driver lokale nyhedssteder fra fjerne lokaliteter, uden nogen rigtige lokale ressourcer, men med en opgave til at forsvare selskabets offentlige rygte; politisk motiverede nyhedssteder uden nogen indtægtsstrøm gearing op før valg; og hele netværk af pro-republikanske nyhedssteder lignende dukker op fra ingensteds, tæt på valgdato.

I 2024 blev det estimeret, at AI-drevne pink slime-nyheder endelig havde overhalet ægte nyhedssteder; på det tidspunkt fandt en australsk undersøgelse, at 41% af forbrugerne foretrak pink slime-kilder over ‘ægte’ kilder.

Dette slag af skjult valgkamp, kan det siges, er udviklet fra en kunst til en eksistens-trussel mod demokrati (med hensyn til politisk motiverede kanaler) og til offentlighedens tillid til rimelige standarder for fairhed i rapportering.

Derfor ville metoder til at skelne karakteristika af pink slime-udgivere og -udsendere fra mere traditionelle medieorganisationer være af stor hjælp mindst i forståelsen af, hvem spillere og drivkræfter er i den nuværende informationsklima.

Som det står, er trope og skabeloner af ægte nyhedsorganisationer meget lette at efterligne, og AI gør det muligt at publicere på en skalerbar og billig måde, ved at bruge mange af de samme tricks der bliver brugt af budget-strukne ‘gamle medie’-udgivere og -udsendere.

Signal og Støj

En ny studie fra USA beskæftiger sig med dette problem, ved at undersøge den voksende brug af store sprogmodeller til at gøre pink slime-websider lyde mindre generiske og lette at spotte, og ved at oprette en læringsramme designet til at følge med udviklingen i pink slime (PS)-output.

Studien hedder Afsløring af Pink Slime-Journalistik: Lingvistiske Signaturer og Robust Detektion mod LLM-Genererede Trusler, og kommer fra fem forskere ved University of Texas.

Den nye studie undersøger, hvordan masseproducerede PS-lokale nyhedsartikler adskiller sig fra legitime rapportering, med fokus på deres afhængighed af korte, repetitive strukturer og skabeloner med minimal variation; og forfatterne bemærker, at PS-artikler tenderer til at genbruge identiske skabeloner designet til at manipulere offentlig mening, med appeller til følelse øverst i indholdet:

Fra den nye studie – multiple udgivere publicerer næsten identiske artikler med kun lokalitetsdetaljer ændret, afslører en kopier-og-lim-strategi brugt til at masseproducere indhold, der ligner legitime lokale nyheder. Kilde

Traditionelle detektionsmodeller trænet på disse træk performer godt mod sådant indhold, men fejler, når artiklerne er omskrevet ved hjælp af AI-chatbots til at se mere naturlige eller sofistikerede ud.

Forfatternes egne tests indikerer, at selv mindre stilistiske ændringer introduceret af store sprogmodeller kan reducere detektionsnøjagtigheden med op til 40%. For at imødegå dette, foreslår de en kontinuerlig læringsramme, der træner detektionsmodellerne kontinuerligt på både originale og AI-omskrevne artikler, for at tilpasse sig skiftende lingvistiske mønstre.

Metode

For at etablere data til projektet, brugte forfatterne Pink Slime Dataset, der indeholder 7,9 millioner artikler, der dækker 1.093 udgivere i perioden 2021-2023, hvorfra de fik 9.472 pink slime-artikler efter filtrering. De brugte også LIAR-dataset, der indeholder annoterede falske nyheder, samt NELA-GT-2021-samlingen, der indeholder kun amerikanske artikler*.

For at forberede deres trænings- og test-sæt, brugte forfatterne først t-SNE-algoritmen til at reducere artikel-indlejninger til to dimensioner. De anvendte herefter dataklusteringsalgoritmen DBSCAN til at isolere kluster af lignende pink slime-artikler.

Hvert kluster blev behandlet som en gruppe af relaterede historier, mange af dem følger stadig den samme skabelon, på trods af en bevidst indsats for at adressere duplikater.

For at forhindre, at lignende artikler optræder i både trænings- og test-sæt, blev hele kluster tilfældigt valgt, hvor 80% blev brugt til træning og 20% til test. Da legitime nyhedsartikler ikke dannede klare kluster, blev en tilfældig split anvendt i stedet.

Denne proces blev gentaget tre gange for at sikre konsistens og reducere stikprøveforvrængning.

Karakteristika af Pink Slime

I kommentarer til de karakteristiske træk af PS i forhold til almindelige nyheder, hævder forskerne, at PS-stil lokale nyhedsartikler er betydeligt kortere og enklere end legitime rapportering, med en gennemsnit på færre end ni sætninger per artikel.

En højere proportion af simple sætninger og en større afhængighed af adjektiver er yderligere kendetegn for pink slime, ifølge artiklen, og indikerer en forkærlighed for repetitive, følelsesladede sprog.

Lexikal rigdom blev målt ved hjælp af Root-Type-Token Ratio (RTTR), og viste sig at være betydeligt lavere i PS-artiklerne, der også havde langt færre unikke navnefraser.

Disse mønstre indikerer en begrænset vokabular og en formel stil, i modsætning til legitime lokale nyheder, der kendetegnes ved komplekse del-sætningsmønstre bygget op omkring hjælpeverber, pronominer og konjunktioner. I stedet foretrækker de falske artikler grundlæggende navne-forbindelses-strukturer, med hyppig brug af punktum-baserede trigrammer, hvilket antyder en mindre formel, mere fragmenteret skrivestil.

Tests

For at undersøge sammenhængen mellem forskellige typer nyhedsartikler baseret på lingvistiske og strukturelle træk, blev indlejninger genereret ved hjælp af 435-million parameter stella_en_400M_v5-modellen, og reduceret med PCA og t-SNE til visualisering.

Når projiceret ind i to dimensioner, dannede de falske lokale nyhedsartikler små, tætte kluster, hver svarende til snævert fokuserede emner som kriminelle statistikker, aktieopdateringer eller velgørenhedsdonationer:

Klusteringsmønstre fra en t-SNE-projektion afslører, at pink slime-artikler danner tætte, repetitive grupperinger, mens legitime nyheder viser bredere, mere varierede fordelinger i overensstemmelse med emne- og stildiversitet.

Som vi kan se, til en vis grad, i visualiseringen ovenfor, antyder dette mønster en rigid, skabelon-drevet format, med minimal variation mellem artikler.

Interessant nok divergerer artikler, der er markeret som ‘falske nyheder’, fra de falske lokale indhold, og viser en fordeling mere i overensstemmelse med ægte nyheder, hvilket antyder, at masseproducerede lokale falske kan være mekanisk forskellige i form og sammensætning.

I modsætning danner ‘legitime’ lokale nyheder færre og mere spredte kluster, i overensstemmelse med en mere divers sprogbrug og emnevalg, mens nationale nyhedsartikler viser endnu større spredning, reflekterende en bredere emnespektrum og en løsere stilistisk konsistens.

Funktionssammenligninger mellem legitime lokale nyheder og pink slime-indhold, der angiver, at PS-artikler er kortere, bruger enklere sætningsstrukturer, indeholder flere adjektiver, viser lavere lexikal rigdom, foretrækker grundlæggende del-sætnings-trigrammer og indeholder færre unikke navnefraser.

Detektion

Forskere evaluerede to hovedtilgange til at detektere pink slime-indhold: klassificering baseret på håndlavede lingvistiske funktioner; og transformator-baseret fine-tuning.

For den håndlavede tilgang blev strukturelle snarere end semantiske karakteristika betonet, ved hjælp af sætningsantal; lexikal rigdom; syntaktisk dybde; del-sætnings-sammenhængs-sandsynligheder; afhængigheds-sammenhængs-sandsynligheder; læselighed; og del-sætnings-antal.

Tre modeller blev testet på dette funktionssæt: XGBoost; Random Forest; og Support Vector Machine (SVM) – med Random Forest, der viste lidt stærkere resultater overall.

Both XGBoost og Random Forest tildelte høj forudsigelsesværdi til funktioner som sætningsantal og antallet af unikke navnefraser. Læselighed og lexikal rigdom målinger påvirkede også klassificeringen stærkt, selvom modellerne vægtede disse forskelligt, med XGBoost, der foretrak Flesch og RTTR, mens Random Forest lænede sig mod CTTR:

Funktionssværdi-scores baseret på SHAP (SHapley Additive exPlanations) fremhæver, hvordan hver input-funktion påvirker modellens output over prøver. I dette tilfælde afslører SHAP-værdier, at både XGBoost og Random Forest primært afhængig af sætningsantal og unikke navnefraser til at skelne pink slime fra ægte nyheder, mens de tildeler varierende vægt til målinger af lexikal rigdom og læselighed.

Som set i de tidligere funktionssammenligninger (ovenfor), foretrækker pink slime-artikler sensationisme over detaljer, med en lavere lexikal rigdom, og med færre distinkte navnefraser – hvilket understreger konklusionen, at dette indhold er højt skabelon-drevet og repetitivt.

Del-sætnings-trigram-mønstre bekræfter, at legitime lokale nyheder tenderer til at bruge mere komplekse former, involverende hjælpeverber, pronominer og konjunktioner, mens pink slime foretrækker fragmenterede eller minimale syntaks. Disse mønstre antyder en pålidelig grund for at skelne syntetisk lokal indhold fra ægte journalistik.

En anden runde tests involverede fine-tuning af transformator-modeller på fulde artikeltekster, for at fange både semantisk indhold og syntaktisk struktur.

BERT, XLNet, og Flan-T5 blev testet, med BERT, der opnåede den højeste F1-score på 89,31% – selvom artiklen bemærker, at performancesforskellene ikke var statistisk signifikante. Unlike de håndlavede klassificatorer, lærer disse modeller alle vægte under træning, hvilket tillader dem at lære opgave-specifikke repræsentationer direkte fra data.

En ekstra indlejring-baseret metode, der anvendte en fuldt-tilsluttet downstream-klassificator, performerede bedre end de håndlavede modeller, men nåede ikke den nøjagtighed af fuld fine-tuning.

Disse tilgange havde fordel af en bredere lingvistisk kontekst – en fordel, da pink slime-artikler ofte genbruger indhold på tværs af udgivere. Håndlavede funktioner, til gengæld, afhænger kun af overfladisk syntaks alene, hvilket begrænser deres evne til at generalisere på tværs af kilder.

Boosting Pink Slime med LLM’er

For at teste, om pink slime-artikler kunne gøres sværere at detektere, omskrev forskerne dem ved hjælp af store sprogmodeller. Prompts blev designet til at forbedre skrivestilen ved at udvide indhold, tilføje sætningskompleksitet, reducere overbrug af adjektiver, påtvinge en neutral tone, bruge mere varieret vokabular og øge antallet af unikke navnefraser, med det formål at skjule de overfladiske træk, som de fleste detektionssystemer afhænger af.

De testede modeller var Gemma-2B; Mistral-7B; Llama-1B; Llama-3B; Llama-8B; Qwen-7B; GPT-4o mini; og Claude-3.5-Haiku.

Detektionspræstation (F1) af en finjusteret BERT-klassificator, når pink slime-artikler er omskrevet af forskellige LLM’er. Lavere scores indikerer mere succesfuld forklædning.

Af disse resultater kommenterer forfatterne:

‘[Blandt] open-source-modeller var Qwen den mest effektive til at undgå detektion: når testet mod en tidligere finjusteret BERT-klassificator (baseline F1-score: 89%), resulterede det i en 28,34% nedgang i detektionspræstation.

‘Lukkede modeller var betydeligt mere potente, med både GPT-4o-mini og Claude-3.5-Haiku, der reducerede F1-scoren med gennemsnitligt 40%, hvilket understreger udfordringen, der stilles af højkvalitets LLM-genereret forklædning.’

Disse resultater, mener forfatterne, viser, hvor let LLM’er kan kamuflere pink slime-indhold, hvilket gør det meget sværere for nuværende værktøjer at fange**.

Konklusion

Opinion Denne linje af forskning indeholder nogle interessante dilemmaer, ikke mindst det faktum, at så mange mennesker (ifølge mindst én undersøgelse, nævnt tidligere) støtter PS-indhold, selv om de ved, hvad det er, hvilket bringer den pejorative kontekst i spørgsmål. Det er, som om mennesker ved, at ‘Soylent Green er mennesker’, men de trækker på skuldrene og bliver ved med at spise; eller sådan kan det se ud, set fra et liberalt synspunkt.

Dette offentlige ligegyldighed overfor algorithmisk nyheder kan udvikle sig og endda gå tilbage – men for øjeblikket synes det at være dybere.

En anden ting, der slog mig, da jeg læste artiklen, var måden, hvorpå den simple prosa og reductionismen i pink slime-udgang var behandlet som en svaghed med en mulig teknologisk løsning, når minimalismen, emotionalismen og det begrænsede vokabular sandsynligvis alle er helt bevidste valg.

Hvis de forskellige interessegrupper bag PS ønsker at udvide deres rækkevidde til en mere intellektuel eller liberal publikum (selv om dette sandsynligvis ikke ville spille til deres styrker), synes det mere sandsynligt, at de ville slå lejr tættere på deres målpublikum, snarere end at ændre en skrivestil og en tone, der allerede synes at opnå deres mål på eksisterende platforme.

* På grund af en ulykkelig formatering i artiklen, har den ekstra kilde til lokale nyhedsartikler ikke en klar tilskrivning. Venligst se den oprindelige artikel og gæt, hvilken af ‘Horne’-henvisningerne der er relevant.

** Her henviser vi læseren til den oprindelige artikel for detaljer om de sekundære, supplerende eksperimenter, der afslutter resultatsættet i den nye artikel.

Først publiceret fredag, den 12. december 2025