AI kan hjelpe med å identifisere «rosa slim»-nyheter

Agenda-drevne meningsdanningsmaskiner, designet for å påvirke offentlige meninger mer enn å tjene offentligheten, kan være vanskeligere å oppdage hvis AI brukes til å gjøre dem mer originale og rasjonelle. Så kappløpet er i gang for å holde følge med «rosa slim»-deteksjonsspillet.

Finansieringen av tradisjonelle lokale medier har blitt redusert de siste tyve årene, både på grunn av endringer i medietrendene og – nylig – på grunn av USAs regjeringens politikk, har etterlatt et tomrom i regional rapportering som har blitt ivrig overtatt av partisan organisasjoner som bruker AI for å drive deres agendaer.

For å sette begrepet «partisan» i kontekst (gitt at ingen nyhetsorganisasjon er uten politiske tendenser av en eller annen type), snakker vi om oljeselskaper som driver regionale nyhetssider fra fjerne steder, uten noen virkelige lokale ressurser, men med en oppgave å forsvare selskapets offentlige omdømme; politisk motiverte nyhetssider uten noen inntektsstrøm som gjør seg klar før valg; og hele nettverk av pro-republikanske nyhetssider som plutselig dukker opp nær valgdagen.

I 2024 ble det anslått at AI-drevne «rosa slim»-nyheter endelig hadde overgått ekte nyhetskilder; på den tiden fant en australsk undersøkelse at 41% av forbrukerne foretrakk «rosa slim»-kilder over «ekte» kilder.

Dette type skjult valgkamp, kan det hevdes, har utviklet seg fra en ren mørk kunst til en eksistensiell trussel mot demokrati (med hensyn til politisk motiverte kanaler) og mot offentlighetens tillit til rimelige standarder for rettferdighet i rapportering.

Derfor ville metoder for å skille karakteristika til «rosa slim»-utgivere og kringkastere fra mer tradisjonelle medieorganisasjoner være til stor hjelp, i det minste for å forstå hvem spillerne og drivkreftene er i den nåværende informasjonsklimaet.

Som det står, er tropene og malene til ekte nyhetsorganisasjoner svært enkle å etterligne, og AI gjør skalerbar publisering til en nåværende og rimelig realitet, ved å bruke mange av de samme triksene som blir brukt av budsjettskadede «gammelmedia»-utgivere og kringkastere.

Signal og støy

En ny studie fra USA tar opp dette spørsmålet, ved å undersøke den økende bruken av store språkmodeller for å gjøre «rosa slim»-nettsider mindre generiske og lett å oppdage, og ved å lage et læringsrammeverk designet for å holde følge med utviklingene i «rosa slim»-utgivelser.

Den nye studien har tittelen Å avsløre «rosa slim»-journalistikk: Lingvistiske signaturer og robust deteksjon mot LLM-genererte trusler, og kommer fra fem forskere ved University of Texas.

Den nye studien undersøker hvordan masseproduserte lokale nyhetsartikler fra «rosa slim»-kilder skiller seg fra legitime rapporter, med fokus på deres avhengighet av korte, repetitive strukturer og malte uttrykk med minimal variasjon; og forfatterne bemerker at «rosa slim»-artikler tenderer til å gjenbruke identiske maler designet for å manipulere offentlige meninger, med appeller til emosjoner øverst i innholdet:

Fra den nye studien – flere utgivere publiserer nesten identiske artikler med bare endringer i stedsdetaljer, og avslører en kopier-og-lim-inn-strategi brukt til å masseprodusere innhold som ligner ekte lokale nyheter. Kilde

Tradisjonelle deteksjonsmodeller trent på disse trekkene fungerer godt mot slike innhold, men feiler når artiklene blir omskrevet ved hjelp av AI-chatbots for å se mer naturlige eller sofistikerte ut.

Forfatternes egne tester indikerer at selv små stilistiske endringer innført av store språkmodeller kan redusere deteksjonsnøyaktigheten med opptil 40%. For å motvirke dette, foreslår de et kontinuerlig læringsrammeverk som inkrementelt gjendanner deteksjonsmodeller på både originale og AI-omskrevne artikler, for å tilpasse seg skiftende lingvistiske mønster.

Metode

For å etablere data for prosjektet, brukte forfatterne Pink Slime Dataset, som inneholder 7,9 millioner artikler som dekker 1 093 utgivere i perioden 2021-2023, og som de fikk 9 472 «rosa slim»-artikler etter filtrering. De brukte også LIAR-datasettet, som inneholder annotert feilaktig nyheter, samt NELA-GT-2021-samlingen, som inneholder kun amerikanske artikler*.

For å forberede sine trening- og testsett, brukte forfatterne først T-distributed Stochastic Neighbor Embedding (t-SNE)-algoritmen for å redusere artikkel-innbedninger til to dimensjoner. De brukte deretter dataklustering-algoritmen Density-Based-Spatial-Clustering-of-Applications-with-Noise (DBSCAN) for å isolere kluster av lignende «rosa slim»-artikler.

Hvert kluster ble behandlet som en gruppe relaterte historier, mange av dem fortsatt fulgte samme mal, til tross for en bevisst innsats for å håndtere duplikater.

For å forhindre at lignende artikler dukket opp i både trening- og testsett, ble hele kluster valgt tilfeldig, med 80% brukt til trening og 20% til testing. Fordi de legitime nyhetsartiklene ikke dannet klare kluster, ble en tilfeldig split brukt i stedet.

Dette prosessen ble gjentatt tre ganger, for å sikre konsistens, og for å redusere sampling-bias.

Karakteristika til «rosa slim»

I kommentarer til de karakteristiske trekkene til «rosa slim» i forhold til vanlige nyheter, hevder forskerne at «rosa slim»-lokale nyhetsartikler er betydelig kortere og enklere enn legitime rapporter, med en gjennomsnittlig lengde på færre enn nine setninger per artikkel.

En høyere andel enkle setninger og en tyngre avhengighet av adjektiver er ytterligere kjennetegn på «rosa slim», ifølge studien, og indikerer en forkjærlighet for repetitiv, emosjonelt ladet språk.

Lexikal rikdom ble målt ved hjelp av Root-Type-Token Ratio (RTTR), og viste seg å være betydelig lavere i «rosa slim»-artiklene, som også viste færre unike nounfraser.

Disse mønsterene indikerer en begrenset vokabular og en formel stil, i motsetning til legitime lokale nyheter, som kjennetegnes av komplekse part-of-speech-mønster bygget rundt hjelpeverb, pronomen og konjunksjoner. I stedet favoriserer feilaktige artikler grunnleggende noun-preposisjonsstrukturer, med hyppig bruk av punktum-baserte trigrammer, som antyder en mindre formell, mer fragmentert skrivestil.

Tester

For å undersøke sammenhengene mellom ulike typer nyhetsartikler, basert på lingvistiske og strukturelle trekk, ble innbedninger generert ved hjelp av 435-millioner parameter stella_en_400M_v5-modellen, og redusert med Principal Component Analysis (PCA) og t-SNE for visualisering.

Når de ble projisert inn i to dimensjoner, dannet feilaktige lokale nyhetsartikler små, tette kluster, hver korresponderende til smalt fokuserte emner som kriminalitetsstatistikk, aksjeoppdateringer eller veldedighetsdonasjoner:

Klusteringmønster fra en t-SNE-projeksjon avslører at «rosa slim»-artikler danner tette, repetitive grupper, mens legitime nyheter viser bredere, mer varierte fordelinger i samsvar med emne- og stildiversitet.

Som vi kan se, i noen grad, i visualiseringen ovenfor, antyder dette mønsteret en rigid, malbasert format, med minimal variasjon mellom artiklene.

Interessant nok divergerer artikler merket som «feilaktige nyheter» fra feilaktige lokale innhold, og viser en fordeling mer i samsvar med ekte nyheter, og indikerer at masseproduserte lokale feil kan ikke bare være mindre sanne, men også mekanisk distinkte i form og komposisjon.

I motsetning danner «legitime» lokale nyheter færre og mer spredte kluster, i samsvar med mer diversifisert språk og emnestoff, mens nasjonale nyhetsartikler viser enda større spredning, og reflekterer en bredere emnekrets og løsere stilistisk konsistens.

Funksjonsjämförelser mellom legitime lokale nyheter og «rosa slim»-innhold, som indikerer at «rosa slim»-artikler er kortere, bruker enklere setningsstrukturer, inneholder flere adjektiver, viser lavere leksikal rikdom, favoriserer grunnleggende part-of-speech-trigrammer og inneholder færre unike nounfraser.

Deteksjon

Forskerne evaluerte to hovedtilnærminger for å detektere «rosa slim»-innhold: kategorisering, basert på håndlagde lingvistiske trekk; og transformer-basert fine-tuning.

For den håndlagde tilnærmingen, ble strukturelle fremfor semantiske trekk betont, ved å bruke setningsantall; leksikal rikdom; syntaktisk dybde; part-of-speech-samlinger; avhengighetsmerke-samlinger; lesbarhet; og part-of-speech-teller.

Tre modeller ble testet på dette funksjonssettet: XGBoost; Random Forest; og Support Vector Machine (SVM) – med Random Forest som viste noe bedre resultater totalt.

Både XGBoost og Random Forest tildelte høy prediktiv viktighet til funksjoner som setningsantall og antall unike nounfraser. Lesbarhet og leksikal rikdom målinger påvirkte også klassifiseringen sterkt, selv om modellene vektla disse forskjellig, med XGBoost som favoriserte Flesch og RTTR, mens Random Forest la vekt på CTTR:

Funksjonsviktighetsskår basert på SHAP (SHapley Additive exPlanations) viser hvordan hver inndatafunksjon påvirker modellens utgang over prøver. I dette tilfelle avslører SHAP-verdier at både XGBoost og Random Forest avhengig av setningsantall og unike nounfraser for å skille «rosa slim» fra ekte nyheter, mens de tildeler varierende vekt til mål for leksikal rikdom og lesbarhet.

Som vi ser i de tidligere funksjonsjämförelser (ovenfor), favoriserer «rosa slim»-artikler sensasjonalisme over detaljer, med en lavere leksikal rikdom, og med færre distinkte nounfraser – og støtter opp om konklusjonen at dette innholdet er høyt malt og repetitivt.

Part-of-speech-trigrammønster bekrefter at legitime lokale nyheter tenderer til å bruke mer strukturelt komplekse former, involverende hjelpeverb, pronomen og konjunksjoner, mens «rosa slim» favoriserer fragmentert eller minimal syntaks. Disse mønsterene antyder en pålitelig grunn for å skille syntetisk lokal innhold fra ekte journalistikk.

En annen runde med testing involverte fine-tuning av transformer-modeller på full artikkeltekst, for å fange både semantisk innhold og syntaktisk struktur.

BERT, XLNet, og Flan-T5 ble testet, med BERT som oppnådde den høyeste F1-poengsummen på 89,31% – selv om studien bemerker at forskjellene i ytelse ikke var statistisk signifikante. I motsetning til de håndlagde klassifisererne, oppdaterer disse modellene alle vektene under trening, og lar dem lære oppgave-spesifikke representasjoner direkte fra dataene.

En tilleggsinnbedningsbasert metode som brukte en fullt-tilkoblet nedstrøms-klassifiserer som fungerte bedre enn de håndlagde modellene, men ikke like nøyaktig som full fine-tuning.

Disse tilnærmingene hadde fordelen av en bredere lingvistisk kontekst – gunstig, ettersom «rosa slim»-artikler ofte gjentar innhold over utgivere. Håndlagde funksjoner, på den andre siden, avhenger av overfladisk syntaks alene, og begrenser deres evne til å generalisere over kilder.

Boosting «rosa slim» med LLM-er

For å teste om «rosa slim»-artikler kunne gjøres vanskeligere å detektere, omskrev forskerne dem ved hjelp av store språkmodeller. Prompts ble designet for å forbedre skrivestilen ved å utvide innhold, legge til setningskompleksitet, redusere overbruk av adjektiver, påtvinge en nøytral tone, bruke mer variert vokabular, og øke antall unike nounfraser, med målet å skjule de overfladiske trekkene som de fleste deteksjonssystemer avhenger av.

Modellene som ble testet, var Gemma‑2B; Mistral‑7B; Llama‑1B; Llama‑3B; Llama‑8B; Qwen‑7B; GPT‑4o mini; og Claude‑3.5‑Haiku.

Deteksjonsytelse (F1) av en finjustert BERT-klassifiserer når «rosa slim»-artikler blir omskrevet av ulike LLM-er. Lavere poengsummer indikerer mer vellykket kamuflering.

Av disse resultater, kommenterer forfatterne:

‘[Blant] åpne modeller, var Qwen den mest effektive i å unngå deteksjon: når testet mot en tidligere finjustert BERT-klassifiserer (baselinje F1-poengsum: 89%), førte det til en 28,34% reduksjon i deteksjonsytelse.

‘Lukkede modeller var betydelig mer potente, med både GPT-4o-mini og Claude-3.5-Haiku som reduserte F1-poengsummen med en gjennomsnittlig reduksjon på 40%, og understreker utfordringen som høykvalitets LLM-generert kamuflering representerer.’

Disse resultatene, hevder forfatterne, viser hvor enkelt LLM-er kan kamuflere «rosa slim»-innhold, og gjøre det mye vanskeligere for nåværende verktøy å oppdage**.

Konklusjon

Meninger Denne forskningslinjen inneholder noen interessante dilemmaer, ikke minst det faktum at så mange mennesker (ifølge minst en undersøkelse, nevnt tidligere) støtter «rosa slim»-innhold, selv om de vet hva det er, og at det bringer den negative konteksten i spørsmål. Det er som om folk vet at «Soylent Green er mennesker», men de skrur på skuldrene og fortsetter å spise; eller så kan det se ut, fra et liberalt perspektiv.

Dette offentlige likegyldighet til algoritme-drevne nyheter kan utvikle seg og til og med gå tilbake – men for øyeblikket, ser det ut til å dykke.

Noe annet som slo meg, da jeg leste studien, var måten «rosa slim»-utgivelsens enklere prosa og reduksjonisme ble behandlet som et svakhetspunkt med en mulig teknologisk løsning, når minimalismen, emosjonaliteten og det begrensede vokabularet er åpenbart alle meget bevisste valg.

Hvis de ulike interessegruppene bak «rosa slim» ønsker å utvide sin rekkevidde til en mer intellektuell eller liberal publikum (selv om dette kanskje ikke ville spille til deres styrker), ser det ut til å være mer sannsynlig at de ville sette opp leir nærmere sitt målpublikum, snarere enn å endre en skrivestil og en tone som allerede ser ut til å nå deres mål på eksisterende plattformer.

* Grundet noen uheldige formatering i studien, har den ekstra kilde til lokale nyhetsartikler ikke en tydelig kilde. Vennligst se på kildestudien og gjett hvilken av ‘Horne’-referansene som gjelder.

** Her henviser vi leseren til kildestudien for detaljer om de sekundære, supplerende eksperimentene som avslutter resultatsammenfatningen i den nye studien.

Først publisert fredag, 12. desember 2025