AI kan hjälpa till att identifiera “rosa slime”-nyheter

Agendadrivna åsiktsfabriker, designade för att påverka allmänheten snarare än att tjäna den, kan vara svårare att upptäcka om AI används för att göra dem låta mer originella och rationella. Så tävlingen är igång för att hålla sig före i “rosa slime”-detektionsspelet.

Avfinansieringen av traditionella lokala medier under de senaste tjugo åren, både på grund av förändrade medietrender och – nyligen – den amerikanska regeringens politik, har lämnat ett tomrum i regional rapportering som har tagits över av partisan organisationer som använder AI för att driva sina agendor.

För att sätta termen “partisan” i sammanhang (med tanke på att ingen nyhetsorganisation är utan politiska tendenser av något slag) talar vi om oljebolag som driver lokala nyhetssajter från avlägsna platser, utan några riktiga lokala resurser, men med ett uppdrag att försvara bolagets offentliga rykte; politiskt motiverade nyhetssajter utan någon inkomstkälla som rustar upp inför val; och hela nätverk av pro-republikanska nyhetssajter som likaså dyker upp från ingenstans, nära valtiden.

År 2024 uppskattades det att AI-drivna “rosa slime”-nyheter hade till slut kommit att överträffa äkta nyhetskällor; vid den tidpunkten fann en australisk undersökning att 41% av konsumenterna föredrog “rosa slime”-källor över “äkta” källor.

Denna typ av dold valkampanj kan hävdas ha utvecklats från en enkel mörk konst till en existensiell hot mot demokratin (i fråga om politiskt motiverade utgåvor) och mot allmänhetens förtroende för rimliga standarder för rättvisa i rapporteringen.

Därför skulle metoder för att skilja på de karakteristiska utdata från “rosa slime”-förlag och sändare från mer traditionella medieorganisationer vara till stor hjälp, åtminstone för att förstå vem som är spelarna och drivkrafterna i den nuvarande informationsklimatet.

Som det står, är tropen och mallarna för riktiga nyhetsorganisationer mycket lätta att härma, och AI gör skalbar publicering till en aktuell och överkomlig verklighet, med hjälp av många av samma knep som antas av budgetpåverkade “gamla medier”-utgivare och sändare.

Signal och brus

En ny studie från USA tar itu med detta problem genom att undersöka den ökande användningen av stora språkmodeller för att göra “rosa slime”-webbplatser låta mindre generiska och lätta att upptäcka, och genom att skapa ett lärande ramverk som är utformat för att hålla jämna steg med de föränderliga förändringarna i “rosa slime” (PS)-utdata.

Med titeln Exposing Pink Slime Journalism: Linguistic Signatures and Robust Detection Against LLM-Generated Threats, är det nya arbetet från fem forskare vid University of Texas.

Det nya arbetet undersöker hur massproducerade PS-lokala nyhetsartiklar skiljer sig från legitim rapportering, med fokus på deras beroende av korta, upprepade strukturer och mallbaserad frasering med minimal variation; och författarna noterar att PS-artiklar tenderar att återanvända identiska mallar som är utformade för att manipulera allmänhetens åsikt, med överklaganden till känslor i toppen av innehållet:

Från den nya artikeln – flera utgåvor publicerar nästan identiska artiklar med endast platsdetaljer som ändras, vilket avslöjar en copy-paste-strategi som används för att massproducera innehåll som imiterar legitim lokal nyhetsrapportering. Källa

Traditionella detektionsmodeller som tränats på dessa egenskaper presterar bra mot sådant innehåll, men misslyckas när artiklarna skrivs om med hjälp av AI-chattbotar för att se mer naturliga eller sofistikerade ut.

Författarnas egna tester visar att även mindre stilistiska förändringar som införts av stora språkmodeller kan minska detektionsnoggrannheten med upp till 40%. För att motverka detta föreslår de ett kontinuerligt lärande-ramverk som inkrementellt omtränar detektionsmodeller på både ursprungliga och AI-omskrivna artiklar, för att anpassa sig till förändrade språkmönster.

Metod

För att etablera data för projektet använde författarna Pink Slime Dataset, som innehåller 7,9 miljoner artiklar som täcker 1 093 utgåvor under 2021-2023, från vilka de fick 9 472 “rosa slime”-artiklar efter filtrering. De använde också LIAR-datasetet, som innehåller annoterade falska nyheter, samt NELA-GT-2021-samlingen, som innehåller enbart amerikanska artiklar*.

För att förbereda sina tränings- och testuppsättningar använde författarna först T-distributed Stochastic Neighbor Embedding (t-SNE)-algoritmen för att minska artikelinbäddningarna till två dimensioner. De tillämpade sedan dataklusteringsalgoritmen Density-Based-Spatial-Clustering-of-Applications-with-Noise (DBSCAN) för att isolera kluster av liknande “rosa slime”-artiklar.

Varje kluster behandlades som en grupp av relaterade berättelser, många av vilka fortfarande följde samma mall, trots en medveten ansträngning att hantera dubletter.

För att förhindra att liknande artiklar förekommer i både tränings- och testuppsättningar valdes hela kluster slumpmässigt, med 80% som användes för träningsändamål och 20% för teständamål. Eftersom de legitima nyhetsartiklarna inte bildade tydliga kluster tillämpades en slumpmässig uppdelning istället.

Denna process upprepades tre gånger för att säkerställa konsekvens och för att minska urvalsförspänning.

Egenskaper hos rosa slime

I en kommentar om de karakteristiska dragen hos PS jämfört med vanlig nyhetsrapportering hävdar forskarna att PS-stiliga lokala nyhetsartiklar är betydligt kortare och enklare än legitim rapportering, med i genomsnitt färre än nio meningar per artikel.

En högre andel enkla meningar och ett större beroende av adjektiv är ytterligare kännetecken på rosa slime, enligt artikeln, och indikerar en förkärlek till upprepande, emotionellt laddat språk.

Lexikal rikedom mättes med hjälp av Root-Type-Token Ratio (RTTR), och visade sig vara betydligt lägre i PS-artiklarna, som också visade sig ha färre unika nominalfraser.

Dessa mönster utvisar en begränsad vokabulär och en formelbunden stil, i kontrast till legitim lokal nyhetsrapportering, som kännetecknas av komplexa satsmönster byggda kring hjälpverb, pronomen och konjunktioner. Istället föredrar de falska artiklarna grundläggande nominalfrasstrukturer, med frekvent användning av punktationsbaserade trigram, vilket tyder på en mindre formell, mer fragmenterad skrivstil.

Tester

För att undersöka sambanden mellan olika typer av nyhetsartiklar, baserat på lingvistiska och strukturella egenskaper, genererades inbäddningar med hjälp av den 435-miljonerparametrar stora stella_en_400M_v5-modellen, och minskades med hjälp av Principal Component Analysis (PCA) och t-SNE för visualisering.

När de projicerades till två dimensioner bildade de falska lokala nyhetsartiklarna små, täta kluster, var och en motsvarande smalt fokuserade ämnen som brottsstatistik, aktieuppdateringar eller välgörenhetsdonationer:

Klusteringsmönster från en t-SNE-projektion visar att rosa slime-artiklar bildar tätt, upprepande grupperingar, medan legitim nyhetsrapportering visar bredare, mer varierande fördelningar i linje med ämnes- och stildiversitet.

Som vi kan se, till viss del, i visualiseringen ovan, tyder detta mönster på en rigid, mallbaserad form, med minimal variation mellan artiklarna.

Intressant nog avviker artiklar som betecknas som “falska nyheter” från det falska lokala innehållet och visar en fördelning som är mer i linje med riktig nyhetsrapportering, vilket tyder på att massproducerade lokala falska nyheter kanske inte bara är mindre sanningsenliga, utan också mekaniskt olika i form och sammansättning.

I kontrast bildar “legitim” lokal nyhetsrapportering färre och mer spridda kluster, i linje med mer varierat språk och ämnesinnehåll, medan nationella nyhetsartiklar visar ännu större spridning, vilket reflekterar en bredare ämnesomfattning och en lösare stilistisk konsekvens.

Jämförelse av funktioner mellan legitim lokal nyhetsrapportering och rosa slime-innehåll, vilket visar att PS-artiklar är kortare, använder enklare meningsstrukturer, innehåller fler adjektiv, visar lägre lexikal rikedom, föredrar grundläggande satsstrukturer och innehåller färre unika nominalfraser.

Upptäckt

Forskarna utvärderade två huvudsakliga tillvägagångssätt för att upptäcka rosa slime-innehåll: klassificering, baserad på handgjorda lingvistiska funktioner; och transformator-baserad finjustering.

För det handgjorda tillvägagångssättet betonades strukturella snarare än semantiska egenskaper, med användning av meningsräkning; lexikal rikedom; syntaktisk djup; satsdelssammanträffandeprobabiliteter; beroendetaggsammanträffandeprobabiliteter; läsbarhet; och satsdelssräkning.

Tre modeller testades på denna funktionssamling: XGBoost; Random Forest; och Support Vector Machine (SVM) – med Random Forest som visade något starkare resultat totalt.

Både XGBoost och Random Forest tilldelade hög prediktiv vikt till funktioner som meningsräkning och antalet unika nominalfraser. Läsbarhet och lexikal rikdom åtgärderna påverkade också klassificeringen starkt, även om modellerna viktade dessa olika, med XGBoost som föredrog Flesch och RTTR, medan Random Forest lutade sig mot CTTR:

Funktionsviktsskör för SHAP (SHapley Additive exPlanations) visar hur varje ingångsfunktion påverkar modellens utdata över prover. I detta fall visar SHAP-värdena att både XGBoost och Random Forest till stor del förlitade sig på meningsräkning och unika nominalfraser för att skilja rosa slime från riktig nyhetsrapportering, medan de tilldelade varierande vikt till åtgärder för lexikal rikedom och läsbarhet.

Som vi ser i de tidigare funktionssjämförelserna (ovan) föredrar rosa slime-artiklar sensationism över detaljer, med en lägre lexikal rikedom och färre distinkta nominalfraser – vilket förstärker slutsatsen att detta innehåll är högt mallbaserat och upprepat.

Satsdelstrigrammönster bekräftar att legitim lokal nyhetsrapportering tenderar att använda mer strukturkomplexa former, som inbegriper hjälpverb, pronomen och konjunktioner, medan rosa slime föredrar fragmenterad eller minimal syntax. Dessa mönster tyder på en tillförlitlig grund för att skilja syntetiskt lokalt innehåll från riktig journalistik.

En andra omgång tester innefattade finjustering av transformatormodeller på fullständiga artikeltexter, för att fånga både semantiskt innehåll och syntaktisk struktur.

BERT, XLNet och Flan-T5 testades, med BERT som uppnådde den högsta F1-poängen på 89,31% – även om artikeln noterar att prestandaskillnaderna inte var statistiskt signifikanta. Till skillnad från de handgjorda klassificerarna uppdaterar dessa modeller alla vikter under träningsprocessen, vilket möjliggör för dem att lära sig uppgiftsspecifika representationer direkt från data.

En ytterligare inbäddningsbaserad metod som använde en fullständigt ansluten nedströmsklassificerare presterade bättre än de handgjorda modellerna, men matchade inte finjusteringsnoggrannheten.

Dessa tillvägagångssätt fick nytta av en bredare lingvistisk kontext – fördelaktigt, med tanke på att rosa slime-artiklar ofta återanvänder innehåll över utgåvor. Handgjorda funktioner, å andra sidan, förlitar sig enbart på ytmässig syntax, vilket begränsar deras förmåga att generalisera över källor.

Att förbättra rosa slime med LLM

För att testa om rosa slime-artiklar kunde göras svårare att upptäcka, skrev forskarna om dem med hjälp av stora språkmodeller. Prompts utformades för att förbättra skrivstilen genom att expandera innehållet, lägga till meningskomplexitet, minska överanvändning av adjektiv, påtvinga en neutral ton, använda mer varierat ordförråd och öka antalet unika nominalfraser, i syfte att dölja de ytmässiga egenskaper som de flesta detektionssystem förlitar sig på.

De testade modellerna var Gemma-2B; Mistral-7B; Llama-1B; Llama-3B; Llama-8B; Qwen-7B; GPT-4o mini; och Claude-3.5-Haiku.

Detektionsprestanda (F1) för en finjusterad BERT-klassificerare när rosa slime-artiklar skrivs om av olika LLM. Lägre poäng indikerar mer framgångsrik fördunkling.

Av dessa resultat kommenterar författarna:

‘[Bland] öppen källkodsmodeller var Qwen den mest effektiva för att undvika upptäckt: när den testades mot en tidigare finjusterad BERT-klassificerare (baslinje F1-poäng: 89%) ledde den till en 28,34% minskning av upptäcktsprestanda.’

‘Slutna modeller var betydligt mer potenta, med både GPT-4o-mini och Claude-3.5-Haiku som minskade F1-poängen med i genomsnitt 40%, vilket belyser utmaningen som ställs av högkvalitativ LLM-genererad fördunkling.’

Dessa resultat, hävdar författarna, visar hur lätt LLM kan dölja rosa slime-innehåll, vilket gör det mycket svårare för nuvarande verktyg att upptäcka**.

Slutsats

Åsikt Denna forskningslinje innehåller några intressanta dilemma, inte minst det faktum att så många människor (enligt minst en undersökning, som nämns tidigare) stöder rosa slime-innehåll, trots att de vet vad det är, vilket bringar den nedsättande kontexten i fråga. Det är som om människor vet att “Soylent Green är människor”, men de rycker på axlarna och fortsätter att äta; eller så verkar det, från ett liberalt perspektiv.

Denna allmänna likgiltighet för algoritmisk nyhetsrapportering kan utvecklas och till och med backa – men för tillfället verkar den fördjupas.

En annan sak som slog mig, när jag läste artikeln, var sättet som den enklare prosan och reduktionismen i rosa slime-utdata behandlades som en brist med en möjlig teknisk lösning, när minimalismen, emotionismen och den begränsade vokabulären är troligen alla medvetna val.

Om de olika intressegrupperna bakom rosa slime vill utöka sin räckvidd till en mer intellektuell eller liberal publik (även om detta kanske inte skulle spela till deras styrkor), verkar det mer troligt att de skulle etablera sig närmare sin målgrupp, snarare än att ändra en skrivstil och en ton som redan tycks uppnå deras mål på befintliga plattformar.

* På grund av något olyckligt formatering i artikeln har den extra källan till lokala nyhetsartiklar inte någon tydlig attribuering. Vänligen hänvisa till källartikeln och gissa vilken av “Horne”-referenserna som gäller.

** Här hänvisar vi läsaren till källartikeln för detaljer om de sekundära, supplementära experimenten som avslutar resultatsamlingen i den nya artikeln.

Publicerad första gången fredagen den 12 december 2025