KI kann helfen, “Pink Slime”-Nachrichten zu identifizieren

Agenda-getriebene Meinungsmühlen, die mehr darauf ausgelegt sind, die öffentliche Meinung zu beeinflussen, als dem Publikum zu dienen, könnten schwerer zu erkennen sein, wenn KI verwendet wird, um sie origineller und rationaler klingen zu lassen. So ist der Wettlauf im Spiel der “Pink-Slime-Erkennung” im Gange.

Die Entfinanzierung traditioneller lokaler Medien in den letzten zwanzig Jahren, sowohl aufgrund der Entwicklung der Medien als auch aufgrund der aktuellen US-Regierungspolitik, hat ein Vakuum in der regionalen Berichterstattung hinterlassen, das von partisanen Organisationen eifrig übernommen wurde, die KI verwenden, um ihre Agenden voranzutreiben.

Um den Begriff “partisan” in den Kontext zu setzen (da keine Nachrichtenorganisation ohne politische Tendenzen ist), sprechen wir über Ölunternehmen, die regionale Nachrichten-Websites aus entfernten Orten betreiben, ohne lokale Ressourcen, aber mit dem Auftrag, den Ruf des Unternehmens zu verteidigen; politisch motivierte Nachrichten-Websites ohne Einnahmequelle, die vor Wahlen aufgebaut werden; und ganze Netzwerke von pro-republikanischen Nachrichten-Websites, die plötzlich auftauchen, nahe der Wahlzeit.

Im Jahr 2024 wurde geschätzt, dass KI-getriebene “Pink-Slime”-Nachrichten endlich die Anzahl der echten Nachrichtenquellen überschritten hatten; zu diesem Zeitpunkt fand eine australische Umfrage heraus, dass 41% der Verbraucher vorzogen, “Pink-Slime”-Quellen gegenüber “echten” Quellen.

Diese Art von verdeckter Wahlkampagne könnte als existenzielle Bedrohung für die Demokratie (in Bezug auf politisch motivierte Quellen) und für das Vertrauen der Öffentlichkeit in vernünftige Standards der Fairness in der Berichterstattung angesehen werden.

Daher wären Methoden, um die charakteristische Ausgabe von “Pink-Slime”-Verlegern und Sendern von traditionellen Medienorganisationen zu unterscheiden, von großem Nutzen, um zumindest zu verstehen, wer die Spieler und treibenden Kräfte in der aktuellen Informationsklima sind.

Wie es steht, sind die Tropen und Vorlagen von echten Nachrichtenorganisationen sehr einfach zu imitieren, und KI macht skalierbare Veröffentlichungen zu einer aktuellen und erschwinglichen Realität, indem viele der gleichen Tricks eingesetzt werden, die von budgetgestressten “alten” Medienverlegern und Sendern übernommen werden.

Signal und Rauschen

Eine neue Studie aus den USA beschäftigt sich mit diesem Problem, indem sie den zunehmenden Einsatz von Large Language Models untersucht, um “Pink-Slime”-Websites weniger generisch und leicht zu erkennen, und indem sie einen Lernrahmen erstellt, der darauf ausgelegt ist, sich an die sich entwickelnden Änderungen in der “Pink-Slime”-Ausgabe (PS) anzupassen.

Die Studie mit dem Titel Pink-Slime-Journalismus aufdecken: Linguistische Signaturen und robuste Erkennung gegen LLM-generierte Bedrohungen stammt von fünf Forschern an der University of Texas.

Die neue Arbeit untersucht, wie massenproduzierte PS-lokale Nachrichtenartikel sich von legitimer Berichterstattung unterscheiden, wobei sie sich auf ihre Abhängigkeit von kurzen, repetitiven Strukturen und vorgefertigten Phrasen mit minimaler Variation konzentrieren; und die Autoren bemerken, dass PS-Artikel tendenziell identische Vorlagen wiederverwenden, die darauf ausgelegt sind, die öffentliche Meinung zu manipulieren, mit Appellen an die Emotionen an erster Stelle im Inhalt:

Aus der neuen Studie – mehrere Quellen veröffentlichen fast identische Artikel mit nur geänderten Ortsangaben, was eine Copy-Paste-Strategie zur Massenproduktion von Inhalten aufdeckt, die legitime lokale Nachrichten imitieren. Quelle

Traditionelle Erkennungsmodelle, die auf diesen Merkmalen trainiert wurden, funktionieren gut gegen solche Inhalte, aber versagen, wenn die Artikel mit KI-Chatbots umgeschrieben werden, um natürlicher oder sophistizierter zu erscheinen.

Die Tests der Autoren zeigen, dass sogar kleine stilistische Änderungen, die durch Large Language Models eingeführt werden, die Erkennungsgenauigkeit um bis zu 40% reduzieren können. Um dies zu mildern, schlagen sie einen kontinuierlichen Lernrahmen vor, der Erkennungsmodelle schrittweise auf sowohl ursprünglichen als auch KI-umgeschriebenen Artikeln trainiert, um sich an die sich verändernden sprachlichen Muster anzupassen.

Methode

Um Daten für das Projekt zu erstellen, verwendeten die Autoren die Pink-Slime-Datensatz, der 7,9 Millionen Artikel über 1.093 Quellen von 2021-2023 umfasst, aus dem sie 9.472 “Pink-Slime”-Artikel nach Filterung erhielten. Sie verwendeten auch den LIAR-Datensatz, der annotierte Falschinformationen enthält, sowie die NELA-GT-2021-Sammlung, die nur US-Artikel enthält*.

Um ihre Trainings- und Testsets vorzubereiten, verwendeten die Autoren zunächst den T-distributed Stochastic Neighbor Embedding (t-SNE)-Algorithmus, um die Artikel-Einbettungen auf zwei Dimensionen zu reduzieren. Sie wandten dann den Daten-Clustering-Algorithmus Density-Based-Spatial-Clustering-of-Applications-with-Noise (DBSCAN) an, um Cluster ähnlicher “Pink-Slime”-Artikel zu isolieren.

Jeder Cluster wurde als Gruppe verwandter Geschichten behandelt, von denen viele immer noch dem gleichen Vorlagen folgten, trotz eines konzentrierten Bemühens, Duplikate zu beseitigen.

Um zu verhindern, dass ähnliche Artikel in beiden Trainings- und Testsets erscheinen, wurden ganze Cluster zufällig ausgewählt, wobei 80% für die Ausbildung und 20% für die Tests verwendet wurden. Da die legitimen Nachrichtenartikel keine klaren Cluster bildeten, wurde ein zufälliger Split angewendet.

Dieser Prozess wurde dreimal wiederholt, um Konsistenz zu gewährleisten und Stichprobenverzerrung zu reduzieren.

Merkmale von Pink Slime

In Bezug auf die unterscheidenden Merkmale von PS im Vergleich zu regulären Nachrichten behaupten die Forscher, dass PS-ähnliche lokale Nachrichtenartikel erheblich kürzer und einfacher seien als legitime Berichterstattung, mit durchschnittlich weniger als neun Sätzen pro Artikel.

Ein höherer Anteil einfacher Sätze und eine stärkere Abhängigkeit von Adjektiven sind weitere Merkmale von “Pink Slime”, laut der Studie, und deuten auf eine Vorliebe für repetitive, emotional aufgeladene Sprache hin.

Die lexikalische Vielfalt wurde unter Verwendung des Root-Type-Token-Verhältnisses (RTTR) gemessen und wurde in den PS-Artikeln als deutlich niedriger gefunden, die auch erheblich weniger einzigartige Nominalphrasen aufwiesen. Diese Muster deuten auf eine begrenzte Vokabular und einen formelhaften Stil hin, im Gegensatz zu legitimer lokaler Berichterstattung, die durch komplexe Satzstrukturen gekennzeichnet ist, die auf Hilfsverben, Pronomen und Konjunktionen basieren. Stattdessen bevorzugen die gefälschten Artikel grundlegende Nomen-Präposition-Strukturen, mit häufiger Verwendung von punktuationsbasierten Trigrammen, was einen weniger formalen, fragmentierteren Schreibstil nahelegt.

Tests

Um die Zusammenhänge zwischen verschiedenen Arten von Nachrichtenartikeln auf der Grundlage linguistischer und struktureller Merkmale zu untersuchen, wurden Einbettungen unter Verwendung des 435-Millionen-Parameter-stella_en_400M_v5-Modells generiert und mit Principal Component Analysis (PCA) und t-SNE für die Visualisierung reduziert.

Wenn sie in zwei Dimensionen projiziert werden, bilden die gefälschten lokalen Nachrichtenartikel kleine, dichte Cluster, die jeweils eng auf bestimmte Themen wie Kriminalitätsstatistiken, Aktienkurse oder Spenden fokussiert sind:

Clustering-Muster aus einer t-SNE-Projektion zeigen, dass Pink-Slime-Artikel enge, repetitive Gruppierungen bilden, während legitime Nachrichten breitere, vielfältigere Verteilungen anzeigen, die mit Themen- und Stilvielfalt übereinstimmen.

Wie wir in der obigen Visualisierung sehen können, deutet dieses Muster auf ein starres, vorlagengetriebenes Format hin, mit minimaler Variation zwischen den Artikeln.

Interessanterweise weichen Artikel, die als “Falschinformation” gekennzeichnet sind, von den “Pink-Slime”-Inhalten ab und zeigen eine Verteilung, die eher mit echten Nachrichten übereinstimmt, was darauf hindeutet, dass massenproduzierte lokale Fälschungen nicht einfach weniger wahrheitsgetreu, sondern auch mechanisch unterschiedlich in Form und Zusammensetzung sein könnten.

Im Gegensatz dazu bilden “legitime” lokale Nachrichten weniger und weiter auseinander liegende Cluster, die mit einer vielfältigeren Sprache und einem vielfältigeren Inhalt übereinstimmen, während nationale Nachrichtenartikel eine noch größere Streuung zeigen, die eine breitere thematische Bandbreite und eine lockere stilistische Konsistenz widerspiegelt.

Vergleiche von Merkmalen zwischen legitimen lokalen Nachrichten und Pink-Slime-Inhalten, die zeigen, dass PS-Artikel kürzer sind, einfachere Satzstrukturen verwenden, mehr Adjektive enthalten, eine geringere lexikalische Vielfalt aufweisen, grundlegende Satzstrukturen bevorzugen und weniger einzigartige Nominalphrasen enthalten.

Erkennung

Die Forscher bewerteten zwei Hauptansätze zur Erkennung von “Pink-Slime”-Inhalten: Klassifizierung auf der Grundlage handgefertigter linguistischer Merkmale; und Transformator-basiertes Feinabstimmung.

Für den handgefertigten Ansatz wurden strukturelle anstelle von semantischen Merkmalen betont, unter Verwendung von Satzlänge; lexikalischer Vielfalt; syntaktischer Tiefe; Satzstruktur-Ko-Okurrenz-Wahrscheinlichkeiten; Abhängigkeits-Tag-Ko-Okurrenz-Wahrscheinlichkeiten; Lesbarkeit; und Satzstruktur-Zählungen.

Drei Modelle wurden auf diesem Merkmalsatz getestet: XGBoost; Random Forest; und Support Vector Machine (SVM) – wobei Random Forest leicht bessere Ergebnisse zeigte. Beide XGBoost und Random Forest ordneten hohe Vorhersage-Bedeutung Merkmalen wie Satzlänge und der Anzahl einzigartiger Nominalphrasen zu. Lesbarkeit und lexikalische Vielfalt Maße beeinflussten auch die Klassifizierung stark, obwohl die Modelle diese unterschiedlich gewichteten, wobei XGBoost Flesch und RTTR bevorzugte, während Random Forest auf CTTR setzte:

Merkmals-Bedeutungswerte basierend auf SHAP (SHapley Additive exPlanations) zeigen, wie jedes Eingabe-Merkmal die Modell-Ausgabe über die Stichproben hinweg beeinflusst. In diesem Fall zeigen die SHAP-Werte, dass sowohl XGBoost als auch Random Forest am stärksten auf Satzlänge und einzigartige Nominalphrasen angewiesen waren, um Pink Slime von echten Nachrichten zu unterscheiden, während sie unterschiedliche Gewichte für Maße der lexikalischen Vielfalt und Lesbarkeit zuwiesen.

Wie in den vorherigen Merkmalvergleichen zu sehen ist, bevorzugen “Pink-Slime”-Artikel Sensationslust gegenüber Detail, mit einer geringeren lexikalischen Vielfalt und weniger einzigartigen Nominalphrasen – was die Schlussfolgerung bestätigt, dass dieser Inhalt stark vorlagengetrieben und repetitiv ist.

Satzstruktur-Trigramm-Muster bestätigen, dass legitime lokale Nachrichten tendenziell komplexere Formen verwenden, die auf Hilfsverben, Pronomen und Konjunktionen basieren, während “Pink Slime” grundlegende oder minimale Syntax bevorzugt. Diese Muster deuten auf eine zuverlässige Grundlage für die Unterscheidung von synthetischem lokalem Inhalt von echter Berichterstattung hin.

Ein zweiter Testzyklus umfasste die Feinabstimmung von Transformator-Modellen auf vollständigen Artikeltexten, um sowohl semantischen Inhalt als auch syntaktische Struktur zu erfassen.

BERT, XLNet und Flan-T5 wurden getestet, wobei BERT den höchsten F1-Score von 89,31% erzielte – obwohl die Studie feststellt, dass die Leistungsunterschiede nicht statistisch signifikant waren. Im Gegensatz zu den handgefertigten Klassifizierern aktualisieren diese Modelle alle Gewichte während des Trainings, was es ihnen ermöglicht, Aufgaben-spezifische Repräsentationen direkt aus den Daten zu lernen.

Ein zusätzlicher, auf Einbettungen basierender Ansatz verwendete einen vollständig verbundenen Downstream-Klassifizierer, der besser abschnitt als die handgefertigten Modelle, aber nicht die Genauigkeit der vollständigen Feinabstimmung erreichte.

Diese Ansätze profitierten von einem breiteren linguistischen Kontext – vorteilhaft, da “Pink-Slime”-Artikel oft Inhalte über Quellen hinweg recyceln. Handgefertigte Merkmale hingegen basieren auf oberflächlicher Syntax allein, was ihre Fähigkeit, sich über Quellen hinweg zu verallgemeinern, einschränkt.

Boosting Pink Slime mit LLMs

Um zu testen, ob “Pink-Slime”-Artikel schwerer zu erkennen gemacht werden können, haben die Forscher diese Artikel unter Verwendung von Large Language Models umgeschrieben. Die Prompts wurden so gestaltet, dass sie den Schreibstil verbessern, den Inhalt erweitern, die Satzkomplexität erhöhen, den übermäßigen Gebrauch von Adjektiven reduzieren, einen neutralen Ton durchsetzen, eine vielfältigere Vokabular verwenden und die Anzahl einzigartiger Nominalphrasen erhöhen, mit dem Ziel, die oberflächlichen Merkmale, auf die die meisten Erkennungssysteme angewiesen sind, zu verbergen.

Die getesteten Modelle waren Gemma-2B; Mistral-7B; Llama-1B; Llama-3B; Llama-8B; Qwen-7B; GPT-4o-Mini; und Claude-3.5-Haiku.

Erkennungsleistung (F1) eines feinabgestimmten BERT-Klassifizierers, wenn Pink-Slime-Artikel von verschiedenen LLMs umgeschrieben werden. Niedrigere Werte zeigen eine erfolgreichere Verbergung.

Zu diesen Ergebnissen bemerken die Autoren:

‘[Unter] Open-Source-Modellen war Qwen am effektivsten, um der Erkennung zu entgehen: Im Vergleich zu einem vorher feinabgestimmten BERT-Klassifizierer (Basis-F1-Score: 89%) führte es zu einem Rückgang der Erkennungsleistung um 28,34%.’

‘Geschlossene Modelle waren wesentlich potenter, wobei sowohl GPT-4o-Mini als auch Claude-3.5-Haiku den F1-Score im Durchschnitt um 40% reduzierten, was die Herausforderung durch hochwertige LLM-generierte Verbergung unterstreicht.’

Diese Ergebnisse, so argumentieren die Autoren, zeigen, wie leicht LLMs “Pink-Slime”-Inhalte verbergen können, was es für aktuelle Werkzeuge viel schwieriger macht, sie zu erkennen**.

Schlussfolgerung

Meinung Diese Forschungsrichtung enthält einige interessante Widersprüche, nicht zuletzt, dass so viele Menschen (laut mindestens einer Umfrage, die früher erwähnt wurde) unterstützen “Pink-Slime”-Inhalte, obwohl sie wissen, was es ist, was den pejorativen Kontext in Frage stellt. Es ist, als ob die Menschen wissen, dass “Soylent Green Menschen sind”, aber sie zucken die Schultern und fahren fort, es zu essen; oder so scheint es zumindest aus einer liberalen Perspektive.

Diese öffentliche Gleichgültigkeit gegenüber algorithmischen Nachrichten mag sich entwickeln und sogar zurückentwickeln – aber im Moment scheint sie zu vertiefen.

Ein weiterer Aspekt, der mich bei der Lektüre der Studie auffiel, war die Art und Weise, wie die einfacheren Prosa und Reduktionismus der “Pink-Slime”-Ausgabe als Mangel mit einer möglichen technologischen Lösung behandelt wurden, wenn Minimalismus, Emotionalismus und begrenztes Vokabular eigentlich beabsichtigt sind.

Wenn die verschiedenen Interessengruppen hinter “Pink Slime” ihre Reichweite auf ein intellektuelleres oder liberales Publikum ausdehnen möchten (obwohl dies möglicherweise nicht ihre Stärken sind), scheint es wahrscheinlicher, dass sie ihr Lager näher an ihr Zielpublikum aufschlagen, anstatt einen Sprachstil und einen Ton zu ändern, der bereits ihre Ziele auf bestehenden Plattformen zu erreichen scheint.

* Aufgrund einer unglücklichen Formatierung in der Studie ist die zusätzliche Quelle lokaler Nachrichtenartikel nicht klar zugeordnet. Bitte beziehen Sie sich auf die Quellenstudie und erraten Sie, welche der ‘Horne’-Referenzen anwendbar ist.

** Hier verweisen wir den Leser auf die Quellenstudie für Details der sekundären, ergänzenden Experimente, die den Ergebnisteil der neuen Studie abschließen.

Erstveröffentlicht am Freitag, den 12. Dezember 2025