Sztuczna inteligencja może pomóc w identyfikacji „różowego szlamu” w wiadomościach

Agenda-driven opinion mills, designed more to sway public opinion than serve the public, might be harder to spot if AI is used to make them sound more original and rational. So the race is on to stay ahead in the ‘pink slime detection’ game.

Defunding tradycyjnych lokalnych mediów w ciągu ostatnich dwudziestu lat, zarówno ze względu na ewoluujące trendy medialne, jak i – ostatnio – ze względu na politykę rządu USA, pozostawił pustkę w regionalnym raporcie, która została z ochotą wypełniona przez partisan organizacje wykorzystujące AI do realizacji swoich celów.

Aby umieścić termin “partisan” w kontekście (biorąc pod uwagę, że żadna organizacja medialna nie jest pozbawiona pewnych tendencji politycznych), mówimy o firmach naftowych prowadzących lokalne strony informacyjne z odległych miejsc, bez żadnych realnych lokalnych zasobów, ale z zamiarem obrony publicznego wizerunku firmy; politycznie zmotywowanych stronach informacyjnych pozbawionych jakiegokolwiek strumienia dochodów przygotowujących się przed wyborami; oraz całe sieci pro-republikańskich stron informacyjnych w podobny sposób pojawiających się znikąd, tuż przed dniem wyborów.

W 2024 roku oszacowano, że AI-driven pink slime news w końcu przewyższył liczbę prawdziwych źródeł informacji; w tym czasie australijskie badanie wykazało, że 41% konsumentów woli źródła pink slime niż “prawdziwe” źródła.

Ten rodzaj ukrytej kampanii wyborczej, można powiedzieć, ewoluował z prostego “ciemnego sztuku” do zagrożenia egzystencjalnego dla demokracji (w odniesieniu do politycznie zmotywowanych źródeł) i zaufania publicznego do rozsądnych standardów uczciwości w raporcie.

Dlatego metody różnicowania charakterystycznego wyjścia wydawców pink slime i nadawców od bardziej tradycyjnych organizacji medialnych będą bardzo pomocne, przynajmniej w zrozumieniu, kim są gracze i siły napędowe w obecnym klimacie informacyjnym.

Jako że jest, tropów i szablonów prawdziwych organizacji medialnych jest bardzo łatwo naśladować, a AI sprawia, że publikowanie na dużą skalę jest bieżącą i przystępną rzeczywistością, wykorzystując wiele tych samych sztuczek przyjętych przez budżetowo ograniczone “stare media” wydawców i nadawców.

Sygnal i szum

Nowe badanie z USA zajmuje się tym problemem, badając rosnące wykorzystanie dużych modeli językowych do sprawienia, by strony pink slime brzmiały mniej generycznie i łatwiej do wykrycia, oraz tworząc ramy uczenia się zaprojektowane do utrzymania się z ewoluującymi zmianami w wyjściu pink slime (PS).

Tytuł Exposing Pink Slime Journalism: Linguistic Signatures and Robust Detection Against LLM-Generated Threats, nowa praca pochodzi od pięciu badaczy z Uniwersytetu w Teksasie.

Nowa praca bada, jak masowo produkowane artykuły PS lokalnych wiadomości różnią się od prawdziwych raportów, koncentrując się na ich zależności od krótkich, powtarzalnych struktur i szablonowych fraz z minimalnymi zmianami; oraz autorzy zauważają, że artykuły PS mają tendencję do ponownego wykorzystania identycznych szablonów zaprojektowanych do manipulowania opinią publiczną, z apelami do emocji na pierwszym miejscu w treści:

Z nowego artykułu – wiele stron publikuje prawie identyczne artykuły z tylko zmienionymi danymi lokalnymi, ujawniając strategię kopiowania i wklejania, aby masowo produkować treści, które naśladują prawdziwe lokalne wiadomości. Źródło

Tradycyjne modele wykrywania, wytrenowane na tych cechach, działają dobrze przeciwko takim treściom, ale zawodzą, gdy artykuły są przepisane przy użyciu AI, aby brzmieć bardziej naturalnie lub wyrafinowanie.

Własne testy autorów wskazują, że nawet niewielkie stylistyczne zmiany wprowadzone przez duże modele językowe mogą zmniejszyć dokładność wykrywania o do 40%. Aby temu przeciwdziałać, proponują ciągłe uczenie się ramy, która stopniowo wytrenowuje modele wykrywania na oryginalnych i AI-przepisanych artykułach, aby dostosować się do zmieniających się wzorców językowych.

Metoda

Aby ustalić dane dla projektu, autorzy wykorzystali zestaw danych Pink Slime, zawierający 7,9 miliona artykułów obejmujących 1093 źródeł w latach 2021-2023, z których uzyskali 9472 artykuły pink slime po filtrowaniu. Wykorzystali również zestaw danych LIAR, który zawiera adnotowane fałszywe wiadomości, a także zestaw danych NELA-GT-2021, który zawiera wyłącznie artykuły amerykańskie*.

Aby przygotować swoje zestawy treningowe i testowe, autorzy najpierw wykorzystali algorytm T-distributed Stochastic Neighbor Embedding (t-SNE)  aby zmniejszyć wektorowe reprezentacje artykułów do dwóch wymiarów. Następnie zastosowali algorytm grupowania Density-Based-Spatial-Clustering-of-Applications-with-Noise (DBSCAN) w celu izolacji klastrów podobnych artykułów pink slime.

Każdy klaster był traktowany jako grupa powiązanych historii, z których wiele nadal podążało za tym samym szablonem, pomimo podejmowania wysiłków w celu rozwiązania problemu duplikatów.

Aby zapobiec pojawieniu się podobnych artykułów w zestawach treningowych i testowych, całe klastry były losowo wybrane, z 80% wykorzystanych do treningu i 20% do testowania. Ponieważ artykuły prawdziwej wiadomości nie tworzyły wyraźnych klastrów, zastosowano losowy podział.

Ten proces był powtarzany trzykrotnie, aby zapewnić spójność i zmniejszyć sukcesywny bias.

Cechy Pink Slime

Komentując wyróżniające cechy PS w porównaniu z zwykłymi wiadomościami, badacze twierdzą, że artykuły PS są znacznie krótsze i prostsze niż prawdziwe raporty, średnio zawierające mniej niż dziewięć zdań na artykuł.

Wyższy odsetek prostych zdań i większa zależność od przymiotników są dalszymi cechami pink slime, według artykułu, i wskazują na skłonność do powtarzalnego, emocjonalnego języka.

Bogactwo leksykalne było mierzone za pomocą Root-Type-Token Ratio (RTTR), i okazało się znacznie niższe w artykułach PS, które wykazywały również znacznie mniej unikalnych fraz rzeczownikowych.

Te wzorce wskazują na ograniczony słownictwo i szablonowy styl, w przeciwieństwie do prawdziwych lokalnych wiadomości, które charakteryzują się złożonymi wzorcami części mowy opartymi na czasownikach, zaimek i spójnikach. Zamiast tego, fałszywe artykuły faworyzują podstawowe struktury rzeczownik-przymiotnik, z częstym użyciem punktacji opartej na trigramach, co sugeruje mniej formalny, bardziej fragmentaryczny styl pisarski.

Testy

Aby zbadać związki między różnymi typami artykułów wiadomości, opartymi na cechach językowych i strukturalnych, wygenerowano wektorowe reprezentacje przy użyciu modelu stella_en_400M_v5 o 435 milionach parametrów, a następnie zmniejszono je za pomocą Principal Component Analysis (PCA) i t-SNE do wizualizacji.

Gdy rzutowane na dwie wymiary, fałszywe artykuły lokalne tworzyły małe, gęste klastry, z których każdy odpowiadał wąsko ukierunkowanym tematom, takim jak statystyki przestępczości, aktualizacje giełdowe lub darowizny na cele charytatywne:

Wzorce klastryzacji z projekcji t-SNE ujawniają, że artykuły pink slime tworzą zwarte, powtarzalne grupy, podczas gdy prawdziwe wiadomości wykazują szersze, bardziej zróżnicowane rozkłady wyrównane z różnorodnością tematu i stylu.

Jak widać na powyższej wizualizacji, ten wzorzec sugeruje sztywny, szablonowy format, z minimalnymi zmianami między artykułami.

Co ciekawe, artykuły oznaczone jako “fałszywe wiadomości” odbiegały od fałszywych treści lokalnych, pokazując rozkład bardziej zgodny z prawdziwymi wiadomościami, co wskazuje, że masowo produkowane fałszywe treści lokalne mogą nie być po prostu mniej prawdziwe, ale mogą również być mechanicznie odrębne pod względem formy i składni.

W przeciwieństwie do tego, “prawdziwe” wiadomości lokalne tworzą mniej i bardziej oddalonych klastrów, co jest spójne z bardziej zróżnicowanym językiem i tematem, podczas gdy artykuły wiadomości krajowych pokazują jeszcze większą dyspersję, odzwierciedlając szerszy zakres tematyczny i luźniejszą spójność stylistyczną.

Porównanie cech między prawdziwymi wiadomościami lokalnymi a treściami pink slime, wskazujące, że artykuły PS są krótsze, używają prostszych struktur zdań, zawierają więcej przymiotników, wykazują niższe bogactwo leksykalne, faworyzują podstawowe trigramy części mowy i zawierają mniej unikalnych fraz rzeczownikowych.

Wykrywanie

Badacze oceniali dwa główne podejścia do wykrywania treści pink slime: klasyfikację, opartą na ręcznie opracowanych cechach językowych; oraz transformer-oparte dostosowanie.

Dla podejścia ręcznego, cechy strukturalne zostały podkreślone, z użyciem liczby zdań; bogactwa leksykalnego; głębokości składniowej; prawdopodobieństw współwystępowania części mowy; prawdopodobieństw współwystępowania tagów zależności; czytelności; oraz liczb części mowy.

Trzy modele zostały przetestowane na tym zestawie cech: XGBoost; Random Forest; i Support Vector Machine (SVM) – z Random Forest pokazującym nieco lepsze wyniki ogólnie.

Obydwa XGBoost i Random Forest przypisały wysoką wagę predykcyjną cechom takim jak liczba zdań i liczba unikalnych fraz rzeczownikowych. Czytelność i miary bogactwa leksykalnego również silnie wpłynęły na klasyfikację, chociaż modele ważyły je inaczej, z XGBoost faworyzującym Flesch i RTTR, podczas gdy Random Forest skłaniał się ku CTTR:

Wagi ważności cech oparte na SHAP (SHapley Additive exPlanations) podkreślają, jak każda cecha wejściowa wpływa na wyjście modelu w próbkach. W tym przypadku wartości SHAP ujawniają, że zarówno XGBoost, jak i Random Forest opierają się najbardziej na liczbie zdań i unikalnych frazach rzeczownikowych, aby odróżnić pink slime od prawdziwych wiadomości, przydzielając różną wagę miaram bogactwa leksykalnego i czytelności.

Jak widać w poprzednich porównaniach cech (powyżej), artykuły pink slime faworyzują sensacjonizm nad szczegółami, z niższym bogactwem leksykalnym i z mniejszą liczbą unikalnych fraz rzeczownikowych – potwierdzając wniosek, że tego rodzaju treści są bardzo szablonowe i powtarzalne.

Wzorce trigramów części mowy potwierdzają, że prawdziwe wiadomości lokalne tendencję do używania bardziej złożonych form strukturalnych, obejmujących czasowniki, zaimek i spójniki, podczas gdy pink slime faworyzuje fragmentaryczną lub minimalistyczną składnię. Te wzorce sugerują niezawodną podstawę do odróżnienia syntetycznych treści lokalnych od prawdziwego dziennikarstwa.

Druga runda testowa obejmowała dostosowanie modeli transformatora do pełnego tekstu artykułu, aby uchwycić zarówno treść semantyczną, jak i strukturę składniową.

BERT, XLNet, i Flan-T5 zostały przetestowane, z BERT osiągając najwyższy wynik F1 na poziomie 89,31% – chociaż artykuł zauważa, że różnice w wynikach nie były istotne statystycznie. W przeciwieństwie do klasyfikatorów ręcznych, te modele aktualizują wszystkie wagi podczas treningu, pozwalając im nauczyć się reprezentacji specyficznych dla zadania bezpośrednio z danych.

Metoda oparta na wektorach wykorzystała pełnie połączony klasyfikator downstream, który działał lepiej niż modele ręczne, ale nie osiągnął dokładności pełnego dostosowania.

Te podejścia skorzystały na szerszym kontekście językowym – co jest korzystne, biorąc pod uwagę, że artykuły pink slime często recyklingują treści w różnych źródłach. Cechy ręczne, z drugiej strony, opierają się wyłącznie na powierzchniowej składni, ograniczając ich zdolność do uogólniania na różne źródła.

Wzmacnianie Pink Slime z LLM

Aby przetestować, czy artykuły pink slime mogą być uczynione trudniejszymi do wykrycia, badacze przepisali je przy użyciu dużych modeli językowych. Polecenia zostały zaprojektowane, aby poprawić styl pisarski, rozszerzając treść, dodając złożoność zdań, zmniejszając nadużywanie przymiotników, egzekwując neutralny ton, używając bardziej zróżnicowanego słownictwa i zwiększając liczbę unikalnych fraz rzeczownikowych, z zamiarem ukrycia powierzchniowych cech, na których opierają się większość systemów wykrywania.

Modele, które zostały przetestowane, to Gemma‑2B; Mistral‑7B; Llama‑1B; Llama‑3B; Llama‑8B; Qwen‑7B; GPT‑4o mini; oraz Claude‑3.5‑Haiku.

Wyniki wykrywania (F1) klasyfikatora BERT po dostosowaniu, gdy artykuły pink slime są przepisane przez różne LLM. Niższe wyniki wskazują na bardziej udane zaciemnienie.

Z tych wyników autorzy komentują:

‘[Wśród] modeli open-source, Qwen okazał się najbardziej skuteczny w unikaniu wykrycia: gdy przetestowany z wcześniej wytrenowanym klasyfikatorem BERT (wynik F1: 89%), spowodował spadek wyniku wykrywania o 28,34%.

‘Modele zamknięte były znacznie bardziej potężne, z oboma GPT-4o-mini i Claude-3.5-Haiku zmniejszającymi wynik F1 o średnio 40%, podkreślając wyzwanie stawiane przez wysokiej jakości LLM-generowane zaciemnienie.’

Te wyniki, twierdzą autorzy, pokazują, jak łatwo LLM mogą ukryć treści pink slime, sprawiając, że jest to znacznie trudniejsze dla obecnych narzędzi do wykrycia**.

Wnioski

Opinia Ta linia badań zawiera kilka interesujących dylematów, z których najmniej jest to, że tak wiele osób (według co najmniej jednego sondażu, wspomnianego wcześniej) popiera treści pink slime, wiedząc, co to jest, co podnosi kontekst pejoratywny. Wydaje się, że ludzie wiedzą, że “Soylent Green to ludzie”, ale wzruszają ramionami i kontynuują jedzenie; lub tak się wydaje, z liberalnej perspektywy.

Ta publiczna obojętność na algorytmiczne wiadomości może ewoluować i nawet cofnąć się – ale na razie wydaje się, że pogłębia się.

Kolejną rzeczą, która zwróciła moją uwagę podczas czytania artykułu, było to, w jaki sposób prostszy język i redukcjonizm wyjścia pink slime zostały potraktowane jako wada z możliwym rozwiązaniem technologicznym, kiedy minimalizm, emocjonalizm i ograniczone słownictwo są raczej zamierzone.

Jeśli różne grupy interesu za pink slime chcą rozszerzyć swój zasięg na bardziej intelektualną lub liberalną publiczność (chociaż to może nie być ich mocną stroną), wydaje się bardziej prawdopodobne, że ustanowią bazę w pobliżu swojej docelowej grupy, zamiast zmienić styl języka i ton, który już osiąga ich cele na istniejących platformach.

* Z powodu niefortunnego formatowania w artykule, dodatkowe źródło wiadomości lokalnych nie ma wyraźnej atrybucji. Proszę odnieść się do oryginalnego artykułu i zgadnąć, który z odniesień “Horne” ma zastosowanie.

** Odsyłamy czytelnika do oryginalnego artykułu w celu uzyskania szczegółów dotyczących dodatkowych, uzupełniających eksperymentów, które zamykają sekcję wyników nowego artykułu.

Publikacja po raz pierwszy w piątek, 12 grudnia 2025