Штучна інтелект може допомогти ідентифікувати «рожевий слиз» у новинах

Агендою керованих центрів громадської думки, призначених більше для впливу на громадську думку, ніж для служіння громаді, може бути складніше впізнати, якщо штучна інтелект використовується для того, щоб вони звучали більш оригінально та раціонально. Тому розпочався перегон, щоб випередити в грі «виявлення рожевого слизу».

Дефінансування традиційних місцевих ЗМІ за останні двадцять років, як через розвиток медіа-трендів, так і через політику уряду США, створило пробіл у регіональній звітності, який був заповнений партійними організаціями, які використовують штучну інтелект для просування своїх цілей.

Щоб зрозуміти термін «партійний», ми говоримо про нафтові компанії, які керують регіональними новинними сайтами з віддалених місць, без жодних місцевих ресурсів, але з метою захисту репутації компанії; політично мотивовані новинні сайти, позбавлені будь-якого джерела доходу, які готуються до виборів; і цілі мережі про-республіканських новинних сайтів, які з’являються з ніде, близько до виборів.

У 2024 році було оцінено, що штучна інтелект-генерований «рожевий слиз» у новинах нарешті перевершив кількість справжніх новинних видань; на той час австралійське опитування показало, що 41% споживачів віддають перевагу «рожевому слизові» джерелам над «справжніми» джерелами.

Цей вид прихованої виборчої діяльності, можна сказати, еволюціонував від простої темної справи до існуючої загрози демократії (що стосується політично мотивованих видань) і довіри громадськості до розумних стандартів справедливості у звітності.

Отже, методи відрізнення характерних ознак видань «рожевого слизу» від традиційних медіа-організацій були б великою допомогою хоча б у розумінні, хто є гравцями і рушійними силами у поточному інформаційному кліматі.

Як це стоїть, тропи і шаблони справжніх новинних організацій дуже легко імітувати, а штучна інтелект робить масштабне видання поточною і доступною реальністю, використовуючи багато тих самих трюків, які приймаються бюджетними «старими» виданнями і мовниками.

Сигнал і шум

Нове дослідження з США звертається до цієї проблеми, досліджуючи зростаюче використання великих мовних моделей для того, щоб зробити сайти «рожевого слизу» менш генеричними і легкими для виявлення, і створюючи навчальну основу, призначену для того, щоб слідкувати за еволюційними змінами у вихідних даних «рожевого слизу» (PS).

Назване Виявлення журналістики «рожевого слизу»: лінгвістичні сигнатури і надійне виявлення проти загроз, створених великими мовними моделями, нова робота походить від п’яти дослідників Університету Техасу.

Нова робота досліджує, як масово вироблені статті місцевих новин PS відрізняються від легітимної звітності, зосереджуючись на їхній залежності від коротких, повторюваних структур і шаблонів фраз з мінімальними варіаціями; і автори відзначають, що статті PS схильні повторювати ідентичні шаблони, призначені для маніпулювання громадською думкою, з зверненнями до емоцій у верхній частині змісту:

З нової роботи – кілька видань публікують майже ідентичні статті з лише зміненими деталями місця, що розкриває стратегію копіювання і вставлення для масового виробництва змісту, який імітує легітимні місцеві новини. Джерело

Традиційні моделі виявлення, навчені на цих ознаках, виконують свою роботу добре проти такого змісту, але зазнають поразки, коли статті переписуються за допомогою штучної інтелектуальної чат-боту, щоб вони виглядали більш природними або складними.

Автори自己的 тести показують, що навіть незначні стилістичні зміни, введені великими мовними моделями, можуть зменшити точність виявлення до 40%. Щоб пом’якшити це, вони пропонують постійне навчання основу, яка інкрементально перенавчає моделі виявлення на обох оригінальних і штучно переписаних статтях, щоб пристосуватися до зсувних лінгвістичних моделей.

Метод

Щоб встановити дані для проекту, автори використали набір даних «рожевого слизу», що містить 7,9 мільйонів статей, охоплюючи 1093 видання протягом 2021-2023 років, з яких вони отримали 9472 статті «рожевого слизу» після фільтрації. Вони також використали набір даних LIAR, який містить анотовані фейкові новини, а також колекцію NELA-GT-2021, яка містить лише статті США*.

Щоб підготувати свої навчальні і тестові набори, автори спочатку використали алгоритм t-SNE, щоб зменшити розмірність вкладень статей до двох вимірів. Потім вони застосували алгоритм кластеризації DBSCAN, щоб ізолювати кластери подібних статей «рожевого слизу».

Кожен кластер розглядався як група пов’язаних історій, багатьох з яких все ще слідували одному і тому ж шаблону, незважаючи на зусилля звернутись до дублікатів.

Щоб запобігти появі подібних статей у навчальному і тестовому наборах, цілі кластери випадково вибиралися, з 80% використовуваних для навчання і 20% для тестування. Оскільки легітимні новинні статті не утворювали чітких кластерів, випадковий розріз був застосований замість цього.

Цей процес був повторений тричі, щоб забезпечити послідовність, і щоб зменшити помилку вибірки.

Характеристики «рожевого слизу»

Коментуючи відрізняльні ознаки PS проти звичайних новин, дослідники стверджують, що статті місцевих новин у стилі PS значно коротші і простіші, ніж легітимна звітність, в середньому менше дев’яти речень на статтю.

Більша частка простих речень і більша залежність від прикметників є ще однією ознакою «рожевого слизу», згідно з роботою, і свідчать про схильність до повторюваної, емоційно зарядженої мови.

Лексична багатість була виміряна за допомогою співвідношення типу-токену (RTTR), і виявилася значно нижчою у статтях PS, які також мали набагато менше унікальних іменних фраз.

Ці моделі позначають обмежену лексику і формулу стилі, на відміну від легітимних місцевих новин, які характеризуються складними моделями частин мови, побудованими навколо допоміжних дієслів, займенників і сполучників. Натомість фейкові статті віддають перевагу базовим іменним структурам, з частим використанням пунктуаційних тріграм, що свідчить про менш офіційний, більш фрагментований стиль письма.

Тести

Щоб дослідити асоціації між різними типами статей, засновані на лінгвістичних і структурних ознаках, були сгенеровані вкладення за допомогою 435-мільйонного параметра стелла_en_400M_v5 моделі, і зменшені за допомогою PCA і t-SNE для візуалізації.

Коли проєктовані у два виміри, фейкові місцеві статті утворюють маленькі, щільні кластери, кожен з яких відповідає вузько фокусованим темам, таким як статистика злочинності, оновлення акцій або благодійні пожертвування:

Кластеризаційні моделі з проєкцією t-SNE показують, що статті «рожевого слизу» утворюють щільні, повторювані групи, тоді як легітимні новини демонструють ширші, більш різноманітні розподіли, пов’язані з тематичною і стилістичною різноманітністю.

Як ми бачимо, до певної міри, у візуалізації вище, ця модель свідчить про жорстку, шаблонну форму, з мінімальною варіацією між статтями.

Цікаво, що статті, позначені як «фейкові новини», розходяться від фейкових місцевих змістів, показуючи розподіл, більш відповідний справжнім новинам, вказуючи на те, що масово вироблені місцеві фейки можуть не бути просто менш правдивими, але можуть бути механічно відрізними за формою і складом.

Натомість «легітимні» місцеві новини утворюють менше і більш розріджені кластери, відповідні більш різноманітній мові і предметній матерії, тоді як національні статті показують ще більшу дисперсію, відображаючи ширшу тематичну область і меншу стилістичну послідовність.

Порівняння ознак між легітимними місцевими новинами і змістом «рожевого слизу», вказуючи на те, що статті PS коротші, використовують простіші структури речень, містять більше прикметників, демонструють нижчу лексичну багатість, віддають перевагу базовим моделям частин мови, і містять менше унікальних іменних фраз.

Виявлення

Дослідники оцінили два основні підходи до виявлення змісту «рожевого слизу»: класифікація, заснована на ручних лінгвістичних ознаках; і трансформер-засноване тонке налаштування.

Для ручного підходу структуальні, а не семантичні характеристики були підкреслені, використовуючи кількість речень; лексичну багатість; синтаксичну глибину; співвідношення частин мови; співвідношення залежностей; читабельність; і кількість частин мови.

Три моделі були протестовані на цьому наборі ознак: XGBoost; Random Forest; і Support Vector Machine (SVM) – з Random Forest, який показав трохи кращі результати загалом.

Обидві XGBoost і Random Forest призначили високий прогностичний важливість ознакам, таким як кількість речень і кількість унікальних іменних фраз. Читабельність і лексична багатість також вплинули на класифікацію сильно, хоча моделі вагові ці ознаки по-різному, з XGBoost, який віддавав перевагу Flesch і RTTR, тоді як Random Forest нахилався до CTTR:

Ознаки важливості на основі SHAP (SHapley Additive exPlanations) підкреслюють, як кожна входна ознака впливає на вивід моделі через зразки. У цьому випадку значення SHAP показують, що обидві XGBoost і Random Forest найважливіше покладалися на кількість речень і унікальні іменні фрази для розрізнення «рожевого слизу» від справжніх новин, тоді як призначали різну вагу ознакам лексичної багатості і читабельності.

Як ми бачимо в попередніх порівняннях ознак (вище), статті «рожевого слизу» віддають перевагу сенсаційності над детальністю, з нижчою лексичною багатістю, і з меншою кількістю унікальних іменних фраз – що підкреслює висновок, що такий зміст є високо шаблонним і повторюваним.

Моделі частин мови підтверджують, що легітимні місцеві новини схильні використовувати більш складні форми, що включають допоміжні дієслова, займенники і сполучники, тоді як «рожевий слиз» віддає перевагу фрагментованій або мінімальній синтаксисі. Ці моделі свідчать про надійну основу для розрізнення синтетичних місцевих змістів від справжньої журналістики.

Другий раунд тестування включав тонке налаштування трансформер-моделей на повному тексті статті, щоб захопити як семантичний зміст, так і синтаксичну структуру.

BERT, XLNet, і Flan-T5 були протестовані, з BERT, який досяг найвищого F1-рахунку на рівні 89,31% – хоча робота відзначає, що відмінності у виконанні не були статистично значимими. На відміну від ручних класифікаторів, ці моделі оновлюють всі ваги під час навчання, дозволяючи їм вивчити завдання-специфічні представлення безпосередньо з даних.

Додатковий метод, заснований на вкладеннях, використовував повністю зв’язаний класифікатор внизу, який виконував свою роботу краще, ніж ручні моделі, але не досяг рівня точності тонкого налаштування.

Ці підходи виграли від ширшого лінгвістичного контексту – вигідного, враховуючи те, що статті «рожевого слизу» часто переробляють зміст по виданнях. Ручні ознаки, натомість, покладаються лише на поверхневу синтаксис, обмежуючи їхню здатність узагальнювати через джерела.

Повышення «рожевого слизу» з допомогою великих мовних моделей

Щоб протестувати, чи можуть статті «рожевого слизу» бути зроблені більш важкими для виявлення, дослідники переписали їх за допомогою великих мовних моделей. Промпти були розроблені для покращення стилю письма шляхом розширення змісту, додавання складності речень, зменшення надмірного використання прикметників, забезпечення нейтрального тону, використання більш різноманітної лексики, і збільшення кількості унікальних іменних фраз, з метою приховування поверхневих ознак, на які найчастіше покладаються системи виявлення.

Моделі, які були протестовані, включали Gemma‑2B; Mistral‑7B; Llama‑1B; Llama‑3B; Llama‑8B; Qwen‑7B; GPT‑4o mini; і Claude‑3.5‑Haiku.

Виконання виявлення (F1) тонко налаштованої моделі BERT, коли статті «рожевого слизу» переписуються різними великими мовними моделями. Нижчі рахунки вказують на більш успішне приховування.

З цих результатів автори коментують:

‘[Серед] відкритих моделей Qwen був найбільш ефективним у уникненні виявлення: коли протестований проти попередньо тонко налаштованої моделі BERT (базовий F1-рахунок: 89%), він призвів до зниження показника виявлення на 28,34%.

‘Закриті моделі були значно потужнішими, з моделями GPT-4o-mini і Claude-3.5-Haiku, які зменшували F1-рахунок у середньому на 40%, підкреслюючи виклик, який становить високоякісне приховування, створене великими мовними моделями.’

Ці результати, автори стверджують, показують, як легко великі мовні моделі можуть маскувати зміст «рожевого слизу», роблячи його набагато складніше для поточних інструментів виявити**.

Висновок

Думка Ця лінія досліджень містить деякі цікаві питання, не в останню чергу те, що так багато людей (за даними щонайменше одного опитування, згаданого раніше) підтримують зміст «рожевого слизу», знаючи, що це таке, що воно приносить негативний контекст під сумнів. Це ніби люди знають, що «Сойлент Ґрін — це люди», але вони пожинають і продовжують їсти; або так здається, з ліберальної точки зору.

Інша річ, яка мене вразила, прочитавши роботу, була те, як простіший стиль письма і редукціонізм виходу «рожевого слизу» розглядалися як недолік з можливим технологічним рішенням, коли мінімалізм, емоціоналізм і обмежена лексика були, ймовірно, цілком наміреними.

Якщо різні групи інтересів за «рожевим слизом» хочуть розширити свій вплив на більш інтелектуальну або ліберальну аудиторію (хоча це, можливо, не буде їхньою сильною стороною), здається більш імовірним, що вони встановлять табір ближче до своєї цільової аудиторії, ніж змінюватимуть стиль мови і тон, який вже досягає їхніх цілей на існуючих платформах.

* Через деяке нещасливе форматування в роботі, додаткове джерело місцевих статей не має чіткої атрибуції. Будь ласка, зверніться до джерельної роботи і здогадайтесь, яке з посилань «Horne» застосовується.

** Тут ми посилаємо читача на джерельну роботу для отримання подробиць про вторинні, додаткові експерименти, які завершують розділ результатів нової роботи.

Перше опубліковане у п’ятницю, 12 грудня 2025