Что может рассказать нам ИИ о скрытых агендах в новостях

Модели типа ChatGPT обучаются обнаруживать, о чем на самом деле говорит статья на самом деле – даже когда эта позиция скрыта под цитатами, фреймингом или (иногда неискренней) «нейтральностью». Разбивая статьи на сегменты, такие как заголовки, лиды и цитаты, новая система учится обнаруживать предвзятость даже в длинных профессиональных журналистских материалах.

Способность понимать истинную точку зрения писателя или говорящего – задача, известная в литературе как обнаружение позиции – решает одну из самых сложных интерпретативных проблем в языке: понимание намерения из контента, который может быть предназначен для сокрытия или маскировки его.

От «Скромного предложения» Джонатана Свифта до недавних выступлений политических деятелей, заимствующих полемику своих идеологических оппонентов, поверхность заявления больше не является надежным индикатором его намерения; рост иронии, троллинга, дезинформации и стратегической двусмысленности сделал его труднее, чем когда-либо, определить, на какой стороне находится текст, или есть ли он вообще.

Часто то, что не говорится, имеет столько же веса, сколько то, что говорится, и просто выбор темы для освещения может сигнализировать о позиции автора.

Это делает задачу автоматического обнаружения позиции необычно сложной, поскольку эффективная система обнаружения должна делать больше, чем просто маркировать отдельные предложения как «поддерживающие» или «оппозиционные»: вместо этого она должна проходить через слои значения, взвешивая небольшие подсказки против формы и направления всей статьи; и это труднее в длинных журналистских материалах, где тон может меняться, а мнение может редко быть выражено прямо.

Агенты перемен

Чтобы решить некоторые из этих проблем, исследователи в Южной Корее разработали новую систему под названием JOA-ICL (Журналистско-ориентированное агентное обучение в контексте) для обнаружения позиции длинных новостных статей.

Основная идея JOA-ICL заключается в том, что позиция статьи выводится путем агрегации прогнозов сегментов, полученных отдельным языковым моделью-агентом. Источник: https://arxiv.org/pdf/2507.11049

Вместо того, чтобы судить о статье в целом, JOA-ICL разбивает ее на структурные части (заголовок, лид, цитаты и заключение) и присваивает каждую из них языковой модели-агенту, который маркирует сегмент как поддерживающий, оппозиционный или нейтральный.

Эти локальные прогнозы затем передаются более крупной модели, которая использует их для определения общей позиции статьи.

Метод был протестирован на новой компилированной корейской базе данных, содержащей 2 000 новостных статей, аннотированных как для позиции статьи, так и для позиции сегмента. Каждая статья была помечена с помощью ввода журналистского эксперта, отражающего, как позиция распределена по структуре профессиональной журналистики.

Согласно статье, JOA-ICL превосходит как основанные на подсказках, так и тонко настроенные базовые модели, демонстрируя особую силу в обнаружении поддерживающих позиций (которые модели с аналогичным объемом часто пропускают). Метод также оказался эффективным при применении к немецкой базе данных в сопоставимых условиях, что указывает на то, что его принципы потенциально устойчивы к языковым формам.

Авторы заявляют:

‘Эксперименты показывают, что JOA-ICL превосходит существующие методы обнаружения позиции, подчеркивая преимущества сегментного агентства в захвате общей позиции длинных новостных статей.”

Новая статья озаглавлена Журналистско-ориентированное агентное обучение в контексте для обнаружения позиции новостей и исходит из различных факультетов Университета Сонгсил в Сеуле, а также Школы будущей стратегии KAIST.

Метод

Часть проблемы обнаружения позиции с помощью ИИ связана с логистикой и связана с тем, сколько сигнала система машинного обучения может сохранить и объединить одновременно, на текущем уровне искусства.

Новостные статьи, как правило, избегают прямых заявлений мнения, полагаясь вместо этого на неявную или предполагаемую позицию, сигнализируемую через выбор источников для цитирования, то, как построен нарратив, и какие детали опущены, среди многих других соображений.

Даже когда статья занимает четкую позицию, сигнал часто разбросан по всему тексту, с разными сегментами, указывающими в разных направлениях. Поскольку языковые модели (LM) все еще борются с ограниченными контекстными окнами, это может сделать трудным для моделей оценить позицию так, как они это делают с более коротким контентом (таким как твиты и другой короткий контент в социальных сетях), где связь между текстом и целевым объектом более явна.

Поэтому стандартные подходы часто не оправдывают себя, когда применяются к полноформатным журналистским материалам; случае, когда двусмысленность является особенностью, а не ошибкой.

Статья гласит:

‘Чтобы решить эти проблемы, мы предлагаем иерархический подход к моделированию, который сначала выводит позицию на уровне более мелких дискурсивных единиц (например, абзацев или разделов), а затем интегрирует эти локальные прогнозы для определения общей позиции статьи.

‘Эта структура предназначена для сохранения локального контекста и захвата разбросанных сигналов позиции при оценке того, как разные части новостной истории способствуют ее общей позиции на вопросе.’

Для этого авторы составили новую базу данных под названием K-NEWS-STANCE, извлеченную из корейского новостного освещения между июнем 2022 года и июнем 2024 года. Статьи были сначала выявлены через BigKinds, государственную метаданные-сервис, эксплуатируемую Корейским фондом прессы, а полные тексты были получены с помощью API-агрегатора Naver News. Окончательная база данных состояла из 2 000 статей из 31 источника, освещающих 47 национально значимых вопросов.

Каждая статья была аннотирована дважды: один раз для общей позиции по данному вопросу и еще раз для отдельных сегментов; конкретно заголовка, лида, заключения и прямых цитат.

Аннотация была проведена журналистом-экспертом Джиёнг Хан, также третьим автором статьи, который руководил процессом с помощью установленных сигналов из медиа-исследований, таких как выбор источников, лексический фрейминг и закономерности цитирования. С помощью этих средств было получено в общей сложности 19 650 сегментных меток позиции.

Чтобы обеспечить, чтобы статьи содержали осмысленные сигналы точки зрения, каждая была сначала классифицирована по жанру, и только те, которые были помечены как анализ или мнение (где субъективное фрейминг более вероятно), были использованы для аннотации позиции.

Два обученных аннотатора пометили все статьи и были инструктированы консультироваться с связанными статьями в случае, если позиция была неясна, с разногласиями, разрешенными через обсуждение и дополнительный обзор.

Примеры записей из базы данных K-NEWS-STANCE, переведенные на английский. Отображаются только заголовок, лид и цитаты; полный текст тела опущен. Выделение указывает на метки позиции для цитат, с синим для поддерживающих и красным для оппозиционных. Пожалуйста, обратитесь к исходному PDF для более ясного представления.

JoA-ICL

Вместо того, чтобы рассматривать статью как единый блок текста, предложенная авторами система делит ее на ключевые структурные части: заголовок, лид, цитаты и заключение, присваивая каждую из них языковой модели-агенту, который маркирует сегмент как поддерживающий, оппозиционный или нейтральный.

Эти локальные прогнозы затем передаются второму агенту, который решает общую позицию статьи, с двумя агентами, координируемыми контроллером, который готовит подсказки и собирает результаты.

Таким образом, JOA-ICL адаптирует обучение в контексте (где модель учится на примерах в подсказке) к тому, как написаны профессиональные новостные истории, используя подсказки, осведомленные о сегментах, вместо единой генерической входной информации.

(Пожалуйста, обратите внимание, что большинство примеров и иллюстраций в статье длинные и трудно воспроизводимы в онлайн-статье. Мы поэтому просим читателя изучить исходный PDF)

Данные и тесты

В тестах исследователи использовали макро F1 и точность для оценки производительности, усредняя результаты за десять запусков с случайными семенами от 42 до 51 и сообщая стандартную ошибку. Тренировочные данные использовались для тонкой настройки базовых моделей и агентов сегментного уровня, с малообразечными выборками, выбранными через поиск подобия с помощью KLUE-RoBERTa-large.

Тесты проводились на трех GPU RTX A6000 (каждый с 48 ГБ видеопамяти), используя Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 и vLLM 0.8.5.

GPT-4o-mini, Claude 3 Haiku и Gemini 2 Flash были использованы через API, при температуре 1,0 и с максимальным количеством токенов, установленным в 1000 для цепочки мыслей и 100 для других.

Для полной тонкой настройки Exaone-3.5-2.4B использовался оптимизатор AdamW при скорости обучения 5e-5, с весовым затуханием 0,01, 100 шагов нагрева и с данными, обученными в течение 10 эпох при батч-размере 6.

Для базовых моделей авторы использовали RoBERTa, тонко настроенную для обнаружения позиции на уровне статьи; Chain-of-Thought (CoT) Embeddings, альтернативную настройку RoBERTa для задачи; LKI-BART, модель кодировщик-декодировщик, добавляющую контекстные знания из большой языковой модели, запрашивая ее с помощью входного текста и предполагаемой метки позиции; и PT-HCL, метод, использующий контрастное обучение для разделения общих особенностей и тех, которые специфичны для целевого вопроса:

Производительность каждой модели на тестовом наборе K-NEWS-STANCE для прогнозирования общей позиции. Результаты представлены в виде макро F1 и точности, с лучшим результатом в каждой группе в жирном шрифте.

JOA-ICL достигла лучшей общей производительности как по точности, так и по макро F1, преимуща во всех трех протестированных моделей: GPT-4o-mini, Claude 3 Haiku и Gemini 2 Flash.

Сегментный метод последовательно превосходил все другие подходы, с, как отмечают авторы, заметным преимуществом в обнаружении поддерживающих позиций, общей слабостью в аналогичных моделях.

Базовые модели показали худшую общую производительность. RoBERTa и варианты Chain-of-Thought испытывали трудности с нюансированными случаями, в то время как PT-HCL и LKI-BART показали лучшие результаты, но все еще отставали от JOA-ICL во всех категориях. Самый точный отдельный результат был получен от JOA-ICL (Claude), с 64,8% макро F1 и 66,1% точности.

Изображение ниже показывает, как часто модели правильно или неправильно классифицировали каждую метку:

Матрицы путаницы, сравнивающие базовую и JoA-ICL, показывающие, что оба метода испытывают наибольшие трудности с обнаружением поддерживающих позиций.

JoA-ICL показала лучшую общую производительность, чем базовая модель, правильно классифицировав больше меток в каждой категории. Однако обе модели испытывали наибольшие трудности с поддерживающими статьями, и базовая модель неправильно классифицировала почти половину, часто принимая их за нейтральные.

JoA-ICL сделала меньше ошибок, но показала ту же закономерность, подтверждая, что «положительные» позиции труднее для моделей обнаружить.

Чтобы проверить, работает ли JOA-ICL за пределами корейского языка, авторы запустили его на CheeSE, немецкой базе данных для обнаружения позиции на уровне статьи. Поскольку CheeSE не имеет сегментных меток, исследователи использовали удаленное управление, где каждый сегмент был присвоен той же метке позиции, что и вся статья.

Результаты обнаружения позиции на немецкой базе данных CheeSE. JoA-ICL последовательно улучшает результаты нулевой подсказки во всех трех моделях ИИ и превосходит тонко настроенные базовые модели, с Gemini-2.0-flash, дающей лучшую общую производительность.