Генерация и выявление пропаганды с помощью машинного обучения

Новые исследования из США и Катара предлагают новый метод выявления фейковых новостей, написанных в том виде, в котором люди на самом деле пишут фейковые новости – путем встраивания неточных утверждений в в основном правдивом контексте и использования популярных пропагандистских техник, таких как апелляция к авторитету и загруженный язык.

Проект привел к созданию новой базы данных для обучения детекторов фейковых новостей под названием PropaNews, которая включает эти техники. Авторы исследования обнаружили, что детекторы, обученные на новой базе данных, на 7,3-12% более точны в выявлении человеческой дезинформации, чем предыдущие подходы.

Из новой статьи, примеры ‘апелляции к авторитету’ и ‘загруженного языка’. Источник: https://arxiv.org/pdf/2203.05386.pdf

Авторы утверждают, что, насколько им известно, это первое исследование, которое включает пропагандистские техники (а не прямую фактическую неточность) в машинно-генерируемые текстовые примеры, предназначенные для обучения детекторов фейковых новостей.

Большинство недавних работ в этой области, по их мнению, изучали предвзятость или переформулировали ‘пропагандистские данные’ в контексте предвзятости (вероятно, потому что предвзятость стала высоко финансируемой областью машинного обучения в пост-аналитическую эпоху).

Авторы заявляют:

‘В отличие от этого, наша работа генерирует фейковые новости, включая пропагандистские техники и сохраняя большую часть правильной информации. Следовательно, наш подход более подходит для изучения защиты от человеческой дезинформации.’

Они进一步 иллюстрируют растущую срочность более совершенных пропагандистских техник:

‘[Человеческая] дезинформация, которая часто используется для манипулирования определенной популяцией, имела катастрофическое воздействие на множество событий, таких как президентские выборы в США 2016 года, Brexit, пандемию COVID-19 и недавнюю атаку России на Украину. Следовательно, нам срочно нужен механизм защиты от человеческой дезинформации.’

Статья под названием Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation написана пятью исследователями из Университета Иллинойса в Урбане-Шампейне, Колумбийского университета, Университета Хамад бин Халифа в Катаре, Университета Вашингтона и Института искусственного интеллекта Аллена.

Определение неправды

Проблема количественной оценки пропаганды в основном является логистической: это очень дорого нанимать людей для признания и аннотации реальных материалов с пропагандистскими характеристиками для включения в базу данных, и потенциально намного дешевле извлекать и использовать высокоуровневые функции, которые, вероятно, будут работать на ‘не видимых’ будущих данных.

В целях более масштабного решения исследователи изначально собрали человеческую дезинформацию из новостных источников, которые считаются низкими по фактической точности, через сайт Media Bias Fact Check.

Они обнаружили, что 33% изученных статей использовали нечестные пропагандистские техники, включая эмоционально-вызывающие термины, логические ошибки и апелляцию к авторитету. Дополнительные 55% статей содержали неточную информацию, смешанную с точной информацией.

Генерация апелляции к авторитету

Подход апелляции к авторитету имеет два случая использования: цитирование неточных утверждений и цитирование完全 фиктивных утверждений. Исследование фокусируется на втором случае использования.

Из нового проекта, фреймворк естественного языкового вывода RoBERTa определяет два дальнейших примера апелляции к авторитету и загруженного языка.

С целью создания машинно-генерируемой пропаганды для новой базы данных исследователи использовали предварительно обученную архитектуру seq2seq BART для определения значимых предложений, которые могли бы быть изменены в пропаганду. Поскольку не было доступной базы данных, связанной с этой задачей, авторы использовали модель извлекательного суммирования предложенную в 2019 году для оценки значимости предложений.

Для одной статьи из каждого изученного новостного источника исследователи заменили эти ‘помеченные’ предложения на фальшивые аргументы от ‘авторитетов’, полученные как из сервиса запросов Wikidata, так и из авторитетов, упомянутых в статьях (т.е. людей и/или организаций).

Генерация загруженного языка

Загруженный язык включает слова, часто сенсационные наречия и прилагательные (как в вышеиллюстрированном примере), которые содержат неявные ценностные суждения, вплетенные в контекст передачи факта.

Чтобы получить данные о загруженном языке, авторы использовали базу данных из исследования 2019 года, содержащую 2 547 загруженного языка экземпляров. Поскольку не все примеры в базе данных 2019 года включали эмоционально-вызывающие наречия или прилагательные, исследователи использовали SpaCy для выполнения зависимого анализа и разметки частей речи (PoS), сохраняя только подходящие примеры для включения в фреймворк.

Процесс фильтрации привел к 1 017 образцам действительного загруженного языка. Другой экземпляр BART был использован для маскировки и замены значимых предложений в исходных документах на загруженный язык.

База данных PropaNews

После промежуточного обучения модели, проведенного на базе данных CNN/DM 2015 года от Google Deep Mind и Оксфордского университета, исследователи сгенерировали базу данных PropaNews, преобразовав не тривиальные статьи из ‘достоверных’ источников, таких как The New York Times и The Guardian, в ‘исправленные’ версии, содержащие созданную алгоритмическую пропаганду.

Эксперимент был смоделирован на исследовании 2013 года из Хановера, которое автоматически генерировало сводки хронологии новостных историй по 17 новостным событиям и в общей сложности 4 535 историям.

Сгенерированная дезинформация была представлена 400 уникальным работникам на Amazon Mechanical Turk (AMT), охватывающим 2000 задач по человеческому интеллекту (HIT). Только пропагандистские статьи, признанные точными работниками, были включены в окончательную версию PropaNews. Разрешение разногласий было оценено методом Согласия работников с агрегатом (WAWA).

Окончательная версия PropaNews содержит 2 256 статей, сбалансированных между фейковыми и реальными выходными данными, 30% которых используют апелляцию к авторитету, и еще 30% используют загруженный язык. Остальная часть просто содержит неточную информацию, которая в основном населяла предыдущие базы данных в этой области исследования.

Данные были разделены на 1 256:500:500 по тренировочным, тестовым и валидационным распределениям.

База данных HumanNews

Чтобы оценить эффективность обученных пропагандистских детекторов, исследователи составили 200 человеческих новостных статей, включая статьи, опровергнутые Politifact, и опубликованные между 2015-2020 годами.

Эти данные были дополнены дополнительными опровергнутыми статьями из недостоверных новостных источников и общей суммой, проверенной студентом-магистром компьютерных наук.

Окончательная база данных, озаглавленная HumanNews, также включает 100 статей из Los Angeles Times.

Тесты

Процесс обнаружения был противопоставлен предыдущим фреймворкам в двух формах: PN-Silver, который игнорирует валидацию аннотаторов AMT, и PN-Gold, который включает валидацию в качестве критерия.

Конкурирующие фреймворки включали предложение 2019 года Grover-GEN, 2020 года Fact-GEN и FakeEvent, где статьи из PN-Silver заменяются документами, сгенерированными этими более старыми методами.

Варианты Grover и RoBERTa оказались наиболее эффективными при обучении на новой базе данных PropaNews, и исследователи заключили, что ‘детекторы, обученные на PROPANEWS, работают лучше в выявлении человеческой дезинформации по сравнению с обучением на других базах данных’.

Исследователи также отмечают, что даже полупарализованная база данных PN-Silver превосходит более старые методы на других базах данных.

Устарела ли?

Авторы повторяют отсутствие исследований по автоматической генерации и выявлению пропагандистской дезинформации и предупреждают, что использование моделей, обученных на данных до критических событий (таких как COVID или, возможно, текущая ситуация в Восточной Европе), не может быть ожидаемо оптимально работать:

‘Около 48% неправильно классифицированной человеческой дезинформации вызвано неспособностью приобретать динамические знания из новых источников. Например, статьи, связанные с COVID, обычно публикуются после 2020 года, в то время как ROBERTA была предварительно обучена на новостных статьях, выпущенных до 2019 года. Очень сложно для ROBERTA обнаружить дезинформацию по таким темам, если детектор не оснащен возможностью приобретать динамические знания из новостных статей.’

Авторы также отмечают, что RoBERTa достигает 69,0% точности для обнаружения фейковых новостных статей, где материал публикуется до 2019 года, но снижается до 51,9% точности, когда применяется к новостным статьям, опубликованным после этой даты.

Палтеринг и контекст

Хотя исследование не直接 затрагивает эту тему, возможно, что такое глубокое погружение в семантический эффект может в конечном итоге решить более тонкую проблему оружия языка, такую как палтеринг – самоуслужительная и избирательная использование правдивых утверждений для получения желаемого результата, который может противоречить воспринимаемому духу и намерению используемых доказательств.

Связанная и немного более развитая линия исследований в области обработки естественного языка, компьютерного зрения и мультимодального исследования – это изучение контекста как дополнения к значению, где избирательное и самоуслужительное переупорядочение или переосмысление истинных фактов становится эквивалентным попытке вызвать другую реакцию, чем факты могли бы обычно оказать, если бы они были представлены в более ясной и линейной форме.

* Мое преобразование встроенных цитат авторов в прямые ссылки.

Опубликовано впервые 11 марта 2022 года.