Генерація та ідентифікація пропаганди за допомогою машинного навчання

Нові дослідження Сполучених Штатів і Катару пропонують новий метод ідентифікації фейкових новин, які написані так, як люди насправді пишуть фейкові новини – шляхом включення неточних заяв у переважно правдивий контекст і використання популярних пропагандистських технік, таких як апеляції до авторитету і завантажена мова.

Проект призвів до створення нового набору даних для навчання детекторів фейкових новин під назвою PropaNews, який включає ці техніки. Автори дослідження виявили, що детектори, навчені на новому наборі даних, на 7,3-12% точніше виявляють людські дезінформаційні статті порівняно з попередніми методами.

З нової статті, приклади ‘апеляції до авторитету’ і ‘завантаженої мови’. Джерело: https://arxiv.org/pdf/2203.05386.pdf

Автори стверджують, що, на їхню думку, цей проект є першим, який включає пропагандистські техніки (а не прямою фактичну неточність) у машинно-генерованих текстових прикладах, призначених для навчання детекторів фейкових новин.

Більшість останніх робіт у цій галузі, як вони стверджують, вивчали упередженість, або переформулювали дані про “пропаганду” у контексті упередженості (можливо, тому що упередженість стала високофінансованою галуззю машинного навчання у пост-аналітичну епоху).

Автори заявляють:

‘Натомість, наша робота генерує фейкові новини шляхом включення пропагандистських технік і збереження більшості правильної інформації. Отже, наш підхід є більш підходящим для вивчення захисту проти людських фейкових новин.’

Вони далі ілюструють зростаючу необхідність більш складних технік виявлення пропаганди*:

‘[Людські] дезінформаційні статті, які часто використовуються для маніпулювання певними населеннями, мали катастрофічний вплив на декілька подій, таких як вибори президента США 2016 року, Brexit, пандемію COVID-19 і недавню атаку Росії на Україну. Отже, нам потрібен механізм захисту проти людських дезінформаційних статей.’

Стаття стаття називається Фальсифікація фейкових новин для справжнього виявлення фейкових новин: генерація тренувальних даних, завантажених пропагандою, і походить від п’яти дослідників Університету Іллінойсу в Урбані-Шампейні, Колумбійського університету, Університету Хамада бін Халіфи в Катарі, Університету Вашингтону та Інституту штучного інтелекту Аллена.

Визначення неправди

Виходячи з логістичної точки зору, проблема кількісної оцінки пропаганди полягає в тому, що це дуже дорого – наймати людей для розпізнавання і анотації реальних матеріалів з ознаками пропаганди для включення до тренувального набору даних, і, можливо, набагато дешевше витягувати і використовувати високорівневі ознаки, які, ймовірно, працюватимуть на “невидимих” майбутніх даних.

Для більш масштабного рішення дослідники спочатку зібрали людські дезінформаційні статті з джерел новин, які вважаються низькими за фактичною точністю, через сайт Media Bias Fact Check.

Вони виявили, що 33% вивчених статей використовували нечесні пропагандистські техніки, включаючи емоційно-відбірні терміни, логічні помилки і апеляції до авторитету. Ще 55% статей містили неточну інформацію, змішану з точною інформацією.

Генерація апеляцій до авторитету

Підхід апеляції до авторитету має два випадки використання: цитування неточних заяв і цитування повністю вигаданих заяв. Дослідження зосереджується на другому випадку використання.

З нового проекту, фреймворк природної мови RoBERTa визначає два подальші приклади апеляції до авторитету і завантаженої мови.

З метою створення машинно-генерованої пропаганди для нового набору даних дослідники використали попередньо навчену архітектуру seq2seq BART для визначення виразних речень, які пізніше можна змінити на пропаганду. Оскільки не існувало публічного набору даних, пов’язаного з цією задачею, автори використали модель екстрактивної сумаризації пропонованої в 2019 році для оцінки важливості речень.

Для однієї статті з кожного джерела новин, вивчених дослідниками, вони замінили ці “позначені” речення на фальшиві аргументи від “авторитетів”, отримані з Вікіданих та авторитетів, згаданих у статтях (тобто людей і/або організацій).

Генерація завантаженої мови

Завантажена мова включає слова, часто сенсаціонізовані прислівники і прикметники (як у вищезазначеному прикладі), які містять імпліцитні оцінки, вплетені в контекст подання факту.

Для отримання даних щодо завантаженої мови автори використали набір даних з дослідження 2019 року, який містить 2 547 прикладів завантаженої мови. Оскільки не всі приклади в даних 2019 року містили емоційно-відбірні прислівники чи прикметники, дослідники використали SpaCy для виконання залежної розбору і позначення частин мови (PoS), зберігаючи лише відповідні приклади для включення до фреймворку.

Процес фільтрації призвів до 1 017 зразків валідної завантаженої мови. Ще один екземпляр BART був використаний для маскування і заміни виразних речень у вихідних документах на завантажену мову.

Набір даних PropaNews

Після проміжного навчання моделі, проведеного на наборі даних CNN/DM 2015 року з Google Deep Mind і Оксфордського університету, дослідники згенерували набір даних PropaNews, перетворивши не тривіальні статті з “достовірних” джерел, таких як The New York Times і The Guardian, на “змінені” версії, що містять створену алгоритмічну пропаганду.

Експеримент був змодельований на основі дослідження 2013 року з Гановера, яке автоматично генерувало підсумкові резюме новинних історій за 17 новинних подій і загалом 4 535 історій.

Згенеровані дезінформаційні статті були надані 400 унікальним працівникам на Amazon Mechanical Turk (AMT), охоплюючи 2000 завдань з людської інтелектуальності (HIT). До остаточної версії PropaNews були включені лише статті з пропагандою, які були визнані точними працівниками. Розгляд розбіжностей був оцінений методом Worker Agreement With Aggregate (WAWA).

Остаточна версія PropaNews містить 2 256 статей, збалансованих між фальшивими і справжніми виходами, 30% з яких використовують апеляцію до авторитету, а ще 30% використовують завантажену мову. Решта просто містить неточну інформацію типу, який переважно населяв попередні набори даних у цій галузі дослідження.

Дані були розділені на 1 256: 500: 500 по тренувальним, тестовим і валідационним розподілам.

Набір даних HumanNews

Для оцінки ефективності навчених процедур виявлення пропаганди дослідники скомплектували 200 людських статей, включаючи статті, спростовані Politifact, і опубліковані між 2015-2020 роками.

Ці дані були доповнені додатковими спростованими статтями з недостовірних джерел новин і загальна кількість факт-чекерів була перевірена студентом-магістром комп’ютерних наук.

Остаточний набір даних, названий HumanNews, також включає 100 статей з Los Angeles Times.

Тести

Процес виявлення був протиставлений попереднім фреймворкам у двох формах: PN-Silver, який ігнорує валідацию аннотатора AMT, і PN-Gold, який включає валідацию як критерій.

Конкурентні фреймворки включали пропозицію 2019 року Grover-GEN, 2020 року Fact-GEN і FakeEvent, у якому статті з PN-Silver замінені документами, згенерованими старішими методами.

Варіанти Grover і RoBERTa виявилися найбільш ефективними при навчанні на новому наборі даних PropaNews, і дослідники дійшли висновку, що ‘детектори, навчені на PROPANEWS, працюють краще при виявленні людських дезінформаційних статей порівняно з навчанням на інших наборах даних’.

Дослідники також спостерігають, що навіть напів-ушкоджений набір даних PN-Silver перевершує старіші методи на інших наборах даних.

Не актуально?

Автори повторюють відсутність досліджень щодо автоматичної генерації та ідентифікації пропаганди-орієнтованих фейкових новин і попереджають, що використання моделей, навчених на даних до критичних подій (таких як COVID чи, можливо, поточна ситуація в Східній Європі), не можна очікувати, що вони працюватимуть оптимально:

‘Близько 48% неправильно класифікованих людських дезінформаційних статей викликані нездатністю набувати динамічні знання з нових джерел новин. Наприклад, статті, пов’язані з COVID, зазвичай публікуються після 2020 року, тоді як ROBERTA була попередньо навчена на статтях новин, опублікованих до 2019 року. Дуже складно для ROBERTA виявити дезінформацію на таких темах, якщо детектор не обладнаний можливістю набувати динамічні знання з статей новин.’

Автори також зазначають, що RoBERTa досягає 69,0% точності для виявлення фейкових новинних статей, де матеріал публікується до 2019 року, але знижується до 51,9% точності при застосуванні до статей новин, опублікованих після цієї дати.

Палтеринг і контекст

Хоча дослідження не безпосередньо займається цим, можливо, що такий глибокий аналіз семантичного впливу міг би в кінцевому підсумку займатися більш тонкими зброєю мовою, такою як палтеринг – самовільне і селективне використання правдивих заяв з метою отримання бажаного результату, який може суперечити сприйманому духу і наміру використовуваних доказів.

Пов’язана і трохи розвиненіша лінія досліджень у галузі НЛП, комп’ютерного зору і багатомодального дослідження – це дослідження контексту як допоміжного засобу значення, де селективне і самовільне переупорядкування або пере контекстуалізація істинних фактів стає еквівалентним спробі викликати іншу реакцію, ніж факти могли б звичайно викликати, якби вони були представлені у яснішій і більш лінійній формі.

* Моє перетворення внутрішніх посилань авторів на прямий гіперлінк.

Перша публікація 11 березня 2022 року.