Генерація та ідентифікація пропаганди за допомогою машинного навчання

Нові дослідження Сполучених Штатів та Катару пропонують новий метод ідентифікації фейкових новин, написаних так, як люди фактично пишуть фейкові новини – шляхом вкладення неточних заяв у переважно правдивий контекст, а також використання популярних пропагандистських технік, таких як апеляція до авторитету і завантажена мова.

Проект призвів до створення нового набору даних для навчання детекторів фейкових новин під назвою PropaNews, який включає ці техніки. Автори дослідження виявили, що детектори, навчені на новому наборі даних, на 7,3-12% точніше виявляють дезінформацію, написану людьми, порівняно з попередніми методами.

З нової статті, приклади ‘апеляції до авторитету’ та ‘завантаженої мови’. Джерело: https://arxiv.org/pdf/2203.05386.pdf

Автори стверджують, що, на їхню думку, цей проект є першим, який включає пропагандистські техніки (а не просто фактичну неточність) у машинно-генерований текст для навчання детекторів фейкових новин.

Більшість недавніх робіт у цій галузі, на їхню думку, вивчали упередженість або переформулювали дані про пропаганду в контексті упередженості (ймовірно, через те, що упередженість стала високофінансованою галуззю машинного навчання в пост-Аналітику епоху).

Автори заявляють:

‘Натомість, наш проект генерує фейкові новини шляхом включення пропагандистських технік і збереження більшості правильної інформації. Отже, наш підхід більш підходить для вивчення захисту проти людської дезінформації.’

Вони далі ілюструють зростаючу потребу в більш досконалих техніках виявлення пропаганди*:

‘[Людська] дезінформація, яку часто використовують для маніпулювання певними популяціями, мала катастрофічний вплив на численні події, такі як вибори президента США 2016 року, Brexit, пандемію COVID-19 та недавню атаку Росії на Україну. Отже, нам потрібен механізм захисту проти людської дезінформації.’

Стаття стаття називається Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation і походить від п’яти дослідників з Університету Іллінойсу в Урбана-Шампейн, Колумбійського університету, Університету Хамада бін Халіфи в Катарі, Університету Вашингтону та Інституту штучного інтелекту Аллена.

Визначення неправди

Виклик квантифікації пропаганди в основному логістичний: дуже дорого наймати людей для розпізнавання та анотації реальних матеріалів з пропагандистськими характеристиками для включення до набору даних для навчання, і потенційно набагато дешевше витягувати та використовувати високорівневі функції, які, ймовірно, працюватимуть на ‘невидимих’, майбутніх даних.

У служінні більш масштабованому рішенню дослідники спочатку зібрали статті дезінформації, створені людьми, з джерел новин, які вважаються низькими за фактичною точністю, через сайт Media Bias Fact Check.

Вони виявили, що 33% вивчених статей використовували нечесні пропагандистські техніки, включаючи емоційно-спрямовані терміни, логічні помилки та апеляцію до авторитету. Ще 55% статей містили неточну інформацію, змішану з точною інформацією.

Генерація апеляції до авторитету

Підхід апеляції до авторитету має два випадки використання: цитування неточних заяв та цитування повністю вигаданих заяв. Дослідження зосереджується на другому випадку.

З нового проекту, фреймворк Natural Language Inference RoBERTa ідентифікує два подальші приклади апеляції до авторитету та завантаженої мови.

З метою створення машинно-генерованої пропаганди для нового набору даних дослідники використали попередньо навчену архітектуру seq2seq BART для ідентифікації видатних речень, які пізніше можна змінити на пропаганду. Оскільки не було публічно доступного набору даних, пов’язаного з цією задачею, автори використали модель екстрактивної підсумків пропоновані в 2019 році для оцінки важливості речень.

Для однієї статті з кожного джерела новин, вивчених дослідниками, вони замінили ці ‘позначені’ речення на фальшиві аргументи від ‘авторитетів’, отримані з сервісу Wikidata Query Service та з авторитетів, згаданих у статтях (тобто людей та/або організацій).

Генерація завантаженої мови

Завантажена мова включає слова, часто сенсаційніони адверби та прикметники (як у вищезгаданому прикладі), які містять імпліцитні судження, вплетені в контекст подання факту.

Для отримання даних щодо завантаженої мови автори використали набір даних з дослідження 2019 року, який містить 2 547 прикладів завантаженої мови. Оскільки не всі приклади в даних 2019 року містили емоційно-спрямовані адверби чи прикметники, дослідники використали SpaCy для виконання залежної розбору та позначення частин мови (PoS), зберігаючи лише відповідні приклади для включення до фреймворку.

Процес фільтрації призвів до 1 017 зразків валідної завантаженої мови. Ще один екземпляр BART був використаний для маскування та заміни видатних речень у джерельних документах на завантажену мову.

Набір даних PropaNews

Після проміжного навчання моделі, проведеного на наборі даних CNN/DM 2015 року від Google Deep Mind та Оксфордського університету, дослідники створили набір даних PropaNews, перетворивши не тривіальні статті з ‘довірених’ джерел, таких як The New York Times та The Guardian, на ‘змінені’ версії, що містять створену алгоритмічну пропаганду.

Експеримент був змодельований на основі дослідження 2013 року з Ганновера, яке автоматично генерувало підсумки новинних історій за 17 новинних подій та загалом 4 535 історій.

Створена дезінформація була надіслана 400 унікальним працівникам Amazon Mechanical Turk (AMT), охоплюючи 2000 завдань людського інтелекту (HIT). Тільки пропагандистські статті, визнані точними працівниками, були включені до остаточної версії PropaNews. Вирішення суперечок було оцінено методом Worker Agreement With Aggregate (WAWA).

Остаточна версія PropaNews містить 2 256 статей, баланс між фальшивими та реальними виходами, 30% з яких використовують апеляцію до авторитету, а ще 30% використовують завантажену мову. Решта просто містить неточну інформацію такого типу, який переважно населяв попередні набори даних у цій галузі дослідження.

Дані були розділені на 1 256:500:500 за тренувальні, тестові та валідційні розподіли.

Набір даних HumanNews

Для оцінки ефективності навчених пропагандистських детекторів дослідники скомпільовали 200 статей людських новин, включаючи статті, спростовані Politifact, та опубліковані між 2015-2020 роками.

Ці дані були доповнені додатковими спростованими статтями з недовіриних джерел новин та підсумковими фактами, перевіреними студентом-магістром комп’ютерних наук.

Остаточний набір даних, названий HumanNews, також включає 100 статей з Los Angeles Times.

Тести

Процес виявлення був протиставлений попереднім фреймворкам у двох формах: PN-Silver, який ігнорує валідацию анотаторів AMT, і PN-Gold, який включає валідацию як критерій.

Конкурентні фреймворки включали пропозицію 2019 року Grover-GEN, 2020 року Fact-GEN, та FakeEvent, у якому статті з PN-Silver заміняються документами, згенерованими цими старішими методами.

Варіанти Grover та RoBERTa виявилися найбільш ефективними при навчанні на новому наборі даних PropaNews, і дослідники зробили висновок, що ‘детектори, навчені на PROPANEWS, працюють краще при визначенні людської дезінформації порівняно з навчанням на інших наборах даних’.

Дослідники також відзначають, що навіть напівпаралізований набір даних PN-Silver перевершує старіші методи на інших наборах даних.

Не актуально?

Автори повторюють відсутність досліджень щодо автоматичної генерації та ідентифікації пропаганди-орієнтованих фейкових новин і попереджають, що використання моделей, навчених на даних до критичних подій (таких як COVID чи, можливо, поточна ситуація в Східній Європі), не можна очікувати, що вони працюватимуть оптимально:

‘Близько 48% неправильно класифікованої людської дезінформації спричинено нездатністю здобути динамічні знання з нових джерел новин. Наприклад, статті, пов’язані з COVID, зазвичай публікуються після 2020 року, тоді як ROBERTA була попередньо навчена на статтях новин, опублікованих до 2019 року. Дуже складно для ROBERTA виявити дезінформацію на таких темах, якщо детектор не обладнаний можливістю здобувати динамічні знання з статей новин.’

Автори далі відзначають, що RoBERTa досягає 69,0% точності для виявлення фейкових статей новин, де матеріал публікується до 2019 року, але знижується до 51,9% точності, коли застосовується до статей новин, опублікованих після цієї дати.

Палтеринг та контекст

Хоча дослідження не безпосередньо торкається цього питання, можливо, що такий глибокий аналіз семантичного впливу міг би в кінцевому підсумку звернутися до більш тонкої зброїзації мови, такої як палтеринг – самозахоплююче та вибіркове використання істинних заяв з метою отримання бажаного результату, який може суперечити сприйманому духу та наміру використовуваних доказів.

Пов’язана та трохи розвиненіша лінія досліджень у галузі NLP, комп’ютерного зору та мультимодального дослідження – це дослідження контексту як допоміжного засобу значення, де вибіркове та самозахоплююче переупорядкування чи переконтекстуалізація істинних фактів стає еквівалентною спробі викликати іншу реакцію, ніж факти могли б звичайно викликати, якщо б вони були представлені у яснішій та більш лінійній формі.

* Моя конвертація внутрішніх посилань авторів у прямий гіперлінк.

Перша публікація 11 березня 2022 року.