Generowanie i identyfikowanie propagandy za pomocą uczenia maszynowego

Nowe badania z USA i Kataru oferują nową metodę identyfikacji fałszywych informacji, które zostały napisane w sposób, w jaki ludzie naprawdę piszą fałszywe informacje – poprzez umieszczanie nieprecyzyjnych oświadczeń w kontekście w dużej mierze prawdziwym, oraz poprzez użycie popularnych technik propagandowych, takich jak odwołania do autorytetu i język obciążony.

Projekt doprowadził do stworzenia nowego zestawu danych szkoleniowych do wykrywania fałszywych informacji, nazwanego PropaNews, który uwzględnia te techniki. Autorzy badania stwierdzili, że detektory szkolone na nowym zestawie danych są o 7,3-12% bardziej dokładne w wykrywaniu dezinformacji napisanej przez ludzi w porównaniu z poprzednimi podejściami.

Z nowego artykułu, przykłady ‘odwołania do autorytetu’ i ‘języka obciążonego’. Źródło: https://arxiv.org/pdf/2203.05386.pdf

Autorzy twierdzą, że według ich najlepszej wiedzy, projekt jest pierwszym, który uwzględnia techniki propagandowe (zamiast prostej nieprecyzyjności faktów) w przykładach tekstu generowanego przez maszynę, przeznaczonych do zasilania detektorów fałszywych informacji.

Większość ostatnich badań w tej dziedzinie, twierdzą oni, badała stronniczość, lub przedefiniowała dane “propagandowe” w kontekście stronniczości (prawdopodobnie dlatego, że stronniczość stała się wysoko finansowanym sektorem uczenia maszynowego w erze post-Analytica).

Autorzy stwierdzają:

‘W przeciwieństwie do tego, nasza praca generuje fałszywe informacje, uwzględniając techniki propagandowe i zachowując większość prawidłowych informacji. Dlatego nasze podejście jest bardziej odpowiednie do badania obrony przed fałszywymi informacjami napisanymi przez ludzi.’

Oni dalej ilustrują rosnącą pilność bardziej zaawansowanych technik wykrywania propagandy*:

‘[Fałszywe informacje napisane przez ludzi], które są często używane do manipulowania określonymi populacjami, miały katastrofalny wpływ na wiele wydarzeń, takich jak wybory prezydenckie w USA w 2016 roku, Brexit, pandemię COVID-19 i niedawne atak Rosji na Ukrainę. Dlatego pilnie potrzebujemy mechanizmu obrony przed fałszywymi informacjami napisanymi przez ludzi.’

Artykuł artykuł nosi tytuł Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation i pochodzi od pięciu badaczy z Uniwersytetu Illinois w Urbana-Champaign, Uniwersytetu Kolumbii, Uniwersytetu Hamad Bin Khalifa w Katarze, Uniwersytetu Waszyngtonu i Instytutu Sztucznej Inteligencji Allena.

Definiowanie nieprawdy

Wyzwanie polegające na ilościowym określeniu propagandy jest w dużej mierze logistyczne: jest to bardzo kosztowne, aby zatrudnić ludzi do rozpoznawania i adnotowania materiałów z cechami podobnymi do propagandy w celu uwzględnienia ich w zestawie danych szkoleniowych, i potencjalnie znacznie tańsze, aby wyodrębnić i wykorzystać funkcje na wysokim poziomie, które prawdopodobnie będą działać na “niewidocznych”, przyszłych danych.

W celu uzyskania bardziej skalowalnego rozwiązania, badacze początkowo zebrali artykuły dezinformacyjne stworzone przez ludzi z źródeł informacji uznanych za niskie pod względem dokładności faktów, za pośrednictwem witryny Media Bias Fact Check.

Stwierdzili, że 33% zbadanych artykułów wykorzystywało nieuczciwe techniki propagandowe, w tym wyrazy wyzwalające emocje, błędy logiczne i odwołania do autorytetu. Kolejne 55% artykułów zawierało nieprecyzyjne informacje wymieszane z informacjami precyzyjnymi.

Generowanie odwołań do autorytetu

Podejście odwołania do autorytetu ma dwa przypadki użycia: cytowanie nieprecyzyjnych oświadczeń i cytowanie całkowicie fikcyjnych oświadczeń. Badanie koncentruje się na drugim przypadku użycia.

Z nowego projektu, framework inferencji języka naturalnego RoBERTa identyfikuje dwa dalsze przykłady odwołań do autorytetu i języka obciążonego.

Celem stworzenia propagandy generowanej przez maszynę dla nowego zestawu danych, badacze wykorzystali architekturę seq2seq BART w celu identyfikacji istotnych zdań, które mogłyby być później zmienione w propagandę. Ponieważ nie było dostępnego publicznie zestawu danych związanego z tym zadaniem, autorzy wykorzystali model podsumowania ekstrakcyjnego zaproponowanego w 2019 roku w celu oszacowania znaczenia zdania.

Dla jednego artykułu z każdego badanego źródła informacji, badacze zastąpili te “oznaczone” zdania fałszywymi argumentami od “autorytetów” pochodzącymi zarówno z usługi zapytań Wikidata, jak i od autorytetów wymienionych w artykułach (tj. ludzi i/lub organizacji).

Generowanie języka obciążonego

Język obciążony obejmuje słowa, często sensacyjne przysłówki i przymiotniki (jak w powyższym przykładzie), które zawierają ukryte osądy wartościujące w kontekście przedstawiania faktu.

Aby uzyskać dane dotyczące języka obciążonego, autorzy wykorzystali zestaw danych z badania z 2019 roku zawierające 2 547 przypadków języka obciążonego. Ponieważ nie wszystkie przykłady w danych z 2019 roku zawierały wyrazy wyzwalające emocje lub przysłówki, badacze wykorzystali SpaCy do wykonania analizy zależności i znaczników części mowy, zachowując tylko odpowiednie przykłady do uwzględnienia w ramach.

Proces filtrowania dał w efekcie 1 017 próbek ważnego języka obciążonego. Kolejny przykład BART został wykorzystany do maskowania i zastępowania istotnych zdań w dokumentach źródłowych z językiem obciążonym.

Zestaw danych PropaNews

Po przeprowadzeniu szkolenia pośredniego na zestawie danych CNN/DM z 2015 roku z Google Deep Mind i Uniwersytetu Oksfordzkiego, badacze wygenerowali zestaw danych PropaNews, konwertując nietrywialne artykuły z “godnych zaufania” źródeł, takich jak The New York Times i The Guardian, na “zmodyfikowane” wersje zawierające sztucznie stworzoną propagandę algorytmiczną.

Eksperyment został opracowany na podstawie badania z 2013 roku z Hanover, które automatycznie generowało podsumowania chronologiczne historii w 17 wydarzeniach informacyjnych, i łącznie 4 535 historii.

Wygenerowane fałszywe informacje zostały przesłane do 400 unikalnych pracowników Amazon Mechanical Turk (AMT), obejmujących 2000 zadań inteligencji ludzkiej (HIT). Tylko artykuły propagandowe uznane za dokładne przez pracowników zostały uwzględnione w ostatecznej wersji PropaNews. Rozstrzyganie niezgodności zostało ocenione metodą Worker Agreement With Aggregate (WAWA).

Ostateczna wersja PropaNews zawiera 2 256 artykułów, zrównoważonych między fałszywymi a prawdziwymi wynikami, 30% z nich wykorzystuje odwołanie do autorytetu, a kolejne 30% wykorzystuje język obciążony. Pozostałe zawierają po prostu nieprecyzyjne informacje, które w dużej mierze zaludniały poprzednie zestawy danych w tej dziedzinie badawczej.

Dane zostały podzielone na 1 256:500:500 w rozkładzie szkolenia, testowania i walidacji.

Zestaw danych HumanNews

Aby ocenić skuteczność wytrenowanych rutyn wykrywania propagandy, badacze skompilowali 200 artykułów informacyjnych napisanych przez ludzi, w tym artykuły obalone przez Politifact, i opublikowane w latach 2015-2020.

Te dane zostały uzupełnione o dodatkowe obalone artykuły z niegodnych zaufania źródeł informacji, a łączna suma została sprawdzona przez studenta studiów magisterskich z dziedziny informatyki.

Ostateczny zestaw danych, zatytułowany HumanNews, zawiera również 100 artykułów z Los Angeles Times.

Testy

Proces wykrywania został poddany testom w dwóch formach: PN-Silver, który ignoruje walidację adnotatora AMT, i PN-Gold, który uwzględnia walidację jako kryterium.

Konkurujące ramy obejmowały ofertę z 2019 roku Grover-GEN, 2020 roku Fact-GEN, i FakeEvent, w którym artykuły z PN-Silver są zastępowane dokumentami generowanymi przez starsze metody.

Warianty Grover i RoBERTa okazały się najbardziej skuteczne, gdy zostały wytrenowane na nowym zestawie danych PropaNews, a badacze stwierdzili, że ‘detektory wytrenowane na PropaNews radzą sobie lepiej w identyfikowaniu dezinformacji napisanej przez ludzi w porównaniu z treningiem na innych zestawach danych’.

Badacze zauważają również, że nawet pół- okaleczony zestaw danych PN-Silver przewyższa starsze metody na innych zestawach danych.

Czy jest nieaktualny?

Autorzy powtarzają brak badań dotyczących automatycznego generowania i identyfikowania propagandy w fałszywych informacjach, i ostrzegają, że użycie modeli wytrenowanych na danych przed kluczowymi wydarzeniami (takimi jak COVID lub, być może, obecna sytuacja w Europie Wschodniej) nie może być oczekiwane do optymalnej wydajności:

‘Około 48% błędnie sklasyfikowanych dezinformacji napisanych przez ludzi jest spowodowanych brakiem możliwości nabycia dynamicznej wiedzy z nowych źródeł informacji. Na przykład, artykuły związane z COVID są zwykle publikowane po 2020 roku, podczas gdy ROBERTA został wytrenowany na artykułach informacyjnych opublikowanych przed 2019 rokiem. Bardzo trudno dla ROBERTA wykryć dezinformację na takich tematach, chyba że detektor jest wyposażony w możliwość nabycia dynamicznej wiedzy z artykułów informacyjnych.’

Autorzy zauważają ponadto, że RoBERTa osiąga 69,0% dokładności w wykrywaniu fałszywych informacji, gdy materiał jest opublikowany przed 2019 rokiem, ale spada do 51,9% dokładności, gdy jest stosowany do artykułów informacyjnych opublikowanych po tej dacie.

Paltering i kontekst

Chociaż badanie nie dotyka tego bezpośrednio, jest możliwe, że ten rodzaj głębokiego zanurzenia w semantyce mógłby ostatecznie rozwiązać bardziej subtelne uzbrojenie języka, takie jak paltering – samolubne i selektywne użycie prawdziwych oświadczeń w celu uzyskania pożądanego rezultatu, który może być w sprzeczności z postrzeganym duchem i zamiarem używanych dowodów.

Powiązana i nieco bardziej rozwinięta linia badań w dziedzinie NLP, widzenia komputerowego i badań multimodalnych jest badaniem kontekstu jako dodatku znaczenia, gdzie selektywne i samolubne ponowne układanie lub zmiana kontekstu prawdziwych faktów staje się równoznaczne z próbą wywołania innego efektu niż ten, jaki mogłyby one mieć, gdyby zostały przedstawione w jaśniejszy i bardziej liniowy sposób.

* Moja konwersja cytatów wstawionych przez autorów na bezpośrednie łącza.

Pierwotnie opublikowane 11 marca 2022.