Generování a identifikace propagandy pomocí strojového učení

Nový výzkum z Spojených států a Kataru nabízí novou metodu pro identifikaci falešných zpráv, které byly napsány způsobem, jakým lidé skutečně píší falešné zprávy – vkládáním nepřesných prohlášení do převážně pravdivého kontextu a pomocí populárních propagandistických technik, jako jsou odvolání na autoritu a nabitý jazyk.

Projekt vedl k vytvoření nové datové sady pro detekci falešných zpráv nazvané PropaNews, která zahrnuje tyto techniky. Autoři studie zjistili, že detektory vyškolené na nové datové sadě jsou o 7,3-12% přesnější při detekci lidsky psaných dezinformací než předchozí nejlepší přístupy.

Z nové studie, příklady ‘odvolání na autoritu’ a ‘nabitý jazyk’. Zdroj: https://arxiv.org/pdf/2203.05386.pdf

Autoři tvrdí, že podle jejich nejlepších znalostí je tento projekt první, který zahrnuje propagandistické techniky (místo přímé faktické nepřesnosti) do strojově generovaných textových příkladů určených k detekci falešných zpráv.

Většina nedávných prací v tomto oboru, tvrdí, studovala předpojatost, nebo jinak přeformulovala ‘propagandistické’ údaje v kontextu předpojatosti (možná proto, že předpojatost se stala vysoce financovatelným odvětvím strojového učení v post-Analytice).

Autoři uvádějí:

‘Na rozdíl od toho naše práce generuje falešné zprávy tím, že zahrnuje propagandistické techniky a zachovává většinu správných informací. Naše přístup je tedy vhodnější pro studium obrany proti lidsky psaným falešným zprávám.’

Dále ilustrují rostoucí naléhavost více sofistikovaných technik detekce propagandy*:

‘[Lidsky psané] dezinformace, které jsou často používány k manipulaci určitými populacemi, měly katastrofální dopad na řadu událostí, jako jsou prezidentské volby v USA v roce 2016, Brexit, pandemie COVID-19 a recentní útok Ruska na Ukrajinu. Proto jsme naléhavě potřebujeme obranný mechanismus proti lidsky psaným dezinformacím.’

Studie je nazvaná Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation a pochází od pěti výzkumníků z University of Illinois Urbana-Champaign, Columbia University, Hamad Bin Khalifa University v Kataru, University of Washington a Allen Institute for AI.

Definice nepravdy

Výzva kvantifikace propagandy je převážně logistická: je velmi nákladné najmout lidi, aby rozpoznali a označili reálný materiál s propagandistickými charakteristikami pro zařazení do trénovací datové sady, a potenciálně mnohem levnější extrahovat a využívat vysoké úrovně funkcí, které pravděpodobně budou fungovat na ‘neviditelná’, budoucí data.

V rámci více škálovatelného řešení výzkumníci nejprve shromáždili lidsky vytvořené dezinformační články z novinových zdrojů, které byly považovány za nízké ve faktické přesnosti, prostřednictvím webu Media Bias Fact Check.

Zjistili, že 33% studií používalo nepoctivé propagandistické techniky, včetně emocionálních slov, logických omylů a odvolání na autoritu. Další 55% článků obsahovalo nepřesné informace smíchané s přesnými informacemi.

Generování odvolání na autoritu

Přístup odvolání na autoritu má dvě použití: citování nepřesných prohlášení a citování完全 fiktivních prohlášení. Výzkum se zaměřuje na druhé použití.

Z nové studie, Natural Language Inference framework RoBERTa identifikuje dvě další příklady odvolání na autoritu a nabitého jazyka.

Cílem bylo vytvořit strojově generovanou propagandu pro novou datovou sadu, výzkumníci použili předtrénovanou architekturu seq2seq BART k identifikaci významných vět, které by později mohly být upraveny na propagandu. Protože neexistovala veřejně dostupná datová sada související s touto úlohou, autoři použili model extraktivní sumarizace navrženého v roce 2019 k odhadu saliency vět.

Pro jeden článek z každé novinové kanceláře studovali výzkumníci tyto ‘označené’ věty s falešnými argumenty z ‘autorit’ odvozenými z Wikidata Query Service a z autorit zmíněných v článcích (tj. lidí a/nebo organizací).

Generování nabitého jazyka

Nabitý jazyk zahrnuje slova, často senzacionalizovaná příslovce a přídavná jména (jako v výše uvedeném příkladu), která obsahují implicitní hodnotící soudy zapletené do kontextu předávání faktu.

Pro získání dat o nabitém jazyce autoři použili datovou sadu z studie z roku 2019 obsahující 2 547 příkladů nabitého jazyka. Protože ne všechny příklady v datech z roku 2019 obsahovaly emocionálně vyvolávající příslovce nebo přídavná jména, výzkumníci použili SpaCy k provedení závislostního rozboru a značkování části řeči (PoS), přičemž si ponechali pouze vhodné příklady pro zařazení do rámce.

Proces filtrování vedl k 1 017 vzorcům platného nabitého jazyka. Další instance BART byla použita k maskování a nahrazování významných vět v zdrojových dokumentech nabitého jazyka.

PropaNews Dataset

Po mezitímním tréninku modelu provedeném na datové sadě CNN/DM z roku 2015 z Google Deep Mind a Oxford University, výzkumníci vytvořili datovou sadu PropaNews, přeměnou nebanálních článků z ‘důvěryhodných’ zdrojů, jako jsou The New York Times a The Guardian, na ‘upravené’ verze obsahující vyrobenou algoritmickou propagandu.

Experiment byl modelován podle studie z roku 2013 z Hanoveru, která automaticky generovala souhrny časových osnov novinových článků napříč 17 novinovými událostmi a celkem 4 535 příběhy.

Generované dezinformace byly předloženy 400 unikátním pracovníkům na Amazon Mechanical Turk (AMT), pokrývajícím 2000 úkolu lidské inteligence (HIT). Pouze propagandou naplněné články považované za přesné pracovníky byly zahrnuty do konečné verze PropaNews. Rozhodnutí o nesrovnalostech byla hodnocena metodou Worker Agreement With Aggregate (WAWA).

Konečná verze PropaNews obsahuje 2 256 článků, vyvážených mezi falešnými a skutečnými výstupy, 30% z nich využívá odvolání na autoritu, s dalšími 30% používajícími nabitý jazyk. Zbytek obsahuje pouze nepřesné informace, které většinou obsazují předchozí datové sady v tomto výzkumném oboru.

Data byla rozdělena do 1 256:500:500 napříč trénovacími, testovacími a validačními distribucemi.

HumanNews Dataset

Pro vyhodnocení účinnosti trénovaných rutin detekce propagandy výzkumníci sestavili 200 lidsky psaných novinových článků, včetně článků vyvrácených serverem Politifact a publikovaných v letech 2015-2020.

Tyto údaje byly doplněny o další vyvrácené články z nedůvěryhodných novinových zdrojů a celková suma ověřena studentem magisterského studia informatiky.

Konečná datová sada, nazvaná HumanNews, také zahrnuje 100 článků z Los Angeles Times.

Testy

Proces detekce byl porovnán s předchozími rámci ve dvou formách: PN-Silver, který ignoruje validaci anotátorů AMT, a PN-Gold, který zahrnuje validaci jako kritérium.

Soupeřící rámce zahrnovaly nabídku z roku 2019 Grover-GEN, Fact-GEN z roku 2020 a FakeEvent, ve kterém jsou články z PN-Silver nahrazeny dokumenty generovanými těmito staršími metodami.

Varianty Grover a RoBERTa se ukázaly jako nejúčinnější, když byly trénovány na nové datové sadě PropaNews, s tím, že výzkumníci dospěli k závěru, že ‘detektory trénované na PROPANEWS lépe identifikují lidsky psané dezinformace ve srovnání s trénováním na jiných datech’.

Výzkumníci také pozorují, že i poloviční dataset PN-Silver překonává starší metody na jiných datech.

Je to zastaralé?

Autoři znovu zdůrazňují nedostatek výzkumu týkajícího se automatizované generace a identifikace propagandou zaměřených falešných zpráv a varují, že použití modelů trénovaných na datech před kritickými událostmi (jako je COVID nebo současná situace ve východní Evropě) nelze očekávat, že budou fungovat optimálně:

‘Přibližně 48% nesprávně klasifikovaných lidsky psaných dezinformací je způsobeno neschopností získat dynamické znalosti z nových zdrojů zpráv. Například články související s COVID-19 jsou obvykle publikovány po roce 2020, zatímco ROBERTA byla předtrénována na článcích zveřejněných před rokem 2019. Je velmi obtížné pro ROBERTA detekovat dezinformace na takových tématech, pokud detektor není vybaven schopností získávání dynamických znalostí z článků.’

Autoři dále uvádějí, že RoBERTa dosahuje 69,0% přesnosti při detekci falešných novinových článků, kde je materiál publikován před rokem 2019, ale klesá na 51,9% přesnosti, když se aplikuje na články publikované po tomto datu.

Paltering a kontext

Ačkoli studie se přímo nezabývá tímto tématem, je možné, že tento druh hlubokého ponoru do sémantického efektu by mohl nakonec řešit jemnější zbraně jazyka, jako je paltering – sebe-sloužící a selektivní použití pravdivých prohlášení za účelem dosažení požadovaného výsledku, který může být v rozporu se skutečným duchem a záměrem použitých důkazů.

Související a slightly více rozvinutá linie výzkumu v NLP, počítačovém vidění a multimodálním výzkumu je studium kontextu jako doplněk významu, kde selektivní a sebe-sloužící reordering nebo re-kontextualizace skutečných faktů se stává ekvivalentní k pokusu o vyvolání odlišné reakce, než by fakta mohla vyvolat, kdyby byla prezentována jasnějším a lineárnějším způsobem.

* Moje konverze inline citací autorů na přímé odkazy.

Poprvé publikováno 11. března 2022.