Generování a identifikace propagandy pomocí strojového učení

Nový výzkum ze Spojených států a Kataru nabízí novou metodu pro identifikaci falešných zpráv, které byly napsány způsobem, jakým lidé vlastně psát fake news – vkládáním nepřesných prohlášení do převážně pravdivého kontextu a používáním populárních propagandistických technik, jako je např. odvolání k autoritě a načtený jazyk.

Projekt vyústil ve vytvoření nového tréninkového datového souboru pro detekci falešných zpráv s názvem PropaNews, který tyto techniky zahrnuje. Autoři studie zjistili, že detektory trénované na novém datovém souboru jsou o 7.3–12 % přesnější při odhalování dezinformací psaných lidmi než předchozí nejmodernější přístupy.

Z nového dokumentu příklady „appeal to Authority“ a „loaded language“. Zdroj: https://arxiv.org/pdf/2203.05386.pdf

Autoři tvrdí, že podle jejich nejlepšího vědomí je projekt prvním, který začleňuje propagandistické techniky (spíše než přímou faktickou nepřesnost) do strojově generovaných textových příkladů, které mají sloužit jako palivo pro detektory falešných zpráv.

Nejnovější práce v této oblasti, tvrdí, studovala zaujatost nebo jinak přeformulovala „propagandistická“ data v kontextu zaujatosti (pravděpodobně proto, že zaujatost se v post-analytické éře stala vysoce financovatelným sektorem strojového učení).

Autoři uvádějí:

„Naproti tomu naše práce generuje falešné zprávy začleněním propagandistických technik a uchováváním většiny správných informací. Náš přístup je tedy vhodnější pro studium obrany proti falešným zprávám psaným lidmi.“

Dále ilustrují rostoucí naléhavost sofistikovanějších technik odhalování propagandy*:

„[lidmi psané] dezinformace, které se často používají k manipulaci s určitými populacemi, měly katastrofální dopad na četné události, jako např. 2016 amerických prezidentských voleb, Brexitse Pandemie COVID-19a nedávný ruský útok na Ukrajinu. Proto naléhavě potřebujeme ochranný mechanismus proti dezinformacím psaným lidmi.“

Projekt papír je s názvem Předstírání falešných zpráv za skutečné Detekce falešných zpráv: Propagandou nabité generování školicích data pochází od pěti výzkumníků z University of Illinois Urbana-Champaign, Columbia University, Hamad Bin Khalifa University v Kataru, University of Washington a Allen Institute for AI.

Definování nepravdy

Výzva kvantifikace propagandy je z velké části logistická: je velmi drahé najmout lidi, aby rozpoznali a anotovali materiál ze skutečného světa s charakteristikami podobnými propagandě pro zahrnutí do trénovací datové sady, a potenciálně mnohem levnější extrahovat a využívat funkce na vysoké úrovni. které pravděpodobně budou fungovat na „neviditelných“ budoucích datech.

Ve službách škálovatelnějšího řešení výzkumníci zpočátku shromáždili dezinformační články vytvořené lidmi ze zpravodajských zdrojů, které byly považovány za málo věcně přesné, prostřednictvím webu Media Bias Fact Check.

Zjistili, že 33 % studovaných článků používá techniky falešné propagandy, včetně termíny spouštějící emoce, logické klamy, a apelovat na úřady. Dalších 55 % článků obsahovalo nepřesné informace smíchané s přesnými informacemi.

Generování odvolání k úřadu

Projekt odvolání k úřadu přístup má dva případy použití: citace nepřesných výroků a citace zcela fiktivních výroků. Výzkum se zaměřuje na druhý případ použití.

Z nového projektu identifikuje rámec přirozeného jazyka RoBERTa dva další příklady apelování na autoritu a načtený jazyk.

S cílem vytvořit strojově generovanou propagandu pro nový datový soubor použili výzkumníci předtrénovanou architekturu seq2seq BART identifikovat význačné věty, které by mohly být později změněny na propagandu. Vzhledem k tomu, že neexistoval žádný veřejně dostupný soubor dat souvisejících s tímto úkolem, autoři použili model extraktivní sumarizace navrženo v roce 2019 odhadnout nápadnost věty.

U jednoho článku z každého zkoumaného zpravodajského zdroje výzkumníci nahradili tyto „označené“ věty falešnými argumenty „autority“ odvozenými jak od Wikidata Query Service, tak od úřadů zmíněných v článcích (tj. lidí a/nebo organizací).

Generování načteného jazyka

Načtený jazyk zahrnuje slova, často senzacechtivá příslovce a přídavná jména (jako ve výše ilustrovaném příkladu), která obsahují implicitní hodnotové soudy zapletené v kontextu doručování skutečnosti.

K odvození dat týkajících se načteného jazyka autoři použili datovou sadu z a 2019 studie obsahující 2,547 XNUMX načtený jazyk instance. Protože ne všechny příklady v datech z roku 2019 obsahovaly příslovce nebo přídavná jména spouštějící emoce, vědci použili SpaCy k provádění analýzy závislostí a označování částí řeči (PoS), přičemž jsou zachovány pouze vhodné příklady pro zahrnutí do rámce.

Výsledkem procesu filtrování bylo 1,017 XNUMX vzorků validních načtený jazyk. Další instance BART byla použita k maskování a nahrazení výrazných vět ve zdrojových dokumentech načteným jazykem.

Dataset PropaNews

Po středně pokročilém modelovém školení provedeném v roce 2015 CNN/DM datový soubor z Google Deep Mind a Oxfordské univerzity, výzkumníci vygenerovali datovou sadu PropaNews a převedli netriviální články z „důvěryhodných“ zdrojů, jako je např. The New York Times a Guardian do „pozměněných“ verzí obsahujících vytvořenou algoritmickou propagandu.

Experiment byl modelován podle a 2013 studie z Hannoveru, která automaticky vygenerovala souhrny zpráv na časové ose ze 17 zpravodajských událostí a celkem 4,535 XNUMX zpráv.

Vygenerované dezinformace byly předloženy 400 unikátním pracovníkům Amazon Mechanical Turk (AMT), zahrnujícím 2000 úkolů lidské inteligence (HIT). Pouze články nabité propagandou přesný ze strany pracovníků byly zahrnuty do finální verze PropaNews. Rozhodování o neshodách bylo hodnoceno pracovní dohodou s agregací (WAWA) metoda.

Finální verze PropaNews obsahuje 2,256 30 článků, vyvážených mezi falešnými a skutečnými výstupy, z nichž XNUMX % využívá pákový efekt odvolání k úřadus využitím dalších 30 %. načtený jazyk. Zbytek jednoduše obsahuje nepřesné informace typu, který z velké části zaplňoval dřívější soubory dat v této oblasti výzkumu.

Data byla rozdělena v poměru 1,256 500:500:XNUMX mezi distribuce školení, testování a ověřování.

Dataset HumanNews

K vyhodnocení účinnosti trénovaných postupů odhalování propagandy sestavili výzkumníci 200 lidmi napsaných zpravodajských článků, včetně článků odhalených Politifactem a publikovaných v letech 2015-2020.

Tato data byla rozšířena o další odhalené články z nedůvěryhodných zpravodajských médií a součet faktů zkontroloval jeden hlavní postgraduální student informatiky.

Finální datový soubor s názvem HumanNews také obsahuje 100 článků z webu Los Angeles Times.

Zkoušky

Proces detekce byl postaven proti předchozím rámcům ve dvou formách: PN-Stříbrná, který nebere v úvahu validaci anotátorů AMT, a PN-Zlato, která zahrnuje validaci jako kritérium.

Konkurenční frameworky zahrnovaly nabídku 2019 Grover-GEN, rok 2020 Fakt-GEN, a FakeEvent, kde jsou předměty z PN-Silver nahrazeny dokumenty vytvořenými těmito staršími metodami.

Varianty Grover a RoBERTa se ukázaly jako nejúčinnější, když byly vyškoleny na novém datovém souboru PropaNews, přičemž výzkumníci došli k závěru, že „Detektory vyškolené na PROPANEWS fungují lépe při identifikaci dezinformací psaných lidmi ve srovnání s výcvikem na jiných souborech dat“.

Výzkumníci také pozorují, že i napůl zmrzačená ablační datová sada PN-Silver překonává starší metody na jiných datových sadách.

Zastaralý?

Autoři znovu zdůrazňují nedostatek dosavadního výzkumu týkajícího se automatického generování a identifikace falešných zpráv zaměřených na propagandu a varují, že používání modelů trénovaných na datech před kritickými událostmi (jako je COVID nebo pravděpodobně současná situace na východě země). Evropa) nelze očekávat optimální výkon:

„Přibližně 48 % chybně klasifikovaných dezinformací napsaných lidmi je způsobeno neschopností získat dynamické znalosti z nových zpravodajských zdrojů. Například články týkající se COVID jsou obvykle publikovány po roce 2020, zatímco ROBERTA byla předem proškolena na zpravodajské články vydané před rokem 2019. Pro ROBERTU je velmi náročné odhalit dezinformace takových témat, pokud detektor není vybaven schopnostmi získávat dynamické znalosti ze zpravodajských článků.“

Autoři dále poznamenávají, že RoBERTa dosahuje 69.0% přesnosti pro detekci falešných zpravodajských článků, kde byl materiál publikován před rokem 2019, ale klesá na 51.9% přesnost, když je aplikován na zpravodajské články publikované po tomto datu.

Paletování a kontext

Ačkoli se tím studie přímo nezabývá, je možné, že tento druh hlubokého ponoru do sémantického afektu by nakonec mohl řešit jemnější zbraňování jazyka, jako např. falšování – samoúčelné a selektivní používání pravdivých prohlášení za účelem dosažení požadovaného výsledku, který může být v rozporu s vnímaným duchem a záměrem použitých podpůrných důkazů.

Související a mírně rozvinutější směr výzkumu v oblasti NLP, počítačového vidění a multimodálního výzkumu je studium kontextu jako doplněk významu, kde se selektivní a samoúčelné přeskupování nebo re-kontextualizace pravdivých faktů stává ekvivalentem pokusu prokázat jinou reakci, než by fakta mohla běžně působit, pokud by byla prezentována jasnějším a lineárnějším způsobem.

* Můj převod inline citací autorů na přímé hypertextové odkazy.

Poprvé publikováno 11. března 2022.