人工知能
マシンラーニングを用いたプロパガンダの生成と識別
アメリカとカタールからの新しい研究は、人間が実際に偽ニュースを書くように、不正確な文を大部分真実の文脈に埋め込み、権威への訴えやロードされた言語などの人気プロパガンダ技術を使用することで、偽ニュースを識別するための新しい方法を提供しています。
このプロジェクトは、PropaNewsという新しい偽ニュース検出トレーニングデータセットの作成につながりました。このデータセットには、これらの技術が含まれています。研究の著者は、新しいデータセットでトレーニングされた検出器は、従来の最先端アプローチよりも人間が書いたディスインフォメーションを7.3〜12%正確に検出できることを発見しました。
新しい論文から、権威への訴えとロードされた言語の例。 ソース: https://arxiv.org/pdf/2203.05386.pdf
著者は、自分の知識の範囲内で、このプロジェクトは、プロパガンダ技術（単純な事実の不正確さではなく）を機械生成テキストの例に組み込んだ最初のものであると主張しています。
この分野の最近の研究のほとんどは、偏見を研究したか、または偏見の文脈で「プロパガンダ」データを再構成したと彼らは主張しています（おそらく、ポスト・アナリティカ時代に偏見がかなり資金提供されたマシンラーニングの分野になったため）。
著者は次のように述べています：
‘対照的に、私たちの研究は、プロパガンダ技術を組み込んで、正しい情報のほとんどを保存することで、偽ニュースを生成します。したがって、私たちのアプローチは、人間が書いた偽ニュースに対する防御を研究するのにより適しています。’
彼らは、より洗練されたプロパガンダ検出技術の必要性をさらに説明しています：
‘[人間が書いた] ディスインフォメーションは、しばしば特定の集団を操作するために使用され、2016 年の米国大統領選挙、ブレグジット、COVID-19 パンデミック、ウクライナへのロシアの攻撃などの複数のイベントに壊滅的な影響を与えました。したがって、人間が書いたディスインフォメーションに対する防御メカニズムが必要です。’
論文は Faking Fake News for Real Fake News Detection: Propaganda-loaded Training Data Generation というタイトルで、イリノイ大学アーバナ・シャンペーン校、コロンビア大学、カタールのハマド・ビン・ハリーファ大学、ワシントン大学、AI研究所の5人の研究者によって書かれました。
偽の定義
プロパガンダを定量化するという課題は、主にロジスティック上のものです。プロパガンダのような特徴を持つ現実世界の素材を認識して、トレーニング データセットに含めるために人間を雇うことは非常に高価で、将来の「見えない」データで機能する可能性のある高レベルの特徴を抽出して利用することは、はるかに安価である可能性があります。
よりスケーラブルなソリューションを提供するために、研究者は最初に、Media Bias Fact Checkサイトを介して、事実の正確性が低いと見なされるニュース ソースから人間が作成したディスインフォメーション記事を収集しました。
彼らは、調査対象の記事の 33% が、感情を誘発する用語、論理的誤謬、権威への訴えなど、不誠実なプロパガンダ技術を使用していることを発見しました。さらに、記事の 55% に、正確な情報と不正確な情報が含まれています。
権威への訴えの生成
権威への訴えアプローチには、不正確な文の引用と、完全に架空の文の引用の 2 つのユースケースがあります。研究は後者のユースケースに焦点を当てています。
新しいプロジェクトから、権威への訴えとロードされた言語のさらに 2 つの例。
機械生成プロパガンダを新しいデータセットに作成する目的で、研究者は事前トレーニング済みの seq2seq アーキテクチャ BART を使用して、後でプロパガンダに変更できる重要な文を識別しました。 このタスクに関連する公開データセットがないため、著者は 2019 年に提案された抽出要約モデルを使用して文の重要性を推定しました。
研究対象のニュース アウトレットの各記事について、研究者はこれらの「マークされた」文を、ウィキデータ クエリ サービスと記事に記載されている権威（人または組織）から派生した「権威」からの偽の議論に置き換えました。
ロードされた言語の生成
ロードされた言語には、事実を伝える際に含まれる暗黙の価値判断を含む、感覚を誘発する副詞や形容詞（上記の例のようにはっきりとした）が含まれます。
ロードされた言語に関するデータを導出するために、著者は 2019 年の研究から 2,547 のロードされた言語のインスタンスを含むデータセットを使用しました。 2019 年のデータのすべての例が感情を誘発する副詞や形容詞を含んでいないため、研究者は SpaCy を使用して依存解析と PoS タグ付けを実行し、フレームワークに含めるために適切な例のみを保持しました。
フィルタリング プロセスにより、1,017 個の有効なロードされた言語のサンプルが得られました。ソース ドキュメントの重要な文をロードされた言語でマスクして置き換えるために、BART の別のインスタンスが使用されました。
PropaNews データセット
2015 年の Google Deep Mind とオックスフォード大学の CNN/DM データセットで中間モデルトレーニングを行った後、研究者は PropaNews データセットを生成し、「信頼できる」ソース such as ニューヨークタイムズ および ガーディアン の記事を、アルゴリズムによるプロパガンダを含む「修正済み」バージョンに変換しました。
実験は、17 のニュース イベントと 4,535 のストーリーをまたぐタイムラインのサマリーを自動生成する 2013 年のハノーバー研究に基づいていました。
生成されたディスインフォメーションは、400 人のユニークなワーカーに Amazon Mechanical Turk (AMT) で提出され、2000 のヒューマン インテリジェンス タスク (HIT) を実行しました。ワーカーによって「正確」と見なされたプロパガンダを含む記事のみが、PropaNews の最終バージョンに含まれました。異議の判定は、Worker Agreement With Aggregate (WAWA) 方法でスコア付けされました。
PropaNews の最終バージョンには、2,256 個の記事が含まれており、偽と実の出力がバランス良く、30% が 権威への訴え を使用し、さらに 30% が ロードされた言語 を使用しています。残りは、主にこの研究分野の以前のデータセットを占める不正確な情報を含みます。
データは、トレーニング、テスト、検証の分布にわたって 1,256:500:500 に分割されました。
HumanNews データセット
トレーニングされたプロパガンダ検出ルーチンの有効性を評価するために、研究者は 2015 年から 2020 年の間に公開された、Politifact によってデブンクされた記事を含む 200 個の人間が書いたニュース記事をコンパイルしました。
このデータは、デブンクされた記事を追加し、コンピューターサイエンスの大学院生によって事実を確認しました。
最終的なデータセットである HumanNews には、ロサンゼルスタイムズ の 100 個の記事も含まれています。
テスト
検出プロセスは、2 つの形式で以前のフレームワークと比較されました: PN-Silver は AMT アノテーターの検証を無視し、PN-Gold は基準として検証を含めます。
競合するフレームワークには、2019 年の Grover-GEN、2020 年の Fact-GEN、および FakeEvent が含まれていました。ここで、PN-Silver の記事は、これらの古い方法で生成されたドキュメントに置き換えられました。
Grover と RoBERTa のバリエーションは、新しい PropaNews データセットでトレーニングされたときに最も効果的であることが証明され、研究者は「PropaNews でトレーニングされた検出器は、他のデータセットでトレーニングされた検出器よりも人間が書いたディスインフォメーションを識別するのに優れています」と結論付けました。
研究者はまた、半分だけの ablation データセットである PN-Silver が、他のデータセットで古い方法を上回っていることも観察しています。
古い?
著者は、プロパガンダ中心の偽ニュースの自動生成と識別に関する研究がこれまでに行われていないことを繰り返し、重要なイベント（COVID や現在の東ヨーロッパの状況など）前に発行されたデータでトレーニングされたモデルは、最適に動作することは期待できないと警告しています：
‘約 48% の人間が書いたディスインフォメーションの誤分類は、新しいニュース ソースから動的な知識を取得できないことによるものです。たとえば、COVID 関連の記事は通常 2020 年以降に公開されますが、ROBERTA は 2019 年以前のニュース記事で事前トレーニングされています。ROBERTA がそのようなトピックのディスインフォメーションを検出することは非常に困難です。検出器がニュース記事から動的な知識を取得する機能を備えていない限りです。’
著者はさらに、RoBERTa が 2019 年以前の記事で 69.0% の精度で偽ニュース記事を検出できるものの、2019 年以降の記事では 51.9% の精度に低下することも指摘しています。
パルタリングとコンテキスト
この研究は直接対処していないかもしれませんが、この種の意味の影響の深い分析は、将来、言語のより繊細な武装化、たとえば パルタリング を扱うことができます。パルタリングとは、真実の声明を自己利益のために使用して、支持する証拠の精神と意図に反する望ましい結果を得ることです。
NLP、コンピュータビジョン、そしてマルチモーダル研究における関連分野の研究は、コンテキストの研究です。ここで、真実の事実の選択的な並べ替えや再コンテキスト化は、事実が通常提示された場合に生じるのとは異なる反応を引き起こすための試みと同等になります。
* 著者のインライン引用を直接のハイパーリンクに変換しました。
初めて 2022 年 3 月 11 日に公開されました。
