Andersonの視点
マシンラーニングを用いたプロパガンダの生成と識別
Unite.AI を Google の優先ソースに追加
米国とカタールからの新しい研究では、人間が実際に書くように、不正確なステートメントを大部分真実のコンテキストに埋め込み、権威への訴えやロードされた言語などの人気のあるプロパガンダ技術を使用して、偽ニュースを識別するための新しい方法を提供しています。
このプロジェクトは、PropaNewsという新しい偽ニュース検出トレーニングデータセットの作成につながりました。このデータセットには、これらの技術が含まれています。研究の著者は、PropaNewsでトレーニングされた検出器は、従来の最先端アプローチよりも、人間によって書かれたディスインフォメーションを7.3〜12%正確に検出できることを発見しました。
新しい論文から、権威への訴えとロードされた言語の例。 ソース：https://arxiv.org/pdf/2203.05386.pdf
著者は、このプロジェクトは、プロパガンダ技術（単純な事実の不正確さではなく）を機械生成テキストの例に組み込んだ最初のものであると主張しています。
最近の研究の大部分は、偏見を研究していたか、プロパガンダのデータを偏見の文脈で再構成していたと主張しています（アナリティカの後、偏見は機械学習の分野で資金提供されたためであると考えられます）。
著者は次のように述べています：
‘一方、私たちの研究は、プロパガンダ技術を組み込んで、正しい情報のほとんどを保存することで、偽ニュースを生成しています。したがって、私たちのアプローチは、人間によって書かれた偽ニュースに対する防御を研究するのにより適しています。’
さらに、より洗練されたプロパガンダ検出技術の必要性を強調しています：
‘[人間によって書かれた] ディスインフォメーションは、しばしば特定の集団を操作するために使用され、2016年の米国大統領選挙、ブレグジット、COVID-19のパンデミック、ウクライナへのロシアの攻撃などの出来事に壊滅的な影響を与えました。したがって、人間によって書かれたディスインフォメーションに対する防御メカニズムが必要です。’
論文は、Faking Fake News for Real Fake News Detection：Propaganda-loaded Training Data Generationと題され、イリノイ大学アーバナ・シャンペーン校、コロンビア大学、ハマド・ビン・ハリーファ大学（カタール）、ワシントン大学、Allen Institute for AIの5人の研究者によって執筆されました。
真実の定義
プロパガンダを定量化する課題は、主にロジスティック上の課題です。プロパガンダのような特徴を持つ現実世界の資料を人間が認識してトレーニングデータセットに含めるのは非常に高価であり、将来のデータで機能する可能性のある高レベルの機能を抽出して利用することは、潜在的にはるかに安価である可能性があります。
よりスケーラブルなソリューションを提供するために、研究者は最初に、Media Bias Fact Checkサイトから事実の正確性が低いと見なされるニュースソースからの人間によって作成されたディスインフォメーション記事を収集しました。
彼らは、調査対象の記事の33％が、感情を引き起こす用語、論理的誤り、権威への訴えなど、不誠実なプロパガンダ技術を使用していたことを発見しました。さらに、記事の55％には、不正確な情報と正確な情報が混在していました。
権威への訴えの生成
権威への訴えアプローチには、2つのユースケースがあります。1つは不正確なステートメントの引用、もう1つは完全に架空のステートメントの引用です。研究は後者のユースケースに焦点を当てています。
新しいプロジェクトから、権威への訴えとロードされた言語の例。
新しいデータセットのために機械生成プロパガンダを作成することを目的として、研究者は事前トレーニングされたseq2seqアーキテクチャBARTを使用して、後でプロパガンダに変更できる重要な文を識別しました。公開されているデータセットがないため、著者は2019年に提案された抽出要約モデルを使用して文の重要性を推定しました。
各ニュースアウトレットの1つの記事について、研究者はこれらの「マークされた」文を、ウィキデータ・クエリ・サービスと記事に記載されている権威（個人または組織）から派生した「権威」からの偽の議論に置き換えました。
ロードされた言語の生成
ロードされた言語には、事実を提示する文脈で含まれる内在的な価値判断を含む言葉、たとえば上記の例に示すように、センセーショナリズムの副詞や形容詞が含まれます。
ロードされた言語に関するデータを導出するために、著者は2019年の研究から2,547のロードされた言語のインスタンスを含むデータセットを使用しました。2019年のデータのすべての例が感情を引き起こす副詞や形容詞を含んでいないため、研究者はSpaCyを使用して依存解析と品詞タグ付けを実行し、フレームワークに含めるために適切な例のみを保持しました。
フィルタリングプロセスにより、1,017の有効なロードされた言語のサンプルが得られました。BARTの別のインスタンスを使用して、ソースドキュメントの重要な文をロードされた言語にマスクして置き換えました。
PropaNewsデータセット
2015年のGoogle Deep Mindとオックスフォード大学のCNN/DMデータセットで中間モデルトレーニングを実行した後、研究者はPropaNewsデータセットを生成し、信頼できるソースからの非自明な記事を「改訂」バージョンに変換し、アルゴリズムによるプロパガンダを含めました。
実験は、17のニュースイベントと4,535のストーリーをまたぐタイムラインの要約を自動生成する2013年のハノーバー研究に基づいていました。
生成されたディスインフォメーションは、Amazon Mechanical Turk（AMT）の400人のユニークなワーカーに提出され、2000のヒューマンインテリジェンスタスク（HITs）が実行されました。ワーカーによって「正確」と判断されたプロパガンダを含む記事のみが、PropaNewsの最終バージョンに含められました。ワーカーの間の意見の相違については、Worker Agreement With Aggregate（WAWA）方法で評価されました。
PropaNewsの最終バージョンには、2,256の記事が含まれており、偽と実の出力がバランス良く、30％が権威への訴えを使用し、さらに30％がロードされた言語を使用しています。残りの記事には、従来のデータセットで主に含まれているタイプの不正確な情報が含まれています。
データは、トレーニング、テスト、バリデーションの分布でそれぞれ1,256、500、500に分割されました。
HumanNewsデータセット
トレーニングされたプロパガンダ検出ルーチンの有効性を評価するために、研究者は2015年から2020年の間に公開された、 Politifactによってデブンクされた200の人間によって書かれたニュース記事をコンパイルしました。
このデータは、信頼できないニュースメディアアウトレットからのデブンクされた記事で増強され、コンピューターサイエンスの大学院生によって事実確認されました。
最終的なデータセット、HumanNewsには、ロサンゼルスタイムズからの100の記事も含まれています。
テスト
検出プロセスは、2つの形式で従来のフレームワークと比較されました。1つはAMTアノテーターの検証を無視するPN-Silver、もう1つは検証を基準として含むPN-Goldです。
競合するフレームワークには、2019年のGrover-GEN、2020年のFact-GEN、およびFakeEventが含まれていました。ここでは、PN-Silverの記事がこれらの古い方法で生成されたドキュメントに置き換えられました。
GroverとRoBERTaのバリアントは、PropaNewsデータセットでトレーニングされたときに最も効果的であり、研究者は「PropaNewsでトレーニングされた検出器は、他のデータセットでトレーニングされた検出器よりも人間によって書かれたディスインフォメーションを識別するのに優れています」と結論付けています。
研究者はさらに、半分のPN-Silverデータセットは、他のデータセットでトレーニングされた古い方法よりも優れていると観察しています。
古くなっている？
著者は、自動生成および識別のためのプロパガンダ中心の偽ニュースに関する研究がこれまでに行われていないことを繰り返しています。また、COVIDや東ヨーロッパの現在の状況などの重要なイベントの前に収集されたデータでトレーニングされたモデルは、最適に機能することができないと警告しています。
‘約48％の人間によって書かれたディスインフォメーションの誤分類は、新しいニュースソースから動的知識を取得できないことによって引き起こされます。たとえば、COVID関連の記事は通常2020年以降に公開されるため、ROBERTAは2019年以前に公開されたニュース記事で事前トレーニングされたため、ROBERTAがこのようなトピックのディスインフォメーションを検出することは非常に困難です。’
著者はさらに、RoBERTaが2019年以前の記事では69.0％の精度で偽ニュース記事を検出できるものの、2019年以降の記事では51.9％の精度に低下することを指摘しています。
パルタリングとコンテキスト
この研究では直接対処されていませんが、このような意味の影響の深い分析は、将来、言語のより繊細な兵器化、たとえばパルタリングに対処することができます。パルタリングとは、欲しい結果を得るために、真実のステートメントを自己利益のために選択的に使用することです。
関連分野の研究であるNLP、コンピュータビジョン、多モーダル研究では、コンテキストを意味の付加として研究しています。ここでは、真実の事実の選択的な並べ替えや再コンテキスト化は、事実が通常提示される場合と異なる反応を引き起こすことを試みることと同等になります。
* 著者によるインライン引用の直接ハイパーリンクへの変換。
初めて2022年3月11日に公開されました。
