シンセティック・ディバイド
計算プロパガンダ：隠れた力が私たちの考え、投票、生活を再構成する
想像してみてください: あなたは目を覚まし、ソーシャルフィードを確認し、数百のアカウントによって繰り返される同じ扇動的なヘッドラインを見つけます。各投稿は怒りや警戒を引き起こすように作成されています。朝のコーヒーを淹れるまでに、物語は already ウィルス的に広がり、正当なニュースを上回り、インターネット全体で熱い議論を引き起こしています。このシーンは仮想的な未来ではありません。それは、計算プロパガンダの現実です。
これらのキャンペーンの影響は、もはやいくつかのフリンジなRedditフォーラムに限定されていません。2016年の米国大統領選挙の際、ロシア関連のトロールファームが、社会的亀裂を煽るように設計されたコンテンツでFacebookとTwitterを洪水させ、126万人以上のアメリカ人に到達したと報告されています。同年、英国でのブレグジット国民投票は、多くの自動化されたアカウントによって、世論を影響させるために極端な物語を流し続けることによって陰影が付きました。2017年、フランスの大統領選挙は、最後の瞬間のハッキングされた文書の流出によって揺さぶられました。これは、疑わしい調整されたソーシャルメディア活動によって拡大されました。そして、COVID-19が世界的に発生したとき、治療や予防に関するオンラインの誤情報は、時には命を救うガイダンスを圧倒するように広がりました。
これらの操作をどんなものが駆り立てているのでしょうか。古典的なスパムスクリプトやトロールファームが道を切り開いたように、現代の攻撃は、最先端のAIを利用しています。Transformerモデル（GPTのようなシステムが人間らしい投稿を生成する）から、ユーザーの反応に基づいて戦術を継続的に改良するリアルタイム適応まで、プロパガンダの世界は驚くほど洗練されました。私たちの生活がオンライン上でより多くの時間を費やすにつれて、これらの隠れた力と、それらがソーシャルネットワークを利用する方法を理解することは、より重要になってきました。
以下では、歴史的ルーツを探り、現在の誤情報キャンペーンを推進するテクノロジーを探求します。調整された努力がテクノロジーを利用して私たちの考え方を再構成する方法を認識することで、操作に対する抵抗と真正な公共の議論の回復のための最初のステップを踏み出すことができます。
計算プロパガンダの定義
計算プロパガンダとは、自動化システム、データ分析、およびAIを使用して、世論を操作したり、オンラインでの議論を大規模に影響させたりすることを指します。これには、特定の物語を広めるために、ボットネットワーク、偽のソーシャルメディアアカウント、アルゴリズムで調整されたメッセージなどの調整された努力が必要です。AI駆動のコンテンツ生成、ハイパーターゲット広告、リアルタイムのフィードバックループを利用することで、背後にある者は、極端な考えを拡大し、政治的感情を傾け、真正な公共の議論に対する信頼を損なうことができます。
歴史的背景：初期のボットネットワークから現代のトロールファームまで
1990年代後半から2000年代初頭にかけて、インターネットは、最初の波の自動化スクリプト、つまり「ボット」を目撃しました。これらは主に、スパムメールを送信したり、ビュー数を増やしたり、チャットルームで自動的に返信したりするために使用されました。時間の経過とともに、これらの比較的単純なスクリプトは、グループが公共の会話をフォーラム、コメント欄、初期のソーシャルメディアプラットフォームで形作ることができることを発見したため、より目的のある政治ツールに進化しました。
- 2000年代中期：政治ボットが登場
- 例: 2007年、調整されたボットの群れの報告が、MyspaceやFacebookなどの初期のソーシャルプラットフォームで表面化しました。これらは、特定の候補者を推進したり、対立候補を貶めたりするために使用されました。
- 中国の「50セント軍隊」は別の初期の例です。2004年から2005年頃、政府関連のコメント投稿者は、オンラインでの議論を国家が好む方向に導くために、投稿ごとに50セントの報酬を受け取っていました。
- 2000年代後半から2010年代初頭：トロールファームの出現
- 2009〜2010年: 世界中の政府関連グループがトロールファームを形成し始めました。そこでは、数多くの偽のソーシャルメディアアカウントを作成して管理するために、人々を雇用していました。彼らの仕事は、オンラインスレッドを分裂したり、誤解を招く投稿で溢れさせることでした。
- ロシアのトロールファーム: 2013〜2014年までに、サンクトペテルブルクのインターネット研究機関(IRA)は、国内および国際的な聴衆に向けてデマキャンペーンを構築することで有名になりました。
- 2016年：グローバル選挙への干渉の転換点
- 2016年の米国大統領選挙の際、トロールファームとボットネットワークが中心舞台に登場しました。後の調査により、数百の偽のFacebookページとTwitterアカウント、その多くがIRAに遡ることが判明し、超党派的な物語を推進していました。
- これらの戦術は、2016年のブレグジットでも現れ、自動化されたアカウントが「残留」キャンペーンと「離脱」キャンペーンの周りに極端なコンテンツを拡大しました。
- 2017〜2018年：著名な暴露と起訴
- 2017年、ボットネットワークが、候補者についての誤解を招く文書や中傷を広めることで、フランス大統領選挙を標的とした。
- 2018年、米国司法省は、2016年の選挙への干渉の疑いで13人のロシア人を起訴しました。これは、トロールファームに対する最も公開された法的措置の1つでした。
- 2019年以降：グローバル規制と継続的な成長
- TwitterとFacebookは、イラン、ロシア、ベネズエラなどの国々から調整された影響キャンペーンに関連する数千の偽アカウントを削除し始めました。
- より厳格な監視にもかかわらず、洗練されたオペレーターは、より高度なAIを活用して、より説得力のあるコンテンツを生成できるようになりました。
これらのマイルストーンは、現在の風景の舞台を整えました。ここでは、機械学習が、誤情報のライフサイクルを完全に自動化できるようになりました。単純なスパムボットの初期の実験は、政治戦略と最先端のAIを組み合わせた、広範なネットワークに進化しました。こうしたネットワークは、以前考えられなかったスピードと微妙さで、世界規模で世論を影響させることができます。
計算プロパガンダを推進する現代のAIツール
機械学習と自然言語処理の進歩により、誤情報キャンペーンは、単純なスパムボットを遥かに超えて進化しました。生成可能なAIモデルは、説得力のある人間らしいテキストを生成する能力を、オーケストレーターに与えました。以下では、今日の計算プロパガンダを形作る3つの重要なAI駆動アプローチを検討し、さらにこれらの戦術を強化する推奨エンジンの偏りについても説明します。
1. 自然言語生成（NLG）
GPTのような現代の言語モデルは、自動化されたコンテンツ作成を革命的に変えました。これらは、次のことができます。
- 大量のテキストを生成する: 長い記事から短いソーシャル投稿まで、これらのモデルは、最小限の人間の管理で24時間体制でコンテンツを生成できます。
- 人間の書き言葉を模倣する: ドメイン固有のデータ（例：政治演説、ニッチコミュニティのスラング）でファインチューニングすることで、AIは、ターゲットオーディエンスの文化的または政治的背景と共鳴するテキストを生成できます。
- メッセージを迅速に反復する: 誤情報を流布する者は、AIに同じテーマの数十、または数百のバリエーションを生成するように指示できます。どのフレーズやフレーミングが最もウイルス的に広がるかをテストします。
生成可能なAIの最も危険な利点の1つは、特定のオーディエンス、特定のタイプのペルソナを模倣する能力にあります。これらの結果には、次のものが含まれます。
- 政治スピン: AIは、無党派運動によって支持されているように見せるために、党派的なキャッチフレーズやスローガンをシームレスに挿入できます。
- カジュアルまたは口語的な声: 同じツールは「友好的な隣人」のペルソナに切り替えることができ、静かに、コミュニティフォーラムに噂や陰謀説を導入します。
- 専門家の権威: 学術的な口調を使用することで、AI駆動のアカウントは、専門家（医者、学者、分析家）を装い、誤った主張に偽の信憑性を与えることができます。
Transformerモデルとスタイルの模倣を組み合わせることで、オーケストレーターは、多様で真正なように見えるコンテンツを大量に生産できます。これにより、真正な声と作られたプロパガンダの間の線が曖昧になります。
2. 自動投稿とスケジューリング
基本的なボットが同じメッセージを繰り返し投稿するのに対し、強化学習は、ボットに知能を追加します。
- アルゴリズム的適応: ボットは、さまざまな投稿時間、ハッシュタグ、コンテンツの長さを継続的にテストして、どの戦略が最も高いエンゲージメントをもたらすかを確認します。
- ステルス戦術: プラットフォームのガイドラインとユーザーの反応を監視することで、これらのボットは、明らかな危険信号（過度の繰り返しやスパム的なリンクなど）を避けることを学び、モデレーションのレーダーから逃れるのを助けます。
- ターゲットへの拡大: 特定のサブグループで物語が勢いを得ると、ボットは複数のコミュニティにそれを複製し、極端な考えをトレンドトピックに膨らませる可能性があります。
強化学習とともに、オーケストレーターは投稿をスケジュールして、一定の存在感を維持します。
- 24/7コンテンツサイクル: 自動化されたスクリプトにより、誤情報が異なるタイムゾーンでのピーク時間中に表示されることを保証します。
- 事前メッセージ: ボットは、検証された事実が表面化する前に、特定の観点の最初の公共の反応を形作るために、プラットフォームを特定の観点で溢れさせることができます。
自動投稿とスケジューリングを通じて、悪意のあるオペレーターは、コンテンツのリーチ、タイミング、適応性を最大化します。これらは、極端な物語や誤った物語を高プロファイルの会話に変えるための重要なレバーです。
3. リアルタイム適応
生成可能なAIと自動ボットシステムは、戦術を改良するために、継続的なデータに依存しています。
- 瞬間的な反応分析: いいね、シェア、コメント、センチメントデータは、AIモデルにフィードバックして、どのアプローチが最も共鳴するかを案内します。
- 即時の改訂: パフォーマンスが低いコンテンツはすぐに修正され、メッセージング、トーン、またはイメージが、必要なトラクションを得るまで調整されます。
- 適応的な物語: 物語が関連性を失ったり、強い反発に直面したりした場合、AIは新しい話題に切り替え、注目を維持しながら検出を避けます。
このフィードバックループは、自動コンテンツ生成とリアルタイムエンゲージメントデータの間で、強力で自己改良し自己持続可能なプロパガンダシステムを作成します。
- AIがコンテンツを生成します: 学習したパターンを使用して、最初の誤情報投稿のドラフトを作成します。
- プラットフォームとユーザーが反応します: エンゲージメントメトリクス（いいね、シェア、コメント）がオーケストレーターにストリーミングされます。
- AIが戦略を改良します: 最も成功したメッセージは繰り返されまたは拡大され、効果の低い試みは削除または再構成されます。
時間の経過とともに、システムは、特定のオーディエンスセグメントを釣り込み、偽の物語をより多くの人々に、より速く広めることができるようになります。
この隠れた影響を推進する中心的特性
最先端のAIが関与していても、特定の根本的な特性が計算プロパガンダの成功に中央的な役割を果たしています。
- 24時間体制の活動
AI駆動のアカウントは、特定の物語の持続的な可視性を確保するために、休むことなく運営されます。これらの投稿の継続的なサイクルは、常にユーザーの前に誤情報を表示します。 - 大量のリーチ
生成可能なAIは、数十、または数百のアカウントを横断する無尽のコンテンツを生成できます。この飽和は、誤った見解の偽のコンセンサスを生み出し、真正なユーザーを服従または誤った見解を受け入れるように圧力をかけることができます。 - 感情的トリガーと巧妙なフレーミング
Transformerモデルは、コミュニティのホットボタンの問題を分析し、感情的に充電されたフックを構築できます。怒り、恐怖、または興奮。这些トリガーは、批判的思考を迂回し、即時の反応を促します。
なぜこれが重要か
自然言語生成、強化学習、リアルタイム分析の進歩を活用することで、今日のオーケストレーターは、数年前では考えられなかった大規模な誤情報キャンペーンをスピンアップできます。世論を操作する上で生成可能なAIが果たす特定の役割を理解することは、これらの隠れた作戦を認識し、防御するための重要なステップです。
画面の向こう側
これらの調整された努力の影響は、オンラインプラットフォームに留まりません。時間の経過とともに、これらの操作は、核心的な価値観や決定を影響します。例えば、重要な公共の健康の瞬間には、噂や半分の真実が検証されたガイドラインを上回り、リスクのある行動を奨励する可能性があります。政治的状況では、候補者や政策に関する歪曲された物語が、バランスの取れた議論を圧倒し、全体の利益ではなく、隠れた利益に役する結果に向けて全体の人口を促す可能性があります。
隣人のグループは、共通の目標を共有しているように見えますが、地元の問題に対する彼らの理解は、慎重に植え付けられた神話によって左右されることがあります。参加者はこれらの空間を友好的で馴染みのあるものと見なしているため、誰もが不自然なパターンを疑うことはありません。誰かが疑問を抱くまでに、誤った印象に基づいた信念が固まっている可能性があります。
これの最も明らかな成功した使用例は、政治選挙の操作です。
調整された操作の警告サイン
- 一様なメッセージの急激な増加
- 同一またはほぼ同一の投稿: 同じフレーズやハッシュタグを繰り返す投稿の洪水は、自動化されたスクリプトまたは調整されたグループが単一の物語を推進していることを示唆します。
- 活動の急増: 怪しいタイミングの急増、特に非ピーク時間帯は、ボットが同時に複数のアカウントを管理していることを示唆します。
- 信頼できる情報源のない繰り返される主張
- 引用やリンクのない: 数多くのユーザーが信頼できる媒体への参照なしに主張を共有する場合、それは、誤情報をチェックされずに流布する戦術である可能性があります。
- 疑わしい情報源: 参照されるニュースや記事が、しばしば類似した名前を持つ疑わしい情報源にリンクしている場合、聴衆が正当なニュースブランドと区別できないことを利用することになります。例として、「abcnews.com.co」というサイトは、類似したロゴやレイアウトで、ABC Newsの正当なブロードキャスターと見分けがつかないように装ったことがありますが、実際には関連はありませんでした。
- 循環参照: 一部の投稿は、同じネットワーク内の他の疑わしいサイトにのみリンクし、誤りの「エコーチェンバー」を生み出します。
- 感情的フックとアラーム主義的な言語
- ショック値コンテンツ: 怒り、警告、またはセンセーショナルの画像は、批判的思考を迂回し、即時の反応を引き起こすために使用されます。
- 私たち対彼ら物語: 特定のグループを敵または脅威として描写する投稿は、思慮深い議論ではなく、コミュニティを分極化し、過激化させることを目的としています。
これらの合図（一様なメッセージの急増、繰り返しで支持されていない主張、感情を煽るコンテンツ）を認識することで、個人は、真正な議論と調整されたプロパガンダをよりよく区別できます。
なぜ虚構が簡単に広がるのか
人間の本性は、魅力的な物語に引き寄せられます。思慮深いバランスの取れた説明とセンセーショナルの物語の選択肢が与えられた場合、多くの人は後者を選択します。この本能は理解できますが、操作のための余地を生み出します。ドラマチックなコンテンツを提供することで、オーケストレーターは、迅速な循環と繰り返しの露出を保証します。最終的に、検証よりも習慣が優先され、最も薄い物語でも本当のようです。
これらの物語がフィードを支配するにつれて、信頼できる情報源に対する信頼が損なわれます。証拠と論理によって推進される議論ではなく、交換は、極端な議論の激しい対立に崩れ去ります。こうした断片化は、コミュニティが集団的に推論したり、共通の問題に対処したりする能力を損ないます。
高賭け：計算プロパガンダの最大の危険
計算プロパガンダは、単なるオンラインの厄介事ではありません。それは、社会全体と意思決定プロセスを再構成する能力を持つ、体系的な脅威です。これらは計算プロパガンダがもたらす最も重要なリスクです。
- 選挙の操作と民主主義の弱体化
ボットとAI生成のペルソナの軍勢がソーシャルメディアを洪水させると、世論が歪められ、超党派主義が燃え上がります。極端な問題を拡大し、真正な議論を圧倒することで、選挙の結果を変えるか、有権者を投票から遠ざけることができます。極端な場合、市民は選挙結果の合法性に疑問を持ち、民主主義機関の基盤である信頼を損ないます。 - 社会的結束の不安定化
極端なコンテンツを生成する高度なAIモデルは、感情的および文化的な断片を利用します。隣人や友人が分裂した物語だけを見ている場合、コミュニティは、作られた断片に沿って分裂します。この「分割して支配する」戦術は、有意義な対話からエネルギーを奪い、共通の問題についての合意を達成することを困難にします。 - 信頼できる情報源への信頼の侵食
合成の声が真正の人間を装うにつれて、信頼できるレポートとプロパガンダの間の線は曖昧になります。人々はすべての情報に懐疑的になり、真正な専門家、ファクトチェッカー、信頼を頼りに機能する公共機関の影響力を弱めます。 - 政策と世論の操作
選挙を超えて、計算プロパガンダは、特定の政策を推進または抑制し、経済的感情を形作ることができます。さらに、公衆衛生対策についての世論を煽ることができます。政治的議題は、隠れた影響者との間で行われる力関係によって混乱し、真正な政策の議論は、隠れた影響者の間での力関係に取って代わられます。 - 世界的危機の悪化
危機のとき（パンデミック、地政学的対立、または金融的混乱）、迅速に展開されるAI駆動のキャンペーンは、恐怖を活用できます。陰謀や誤った解決策を広めることで、調整された対応を妨げ、危機の人的および経済的コストを増大させます。これらは、誤解を招く一般大衆によって選出された政治家をもたらすことが多いのです。
行動の呼びかけ
計算プロパガンダの危険は、メディアリテラシー、批判的思考、そしてAIが世論をどのように影響させるかについてのより明確な理解に対する取り組みを呼びかけています。公衆が十分に情報を得て、事実に根ざしていることを保証することでのみ、我々が最も重要な決定（リーダーを選ぶなど）を、真正に我々自身のものにすることができます。
