AIは「ピンクスライム」ニュースを特定するのに役立つ

世論を操作することを目的とした意見メーカーは、AIを使用してよりオリジナルで理にかなったもののように聞こえるようにすることで、より見つけにくくなる可能性があります。したがって、「ピンクスライム検出」ゲームで先んじるために競争が行われています。

過去20年間で、伝統的な地元メディアの資金提供が減少し、最近では米国政府の政策により、地域報道の空白が生じ、空白が生じました。この空白は、党派的な組織によって急いで埋められました。これらの組織は、AIを使用してその目的を推進しています。

「党派的な」という用語を文脈化するために（ある種の政治的傾向を持たないニュース組織は存在しないことを考えると）、私たちは、石油会社が地元のニュースサイトを運営していることを指しています。遠隔地から地元のリソースなしで運営していますが、会社の公共の評判を守るという任務があります。選挙の前に準備する、収益ストリームのない政治的に動機付けられたニュースサイト。また、同様に、共和党支持のニュースサイトのネットワークが、投票の時期に近づくにつれて現れます。

2024年には、AI駆動のピンクスライムニュースが最終的に本物のニュース媒体を上回ったと推定されました。当時、オーストラリアの調査では、41%の消費者がピンクスライムソースを「本物の」ソースよりも好んだことがわかりました。

この種の隠れた選挙運動は、議会制民主主義への存続的脅威であると主張することができます（政治的に動機付けられた媒体については）および、報道の公平性の合理的な基準に対する公衆の信頼についてです。

したがって、ピンクスライムパブリッシャーとブロードキャスターの特徴的な出力を、より伝統的なメディア組織から区別する方法は、少なくとも現在の情報環境におけるプレーヤーと推進力について理解する上で非常に役立つことになります。

現状、真のニュース組織のトロイカとテンプレートは非常に簡単に模倣でき、AIにより、大規模なパブリッッシングが現在および費用対効果の高い現実になります。多くの同じトリックが採用されています。予算に苦労している「旧来の」パブリッシャーとブロードキャスターによって。

信号とノイズ

米国の新しい研究は、この問題に対処するために、ピンクスライムウェブサイトをより独自的で見つけにくくするために、LLMを使用することが増えてきたという問題を調査し、進化するピンクスライム（PS）の変化に追随するように設計された学習フレームワークを作成しました。

「ピンクスライムジャーナリズムを暴露する：言語的特徴とLLM生成の脅威に対するロバスト検出」と題された新しい研究は、テキサス大学の5人の研究者によって行われました。

新しい研究では、大量生産されたPSローカルニュース記事が、正当な報道からどのように異なるかを調査し、短い繰り返しの構造とテンプレート化されたフレーズへの依存、変化の最小化に焦点を当てています。また、著者は、PS記事は、公共の意見を操作するために設計された同じテンプレートを再利用することが多いと指摘しています。感情への訴えがコンテンツの上位にあります。

新しい論文から – 複数のアウトレットが、場所の詳細のみを変更してほぼ同じ記事を公開していることがわかり、正当なローカルニュースを模倣するために使用されるコピーとペースト戦略を明らかにしています。 ソース

伝統的な検出モデルは、これらの特性で訓練され、こうしたコンテンツに対してはうまく機能しますが、AIチャットボットを使用してより自然で洗練されたもののように書き直された記事に対しては機能しません。

著者のテスト結果は、LLMによって導入されるわずかなスタイルの変更が、検出精度を最大40%低下させることができることを示しています。対策として、著者は、検出モデルを、元の記事とAIによる書き直し記事の両方で逐次的に再訓練する、継続的な学習フレームワークを提案しています。そうすることで、変化する言語パターンに適応できます。

方法

プロジェクトのデータを確立するために、著者は、ピンクスライムデータセットを使用しました。これには、2021年から2023年にかけて、1,093のアウトレットをカバーする7,900万件の記事が含まれています。フィルタリングの後、9,472件のピンクスライム記事が得られました。また、LIARデータセットも使用しました。これには、注釈付きのフェイクニュースが含まれています。また、NELA-GT-2021コレクションも使用しました。これには、米国の記事のみが含まれています*。

訓練セットとテストセットを準備するために、著者は、t-SNEアルゴリズムを使用して、記事の埋め込みを2次元に減らしました。次に、DBSCANアルゴリズムを適用して、類似したピンクスライム記事のクラスターを分離しました。

各クラスターは、同じテンプレートに従っているものの、重複をできるだけ除外するように、関連する物語のグループとして扱われました。

クラスター全体をランダムに選択し、80%を訓練に、20%をテストに使用しました。正当なニュース記事は明確なクラスターを形成しなかったため、代わりにランダムスプリットを適用しました。

このプロセスは、3回繰り返されました。こうすることで、一貫性が確保され、サンプリングバイアスが軽減されました。

ピンクスライムの特性

ピンクスライムと通常のニュースの区別する特徴についてコメントするに当たり、研究者は、ピンクスライムスタイルのローカルニュース記事は、正当な報道よりもはるかに短く、シンプルであると主張しています。平均して、記事あたり9文未満です。

シンプルな文の割合が高く、形容詞への依存度が高いことが、ピンクスライムの特徴であると論文では述べられています。これは、繰り返しの使用や感情に訴えかける言葉への傾向を示しています。

レキシカルリッチネスは、RTTRを使用して測定され、PS記事では著しく低かったことがわかりました。また、ユニークな名詞句も大幅に少なかったです。

これらのパターンは、語彙の制限と形式的なスタイルを示しています。一方、正当なローカルニュースは、補助動詞、代名詞、接続詞を中心とした複雑な品詞パターンによって特徴づけられます。代わりに、ピンクスライム記事は、基本的な名詞・前置詞構造を好み、句読点ベースのトリグラムを頻繁に使用します。つまり、より非公式で断片的なスタイルを示しています。

テスト

著者は、さまざまなタイプのニュース記事を、言語的および構造的な特徴に基づいて、関連付けることを目的とした2つのアプローチを評価しました。1つは、手作業で作成された言語的特徴に基づく分類です。もう1つは、トランスフォーマーベースのファインチューニングです。

手作業アプローチでは、意味的な特性ではなく、構造的な特性が強調され、文の数、レキシカルリッチネス、句構造の深さ、品詞の共起確率、依存タグの共起確率、読みやすさ、品詞の数が使用されました。

3つのモデルがこの特性セットでテストされました。XGBoost、ランダムフォレスト、およびサポートベクターマシン（SVM）です。ランダムフォレストは、全体的にわずかに強い結果を示しました。

XGBoostとランダムフォレストは、文の数やユニークな名詞句の数などの特性に高い予測重要性を割り当てました。読みやすさとレキシカルリッチネスの尺度も、分類に強く影響しましたが、モデルはこれらの特性を異なる方法で重み付けしました。XGBoostはFleschとRTTRを好み、ランダムフォレストはCTTRを重視しました。

SHAP（SHapley Additive exPlanations）に基づく特性重要度スコアは、入力特性がモデル出力にどのように影響するかを強調しています。この場合、SHAP値は、XGBoostとランダムフォレストの両方が、ピンクスライムと本物のニュースを区別するために、文の数とユニークな名詞句に最も依存していることを示しています。一方、レキシカルリッチネスと読みやすさの尺度にさまざまな重みを付けています。

前述の特性比較（上記）と同様に、ピンクスライム記事は、詳細よりもセンセーショナリズムを好み、レキシカルリッチネスが低く、ユニークな名詞句が少ないことがわかります。これは、こうしたコンテンツが非常にテンプレート化され、繰り返し使用されていることを示しています。

品詞トリグラムパターンは、正当なローカルニュースが、補助動詞、代名詞、接続詞を含むより構造的に複雑な形式を使用することを示しています。一方、ピンクスライムは断片化されたり最小限の構文を好み、句読点ベースのトリグラムを頻繁に使用します。これらのパターンは、合成ローカルコンテンツと本物のジャーナリズムを区別するための信頼性の高い基礎を示唆しています。

2回目のテストでは、記事の全文にファインチューニングされたトランスフォーマーモデルを使用して、意味的コンテンツと構造的構造の両方を捉えました。

BERT、XLNet、およびFlan-T5がテストされ、BERTは89.31%のF1スコアで最高の結果を達成しました。ただし、論文では、パフォーマンスの違いは統計的に有意ではなかったと述べられています。手作業で作成された分類器とは異なり、これらのモデルは、タスク固有の表現を直接データから学習するために、すべての重みを訓練中に更新します。

埋め込みベースの方法では、完全に接続されたダウンストリーム分類器が、手作業で作成されたモデルよりも優れておりましたが、完全なファインチューニングの精度には及ばなかったです。

これらのアプローチは、より広い言語的コンテキストから利益を得ました。これは、ピンクスライム記事が頻繁にコンテンツをリサイクルするため、有益です。手作業で作成された特性は、表面レベルの構文のみに依存しているため、ソース間で一般化する能力が制限されます。

ピンクスライムの検出

研究者は、ピンクスライム記事を検出する2つの主要なアプローチを評価しました。1つは、手作業で作成された言語的特徴に基づく分類です。もう1つは、トランスフォーマーベースのファインチューニングです。

手作業で作成されたアプローチでは、意味的な特性ではなく、構造的な特性が強調され、文の数、レキシカルリッチネス、句構造の深さ、品詞の共起確率、依存タグの共起確率、読みやすさ、品詞の数が使用されました。

3つのモデルがこの特性セットでテストされました。XGBoost、ランダムフォレスト、およびサポートベクターマシン（SVM）です。ランダムフォレストは、全体的にわずかに強い結果を示しました。

XGBoostとランダムフォレストは、文の数やユニークな名詞句の数などの特性に高い予測重要性を割り当てました。読みやすさとレキシカルリッチネスの尺度も、分類に強く影響しましたが、モデルはこれらの特性を異なる方法で重み付けしました。XGBoostはFleschとRTTRを好み、ランダムフォレストはCTTRを重視しました。

SHAP（SHapley Additive exPlanations）に基づく特性重要度スコアは、入力特性がモデル出力にどのように影響するかを強調しています。この場合、SHAP値は、XGBoostとランダムフォレストの両方が、ピンクスライムと本物のニュースを区別するために、文の数とユニークな名詞句に最も依存していることを示しています。一方、レキシカルリッチネスと読みやすさの尺度にさまざまな重みを付けています。

前述の特性比較（上記）と同様に、ピンクスライム記事は、詳細よりもセンセーショナリズムを好み、レキシカルリッチネスが低く、ユニークな名詞句が少ないことがわかります。これは、こうしたコンテンツが非常にテンプレート化され、繰り返し使用されていることを示しています。

品詞トリグラムパターンは、正当なローカルニュースが、補助動詞、代名詞、接続詞を含むより構造的に複雑な形式を使用することを示しています。一方、ピンクスライムは断片化されたり最小限の構文を好み、句読点ベースのトリグラムを頻繁に使用します。これらのパターンは、合成ローカルコンテンツと本物のジャーナリズムを区別するための信頼性の高い基礎を示唆しています。

2回目のテストでは、記事の全文にファインチューニングされたトランスフォーマーモデルを使用して、意味的コンテンツと構造的構造の両方を捉えました。

BERT、XLNet、およびFlan-T5がテストされ、BERTは89.31%のF1スコアで最高の結果を達成しました。ただし、論文では、パフォーマンスの違いは統計的に有意ではなかったと述べられています。手作業で作成された分類器とは異なり、これらのモデルは、タスク固有の表現を直接データから学習するために、すべての重みを訓練中に更新します。

埋め込みベースの方法では、完全に接続されたダウンストリーム分類器が、手作業で作成されたモデルよりも優れておりましたが、完全なファインチューニングの精度には及ばなかったです。

これらのアプローチは、より広い言語的コンテキストから利益を得ました。これは、ピンクスライム記事が頻繁にコンテンツをリサイクルするため、有益です。手作業で作成された特性は、表面レベルの構文のみに依存しているため、ソース間で一般化する能力が制限されます。

LLMを使用したピンクスライムの強化

研究者は、ピンクスライム記事を検出することをより困難にするために、LLMを使用してこれらの記事を書き直すことをテストしました。プロンプトは、コンテンツを拡張し、文の複雑さを追加し、形容詞の過剰使用を減らし、中立的な口調を強制し、より多様な語彙を使用し、ユニークな名詞句の数を増やすことで、書き方を改善するように設計されました。表面レベルの特徴が、ほとんどの検出システムが依存しているものを隠すことを目的としました。

テストされたモデルは、Gemma-2B、Mistral-7B、Llama-1B、Llama-3B、Llama-8B、Qwen-7B、GPT-4o mini、およびClaude-3.5-Haikuでした。

ファインチューニングされたBERT分類器の検出パフォーマンス（F1）を、さまざまなLLMで書き直したピンクスライム記事でテストした結果。スコアが低いほど、検出をより成功裏に回避できることを示しています。

これらの結果について、著者は次のように述べています：

「オープンソースモデルの中で、Qwenは検出を回避するのに最も効果的でした。すでにファインチューニングされたBERT分類器（ベースラインF1スコア：89％）に対してテストした場合、検出パフォーマンスが28.34％低下しました。」

「クローズドソースモデルは、検出を回避する能力がはるかに高かった。GPT-4o miniとClaude-3.5-Haikuは、F1スコアを平均40％低下させた。」

これらの結果は、LLMがピンクスライムコンテンツをどれだけ簡単に隠すことができるかを示しており、現在のツールがこれを検出することを非常に困難にしていると著者は主張しています。

結論

意見 この研究には、いくつかの興味深い難問があります。最も重要なのは、多くの人々（少なくとも1つの調査では）が、ピンクスライムコンテンツを支持している（それが何であるかを知っている）ということです。これにより、蔑称の文脈が疑問視されます。まるで「ソイレントグリーンは人です」ということを知っていても、人々は肩をすくめて食べ続けるようなものです。あるいは、自由主義的な感覚から見るとそうであるように思えるかもしれません。

この世論の無関心は、アルゴリズムによるニュースに対して、進化し、ひいては後退する可能性があります。しかし、現在のところ、人々はこれを深めているようです。

私が論文を読んで感じたもう1つのことは、ピンクスライム出力のシンプルな文章と簡素化が、欠点であると見なされ、技術的な解決策があるかもしれないということです。ただし、極端な単純さ、感情主義、語彙の制限は、意図的であると考えられます。

ピンクスライムの背後にあるさまざまな利益団体が、より知的または自由主義的な聴衆にアピールしようとする場合（これは彼らの長所ではないかもしれません）、彼らがスタイルや口調を変更するのではなく、ターゲット層に近い場所にキャンプを設ける可能性が高いと考えられます。現在のプラットフォームで目標を達成しているスタイルや口調を変更するのではなく、むしろそうするのです。

* 論文の不幸なフォーマットのため、ローカルニュース記事の追加の出典は明確な帰属を持ちません。読者に論文の「Horne」参照のいずれが適用されるかを判断するよう求めます。

** ここでは、読者に新しい論文の結果セクションを終了する二次的な補足実験の詳細について、元の論文を参照するよう求めます。

最初に公開されたのは2025年12月12日です。