ニュースに隠された意図についてAIが教えてくれること

ChatGPTスタイルのモデルは、ニュース記事の内容を検出するように訓練されている。 本当に 問題について深く考える ― たとえその立場が引用、フレーミング、あるいは（時には不誠実な）「中立性」に埋もれてしまっていたとしても。記事を見出し、リード文、引用文といったセグメントに分割することで、新しいシステムは長文のプロフェッショナルジャーナリズムにおいても偏向を見抜く力を身につけます。

作家や話し手の真の視点を理解する能力。文学では「 姿勢検出 – 言語における最も難しい解釈の問題の 1 つ、つまり、意図を隠したり不明瞭にしたりするために作成されたコンテンツから意図を読み取ります。

ジョナサン・スウィフトの ささやかな提案、最近の政治家のパフォーマンス 論争を借りる イデオロギー的反対者にとって、発言の表面的な内容はもはやその意図を示す信頼できる指標ではなく、皮肉、荒らし、偽情報、そして 戦略的な曖昧さ テキストが実際にどちら側にあるのかを正確に特定することがこれまで以上に困難になっている。 着陸するかどうか.

多くの場合、言わない内容は述べる内容と同じくらい重要であり、あるトピックを扱うことを選択するだけで著者の立場を示すことができます。

そのため、自動スタンス検出のタスクは異常に困難になります。効果的な検出システムは、孤立した文を「支持的」または「反対的」としてタグ付けする以上のことを行う必要があるためです。代わりに、意味の層を反復して、記事全体の形や流れに対して小さな手がかりを比較検討する必要があります。これは、論調が変化したり、意見が直接述べられることがほとんどない長編ジャーナリズムでは困難です。

変化の担い手

これらの問題のいくつかに対処するために、韓国の研究者はJOA-ICLと呼ばれる新しいシステムを開発した（ジャーナリズム主導のエージェント的文脈内学習長文ニュース記事のスタンスを検出するための機械学習（MLM）を開発しました。

JoA-ICL の中心的な考え方は、別の言語モデル エージェントによって生成されたセグメント レベルの予測を集約することによって記事レベルのスタンスを推論するというものです。 出典: https://arxiv.org/pdf/2507.11049

JOA-ICLは、記事全体を評価するのではなく、記事を構造的な部分（見出し、リード、引用、結論）に分割し、それぞれにラベルを付ける小規模なモデルを割り当てます。これらの局所的な予測は、より大きなモデルに渡され、より大きなモデルはそれを用いて記事全体のスタンスを決定します。

この手法は、記事レベルとセグメントレベルの両方でスタンスがアノテーションされた2,000件のニュース記事を含む、新たに構築された韓国のデータセットでテストされました。各記事にはジャーナリズムの専門家からの情報がラベル付けされており、プロのニュースライティングの構造全体におけるスタンスの分布を反映しています。

論文によると、JOA-ICLはプロンプトベースのモデルと微調整されたベースラインの両方を上回り、特に支持的なスタンスの検出において優れていることが示されています（同様の範囲のモデルでは検出されない傾向があります）。また、この手法は、マッチング条件下のドイツ語データセットに適用した場合にも有効であることが証明されており、その原理が言語形態に対して潜在的に耐性があることが示唆されています。

著者らは次のように述べています。

「実験では、JOA-ICL が既存のスタンス検出方法よりも優れていることが示され、長文のニュース記事の全体的な位置を捉えるセグメント レベルのエージェンシーの利点が強調されました。」

当学校区の 新しい紙 というタイトルです ニューススタンス検出のためのジャーナリズム主導のエージェントインコンテキスト学習、ソウルの崇実大学のさまざまな学部やKAISTの未来戦略大学院出身者です。

方法

AI を活用した姿勢検出の課題の一部はロジスティックスであり、現在の最先端技術において機械学習システムが一度にどれだけの信号を保持し、照合できるかということに関係しています。

ニュース記事は意見を直接述べることを避け、代わりに 暗黙 or 想定される この立場は、どの情報源を引用するか、物語をどのように構成するか、どの詳細を省略するかなど、さまざまな考慮事項の選択を通じて示されます。

冠詞が明確な立場をとっている場合でも、そのシグナルはテキスト全体に散らばっており、異なるセグメントがそれぞれ異なる方向を指し示していることが多い。言語モデル（LM）は依然として 限られたコンテキストウィンドウこれにより、モデルが短いコンテンツの場合のようにスタンスを評価することが難しくなる可能性がある（ツイートなど およびその他の短い形式のソーシャル メディアなど) では、テキストとターゲットの関係がより明確になります。

したがって、標準的なアプローチは、長編ジャーナリズムに適用すると不十分になることが多く、曖昧さが欠点ではなく特徴となるケースです。

論文は次のように述べています。

これらの課題に対処するために、私たちは、まず小さな談話単位（段落やセクションなど）のレベルでスタンスを推測し、その後これらのローカル予測を統合して記事の全体的なスタンスを決定する、階層的なモデリング手法を提案します。

「このフレームワークは、ニュース記事のさまざまな部分が問題に対する全体的な立場にどのように貢献しているかを評価する際に、ローカルなコンテキストを維持し、分散したスタンスの手がかりを捉えるように設計されています。」

この目的のために、著者らは、 Kニューススタンス2022年2024月からXNUMX年XNUMX月までの韓国のニュース報道から抽出された。記事は最初に ビッグカインド韓国言論振興財団が運営する政府支援のメタデータサービス「」を利用し、全文はNaver NewsのアグリゲータAPIを用いて取得しました。最終的なデータセットは、2,000のメディアから31件の記事で構成され、47の国家関連問題を網羅しています。

各記事は2回注釈が付けられている。1回目は特定の問題に対する全体的な立場について、2回目は個々のセグメントについてである。具体的には、 見出し, つながる, 結論, 直接引用.

注釈は、論文の3番目の著者でもあるジャーナリズムの専門家、ジヨン・ハンが主導し、情報源の選択、 語彙フレーミング、引用パターンなど。これらの方法により、合計19,650個のセグメントレベルのスタンスラベルが得られました。

記事に意味のある視点のシグナルが含まれていることを確認するために、まず各記事をジャンル別に分類し、分析または意見（主観的なフレーミングが見られる可能性が高い）としてラベル付けされたものだけをスタンスの注釈に使用しました。

訓練を受けた 2 人の注釈者がすべての記事にラベルを付け、立場が不明瞭な場合は関連記事を参照するように指示され、意見の相違は話し合いと追加のレビューを通じて解決されました。

K-NEWS-STANCEデータセットのサンプルエントリを英語に翻訳しました。見出し、リード文、引用文のみを表示し、本文全体は省略しています。ハイライト表示は引用文の立場を示しており、青は賛成、赤は反対を示しています。より明確な翻訳については、引用元のPDFをご覧ください。

ジョア-ICL

著者らの提案するシステムは、記事を単一のテキストブロックとして扱うのではなく、見出し、リード、引用、結論といった主要な構造部分に分割し、それぞれを言語モデルエージェントに割り当て、そのセグメントを次のようにラベル付けする。 支持する, 反対派または ニュートラル.

これらのローカル予測は、記事の全体的なスタンスを決定する 2 番目のエージェントに渡されます。2 つのエージェントは、プロンプトを準備して結果を収集するコントローラーによって調整されます。

したがって、JoA-ICL は、単一の汎用入力ではなくセグメントを認識したプロンプトを使用して、プロのニュース記事の書き方に合わせてコンテキスト内学習 (モデルがプロンプト内の例から学習する) を適応させます。

（本論文中の例や図の多くは長文であり、オンライン記事では読みやすく再現することが難しいため、読者の皆様には原文のPDFをご確認いただくようお願いいたします。）

データとテスト

研究者らはテストで マクロ F1 パフォーマンスを評価するために、ランダムシードを42から51まで設定し、XNUMX回実行して結果を平均し、標準誤差を報告した。トレーニングデータは、 微調整 ベースラインモデルとセグメントレベルのエージェント、 数発 類似検索で選択されたサンプル KLUE-RoBERTa-large.

テストは6000つのRTX A48 GPU（それぞれ3.9.19GBのVRAM搭載）で実行され、Python 2.5.1、PyTorch 4.52.0、Transformers XNUMX、および vLLM 0.8.5.

GPT-4o-ミニ, クロード 3 俳句, ジェミニ 2 フラッシュ API経由で利用され、 温度 1.0で最大トークンを1000に設定した場合 思考の連鎖を促す、その他は 100 です。

完全な微調整のために エキサワン-3.5-2.4B アダム・W オプティマイザーは5e-5で使用されました 学習率0.01の重みの減衰で100 ウォームアップステップ、そして10日間トレーニングされたデータで エポック に バッチサイズ 6の。

ベースラインとして、著者らは ロベルタ記事レベルのスタンス検出用に微調整されています。 思考連鎖（CoT）埋め込み、割り当てられたタスクに対する RoBERTa の代替チューニング。 LKI-BART、入力テキストと意図されたスタンスラベルの両方を提示することで大規模言語モデルから文脈知識を追加するエンコーダーデコーダーモデル。 PT-HCL、使用する方法 対照学習 一般的な特徴と対象となる問題に特有の特徴を区別するため:

K-NEWS-STANCEテストセットにおける各モデルの全体的なスタンス予測のパフォーマンス。結果はマクロF1と精度で示され、各グループの最高スコアは太字で示されています。

JOA-ICL は、精度とマクロ F1 の両方で最高の総合パフォーマンスを達成しました。これは、テストされた 4 つのモデル バックボーン (GPT-3o-mini、Claude 2 Haiku、Gemini XNUMX Flash) すべてにおいて明らかな利点です。

セグメントベースの方法は、一貫して他のすべてのアプローチよりも優れたパフォーマンスを示し、類似のモデルに共通する弱点である支持的スタンスの検出において顕著な優位性があると著者らは指摘している。

ベースラインモデルは全体的にパフォーマンスが低かった。RoBERTaとChain-of-Thoughtのバリアントはニュアンスのある症例で苦戦したが、PT-HCLとLKI-BARTは良好な結果を示したものの、ほとんどのカテゴリーでJOA-ICLに後れを取った。最も正確な結果はJOA-ICL (Claude)で、マクロF64.8の1%、精度は66.1%であった。

下の画像は、モデルが各ラベルを正答または誤答した頻度を示しています。

ベースラインと JoA-ICL を比較した混同マトリックス。どちらの方法も「支持的」スタンスの検出に最も苦労していることがわかります。

JoA-ICLはベースラインモデルよりも全体的に優れた結果を示し、すべてのカテゴリーでより多くのラベルを正しく取得しました。しかし、どちらのモデルも支持的な記事の分類に最も苦労し、ベースラインモデルはほぼ半数を誤分類し、しばしば中立的な記事と誤認していました。

JoA-ICL はミスは少なかったものの、同じパターンを示しており、「肯定的な」スタンスはモデルでは見つけにくいことを裏付けている。

JoA-ICLが韓国語の枠を超えて機能するかどうかをテストするために、著者らはそれを チーズ記事レベルのスタンス検出のためのドイツのデータセット。CheeSEにはセグメントレベルのラベルがないため、研究者らは 遠隔監視ここで、各セグメントには完全な記事と同じスタンス ラベルが割り当てられました。

ドイツ語CheeSEデータセットにおけるスタンス検出結果。JoA-ICLは、2.0つのLLMすべてにおいてゼロショットプロンプトよりも一貫して改善され、微調整されたベースラインを上回り、Gemini-XNUMX-flashが最も優れた総合的なパフォーマンスを発揮しました。

このような「ノイズの多い」状況下でも、JoA-ICLは微調整モデルとゼロショットプロンプティングの両方を上回りました。テストされた2.0つのバックボーンの中では、Gemini-XNUMX-flashが最も良い結果を示しました。

結論

機械学習において、スタンス予測ほど政治的に意味のあるタスクはほとんどない。しかし、スタンス予測は冷たく機械的な言葉で扱われることが多く、一方で、はるかに大きな見出しを呼ぶビデオや画像の作成といった、生成AIにおけるそれほど複雑ではない問題に多くの注目が集まっている。

韓国の新たな研究で最も心強い点は、それが分析に大きな貢献をしていることである。 全長 ツイートや短い形式のソーシャルメディアではなく、論文やエッセイ、その他の重要な作品よりもその煽動的な影響がすぐに忘れられてしまうような、インタラクティブなコンテンツです。

この新しい研究、そして（私が知る限り）スタンス予測コーパス全般において注目すべき欠落点の一つは、以下の点が考慮されていないことである。 ハイパーリンクは、読者が主題についてさらに詳しく知るためのオプションのリソースとして、引用の代わりに頻繁に使用されます。ただし、このような URL の選択は潜在的に非常に主観的であり、政治的である可能性もあることは明らかです。

とはいえ、出版物の権威が高ければ高いほど、 可能性が低い それには リンクは一切ありません 閲覧者をホスト ドメインから遠ざけるもの。これは、他のさまざまな SEO 用途やハイパーリンクの乱用と相まって、明示的な引用、タイトル、または意識的か否かにかかわらず読者の意見に影響を与えようとする記事の他の部分よりも定量化が困難になります。

初版発行日：16年2025月XNUMX日（水）