チャットGPTは高い信頼性を持つニュース提供者であるという研究

新しい研究によると、チャットGPTの事実確認ラベルは、ニュースブランドやシェア、いいねよりも、人々が何を信じ、オンラインで共有したいと考えているかを形作る上で重要な役割を果たしていることがわかった。

1,000人を対象とした新しい研究では、チャットGPTが政治ニュースに信頼性スコアを付けた場合、人々の信念や共有したいと思っているものが変化することが多く、初期の政治的見解に関係なく、チャットGPTの判断が強く信頼性を形作った。

新しい論文から、ニュースヘッドラインを評価する際の3つの相互作用するシグナル：ストーリーが政治的アイデンティティと一致するか、ソーシャルメディアでのエンゲージメントの程度、機関またはAIシステムからの信頼性シグナル。这些影響が組み合わさって、認識された正確さとコンテンツの共有可能性を形作る。 ソース

AIサマリーが信頼できるニュースソースとして受け入れられる程度は、メディアでは数年間で最も重要なトピックの1つであり、GoogleのAIサマリーが2025年に大手オンラインメディアアウトレットからトラフィックを奪ったことなどがその理由である。

研究の著者は次のように述べている：

‘これらの発見は、アルゴリズムによるフィードバックが公共の理解を形作る上での潜在性とリスクを強調している。AI生成のシグナルは偏見を軽減し、信頼性の判断を高めることができるが、その影響は政治的アイデンティティによって異なり、過信に関する倫理的リスクを伴う。’

‘…チャットGPTの影響は、批判的思考を犠牲にしても、説得力がある可能性がある。’

著者は、将来的に、より独立性と事実を支持するAIの信頼性介入を改善することに焦点を当てるべきであると提案し、特に極化されたトピックでは重要であると述べている。

また、研究では、デモグラフィックと性別に関する興味深い結果も見られた：

‘女性や人種的少数派の参加者（特に黒人やラテン系のユーザー）は、機関のラベルよりもAIベースのフィードバックに肯定的に反応した。’

新しい研究は、AIの信頼性シグナルは、機関やエンゲージメントよりもニュースの認識を形作る上で優先されるというタイトルで、ノートルダム大学の3人の研究者によって行われた。

この論文の方法と結論を詳しく見てみましょう。

方法

4つの仮説がテストされた：人々はヘッドラインが自身の政治的見解と一致する場合、より正確であると評価する；AI生成の信頼性スコアは、既存の機関からのシグナルよりも影響力がある；ヘッドラインに高いエンゲージメント（例：いいね、シェア、コメント）がある場合、より信頼性があると見なされる；そして、ユーザーは自身の信念と矛盾する場合でも、AIの判断を受け入れる傾向がある。

研究参加者は、Prolificプラットフォームから集められ、英語を話し、ニュースを定期的に消費することが求められた。また、ランダム化プロセスにより、参加者が人種や性別の多様な視点を代表することが保証された。

実験では、参加者が4つのグループに分けられ、各グループはヘッドラインに異なるタイプのフィードバックが提示された。

最初のグループ（コントロール条件）では、ヘッドラインの信頼性についての追加情報は提供されなかった。

2番目のグループでは、ヘッドラインにGroundNewsからのバイアス評価が付けられた。

3番目のグループでは、同じGroundNewsのラベルが付けたが、故意に反転させて、ユーザーが歪みを検出できるかどうかをテストするために、不一致を生み出した。

最後のグループでは、チャットGPTによって生成された信頼性評価が提示された。

実験の概念スキーマ：参加者は政治ヘッドラインにさまざまな信頼性ラベルとソーシャルエンゲージメントシグナルの組み合わせが提示された。各ヘッドラインについて、正確性と共有可能性の評価が収集され、21アイテムにわたってシーケンスが繰り返された。

データとテスト

各参加者は21の政治ニュースヘッドラインが提示された。各ヘッドラインについて、ソーシャルエンゲージメントのレベルが変化した。時にはいいねやシェアが表示され、時には表示されなかった。これらのエンゲージメントシグナルは、固定パターンを避けるためにランダム化された。

ヘッドライン自体は、政治的見解の混合から来ていた。また、左寄り、右寄り、または中道としてタグ付けされていた。

各ヘッドラインの後、参加者はそのヘッドラインがどれほど正確であると思ったか、そしてそれを共有したいと思ったかを尋ねられた。参加者がすでに自身の政治的所属を示していたため、ヘッドラインが自身の政治的見解と一致する場合に、より好意的に評価されるかどうかを分析することができた。

参加者は各ヘッドラインについて2回評価した：1回は正確性について、もう1回は共有可能性について。評価は0-10のスケールで測定された。

研究者は、これらの回答と追加のデータを組み合わせた：参加者からのデモグラフィックとメディア使用情報、ヘッドラインの政治的タグ、提示された信頼性シグナルのタイプ、割り当てられたソーシャルエンゲージメントのレベル。

政治的アイデンティティの影響

最初のテストでは、人々が自身の政治的見解と一致するヘッドラインをより正確であると評価するかどうかを調べた。結果は、参加者が自身の政治的見解と一致するヘッドラインをより信頼することを示したが、これはグループによって異なった。

穏健派は自身の側に強いバイアスを示したが、リベラル派と保守派は中道的なヘッドラインを最も信頼した。全体的に、中立的なヘッドラインは左寄りまたは右寄りのヘッドラインよりもより正確であると評価された。

ヘッドラインの政治的立場と参加者の政治的所属によって、正確性と共有可能性の評価がどのように変化するかを示す図。穏健派は自身のグループのヘッドラインを最も正確であると評価し、リベラル派と保守派は中道的なヘッドラインを好んだ。共有行動も同様のパターンに従ったが、穏健派以外のグループではイングループバイアスが限られていた。

結果では、穏健派にとっては、政治的に一致するヘッドラインを共有する傾向が見られたが、リベラル派と保守派ではそのような傾向は見られなかった。

分散分析（ANOVA）を使用して、グループ間の違いを検出すると、政治的アイデンティティが共有可能性に影響を与えることがわかったが、穏健派のみが明確なパターンを示した。

機関VS. AIの信頼性

次のテストでは、人々がAIの評価よりも伝統的な情報源をより信頼するかどうかを調べた。特に、評価が自身の政治的見解と一致しない場合に。

フィードバックソース別の信頼性と共有可能性の評価：3つのシグナルすべてが正確性を高め、GroundNewsが最高の評価をもたらしたが、チャットGPTが共有可能性の最大の増加をもたらした。エラーバーは95%の信頼区間を示し、アスタリスクは有意なペア間の違いを示す。

すべてのフィードバックが認識された正確性を高めたが、GroundNewsはユーザーの政治的見解と一致する場合に最も効果的だった。

チャットGPTは、全体的に正確性評価を上げたことを示し、中立的であると見なされた。

チャットGPTのフィードバックが認識された正確性に与える影響を示す図。結果は、機関からの信頼性シグナルへの信頼が一致に依存するのに対し、アルゴリズムからの信頼性シグナルへの信頼は一致に依存しないことを示している。チャットGPTは、特に保守派のグループで、信頼性と共有可能性の両方を高めた。

ソーシャルメトリクスはほとんど影響を与えない

3番目の分析では、いいね、シェア、コメントなどのソーシャルエンゲージメントシグナルが信頼性や共有可能性に影響を与えるかどうかを調べたが、そのような効果は観察されなかった。

エンゲージメントレベルは、ヘッドラインがどれほど正確であると思われるかにはほとんど影響を与えず、共有可能性についても弱く、信頼性のない影響しか与えなかった。

AIのフィードバックが信頼性を変える

4番目の実験では、ユーザーがAI生成のラベルに反応して、信頼性と共有可能性の判断を変更するかどうかを調べた。

参加者はAI生成の信頼性ラベルに強く反応し、チャットGPTのフィードバックに応じて正確性評価が上下した。最も大きな影響は、ヘッドラインが「正確」または「不正確」であるとラベル付けされた場合に観察された。

チャットGPTのフィードバックが正確性と共有可能性の評価に与える影響を示す図。上：正確性評価はより肯定的なラベルで上昇し、特に「正確」とマークされたヘッドラインで、そして「不正確」とラベル付けされたときに低下した。下：共有可能性は同様のパターンに従ったが、グループによって変動が見られた：リベラル派は否定的なキューよりも強く反応し、保守派はより鈍い変化を示した。

政治的アイデンティティがこれらの影響を形作った。ユーザーは、チャットGPTのフィードバックが自身の見解と一致する場合に、より信頼性を高めた。

共有行動も同様のパターンに従った：イングループのヘッドラインが「正確」とマークされた場合、最も頻繁に共有された。特に曖昧なラベル「ある程度正確」ではそうだった。

これらの結果は、AIのフィードバックがユーザーの行動を変える可能性があることを示唆し、また、党派的な分裂を強化したり、批判的思考を妨げる可能性があることも示唆している。

誰がAIを最も信頼するか

フォローアップ分析では、ユーザーのデモグラフィックが信頼性ラベルへの反応をどのように形作るかを調べた。チャットGPTのフィードバックは全体的に正確性評価を上げたが、その影響は、高度な教育を受けたユーザーやソーシャルメディアの頻繁な利用者では弱かった。彼らはより懐疑的だった。

これらのグループは、GroundNewsや反転したキューや、明らかな偏見マーカーに否定的に反応したことを示し、研究者は、これは、よりメディアに精通したユーザーが明らかな偏見マーカーに反発する可能性があることを示唆している。

一方、女性や人種的少数派、特に黒人やラテン系のユーザーは、チャットGPTよりも機関からの信号に肯定的に反応した。

デモグラフィック別のフィードバックタイプへの反応を示す図。各パネルは、特定のグループがさまざまな信頼性シグナルにどのように反応するかを示している。チャットGPTの評価は正確性に最も強い影響を与え、共有可能性への影響は一貫性がなく、人種、性別、メディア使用によって変化した。

共有行動も同様の分割を示した：GroundNewsはソーシャルメディアユーザーやニュースジャンキーの中で共有可能性を最も低下させたが、チャットGPTの影響はより複雑で、一部のグループでは共有可能性を高めた。

著者は結論として：

‘これらの発見は、社会技術システムにおける信頼性介入の設計に直接的な影響を与える。ユーザーはアルゴリズムからのフィードバックに影響を受けやすくなっており、これは機関からのシグナルを上回り、党派的な偏見を緩和することができるが、過信のリスクも伴う。’

‘機関からのシグナルは一部のユーザーにとっては有効だが、政治的に極化された環境や信頼性の低い環境ではその影響が減少する。エンゲージメントメトリックであるいいねやシェアは、ソーシャルコンテキストなしに提示された場合、説得力が低かった。’

‘公平で情報に基づいたニュース評価を支援するため、AI駆動の介入は透明性があり、説明的で、ユーザーの主体性を高めるように設計されるべきである。’

‘将来的には、これらのメカニズムをより現実的な設定で検討し、代替のAIの信頼性フレーミングを評価し、批判的関与を促進する適応型システムを開発するべきである。’

結論

現在のすべての生成的なAIシステムが事実を歪曲し、妄想する傾向があることから、チャットGPTの採用が信頼できるニュースソースとしての地位を獲得していることは、ある程度の懸念事項である。GoogleのAIサマリーが2025年に大手オンラインメディアアウトレットからトラフィックを奪ったことは、その一例である。

AIのニュース表現を信頼することの1つの問題は、ニュースソースを政治的に偏ったものまたは中立的なものとしてコンテキスト化できる有効なシステムがないことである。

最も信頼できる第四の権力を持つ情報源の中でも、報道される内容や報道されない内容の選択は、政治的な声明である。チャットGPTやその同類は、これらの解釈的偏見の層を現在航行することができない。

また、チャットGPTのようなシステムが現れたのは、人類史上80年間で最も極化された時代であり、社会が「代替の声」に耳を傾ける用意がある時代である。技術は世界の真実のフィルターとしてではなく、偏った情報に基づく統計的確率の予測者として機能する。

* 詳細については、著者がオンラインで公開している（ソース論文のP2の下部にURLが記載されている）。ただし、このデータを閲覧するには登録が必要であり、当初この問題をさらに調査しなかったため、完全に無料または特定の資格なしで閲覧できるかどうかは確認できません。

2025年11月5日初出。