NLPアプローチによる科学ジャーナリズムにおける誇張検出

デンマークの研究者は、科学研究論文の要約と報告時にジャーナリストが新しい科学研究論文の影響を過大評価することを軽減するために設計された「誇張検出」システムを開発しました。この研究は、新型コロナウイルス感染症（COVID-19）に関する新たな研究が報告チャンネルで歪曲されていることが広がっていることによって促進されていますが、著者は、これが一般的な科学報道セクター全体に適用可能であることを認めています。

論文は、コペンハーゲン大学から提出され、ヘルスサイエンスプレスリリースの半教師あり誇張検出というタイトルが付けられています。問題は、出版物が原著論文へのソースリンクを含めていない傾向によって悪化していることが指摘されています。これは、原著論文を置き換え、再報告された要約を「ソース知識」として代替することを試みる、増加の一途にあるジャーナリズムの慣行です。原著論文が公開されている場合でも同様です。

論文から、科学論文の典型的な誇張の表現。 ソース: https://arxiv.org/pdf/2108.13493.pdf

問題は、新しい論文に対する外部のジャーナリズムの反応に限定されません。大学や研究機関の内部PR努力、ニュースアウトレットの注目を集めるためのプロモーション資料、ジャーナリストが「噛む」時に伴う有用な参照リンク（および資金調達ラウンドのための潜在的な弾薬）など、他の種類の要約にも拡大する可能性があります。

この研究では、プレスリリースと要約のペアからなる新しいデータセットに対して自然言語処理（NLP）を利用しています。研究者は、「科学的誇張の検出のための新しい、より現実的なタスクの定式化」を開発したと主張しています。著者は、研究のコードとデータをGitHubで公開することを約束しています。

センセーショナリズムへの対処

数多くの研究が、過去30年ほどの間に科学的センセーショナリズムの問題に取り組んでおり、誤情報につながる可能性について注目を集めてきました。アメリカの科学社会学者ドロシー・ネルキンは、1987年の本 サイエンスを売る：報道が科学と技術をどのように扱うかでこの問題に着目しました。2006年のEmboレポート ヘッドラインの悪い科学は、インターネットが伝統的なメディアに重要な予算的圧力をかけていた時期に、科学的に訓練されたジャーナリストの必要性を強調しました。

さらに、2014年に英国医学会誌はレポートでこの問題を浮き彫りにしました。2019年のウェルカム・オープン・リサーチの研究は、科学論文の誇張はニュースアウトレットやその他の報告システムに利益をもたらさない（リーチやトラフィックの観点から）ことを実証しました。

しかし、パンデミックの到来により、この誇張の悪影響が重要な焦点となりました。Googleの検索結果ページやCornell UniversityのArxiv科学論文のインデックスなどの情報プラットフォームは、COVIDに関するコンテンツが見られる場合、自動的に免責事項を追加するようになりました。

COVID関連の検索やコンテンツに対する修正されたインターフェース、Google検索結果ページとCornell Universityの影響力のあるArxiv科学論文リポジトリから。

以前のプロジェクトは、科学論文の誇張検出システムを作成するためにNLPを利用してきました。2019年の共同研究では、香港と中国の研究者が参加しました。別の（無関係な）デンマークの論文 2017年にも同様の試みがありました。

新しい研究では、プレスリリースと要約を組み合わせたデータエンティティを利用し、MT-PET、パターンエクスプロイティングトレーニングの研究のマルチタスク可能なバージョンを利用しています。これは、2020年に発表された、2つのドイツの研究機関からの共同研究 クローズ質問を利用したテキスト分類と自然言語推論のためのショット学習に基づいています。

このタスクに適した既存のデータセットは見つからなかったため、チームは、専門家によって評価された誇張の傾向に基づいて、要約と関連するプレスリリースからのペアの文をカーセントしました。

研究者は、few-shot text classification framework PETALをパイプラインの一部として使用し、パターンとバーバライザーのペアを自動的に生成し、誇張検出とクレームの強さの2つの特性について、ほぼ同等のタプレットを見つかるまでデータを繰り返し処理しました。

テスト用の「ゴールド」データは、先行研究プロジェクトから再利用され、823組の要約とプレスリリースのペアで構成されていました。研究者は、2014年のBMJデータの使用を拒否しました。なぜなら、それはパラフレーズ化されているからです。

このプロセスにより、誇張とクレームの強さにラベル付けされた663組の要約/リリースペアのデータセットが得られました。研究者は、100組をランダムにサンプリングしてfew-shot学習のトレーニングデータとして使用し、553組の例をテスト用に残しました。さらに、要約またはプレスリリースの主要な結論を表すかどうかを分類された1,138文からなる小さなトレーニングセットが作成されました。これらは、ラベル付けされていないペアの「結論文」を特定するために使用されました。

テスト

研究者は、3つの構成でアプローチをテストしました。完全に教師ありの設定で、ラベル付けされたデータのみを使用する設定、シングルタスクのPETシナリオ、そして誇張検出の二次的なタスクを追加タスクとして持つMT-PETです。

研究者は、MT-PETがテスト環境全体でベースのPETの結果を改善し、クレームの強さを特定することで誇張検出のためのソフトラベル付けされたトレーニングデータを生成するのに役立つことを発見しました。ただし、特にクレームの強さに関連する複雑なテストの配列の中では、プロフェッショナルにラベル付けされたデータの存在が改善された結果となる可能性があることを論文は指摘しています。これは、タスクのデータの重点によってパイプラインの自動化の程度に影響を及ぼす可能性があります。

それでも、研究者はMT-PETが「直接的な因果関係のクレームとより弱いクレームを識別して検出する、より困難なケースで役立つ」と結論付けています。さらに、「ソースドキュメントとターゲットドキュメントの個々のクレームの強さを分類して比較するのが、最もパフォーマンスの高いアプローチである」と述べています。

結論として、この研究はMT-PETが、健康セクター以外のより広範な科学論文にも適用可能である可能性があり、ジャーナリストが科学論文のより良い概要を生成するための新しいツールの基礎を形成できると推測しています（これは、ジャーナリストが無知によってクレームの強さを誇張していることを前提としています）。また、研究コミュニティが複雑なアイデアを説明するためのより明確な言語の使用を促進するのにも役立つ可能性があります。さらに、論文は以下の点に留意する必要があることを指摘しています：

「この論文で報告された予測パフォーマンスの結果は、科学ジャーナリストによって書かれたプレスリリースに対してです。科学論文をより強く簡略化するプレスリリースの場合、より悪い結果になる可能性があります」