NLPを用いた科学ジャーナリズムにおける誇張検出へのアプローチ

デンマークの研究者は、科学研究論文の要約と報告において、ジャーナリストが研究の影響を誇張して伝えることを軽減するための「誇張検出」システムを開発しました。この研究は、COVID-19に関する新しい研究が報道チャンネルで歪曲されている程度に促されましたが、著者は、科学報道全般にも適用可能であると述べています。

この研究は、論文「健康科学プレスリリースの半教師あり誇張検出」によって行われ、コペンハーゲン大学から発表されました。問題は、出版物が原研究へのソースリンクを含めていないことが多く、原論文を置き換えるために、再報告された要約を「ソース知識」として提示する傾向があるため、悪化しています。

論文から、科学論文の典型的な誇張の例。 ソース：https://arxiv.org/pdf/2108.13493.pdf

問題は、外部のジャーナリストの反応に限定されません。大学や研究機関の内部PR活動、ニュース媒体の注意を引くための宣伝資料、ジャーナリストが「バイト」したときに伴う有用な参照リンク（および資金調達ラウンドのための潜在的なアミュニティ）にも及ぶ可能性があります。

この研究では、プレスリリースと要約のペアの新しいデータセットに対して自然言語処理（NLP）を適用し、研究者は「科学的誇張の検出のための新しい、より現実的なタスクの定式化」を開発したと主張しています。著者は、研究のコードとデータをGitHubで公開する予定です。

センセーショナリズムへの対処

数多くの研究が、過去30年ほどの間に科学的センセーショナリズムの問題に取り組んでおり、誤情報につながる可能性について警告しています。アメリカの科学社会学者ドロシー・ネルキンは、1987年の著書「科学を売る」でこの問題に取り組み、2006年のEmboレポート「ヘッドラインの悪い科学」では、科学に精通したジャーナリストの必要性を強調しました。

さらに、2014年に英国医学会は、レポートを発表し、2019年のWellcome Open Researchの研究では、科学論文の誇張は、報道システムやニュース媒体に利益をもたらさないことを示しました。

しかし、パンデミックの発生により、この誇張の悪影響が重要な焦点となり、Googleの検索結果ページやコーネル大学のArxivなどの情報プラットフォームが、COVIDに関するコンテンツに免責事項を追加するようになりました。

COVID関連の検索とコンテンツのための修正されたインターフェース、Google検索結果ページとコーネル大学のArxiv科学論文リポジトリからのもの。

以前の研究では、NLPを使用して科学論文の誇張検出システムを作成しようとしました。2019年の研究では、香港と中国の研究者が協力し、2017年のデンマークの研究でも同様の試みが行われました。

新しい研究では、プレスリリースと要約を1つのデータエンティティとして組み合わせ、MT-PETと呼ばれるパターンエクスプロイティングトレーニングの多タスク可能なバージョンを使用して、データセットを利用しています。

MT-PET

この新しい研究では、プレスリリースと要約のペアの新しいデータセットを作成し、MT-PETを使用して、誇張と主張の強さを検出します。研究者は、2020年に発表された研究「Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference」に基づいて、MT-PETを開発しました。

既存のデータセットは、タスクに適していないことがわかり、チームは専門家によって評価された誇張の傾向に基づいて、プレスリリースと関連する要約からのペアの新しいデータセットを作成しました。

研究者は、PETALと呼ばれる少数ショットテキスト分類フレームワークを使用して、パターンとバーバライザーのペアを自動的に生成し、データを繰り返し適用して、誇張検出と主張の強さの2つの特性について同等のタプルを取得しました。

「ゴールド」データは、先行研究から再利用され、プレスリリースと要約の823のペアで構成されていました。研究者は、2014年のBMJデータを使用しなかったため、それはパラフレーズ化されていたからです。

このプロセスにより、誇張と主張の強さのラベルが付いた663の要約とプレスリリースのペアのデータセットが得られました。研究者は、100のペアを少数ショット学習のトレーニングデータとしてランダムに抽出し、553の例をテスト用に設定しました。さらに、要約とプレスリリースの主要な結論を表すかどうかを分類した1138の文の小さなトレーニングセットを作成しました。これらは、未ラベルのペアの結論文を識別するために使用されました。

テスト

研究者は、3つの設定でアプローチをテストしました。完全に教師ありの設定、単一タスクのPETシナリオ、MT-PETです。MT-PETは、2つの特性を検出するための2次的なタスクを追加します。

研究者は、MT-PETがテスト環境でベースのPETの結果を改善し、主張の強さの識別が誇張検出のためのソフトラベル付きトレーニングデータを生成するのに役立つことを発見しました。ただし、特に主張の強さに関連するテストの複雑な配列の中で、プロフェッショナルにラベル付けされたデータの存在が結果の改善の要因となる可能性があることを指摘しています。これは、タスクのデータの重点によって、パイプラインの自動化の程度に影響を及ぼす可能性があります。

研究者は、MT-PETが「直接的な因果関係の主張と弱い主張を識別および区別することに役立つ」と結論付け、さらに「最もパフォーマントの高いアプローチは、ソース文書とターゲット文書からの個々の主張の強さを分類および比較することである」と述べています。

最後に、研究者は、MT-PETが健康科学以外のより広範な科学論文に適用可能である可能性があること、ジャーナリストが科学論文のより良い概要を作成するためのツールの基礎となり得ること、研究コミュニティが複雑なアイデアを説明するためのより明確な言語の使用を促進する可能性があることを示唆しています。さらに、論文は以下のように述べています。

「この論文で報告された予測パフォーマンスの結果は、科学ジャーナリストによって書かれたプレスリリースに適用されるものであり、科学論文をより強く簡略化するプレスリリースの場合、より悪い結果になる可能性がある。」