ニュース記事のバイアスをチェックするAIドリブンのツール、Pythonで利用可能

カナダ、インド、中国、オーストラリアの研究者が共同で、ニュース記事の「不公平な言語」を検出して置き換えることができる、無料のPythonパッケージを開発しました。

このシステムは、Dbiasと呼ばれ、さまざまな機械学習技術とデータベースを使用して、3つのステージを持つ循環的なワークフローを開発し、偏ったテキストを非偏った、またはより中立的なバージョンに修正することができます。

Dbiasによって、ニュース記事の「偏った」言語が「非偏った」言語に変換される。出典：https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

このシステムは、再利用可能で自己完結したパイプラインを表し、Hugging FaceからPip経由でインストールでき、既存のプロジェクトに追加ステージ、追加モジュール、またはプラグインとして統合できます。

4月には、Google Docsに実装された同様の機能が、編集性の欠如により批判を受けました。一方、Dbiasは、ユーザーが望む任意のニュースコーパスに選択的にトレーニングでき、カスタマイズされた公平性ガイドラインを開発する能力を保持しています。

重要な違いは、Dbiasパイプラインが「ロードされた言語」（事実の伝達に批判的な層を追加する言葉）を中立的または平凡な言語に自動的に変換することを目的としていることです。つまり、ユーザーは倫理的なフィルタを定義し、システムをそれに応じてトレーニングします。一方、Google Docsアプローチでは、システムがユーザーを一方的にトレーニングしています。

Dbiasの概念アーキテクチャ

研究者によると、Dbiasは、Natural Language Processing（NLP）のこのサブセクターで今まで特徴づけられてきたオフザシェルフのアセンブリプロジェクトとは対照的に、最初の真正に構成可能なバイアス検出パッケージです。

新しい論文は、ニュース記事における公平性の確保へのアプローチと題され、トロント大学、トロント大都市大学、バンガロールのEnvironmental Resources Management、中国のDeepBlue Academy of Sciences、シドニー大学の貢献者から来ています。

方法

Dbiasの最初のモジュールは、バイアス検出です。これは、DistilBERTパッケージを利用しており、Googleの比較的機械学習に多くのリソースを必要とするBERTの最適化されたバージョンです。このプロジェクトでは、DistilBERTはMedia Bias Annotation（MBIC）データセットでファインチューンされました。

MBICは、Huffington Post、USA Today 、MSNBCなどのさまざまなメディアソースからのニュース記事で構成されています。研究者は、データセットの拡張バージョンを使用しました。

元のデータはクラウドソーシングされたワーカーによって注釈付けされました（この方法は2021年末に批判されましたが）、新しい論文の研究者は、データセット内に追加の未注釈のバイアスのインスタンスを識別し、それらを手動で追加しました。識別されたバイアスの事例は、人種、教育、民族、言語、宗教、性別に関連していました。

次のモジュールは、バイアス認識です。これは、Named Entity Recognition（NER）を使用して、入力テキストからバイアスされた単語を識別します。論文では、次のように述べられています：

‘例えば、ニュース「トーネードと気候変動に関する疑似科学的なハイプについて買わないでください」は、前のバイアス検出モジュールによって偏ったものとして分類されており、バイアス認識モジュールは「疑似科学的なハイプ」という単語を偏った単語として識別できます。’

NERは、このタスクに特に設計されていませんが、以前にもバイアス識別のために使用されています。特に、2021年のダラム大学のプロジェクトで使用されています。

このステージでは、研究者はRoBERTaとSpaCy English Transformer NERパイプラインを組み合わせて使用しました。

次のステージは、バイアスマスキングです。これは、識別されたバイアス単語の複数のマスクを順序的に適用します。

Dbiasの3番目のステージで、ロードされた言語が実用的言語に置き換えられる。注目してください。 ‘mouthing’と’using’は同じアクションを表しますが、前者は軽蔑的なものと見なされます。

必要に応じて、このステージからのフィードバックは、適切な代替フレーズまたは単語が生成されるまで、パイプラインの開始に戻されます。このステージでは、Masked Language Modeling（MLM）を使用しており、Facebook Researchが主導する2021年のコラボレーションで確立されたラインに従っています。

通常、MLMタスクは、ランダムに15％の単語をマスクしますが、Dbiasワークフローは、識別されたバイアス単語を入力として処理します。

アーキテクチャは、Google Colab ProのNVIDIA P100で、24GBのVRAMとバッチサイズ16で実装およびトレーニングされました。使用されたラベルは2つだけです（偏ったと非偏った）。

テスト

研究者は、Dbiasを5つの比較可能なアプローチと比較しました：LG-TFIDFとロジスティック回帰およびTfidfVectorizer（TFIDF）ワードエンベッディング；LG-ELMO；MLP-ELMO（ELMOエンベッディングを含むフィードフォワード型人工ニューラルネットワーク）；BERT；およびRoBERTa。

テストに使用された指標は、精度（ACC）、精度（PREC）、リコール（Rec）およびF1スコアでした。研究者は、3つのタスクすべてを1つのパイプラインで実行できる既存のシステムについての知識がなかったため、競合するフレームワークに対しては、Dbiasの主なタスクのみ（バイアス検出と認識）を評価することにしました。

Dbiasの試験結果

Dbiasは、より重い処理フットプリントを持つ競合するフレームワークを含むすべての結果を上回りました

論文では、次のように述べられています：

‘結果は、ディープニューラルエンベッディングが、伝統的なエンベッディング方法（例：TFIDF）よりもバイアス分類タスクで優れていることを示しています。これは、ELMO（ディープニューラルエンベッディング）がLGと組み合わせて使用された場合、TFIDFベクトル化よりも優れたパフォーマンスを示したためです。’

‘これは、ディープニューラルエンベッディングが、さまざまなコンテキストでの単語のコンテキストをよりよく捉えることができるためです。ディープニューラルエンベッディングとディープニューラル方法（MLP、BERT、RoBERTa）は、伝統的なML方法（LG）よりも優れています。’

研究者は、Transformerベースの方法がバイアス検出で競合する方法を上回ることも指摘しています。

追加のテストでは、DbiasとさまざまなSpaCy Core Webバージョン（core-sm、core-md、core-lg）を比較しました。Dbiasはこれらの試験でもトップを維持しました：

研究者は、バイアス認識タスクは一般的に、より大きなモデルとより多くのパラメータとデータポイントを持つことで、より優れた精度を示すことが多いと結論付けています。将来の研究の有効性は、高品質のデータセットを注釈付けるためのより大きな努力に依存すると推測しています。

森と木

このような微妙なバイアス認識プロジェクトが、将来的に、より広い視野でバイアスを捜索できるフレームワークに組み込まれることを期待しています。つまり、特定のストーリーを取り上げることを選択することは、単に報告された視聴統計だけでなく、より多くの要因によって推進される可能性のあるバイアスの行為であることを考慮する必要があります。

初版は2022年7月14日に公開されました。