COVIDx データセット、英国研究者から批判される

英国の研究コンソーシアムは、COVID-19患者の胸部X線画像のコンピュータビジョン分析に使用されるオープンソースデータセットに対する科学的信頼性を批判しています。特に、COVIDxデータセットに対する批判を中心にしています。

研究者たちは、COVIDxをさまざまなAIトレーニングモデルでテストした結果、COVIDxは「現実の臨床問題を代表していない」と主張しています。また、COVIDxを使用した結果は「過大評価されており」、モデルは「現実のデータに一般化されない」と述べています。

著者たちは、COVIDxを構成するデータの不一致にも注目しています。元の画像はさまざまな解像度で提供され、ディープラーニングワークフローによって一貫したサイズに自動的に変更されます。しかし、このプロセスは画像のサイズ変更アルゴリズムによる欺瞞的なアーティファクトを導入する可能性があり、臨床データの信頼性を損なう可能性があります。

論文は、「COVID-19検出におけるオープンデータの落とし穴」と題され、リーズ大学のCenter for Computational Imaging & Simulation in Biomedicine (CISTIB)と同市の5つの他の組織の研究者による共同研究です。

研究では、COVIDxデータセットにおけるラベルの「誤用」および「偏りのリスクと混在」の可能性について言及しています。研究者たちは、3つのディープラーニングモデルでCOVIDxをテストした結果、「問題ドメイン全体で広く報告されている優れたパフォーマンスは過大評価されており、モデルパフォーマンスの結果は不正確であり、モデルは臨床的に現実的なデータに一般化されない」と結論付けています。

5つの対照的なデータセット

報告書では、現在のAIベースの方法論の多くが、異なるオープンソースリポジトリからの「異質な」データの集合に依存していることを観察しています。研究者たちは、5つのデータセットがCOVIDxデータセットに統合されているにもかかわらず、データの品質とタイプの均一性が不十分であると主張しています。

COVIDxデータセットは、2020年5月にカナダのウォータールー大学のシステムデザイン工学部門が主導するコンソーシアムの取り組みとしてリリースされました。データは、COVID-Netオープンソースイニシアチブの一部として提供されました。

COVIDxを構成する5つのコレクションは、次のとおりです：COVID-19画像データコレクション（モントリオールの研究者によるオープンソースセット）、COVID-19胸部X線データセットイニシアチブ、Actualmed COVID-19胸部X線データセット、COVID-19放射線学データベース、RSNA肺炎検出チャレンジデータセットです。

(RICORD – 下記参照 – は、COVIDxに追加されましたが、研究対象のモデルには含まれていなかったため、テストデータから除外されました。ただし、COVIDxをさらに多様化させた可能性がありますが、これが研究者の主な批判です。)

十分近い…?

研究者たちは、COVIDxを構成するデータセットの出典と適切性を調査しました。RSNAデータセットの「誤用」について言及し、1つのタイプのデータが別のカテゴリに分類されたと主張しています。

「RSNAリポジトリは、NIH ChestX-ray8の公開されている胸部X線データを使用し、3つのクラスの画像（肺不透明度、肺不透明度なし/正常なし、正常）を含み、肺不透明度の場合にはバウンディングボックスが利用可能です。」

「COVIDxへのコンパイルでは、すべての胸部X線画像が肺炎クラスに含まれています。」

「…肺炎クラスには、胸部X線画像にさまざまな病理が含まれています。肺不透明度は、肺炎の可能性のある放射線学的特徴ですが、臨床的な診断ではありません。肺不透明度を肺炎の代わりに使用することは、ドキュメント化されていない場合は誤解を招く可能性があります。」

COVIDxに関連する代替病理。 ソース：https://arxiv.org/ftp/arxiv/papers/2109/2109.08020.pdf

報告書では、RSNAから得られた4,305の肺炎症例のうち、わずか6.13%（265症例）が正確にラベル付けされていたと述べています。

「正常」ではない

報告書では、RSNAチャレンジデータセットの影響により、COVIDxのデータの安定性が損なわれていると主張しています。研究者たちは、COVIDxがRSNAデータの「正常」クラスを優先し、すべての「肺不透明度なし/正常なし」クラスを除外したと述べています。

「これは、期待される『正常』ラベルと一致していますが、肺炎クラスを拡大し、正常な胸部X線画像のみを使用することで、分類タスクが簡素化されます。」

「結果として、真の臨床問題から離れたタスクを反映するデータセットが得られます。」

不適合なデータ標準からの潜在的な偏り

論文では、COVIDxに含まれるデータの他のタイプの偏りについても言及しています。例えば、ペディアトリック胸部X線画像と成人患者からのX線画像が混在していることや、RSNAデータセットの画像が1024×1024の解像度であるのに対し、別のデータセットの画像が299×299の解像度であることなどです。

さらに、ActMedデータセットには、COVID-19胸部X線画像に「円形のマーカー」が含まれており、これはより広いデータセットと一致しません。このマーカーは、繰り返し出現するアウトライアーとして扱われる必要があります。

トレーニングとテスト

研究者たちは、COVIDxを2つの比較データセットと3つのモデルでテストしました。追加の2つのデータセットは、RICORD（1096のCOVID-19胸部X線画像、361人の患者、4カ国）とCheXpert（公開データセット）でした。

使用された3つのモデルは、COVID-Net、CoroNet、DarkCovidNetでした。すべてのモデルは、畳み込みニューラルネットワーク（CNN）を使用していますが、CoroNetは、オートエンコーダーがCNNクラシファイアに出力を渡す2ステージの画像分類プロセスを使用しています。

テストでは、すべてのモデルで、COVIDx以外のデータセットを使用した場合のパフォーマンスが大幅に低下することが示されました。ただし、データが不正確にラベル付けされている場合、これらは実際には誤った結果です。研究者たちは、より現実的で正確に分類されたデータであると考えられる外部データセットで、精度が大幅に低下することを観察しました。

「COVIDxテストデータの予測に対する500のgrad-CAM saliency mapsの臨床レビューでは、臨床的に無関係な特徴を重要視する傾向が見られました。骨格や軟組織ではなく、COVID-19感染の典型的な両側肺野の拡散性不透明化に焦点を当てています。」

COVID-19陽性例のX線画像、COVIDxでDarkCovidNetをトレーニングした場合の予測確率は0.938です。 ソース：https://arxiv.org/ftp/arxiv/papers/2109/2109.08020.pdf

結論

研究者たちは、COVIDxデータセットにおける胸部X線画像のデモグラフィックや臨床データの欠如を批判しています。彼らは、これらのデータがなければ、「年齢などの混在要因」を考慮することは不可能であると主張しています。

研究者たちは、COVIDxデータセットで見つかった問題は、同様の方法でソースされた他のデータセットにも適用される可能性があると述べています。彼らは、COVIDxの不均衡なペディアトリックX線画像の包含やラベルの「誤用」、およびCOVIDxにおける偏りのリスクと混在について言及しています。

研究者たちは、「問題ドメイン全体で広く報告されている優れたパフォーマンスは過大評価されており、モデルパフォーマンスの結果は不正確であり、モデルは臨床的に現実的なデータに一般化されない」と結論付けています。

「利用可能な病院データの不足と、問題ドメイン全体での不十分なモデル評価により、オープンソースデータの使用が研究コミュニティを欺くことになりました。モデルパフォーマンスメトリックの過大評価の継続的な公開は、特に病気が大きな公衆の関心事である場合、医療診断におけるAI研究の信頼性を損なう可能性があります。このドメインの研究の質を向上させる必要があります。データから始める必要があります。」

*研究者の研究に対するデータ、ファイル、コードは、オンラインで利用可能であると主張していますが、ログインが必要であり、現在、一般的なパブリックアクセスは利用できない状態です。
** ChestX-ray8：病院規模の胸部X線データベースと共通の胸部疾患の弱い教師あり分類とローカリゼーションのベンチマーク – https://arxiv.org/pdf/1705.02315.pdf