人気の新型コロナウイルスデータセットを英国の研究者が批判

英国の研究コンソーシアムは、人気のオープンソース データセットである COVIDx を中心に、新型コロナウイルス感染症患者の胸部 X 線写真のコンピューター ビジョン ベースの分析に使用されるオープンソース データセットに対する科学的信頼の程度について批判を表明しました。

研究者らは、さまざまなAIトレーニングモデルでCOVIDxをテストし、これは「実際の臨床問題を表していない」、それを使用して得られた結果は「誇張されている」、モデルは現実に「うまく一般化できない」と主張している。ワールドデータ。

著者らはまた、COVIDx を構成する提供データの不一致にも注目しており、元の画像はさまざまな解像度で提供され、深層学習ワークフローによってトレーニングに必要な一貫したサイズに自動的に再フォーマットされ、このプロセスによって欺瞞的なアーティファクトが導入される可能性があることを観察しています。データの臨床的側面ではなく、画像サイズ変更アルゴリズムに関連しています。

AIマーケティング業界は、 紙 と呼ばれる オープンデータを使用して胸部 X 線検査で 新型コロナウイルス感染症 (COVID-19) を検出するためのディープラーニング ソリューションを開発する際の落とし穴これは、リーズ大学の生物医学計算画像イメージングおよびシミュレーションセンター (CISTIB) と、リーズ教育病院 NHS トラストを含む同じ市内の他の XNUMX つの組織の研究者との共同研究です。

この研究では、他の否定的な慣行の中でも特に、COVIDx データセットにおける「ラベルの誤用」と「偏見と交絡の高いリスク」について詳しく説明しています。 研究者自身が XNUMX つの実行可能な深層学習モデルにわたってデータセットを実行する実験を行った結果、次のような結論に達しました。 「問題領域全体にわたって広く報告されている例外的なパフォーマンスは誇張されており、モデルのパフォーマンス結果は誤って表現されており、モデルは臨床的に現実的なデータにうまく一般化されていません。」

XNUMX つの対照的なデータセットを XNUMX つにまとめたもの

レポート* は、この分野における現在の AI ベースの手法の大部分が、異種のオープンソース リポジトリからの「異種」のデータの組み合わせに依存していることを指摘しており、顕著に異なる特性を持つ XNUMX つのデータセットが、(研究者の考慮事項）データの品質と種類の同等性が不十分です。

COVIDx データセットは リリース 2020 年 XNUMX 月に、カナダのウォータールー大学のシステム設計工学部が主導するコンソーシアムの取り組みとして、データが提供されました。 利用可能になった COVID-Net オープンソース イニシアチブの一環として。

COVIDx を構成する 19 つのコレクションは次のとおりです。 画像データ収集 （ オープンソース モントリオールの研究者からのセット）。 COVID-19 胸部 X 線データセット イニシアチブ; 実際の新型コロナウイルス感染症（COVID-19）胸部 X 線写真 データセット; 新型コロナウイルス感染症（COVID-19）の放射線撮影 データベース; RSNA 肺炎検出チャレンジ データセット、パンデミック危機のために使用を余儀なくされた多くの新型コロナウイルス以前のセットのXNUMXつ。

(RICORD – 下記を参照 – はその後、COVIDx に追加されましたが、研究で対象となるモデルの後に含まれていたため、テストデータから除外されており、いずれにせよ、COVIDx をさらに多様化する傾向がありました。これが研究著者らの主な不満です。)

研究者らは、新型コロナウイルス感染症が原因であると主張している。 「最大かつ最も広く使用されている」 新型コロナウイルス研究に関連する科学コミュニティ内の同種のデータセットであり、構成要素である外部データセットから COVIDx にインポートされたデータが、COVIDx データセットの 19 部構成スキーマ (つまり、「正常」、「肺炎」、「」) に適切に準拠していない。 COVID XNUMX'）。

ほぼ十分です...?

研究者らは、研究時点での新型コロナウイルス感染症に寄与するデータセットの出所と適合性を調査したところ、RSNA データの「誤用」を発見した。つまり、あるタイプのデータが別のカテゴリーにまとめられていたと研究者らは主張している。

RSNA リポジトリは、NIH Chestx-ray から公開されている胸部 X 線データを使用します8 [**]は、セグメンテーション タスク用に設計されており、「肺混濁」、「肺混濁なし/正常でない」、および「正常」という XNUMX つのクラスの画像が含まれており、「肺混濁」の場合に使用できる境界ボックスが含まれています。

「COVIDx への編集では、『肺混濁』クラスのすべての胸部 X 線写真が肺炎クラスに含まれています。」

事実上、この論文は、新型コロナウイルスの方法論は「肺炎」の定義を「すべての肺炎様の肺混濁」を含むように拡張すると主張している。 その結果、比較データ型の同等の価値が（おそらく）脅かされています。 研究者らは次のように述べています。

[…] COVIDx データセット内の肺炎クラスには、胸水、浸潤、硬化、肺気腫、腫瘤など、他の多くの病状を含む胸部 X 線写真が含まれています。 地固めは肺炎の可能性を示す放射線学的特徴であり、臨床診断ではありません。 これを文書化せずに肺炎の代替として統合を使用することは、潜在的に誤解を招く可能性があります。」

COVIDx に関連する代替病理 (COVID-19 以外)。 出典: https://arxiv.org/ftp/arxiv/papers/2109/2109.08020.pdf

報告書によれば、RSNA から得られた肺炎症例 6.13 件のうち正確にラベル付けされたのはわずか 4,305% であり、本物の肺炎症例はわずか 265 件に過ぎません。

さらに、新型コロナウイルスに含まれる肺炎以外の症例の多くは、他の病気の合併症や、必ずしも肺炎とは関係のない二次的な医学的問題などの併存疾患を示していた。

普通でない'

この報告書はさらに、新型コロナウイルス感染症におけるRSNAチャレンジデータセットの影響により、データの経験的安定性が歪められたことを示唆している。 研究者らは、COVIDx が RSNA データの「正常」クラスを優先し、より広範なデータセット内のすべての「肺混濁なし/正常ではない」クラスを事実上除外していることを観察しています。 紙には次のように書かれています。

「これは「正常」というラベル内で期待されるものと一致していますが、肺炎のクラスを拡大し、肺炎陰性の症例ではなく「正常」な胸部X線写真のみを使用することで、分類作業が大幅に簡素化されます。

「この最終結果は、真の臨床問題から除外されたタスクを反映するデータセットです。」

互換性のないデータ標準による潜在的なバイアス

この論文は、新型コロナウイルス感染症における他の多くのタイプのバイアスを識別し、寄与するデータの一部が小児の胸部X線画像と成人患者のX線画像を混合していることを指摘し、さらに、このデータが唯一の「重要な」情報源であることを観察している。 COVIDx の小児画像。

また、RSNA データセットの画像の解像度は 1024 × 1024 ですが、提供されている別のデータセットの画像の解像度は 299 × 299 のみです。機械学習モデルは利用可能なトレーニング スペース (潜在スペース) に合わせて常に画像のサイズを変更するため、これは 299 × 299 の画像がトレーニング ワークフローでアップスケールされることを意味します (病理ではなくスケーリング アルゴリズムに関連するアーティファクトが発生する可能性があります)。大きな画像は縮小されます。繰り返しますが、これにより、AI ベースのコンピューター ビジョン分析に必要な均質なデータ標準が緩和されます。

さらに、COVIDx に取り込まれた ActMed データには、新型コロナウイルス感染症 (COVID-19) の胸部 X 線写真に含まれる「円盤状マーカー」が含まれています。これは、より広範なデータセットと矛盾する反復的な特徴であり、「反復的な外れ値」として処理する必要があります。

これは、通常、データをクリーニングするか省略することで対処できる種類の問題です。マーカーの繰り返しは、トレーニングで「特徴」として登録するには十分ですが、データセットのより広範なスキームで有用に一般化できるほど頻繁ではないためです。 。 人工マーカーの影響を無視するメカニズムがなければ、それらは機械学習システムの方法論によって病理学的現象としてみなされる可能性があります。

トレーニングとテスト

研究者らは、1096つのモデルにわたる19つの比較データセットに対してCOVIDxをテストした。追加の361つのデータセットは、XNUMXか国から収集されたXNUMX人の患者のCOVID-XNUMX胸部X線写真XNUMX枚を含むRICORDと、 チェエキスパート、公開データセット

使用された XNUMX つのモデルは、COVID-Net、 コロネット および ダークコビッドネット。 XNUMX つのモデルはすべて畳み込みニューラル ネットワーク (CNN) を採用していますが、CoroNet は XNUMX 段階の画像分類プロセスで構成されており、オートエンコーダーが出力を CNN 分類器に渡します。

テストでは、COVIDx データを使用した場合の 86% の精度と比較して、非 COVIDx データセットではすべてのモデルのパフォーマンスが「急激に低下」することが示されました。 ただし、データのラベルが間違っていたりグループ化が間違っていた場合、これらは事実上誤った結果になります。 研究者らは、比較可能な外部データセットの結果の精度が大幅に低下していることに注目しましたが、論文ではこれをより現実的で正しく分類されたデータとして提案しています。

さらに、この論文は次のように述べています。

「COVIDx 検査データの予測によって生成された 500 の grad-CAM 顕著性マップの臨床レビューでは、臨床的に無関係な特徴の重要性の傾向が示されました。 これには通常、新型コロナウイルス感染症に典型的な肺野のびまん性両側混濁ではなく、骨構造と軟組織に焦点を当てることが含まれていました。」

これは、確認された COVID-19 症例の X 線写真で、DarkCovidNet でトレーニングされた COVIDx からの予測確率がわずか 0.938 に割り当てられています。

結論

研究者らは、新型コロナウイルスのX線画像に関連する人口統計や臨床データが欠如していることを批判し、これらがなければ年齢などの「交絡因子」を説明することは不可能だと主張している。

彼らはまた、COVIDx データセットで見つかった問題は、同様にソースされた他のデータセットにも適用できる可能性があることも観察しています（つまり、適切なデータ アーキテクチャ、分散補償、および明確な範囲なしで、新型コロナウイルス以前の放射線画像データベースと最近の新型コロナウイルスの X 線画像データを混合することによって）このアプローチの制限について説明します)。

研究者らは、新型コロナウイルス感染症の欠点を要約する際に、「鮮明な」小児用X線写真が偏って含まれていることと、新型コロナウイルス感染症におけるラベルの誤用と偏見と交絡の高いリスクについての認識を強調し、次のように主張している。並外れたパフォーマンス [新型コロナウイルスの] 問題領域全体で広く報告されている問題は誇張されており、モデルのパフォーマンス結果は誤って表現されており、モデルは臨床的に現実的なデータにうまく一般化されていない。

レポートは次のように結論付けています。

「利用可能な病院データの欠如と、問題領域全体にわたる不適切なモデル評価が相まって、オープンソース データの使用が研究コミュニティに誤解を与えることを可能にしています。 モデルのパフォーマンス指標を水増しして発表し続けることは、特に病気が公共の関心が高い場合、医療診断における AI 研究の信頼性を損なうリスクがあります。 このようなことが起こらないようにするためには、この分野の研究の質を向上させる必要があります。これはデータから始めなければなりません。」

*この研究の研究者たちは、新しい論文のデータ、ファイル、コードを作成したと主張していますが、 オンラインで利用可能、アクセスするにはログインが必要ですが、この記事の執筆時点では、ファイルへの一般公開アクセスは利用できません。
** ChestX-ray8: 病院規模の胸部 X 線データベースと、一般的な胸部疾患の弱い教師による分類と位置特定に関するベンチマーク – https://arxiv.org/pdf/1705.02315.pdf