Kritik an der Popularität des COVIDx-Datensatzes durch britische Forscher

Eine Forschungsgruppe aus dem Vereinigten Königreich hat Kritik an dem Ausmaß des wissenschaftlichen Vertrauens in offene Datensätze für die computerbasierte Analyse von COVID-19-Patienten-Röntgenbildern geäußert, insbesondere an den beliebten offenen Datensatz COVIDx.

Die Forscher, die COVIDx in verschiedenen AI-Trainingsmodellen getestet haben, behaupten, dass es “nicht repräsentativ für das reale klinische Problem” ist, dass die Ergebnisse, die durch die Verwendung von COVIDx erzielt werden, “aufgebläht” sind und dass die Modelle “nicht gut generalisieren” auf reale Daten.

Die Autoren weisen auch auf die Inkonsistenz der beigetragenen Daten hin, die den COVIDx-Datensatz ausmachen, wo die ursprünglichen Bilder in verschiedenen Auflösungen vorliegen, die automatisch von der Deep-Learning-Workflows in konsistente Größen umgewandelt werden, die für die Ausbildung erforderlich sind, und beobachten, dass dieser Prozess täuschende Artefakte im Zusammenhang mit dem Bild-Größen-Algorithmus und nicht mit dem klinischen Aspekt der Daten einführen kann.

Das Papier trägt den Titel Die Fallstricke der Verwendung offener Daten für die Entwicklung von Deep-Learning-Lösungen für die COVID-19-Erkennung in Röntgenbildern und ist eine Zusammenarbeit zwischen dem Center for Computational Imaging & Simulation in Biomedicine (CISTIB) an der University of Leeds und Forschern aus fünf anderen Organisationen in der gleichen Stadt, einschließlich des Leeds Teaching Hospitals NHS Trust.

Die Forschungsergebnisse zeigen unter anderem negative Praktiken wie den “Missbrauch von Labels” im COVIDx-Datensatz sowie ein “hohes Risiko von Voreingenommenheit und Verzerrung”. Die eigenen Experimente der Forscher, bei denen sie den Datensatz durch drei geeignete Deep-Learning-Modelle führten, führten sie zu dem Schluss, dass “die außergewöhnliche Leistung, die weithin im Problemfeld gemeldet wird, aufgebläht ist, dass die Ergebnisse der Modellleistung falsch dargestellt werden und dass die Modelle nicht gut auf klinisch-realitätsnahe Daten generalisieren.”

Fünf kontrastierende Datensätze in einem

Der Bericht* weist darauf hin, dass die meisten aktuellen AI-basierten Methoden in diesem Bereich von einer “heterogenen” Mischung von Daten aus verschiedenen offenen Quellen abhängen und beobachtet, dass fünf Datensätze mit deutlich unterschiedlichen Merkmalen in den COVIDx-Datensatz aufgenommen wurden, obwohl (nach Meinung der Forscher) die Datenqualität und -art nicht ausreichend sind.

Der COVIDx-Datensatz wurde im Mai 2020 als Konsortialbemühung unter der Leitung der Abteilung für Systemdesign-Engineering an der University of Waterloo in Kanada veröffentlicht, wobei die Daten im Rahmen der COVID-Net Open Source Initiative verfügbar gemacht wurden.

Die fünf Sammlungen, die den COVIDx-Datensatz ausmachen, sind: die COVID-19 Bild-Datensammlung (eine offene Sammlung von Montreal-Forschern); die COVID-19-Röntgenbild-Datensammlung Initiative; die Actualmed COVID-19-Röntgenbild-Datensammlung Datensatz; die COVID-19-Radiographie Datenbank; und der RSNA-Pneumonie-Erkennungs-Challenge Datensatz, einer der vielen vor-COVID-Sätze, die für die Pandemie-Krise eingesetzt wurden.

(RICORD – siehe unten – wurde später zu COVIDx hinzugefügt, aber da es nach den Modellen von Interesse in der Studie hinzugefügt wurde, wurde es vom Testdatensatz ausgeschlossen, und es wird tendenziell COVIDx noch weiter variiert, was der zentrale Vorwurf der Autoren der Studie ist.)

Die Forscher behaupten, dass COVIDx der “größte und am weitesten verbreitete” Datensatz seiner Art innerhalb der wissenschaftlichen Gemeinschaft im Zusammenhang mit COVID-Forschung ist und dass die in COVIDx importierten Daten aus den externen Datensätzen nicht ausreichend dem Dreiteilungsschema des COVIDx-Datensatzes entsprechen (d. h. “normal”, “Pneumonie” und “COVID-19”).

Nahe genug..?

Bei der Untersuchung der Herkunft und Eignung der beitragenden Datensätze für COVIDx zum Zeitpunkt der Studie fanden die Forscher “Missbrauch” der RSNA-Daten, wo Daten einer Art in eine andere Kategorie eingeteilt wurden, die die Forscher behaupten:

‘Die RSNA-Repository, die öffentlich verfügbare Röntgenbild-Daten von NIH Chestx-ray8 [**] verwendet, wurde für eine Segmentierungsaufgabe konzipiert und enthält daher drei Klassen von Bildern: ‘Lung-Opazität’, ‘Keine Lung-Opazität/Nicht normal’ und ‘Normal’, mit verfügbaren Begrenzungsboxen für ‘Lung-Opazität’-Fälle.

‘Bei der Kompilation in COVIDx werden alle Röntgenbilder aus der ‘Lung-Opazität’-Klasse in die Pneumonie-Klasse aufgenommen.’

Effektiv behaupten die Forscher, dass die COVIDx-Methode die Definition von “Pneumonie” erweitert, um “alle pneumonia-ähnlichen Lungen-Opazitäten” einzuschließen. Folglich ist der Wert vergleichbarer Datentypen (vermutlich) gefährdet. Die Forscher stellen fest:

‘ […] die Pneumonie-Klasse innerhalb des COVIDx-Datensatzes enthält Röntgenbilder mit einer Vielzahl von anderen Pathologien, einschließlich Pleuraerguss, Infiltration, Konsolidierung, Emphysem und Massen. Konsolidierung ist ein radiologisches Merkmal einer möglichen Pneumonie, nicht eine klinische Diagnose. Die Verwendung von Konsolidierung als Ersatz für Pneumonie ohne Dokumentation ist potenziell irreführend.’

Alternative Pathologien (außer COVID-19) in Verbindung mit COVIDx. Quelle: https://arxiv.org/ftp/arxiv/papers/2109/2109.08020.pdf

Der Bericht findet, dass nur 6,13 % der 4.305 Pneumonie-Fälle aus der RSNA-Quelle korrekt beschriftet wurden, was nur 265 echte Pneumonie-Fälle darstellt.

Weiterhin stellen die Forscher fest, dass viele der nicht-Pneumonie-Fälle, die in COVIDx enthalten sind, Komorbiditäten darstellen – Komplikationen anderer Krankheiten oder sonstige sekundäre medizinische Probleme, die nicht unbedingt mit Pneumonie zusammenhängen.

Nicht ‘Normal’

Der Bericht legt nahe, dass der Einfluss des RSNA-Challenge-Datensatzes in COVIDx die empirische Stabilität der Daten verfälscht hat. Die Forscher beobachten, dass COVIDx die “normale” Klasse der RSNA-Daten priorisiert, effektiv alle “keine Lungen-Opazität/Nicht normal”-Klassen im umfassenderen Datensatz ausschließt. Das Papier sagt:

‘Während dies im Einklang mit dem steht, was innerhalb des ‘normalen’ Labels erwartet wird, vereinfacht die Erweiterung der Pneumonie-Klasse und die Verwendung nur ‘normaler’ Röntgenbilder, anstelle von pneumonia-negativen Fällen, die Klassifizierungsaufgabe erheblich.

‘Das Ergebnis ist ein Datensatz, der eine Aufgabe widerspiegelt, die von dem wahren klinischen Problem entfernt ist.’

Potentielle Voreingenommenheiten durch unvereinbare Datenstandards

Das Papier erkennt mehrere Arten von Voreingenommenheit in COVIDx, darunter, dass einige der beitragenden Daten pediatriche Röntgenbilder von Erwachsenen-Patienten-Röntgenbildern vermischen und dass diese Daten die einzige “signifikante” Quelle pediatriche Bilder in COVIDx sind.

Außerdem haben Bilder aus dem RSNA-Datensatz eine Auflösung von 1024×1024, während ein anderer beitragender Datensatz nur Bilder mit einer Auflösung von 299×299 liefert. Da maschinelle Lernmodelle Bilder unweigerlich auf die verfügbare Trainingsfläche (latente Fläche) anpassen, bedeutet dies, dass die 299×299-Bilder in einem Trainings-Workflow hochskaliert werden (potenziell zu Artefakten im Zusammenhang mit einem Skalierungs-Algorithmus und nicht mit Pathologie), und die größeren Bilder herunterskaliert werden. Dies spricht gegen die homogenen Datenstandards, die für die AI-basierte computerbasierte Bildanalyse erforderlich sind.

Des Weiteren enthält der ActMed-Datensatz, der in COVIDx aufgenommen wurde, “scheibenförmige Markierungen” in COVID-19-Röntgenbildern, ein wiederkehrendes Merkmal, das nicht mit dem umfassenderen Datensatz vereinbar ist und das als “wiederkehrender Ausreißer” behandelt werden müsste.

Dies ist die Art von Problem, die normalerweise durch Reinigung oder Auslassung der Daten gelöst wird, da das Auftreten der Markierungen ausreichend ist, um als “Merkmal” im Training registriert zu werden, aber nicht häufig genug, um nützlich im umfassenderen Schema des Datensatzes zu generalisieren. Ohne einen Mechanismus, um den Einfluss der künstlichen Markierungen zu diskontieren, könnten sie potenziell von der Methodik des maschinellen Lernsystems als pathologische Phänomene betrachtet werden.

Training und Testen

Die Forscher testeten COVIDx gegen zwei vergleichbare Datensätze über drei Modelle. Die beiden zusätzlichen Datensätze waren RICORD, der 1096 COVID-19-Röntgenbilder über 361 Patienten aus vier Ländern enthält, und CheXpert, ein öffentlicher Datensatz

Die drei Modelle, die verwendet wurden, waren COVID-Net, CoroNet und DarkCovidNet. Alle drei Modelle verwenden Convolutional Neural Networks (CNNs), obwohl CoroNet aus einem zweistufigen Bildklassifizierungsprozess besteht, bei dem Autoencoder die Ausgabe an einen CNN-Klassifizierer weiterleiten.

Die Tests zeigten einen “steilen Abfall” in der Leistung aller Modelle auf nicht-COVIDx-Datensätzen im Vergleich zur 86-prozentigen Genauigkeit, die bei der Verwendung von COVIDx-Daten resultierte. Wenn die Daten jedoch falsch beschriftet oder falsch gruppiert sind, sind dies effektiv falsche Ergebnisse. Die Forscher stellten eine stark verringerte Genauigkeit auf den vergleichbaren externen Datensätzen fest, die das Papier als realistischere und korrekt klassifizierte Daten vorschlägt.

Weiterhin beobachtet das Papier:

‘Eine klinische Überprüfung von 500 grad-CAM-Saliency-Karten, die durch Vorhersage auf COVIDx-Testdaten generiert wurden, zeigte einen Trend von Bedeutung in klinisch irrelevanten Merkmalen. Dies umfasste häufig eine Konzentration auf Knochenstrukturen und Weichteile anstelle von diffuser bilateralen Opazitäten der Lungenfelder, die typisch für COVID-19-Infektionen sind.’

Dies ist ein Röntgenbild eines bestätigten COVID-19-Falls, das eine Vorhersagewahrscheinlichkeit von 0,938 von COVIDx mit DarkCovidNet zugewiesen wurde.

Schlussfolgerungen

Die Forscher kritisieren den Mangel an demografischen oder klinischen Daten im Zusammenhang mit den Röntgenbildern in COVIDx und argumentieren, dass ohne diese Faktoren wie Alter nicht berücksichtigt werden können.

Sie beobachten auch, dass die Probleme, die im COVIDx-Datensatz gefunden wurden, möglicherweise auf andere Datensätze anwendbar sind, die auf ähnliche Weise zusammengestellt wurden (d. h. durch die Mischung von vor-COVID-Radiologie-Bild-Datenbanken mit aktuellen COVID-Röntgenbild-Daten ohne angemessene Datenarchitektur, Varianz-Kompensation und klare Definition der Grenzen dieses Ansatzes).

Bei der Zusammenfassung der Mängel von COVIDx betonen die Forscher die einseitige Aufnahme von “klaren” pediatricen Röntgenbildern sowie ihre Wahrnehmung des Missbrauchs von Labels und des hohen Risikos von Voreingenommenheit und Verzerrung in COVIDx, indem sie behaupten, dass ‘die außergewöhnliche Leistung [von COVIDx] weithin im Problemfeld gemeldet wird, aufgebläht ist, dass die Ergebnisse der Modellleistung falsch dargestellt werden und dass die Modelle nicht gut auf klinisch-realitätsnahe Daten generalisieren.’

Der Bericht schließt:

‘Ein Mangel an verfügbaren Krankenhausdaten in Kombination mit unzureichender Modellbewertung im gesamten Problemfeld hat es ermöglicht, dass die Verwendung offener Daten die Forschungsgemeinschaft irreführt. Die weitere Veröffentlichung von aufgeblähten Modellleistungsmaßen riskiert die Schädigung der Glaubwürdigkeit von KI-Forschung in der medizinischen Diagnose, insbesondere wenn die Krankheit von großem öffentlichem Interesse ist. Die Qualität der Forschung in diesem Bereich muss verbessert werden, um dies zu verhindern, und dies muss mit den Daten beginnen.’

*Obwohl die Forscher der Studie behaupten, die Daten, Dateien und den Code für das neue Papier online verfügbar gemacht zu haben, erfordert der Zugriff eine Anmeldung, und zum Zeitpunkt des Schreibens ist kein allgemeiner Zugriff auf die Dateien verfügbar.
** ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases – https://arxiv.org/pdf/1705.02315.pdf