Critique du jeu de données COVIDx populaire par des chercheurs britanniques

Un consortium de recherche du Royaume-Uni a critiqué la confiance scientifique accordée aux jeux de données open source utilisés pour l’analyse basée sur la vision par ordinateur des radiographies pulmonaires de patients atteints de COVID-19, en se concentrant sur le jeu de données open source populaire COVIDx.

Les chercheurs, ayant testé COVIDx dans divers modèles de formation d’IA, affirment qu’il n’est pas « représentatif du problème clinique réel », que les résultats obtenus en l’utilisant sont « gonflés » et que les modèles « ne généralisent pas bien » aux données du monde réel.

Les auteurs notent également l’incohérence des données contributives qui composent COVIDx, où les images originales proviennent de résolutions variées qui sont reformattées automatiquement par le flux de travail d’apprentissage profond en tailles cohérentes nécessaires à la formation, et observent que ce processus peut introduire des artefacts trompeurs liés à l’algorithme de redimensionnement d’image, plutôt qu’à l’aspect clinique des données.

Le document s’intitule Les pièges de l’utilisation de données ouvertes pour développer des solutions d’apprentissage profond pour la détection de la COVID-19 dans les radiographies pulmonaires, et est une collaboration entre le Centre d’imagerie et de simulation computationnelles en biologie médicale (CISTIB) de l’Université de Leeds, ainsi que des chercheurs de cinq autres organisations de la même ville, dont le Leeds Teaching Hospitals NHS Trust.

Les détails de la recherche, entre autres pratiques négatives, mettent en évidence le « mauvais usage des étiquettes » dans le jeu de données COVIDx, ainsi qu’un « risque élevé de biais et de confusion ». Les expériences des chercheurs en soumettant le jeu de données à trois modèles d’apprentissage profond viables les ont amenés à conclure que ‘les performances exceptionnelles rapportées largement dans le domaine du problème sont gonflées, que les résultats de performance des modèles sont faussement présentés, et que les modèles ne généralisent pas bien aux données cliniquement réalistes.’

Cinq jeux de données contrastés en un

Le rapport* note que la majorité des méthodologies basées sur l’IA dans ce domaine dépendent d’un ensemble « hétérogène » de données provenant de dépôts open source disparates, observant que cinq jeux de données aux caractéristiques remarquablement différentes ont été agglomérés dans le jeu de données COVIDx malgré (selon les chercheurs) une inadéquation de la qualité et du type de données.

Le jeu de données COVIDx a été publié en mai 2020 en tant qu’effort de consortium dirigé par le département de conception de systèmes de l’Université de Waterloo au Canada, avec les données rendues disponibles dans le cadre de l’initiative open source COVID-Net.

Les cinq collections qui constituent COVIDx sont: la collection d’images de COVID-19 (un jeu de données open source de chercheurs de Montréal); le jeu de données de radiographies pulmonaires COVID-19 initiative; le jeu de données de radiographies pulmonaires COVID-19 d’Actualmed dataset; la base de données de radiographie COVID-19 Database; et le jeu de données du défi de détection de la pneumonie RSNA dataset, l’un des nombreux jeux de données pré-COVID qui ont été utilisés pour la crise pandémique.

(RICORD – voir ci-dessous – a depuis été ajouté à COVIDx, mais comme il a été inclus après les modèles étudiés, il a été exclu des données de test, et dans tous les cas, il aurait tendance à varier encore plus COVIDx, ce qui est la plainte centrale des auteurs de l’étude.)

Les chercheurs soutiennent que COVIDx est le ‘plus grand et le plus largement utilisé’ jeu de données de son type au sein de la communauté scientifique liée à la recherche sur la COVID, et que les données importées dans COVIDx à partir des jeux de données externes constitutifs ne sont pas conformes de manière adéquate au schéma tripartite du jeu de données COVIDx (c’est-à-dire « normal », « pneumonie » et « COVID-19 »).

Assez proche..?

En examinant la provenance et la convenance des jeux de données contributifs pour COVIDx au moment de l’étude, les chercheurs ont constaté un « mauvais usage » des données RSNA, où des données d’un type ont été, selon les chercheurs, regroupées dans une catégorie différente:

‘Le référentiel RSNA, qui utilise des données de radiographies pulmonaires publiques de NIH Chestx-ray8 [**], a été conçu pour une tâche de segmentation et contient donc trois classes d’images, ‘Opacité pulmonaire’, ‘Pas d’opacité pulmonaire / Non normal’ et ‘Normal’, avec des boîtes de délimitation disponibles pour les cas ‘Opacité pulmonaire’.

‘Lors de sa compilation dans COVIDx, toutes les radiographies pulmonaires de la classe ‘Opacité pulmonaire’ sont incluses dans la classe pneumonie.’

En effet, selon le document, la méthodologie COVIDx élargit la définition de « pneumonie » pour inclure « toutes les opacités pulmonaires similaires à la pneumonie ». Par conséquent, la valeur comparative des types de données est (présumément) menacée. Les chercheurs déclarent:

‘ […] la classe pneumonie dans le jeu de données COVIDx contient des radiographies pulmonaires avec une assortment de nombreuses autres pathologies, y compris l’effusion pleurale, l’infiltration, la consolidation, l’emphysème et les masses. La consolidation est une caractéristique radiologique d’une pneumonie possible, et non un diagnostic clinique. Utiliser la consolidation comme substitut à la pneumonie sans la documenter est potentiellement trompeur.’

Pathologies alternatives (en plus de la COVID-19) associées à COVIDx. Source: https://arxiv.org/ftp/arxiv/papers/2109/2109.08020.pdf

Le rapport constate que seules 6,13 % des 4 305 cas de pneumonie provenant de RSNA étaient correctement étiquetés, représentant un total de 265 cas de pneumonie réels.

De plus, de nombreux cas non pneumonie inclus dans COVIDx représentaient des comorbidités – des complications d’autres maladies ou des problèmes médicaux secondaires dans des conditions qui ne sont pas nécessairement liées à la pneumonie.

Pas ‘Normal’

Le rapport suggère en outre que l’influence du jeu de données du défi RSNA dans COVIDx a faussé la stabilité empirique des données. Les chercheurs observent que COVIDx donne la priorité à la classe « normale » des données RSNA, excluant effectivement toutes les classes « pas d’opacité pulmonaire / non normal » dans l’ensemble de données plus large. Le document indique:

‘Bien que cela soit conforme à ce qui est attendu dans l’étiquette ‘normale’, l’élargissement de la classe pneumonie et l’utilisation uniquement de radiographies pulmonaires ‘normales’, plutôt que de cas négatifs à la pneumonie, simplifient grandement la tâche de classification.

‘Le résultat final est un jeu de données qui reflète une tâche qui est éloignée du véritable problème clinique.’

Biases potentiels dus à des normes de données incompatibles

Le document met en évidence un certain nombre d’autres types de biais dans COVIDx, notant que certaines des données contributives mélangent des images de radiographies pulmonaires pédiatriques avec celles d’adultes, et observe que ces données constituent la seule « source significative » d’images pédiatriques dans COVIDx.

De plus, les images du jeu de données RSNA ont une résolution de 1024×1024, tandis qu’un autre jeu de données contributif fournit des images d’une résolution de 299×299 seulement. Puisque les modèles d’apprentissage automatique vont invariablement redimensionner les images pour s’adapter à l’espace de formation disponible (espace latent), cela signifie que les images 299×299 seront mises à l’échelle dans un flux de travail de formation (potentiellement conduisant à des artefacts liés à un algorithme de mise à l’échelle plutôt qu’à la pathologie), et que les images plus grandes seront réduites. Encore une fois, cela va à l’encontre des normes de données homogènes nécessaires à l’analyse de vision par ordinateur basée sur l’IA.

De plus, les données ActMed ingérées dans COVIDx contiennent des « marqueurs en forme de disque » dans les radiographies pulmonaires COVID-19, une caractéristique récurrente qui est incompatible avec l’ensemble de données plus large, et qui devrait être traitée comme un « outlier répétitif ».

Il s’agit du type de problème qui est généralement résolu en nettoyant ou en omettant les données, puisque la récurrence des marqueurs est suffisante pour être enregistrée comme une « caractéristique » dans la formation, mais pas suffisamment fréquente pour généraliser de manière utile dans l’ensemble du jeu de données. Sans mécanisme pour compenser l’influence des marqueurs artificiels, ils pourraient potentiellement être considérés par la méthodologie du système d’apprentissage automatique comme des phénomènes pathologiques.

Formation et test

Les chercheurs ont testé COVIDx contre deux jeux de données comparatifs sur trois modèles. Les deux jeux de données supplémentaires étaient RICORD, qui contient 1 096 radiographies pulmonaires COVID-19 sur 361 patients, provenant de quatre pays; et CheXpert, un jeu de données public

Les trois modèles utilisés étaient COVID-Net, CoroNet et DarkCovidNet. Les trois modèles utilisent des réseaux de neurones convolutionnels (CNN), bien que CoroNet consiste en un processus de classification d’images en deux étapes, avec des auto-encodeurs qui passent la sortie à un classificateur CNN.

Les tests ont montré un « déclin abrupt » des performances de tous les modèles sur les jeux de données non COVIDx par rapport à la précision de 86 % résultant de l’utilisation des données COVIDx. Cependant, si les données sont faussement étiquetées ou regroupées, ce sont effectivement de faux résultats. Les chercheurs ont noté une diminution significative des résultats de précision sur les jeux de données externes comparables, que le document propose comme données plus réalistes et correctement classifiées.

De plus, le document observe:

‘Une revue clinique de 500 cartes de salience de grad-CAM générées par prédiction sur les données de test COVIDx a montré une tendance significative à des caractéristiques cliniquement non pertinentes. Cela comprenait fréquemment une concentration sur les structures osseuses et les tissus mous au lieu d’une opacification bilatérale diffuse des champs pulmonaires typique de l’infection à COVID-19.’

Il s’agit d’une radiographie pulmonaire d’un cas confirmé de COVID-19, attribuée une probabilité de prédiction de 0,938 par DarkCovidNet formé sur COVIDx.

Conclusions

Les chercheurs critiquent le manque de données démographiques ou cliniques liées aux images de radiographies pulmonaires dans COVIDx, en faisant valoir qu’il est impossible de tenir compte de « facteurs de confusion » tels que l’âge.

Ils observent également que les problèmes constatés dans le jeu de données COVIDx peuvent s’appliquer à d’autres jeux de données qui ont été compilés de la même manière (c’est-à-dire en mélangeant des bases de données radiologiques pré-COVID avec des données récentes d’images de radiographies pulmonaires COVID sans architecture de données adéquate, compensation de variance et étendue claire des limites de cette approche).

En résumant les lacunes de COVIDx, les chercheurs mettent l’accent sur l’inclusion déséquilibrée de radiographies pulmonaires pédiatriques « claires », ainsi que sur leur perception d’un mauvais usage des étiquettes et d’un risque élevé de biais et de confusion dans COVIDx, en affirmant que ‘les performances exceptionnelles [de COVIDx] rapportées largement dans le domaine du problème sont gonflées, que les résultats de performance des modèles sont faussement présentés, et que les modèles ne généralisent pas bien aux données cliniquement réalistes.’

Le rapport conclut:

‘Un manque de données hospitalières disponibles combiné à une évaluation de modèle inadéquate dans le domaine du problème a permis l’utilisation de données open source pour tromper la communauté de recherche. La publication continue de métriques de performance de modèle gonflées risque de nuire à la fiabilité de la recherche en IA dans les diagnostics médicaux, en particulier lorsque la maladie est d’un grand intérêt public. La qualité de la recherche dans ce domaine doit s’améliorer pour prévenir cela, ce qui doit commencer par les données.’

*Bien que les chercheurs de l’étude prétendent avoir rendu les données, les fichiers et le code du nouveau document disponibles en ligne, l’accès nécessite une connexion, et, au moment de la rédaction, aucune accès public général aux fichiers n’est disponible.
** ChestX-ray8: Base de données de radiographies pulmonaires à l’échelle de l’hôpital et références sur la classification et la localisation faiblement supervisées des maladies thoraciques courantes – https://arxiv.org/pdf/1705.02315.pdf