Critica al dataset COVIDx da parte di ricercatori del Regno Unito

Un consorzio di ricerca del Regno Unito ha espresso critiche sulla portata della fiducia scientifica riposta nei dataset open source utilizzati per l’analisi basata su computer vision dei raggi X del torace dei pazienti con COVID-19, concentrandosi sul popolare dataset open source COVIDx.

I ricercatori, dopo aver testato COVIDx in vari modelli di addestramento AI, affermano che non è ‘rappresentativo del reale problema clinico’, che i risultati ottenuti utilizzandolo sono ‘inflati’ e che i modelli ‘non generalizzano bene’ ai dati del mondo reale.

Gli autori notano anche l’incoerenza dei dati contribuiti che compongono COVIDx, dove le immagini originali provengono in una varietà di risoluzioni che vengono riformattate automaticamente dal flusso di lavoro di apprendimento profondo in dimensioni coerenti necessarie per l’addestramento, e osservano che questo processo può introdurre artefatti ingannevoli relativi all’algoritmo di ridimensionamento dell’immagine, piuttosto che all’aspetto clinico dei dati.

Il documento si intitola I limiti dell’utilizzo di dati aperti per sviluppare soluzioni di apprendimento profondo per la rilevazione del COVID-19 nei raggi X del torace, e rappresenta una collaborazione tra il Center for Computational Imaging & Simulation in Biomedicine (CISTIB) dell’Università di Leeds, insieme a ricercatori di altre cinque organizzazioni nella stessa città, tra cui il Leeds Teaching Hospitals NHS Trust.

La ricerca dettaglia, tra le altre pratiche negative, l'”uso improprio delle etichette” nel dataset COVIDx, nonché un “alto rischio di bias e confonding”. Gli esperimenti dei ricercatori nel mettere il dataset alla prova attraverso tre modelli di apprendimento profondo hanno portato a concludere che ‘le prestazioni eccezionali riportate ampiamente in tutto il dominio del problema sono gonfiate, che i risultati delle prestazioni dei modelli sono rappresentati in modo errato e che i modelli non generalizzano bene ai dati clinicamente realistici.’

Cinque dataset contrastanti in uno

La relazione* nota che la maggior parte delle metodologie basate su AI in questo campo dipendono da un’assortimento ‘eterogeneo’ di dati da repository open source diversi, osservando che cinque dataset con caratteristiche notevolmente diverse sono stati aggregati nel dataset COVIDx nonostante (secondo i ricercatori) l’inadeguata parità di qualità e tipo dei dati.

Il dataset COVIDx è stato rilasciato nel maggio 2020 come sforzo congiunto guidato dal Dipartimento di Systems Design Engineering dell’Università di Waterloo in Canada, con i dati resi disponibili come parte dell’iniziativa COVID-Net Open Source.

I cinque raccolte che costituiscono COVIDx sono: la raccolta di immagini COVID-19 (un set open source di ricercatori di Montreal); l’iniziativa del dataset di raggi X del torace COVID-19; il dataset di raggi X del torace COVID-19 di Actualmed; il database di radiografia COVID-19; e il dataset della sfida di rilevamento della polmonite RSNA, uno dei molti set pre-COVID che sono stati utilizzati per la crisi pandemica.

(RICORD – vedi sotto – è stato successivamente aggiunto a COVIDx, ma poiché è stato incluso successivamente ai modelli di interesse nello studio, è stato escluso dai dati di test e, in ogni caso, avrebbe tendenzialmente variato ulteriormente COVIDx, che è la principale critica degli autori dello studio.)

I ricercatori sostengono che COVIDx è il ‘più grande e più ampiamente utilizzato’ dataset del suo tipo all’interno della comunità scientifica relativa alla ricerca sul COVID, e che i dati importati in COVIDx dai dataset esterni non si conformano adeguatamente allo schema tripartito del dataset COVIDx (cioè ‘normale’, ‘polmonite’ e ‘COVID-19’).

Abbastanza vicino..?

Nell’esaminare la provenienza e l’idoneità dei dataset contribuiti per COVIDx al momento dello studio, i ricercatori hanno trovato un ‘uso improprio’ dei dati RSNA, dove i dati di un tipo sono stati, secondo i ricercatori, fatti rientrare in una categoria diversa:

‘Il repository RSNA, che utilizza dati di raggi X del torace pubblicamente disponibili da NIH Chestx-ray8 [**], è stato progettato per un compito di segmentazione e contiene quindi tre classi di immagini, ‘Lung Opacity’, ‘No Lung Opacity/Not Normal’ e ‘Normal’, con bounding box disponibili per i casi di ‘Lung Opacity’.

‘Nella sua compilazione in COVIDx, tutte le immagini di raggi X della classe ‘Lung Opacity’ sono incluse nella classe della polmonite.’

In sostanza, l’articolo afferma che la metodologia COVIDx estende la definizione di ‘polmonite’ per includere ‘tutte le opacità polmonari simili alla polmonite’. Di conseguenza, il valore di confronto dei tipi di dati è (presumibilmente) compromesso. I ricercatori affermano:

‘ […] la classe della polmonite all’interno del dataset COVIDx contiene immagini di raggi X con una varietà di altre patologie, tra cui effusione pleurica, infiltrazione, consolidazione, enfisema e masse. La consolidazione è una caratteristica radiologica di possibile polmonite, non una diagnosi clinica. Utilizzare la consolidazione come sostituto della polmonite senza documentarlo è potenzialmente fuorviante.’

Patologie alternative (oltre al COVID-19) associate a COVIDx. Fonte: https://arxiv.org/ftp/arxiv/papers/2109/2109.08020.pdf

La relazione trova che solo il 6,13% dei 4.305 casi di polmonite provenienti da RSNA sono stati etichettati in modo accurato, rappresentando un mero 265 casi di polmonite genuini.

Inoltre, molti dei casi non di polmonite inclusi in COVIDx rappresentavano comorbidità – complicazioni di altre malattie o problemi medici secondari in condizioni non necessariamente correlate alla polmonite.

Non ‘Normale’

La relazione suggerisce inoltre che l’influenza del dataset della sfida RSNA in COVIDx ha distorto la stabilità empirica dei dati. I ricercatori osservano che COVIDx priorizza la classe ‘normale’ dei dati RSNA, escludendo effettivamente tutte le classi ‘no lung opacity/not normal’ nel dataset più ampio. L’articolo afferma:

‘Mentre ciò è in linea con ciò che ci si aspetta all’interno dell’etichetta ‘normale’, l’espansione della classe della polmonite e l’utilizzo solo di immagini di raggi X ‘normali’, piuttosto che casi negativi alla polmonite, semplificano notevolmente il compito di classificazione.

‘Il risultato finale di ciò è un dataset che riflette un compito che è lontano dal vero problema clinico.’

Potenziali pregiudizi derivanti da standard di dati incompatibili

L’articolo individua una serie di altri tipi di pregiudizi in COVIDx, notando che alcuni dei dati contribuiti mescolano immagini di raggi X del torace pediatrico con quelle di pazienti adulti, e osserva inoltre che questi dati sono l’unica ‘significativa’ fonte di immagini pediatriche in COVIDx.

Inoltre, le immagini del dataset RSNA hanno una risoluzione di 1024×1024, mentre un altro dataset contributo fornisce immagini solo con una risoluzione di 299×299. Poiché i modelli di apprendimento automatico ridimensioneranno inevitabilmente le immagini per adattarsi allo spazio di addestramento disponibile (spazio latente), ciò significa che le immagini da 299×299 verranno aumentate in un flusso di lavoro di addestramento (potenzialmente portando a artefatti legati a un algoritmo di ridimensionamento piuttosto che a una patologia), e le immagini più grandi verranno ridimensionate. Ancora una volta, ciò si traduce in standard di dati non omogenei necessari per l’analisi della visione computerizzata basata su AI.

Inoltre, i dati ActMed inglobati in COVIDx contengono ‘marker a forma di disco’ nelle immagini di raggi X del torace COVID-19, una caratteristica ricorrente che è incoerente con il dataset più ampio, e che dovrebbe essere gestita come ‘anomalia ripetitiva’.

Questo è il tipo di problema che di solito viene affrontato pulendo o omettendo i dati, poiché la ricorrenza dei marker è sufficiente per registrarsi come ‘caratteristica’ nell’addestramento, ma non abbastanza frequente da generalizzare utilmente nel quadro più ampio del dataset. Senza un meccanismo per scontare l’influenza dei marker artificiali, potrebbero potenzialmente essere considerati dalla metodologia del sistema di apprendimento automatico come fenomeni patologici.

Addestramento e test

I ricercatori hanno testato COVIDx contro due dataset comparativi attraverso tre modelli. I due dataset aggiuntivi erano RICORD, che contiene 1096 immagini di raggi X del torace COVID-19 su 361 pazienti, provenienti da quattro paesi; e CheXpert, un dataset pubblico

I tre modelli utilizzati sono stati COVID-Net, CoroNet e DarkCovidNet. Tutti e tre i modelli utilizzano reti neurali convoluzionali (CNN), sebbene CoroNet consista in un processo di classificazione delle immagini a due fasi, con autoencoder che passano l’output a un classificatore CNN.

Il test ha mostrato un ‘brusco calo’ in tutte le prestazioni del modello sui dataset non COVIDx rispetto al 86% di accuratezza risultante quando si utilizza il dataset COVIDx. Tuttavia, se i dati sono etichettati o raggruppati in modo errato, questi sono effettivamente risultati falsi. I ricercatori hanno notato una notevole diminuzione dei risultati di accuratezza sui dataset esterni comparabili, che il documento propone come dati più realistici e correttamente classificati.

Inoltre, il documento osserva:

‘Una revisione clinica di 500 mappe di salienza grad-CAM generate dalla previsione sui dati di test COVIDx ha mostrato una tendenza di significato in caratteristiche clinicamente irrilevanti. Ciò includeva frequentemente una focalizzazione su strutture ossee e tessuti molli invece di un’opacità bilaterale diffusa dei campi polmonari tipica dell’infezione COVID-19.’

Questo è un’immagine di raggi X di un caso confermato di COVID-19, assegnato a una probabilità di previsione di 0,938 da COVIDx addestrato su DarkCovidNet.

Conclusioni

I ricercatori criticano la mancanza di dati demografici o clinici relativi alle immagini di raggi X in COVIDx, sostenendo che senza di essi è impossibile tenere conto di ‘fattori di confonding’ come l’età.

Affermano inoltre che i problemi riscontrati nel dataset COVIDx possono essere applicabili ad altri dataset che sono stati raccolti in modo simile (ad esempio, mescolando database di immagini radiologiche pre-COVID con dati di immagini di raggi X COVID recenti senza un’adeguata architettura dei dati, compensazione della varianza e chiara definizione dei limiti di questo approccio).

Nel riassumere le carenze di COVIDx, i ricercatori sottolineano l’inclusione squilibrata di ‘chiare’ immagini di raggi X pediatrici, nonché la loro percezione dell’uso improprio delle etichette e del alto rischio di pregiudizi e confonding in COVIDx, sostenendo che ‘le prestazioni eccezionali [di COVIDx] riportate ampiamente in tutto il dominio del problema sono gonfiate, che i risultati delle prestazioni dei modelli sono rappresentati in modo errato e che i modelli non generalizzano bene ai dati clinicamente realistici.’

Il rapporto conclude:

‘La mancanza di dati ospedalieri disponibili combinata con una valutazione dei modelli inadeguata in tutto il dominio del problema ha permesso l’utilizzo di dati open source per ingannare la comunità di ricerca. La continua pubblicazione di metriche di prestazione dei modelli gonfiate rischia di danneggiare l’affidabilità della ricerca sull’AI nella diagnostica medica, in particolare quando la malattia è di grande interesse pubblico. La qualità della ricerca in questo dominio deve migliorare per prevenire ciò, e ciò deve iniziare con i dati.’

*Sebbene i ricercatori dello studio affermino di aver reso disponibili online i dati, i file e il codice per il nuovo documento online, l’accesso richiede un login, e, al momento della stesura, non è disponibile l’accesso pubblico generale ai file.
** ChestX-ray8: Database di raggi X del torace a livello di ospedale e benchmark per la classificazione e la localizzazione debolmente supervisionata di malattie comuni del torace – https://arxiv.org/pdf/1705.02315.pdf