Populær COVIDx-dataset kritiseres av britiske forskere

Et forskningskonsortium fra Storbritannia har rettet kritikk mot omfanget av vitenskapelig tillit som er investert i åpne datasett som brukes for datadrevet analyse av COVID-19-pasienters røntgenbilder, med fokus på den populære åpne datasett COVIDx.

Forskerne, som har testet COVIDx i ulike AI-treningmodeller, hevder at det ikke er “representativt for den virkelige kliniske problemstillingen”, at resultater som er oppnådd ved å bruke det er “oppblåst”, og at modellene “ikke generaliserer godt” til virkelige data.

Forfatterne påpeker også inkonsistensen i de bidragsytere data som utgjør COVIDx, hvor originale bilder kommer i en rekke oppløsninger som automatisk omformateres av dyptlæringens arbeidsflyt til konsistente størrelser nødvendig for trening, og observerer at denne prosessen kan introdusere bedragerske artefakter relatert til bildeomformateringsalgoritmen, snarere enn den kliniske aspektet av dataene.

Rapporten heter De fallgruver som følger med å bruke åpne data til å utvikle dyptlæringsløsninger for COVID-19-dettektering i røntgenbilder, og er et samarbeid mellom Center for Computational Imaging & Simulation in Biomedicine (CISTIB) ved University of Leeds, sammen med forskere fra fem andre organisasjoner i samme by, inkludert Leeds Teaching Hospitals NHS Trust.

Forskningen detaljer, blant annet negative praksiser, “misbruk av etiketter” i COVIDx-datasettet, samt “høy risiko for forvrengning og bias”. Forskerne egne eksperimenter med å sette datasettet gjennom tre ulike dyptlæringsmodeller, førte dem til å konkludere at ‘den usedvanlige ytelsen som er rapportert over hele problemområdet er oppblåst, at modellens ytelsesresultater er misrepresentert, og at modellene ikke generaliserer godt til klinisk-realistiske data.’

Fem kontrasterende datasett i ett

Rapporten* påpeker at de fleste nåværende AI-baserte metoder i dette feltet avhenger av en “heterogen” samling av data fra ulike åpne kildebiblioteker, og observerer at fem datasett med merkbar forskjellige egenskaper har blitt samlet inn i COVIDx-datasettet, til tross for (i forskernes betraktning) utilstrekkelig likhet i datakvalitet og type.

COVIDx-datasettet ble utgitt i mai 2020 som et konsortiumsprosjekt ledet av Department of Systems Design Engineering ved University of Waterloo i Canada, med data gjort tilgjengelig som en del av COVID-Net Open Source Initiative.

De fem samlingene som utgjør COVIDx er: COVID-19 Image Data Collection (en åpen kilde fra Montreal-forskere); COVID-19 Chest X-ray Dataset initiativ; Actualmed COVID-19 Chest X-ray dataset; COVID-19 Radiography Database; og RSNA Pneumonia Detection Challenge dataset, ett av de mange før-COVID-samlingene som har blitt brukt i pandemikrisen.

(RICORD – se nedenfor – er senere blitt lagt til COVIDx, men siden det ble inkludert etter modellene som ble studert, ble det ekskludert fra testdataene, og i alle fall ville det ha tendert til å variere COVIDx enda mer, som er hovedklagen til forfatterne av studien.)

Forskerne hevder at COVIDx er ‘det største og mest brukte’ datasett av sin type innen det vitenskapelige samfunnet i forbindelse med COVID-forskning, og at data som importeres til COVIDx fra de eksterne datasettene ikke tilstrekkelig konformerer til COVIDx-datasettets tripartite skjema (dvs. ‘normal’, ‘pneumoni’ og ‘COVID-19’).

Nær nok..?

Ved å undersøke proveniens og egnetheten til de bidragsytere datasettene for COVIDx på tidspunktet for studien, fant forskerne ‘misbruk’ av RSNA-data, hvor data av en type har, ifølge forskerne, blitt samlet inn i en annen kategori:

‘RSNA-repositoriet, som bruker offentlig tilgjengelige røntgenbilder fra NIH Chestx-ray8 [**], ble designet for en segmenteringoppgave og inneholder derfor tre klasser av bilder, ‘Lung Opacity’, ‘No Lung Opacity/Not Normal’, og ‘Normal’, med bounding boxes tilgjengelig for ‘Lung Opacity’-tilfeller.

‘I sin kompilering til COVIDx er alle røntgenbilder fra ‘Lung Opacity’-klassen inkludert i pneumoni-klassen.’

Effektivt, hevder rapporten, utvider COVIDx-metodikken definisjonen av ‘pneumoni’ til å inkludere ‘alle pneumoni-lignende lunge-opasiteter’. Dermed er (antagelig) sammenlignbarheten av sammenlignbare datatyper truet. Forskerne påpeker:

‘ […] pneumoni-klassen i COVIDx-datasettet inneholder røntgenbilder med en rekke andre patologier, inkludert pleurautgjøring, infiltrasjon, konsolidasjon, emfysem og masser. Konsolidasjon er en radiologisk egenskap av mulig pneumoni, ikke en klinisk diagnose. Å bruke konsolidasjon som erstatning for pneumoni uten å dokumentere dette er potensielt misvisende.’

Alternative patologier (utenom COVID-19) assosiert med COVIDx. Kilde: https://arxiv.org/ftp/arxiv/papers/2109/2109.08020.pdf

Rapporten finner at bare 6,13% av de 4 305 pneumoni-tilfellene fra RSNA var nøyaktig merket, og representerer kun 265 ekte pneumoni-tilfeller.

Videre var mange av de ikke-pneumoni-tilfellene inkludert i COVIDx representert som komorbiditeter – komplikasjoner av andre sykdommer, eller andre sekundære medisinske problemer i tilstander som ikke nødvendigvis er relatert til pneumoni.

Ikke ‘normal’

Rapporten foreslår videre at påvirkningen av RSNA-utfordringsdatasettet i COVIDx har skjevhet den empiriske stabiliteten av dataene. Forskerne observerer at COVIDx prioriterer ‘normal’-klassen av RSNA-data, og effektivt ekskluderer alle ‘no lung opacity/not normal’-klasser i det videre datasettet. Rapporten sier:

‘Dette er i overensstemmelse med hva som forventes innen ‘normal’-merkingen, men å utvide pneumoni-klassen og bruke kun ‘normal’ røntgenbilder, snarere enn pneumoni-negative tilfeller, forenkler klassifiseringsoppgaven betydelig.

‘Resultatet av dette er et datasett som reflekterer en oppgave som er fjernet fra den sanne kliniske problemstillingen.’

Potensielle forvrengninger fra ukompatible datastandarder

Rapporten påpeker en rekke andre typer forvrengninger i COVIDx, og observerer at noen av de bidragsytere dataene blandes med pediatriske røntgenbilder med X-ray-bilder av voksne pasienter, og videre observerer at denne dataen er den eneste “betydelige” kilden til pediatriske bilder i COVIDx.

Bilder fra RSNA-datasettet har en oppløsning på 1024×1024, mens et annet bidragsytere datasett kun gir bilder med en oppløsning på 299×299. Siden maskinlæringsmodeller vil uunngåelig omforme bilder for å tilpasse tilgjengelig trening (latent rom), betyr dette at 299×299-bildene vil bli oppskalert i en treningssfær (potensielt ledende til artefakter relatert til en skaleringsalgoritme snarere enn patologi), og de større bildene nedskalert. Igjen, dette går mot den homogene datastandard som er nødvendig for AI-basert datadrevet analyse.

Videre inneholder ActMed-data som er importert til COVIDx ‘disk-formede markører’ i COVID-19-røntgenbilder, en gjentakende egenskap som er inkonsistent med det videre datasettet, og som ville trenge å behandles som en ‘gjentakende outlier’.

Dette er den type problem som vanligvis håndteres ved å rense eller utelate dataene, siden gjentakelsen av markørene er nok til å registrere som en ‘egenskap’ i trening, men ikke hyppig nok til å generalisere nyttig i det videre datasettets sammenheng. Uten en mekanisme for å diskontere påvirkningen av de kunstige markørene, kunne de potensielt bli betraktet av maskinlæringsmetodikken som patologiske fenomener.

Trening og testing

Forskerne testet COVIDx mot to sammenlignbare datasett over tre modeller. De to ekstra datasettene var RICORD, som inneholder 1096 COVID-19-røntgenbilder over 361 pasienter, fra fire land; og CheXpert, et offentlig datasett

De tre modellene som ble brukt, var COVID-Net, CoroNet og DarkCovidNet. Alle tre modellene bruker Convolutional Neural Networks (CNN), selv om CoroNet består av en to-trinns bildeklassifiseringsprosess, med autoencodere som sender utdata til en CNN-klassifiserer.

Testing viste en ‘bratt nedgang’ i alle modellprestasjoner på ikke-COVIDx-datasett sammenlignet med 86% nøyaktighet som resulterer når COVIDx-data brukes. Imidlertid, hvis dataene er feilmerket eller feilgruppert, er disse effektivt feilresultater. Forskerne observerte betydelig lavere nøyaktighetsresultater på de sammenlignbare eksterne datasettene, som rapporten foreslår som mer realistiske og riktig klassifiserte data.

Videre observerer rapporten:

‘En klinisk gjennomgang av 500 grad-CAM-salienskart generert av prediksjon på COVIDx-testdata viste en trend av betydning i klinisk irrelevante egenskaper. Dette inkluderte ofte fokus på bein-strukturer og myke vev i stedet for diffuse bilaterale opasiteter av lungefeltene som er typiske for COVID-19-infeksjon.’

Dette er en røntgen av en bekreftet COVID-19-tilfelle, tildelt en prediksjonsprobabilitet på 0,938 fra COVIDx trent på DarkCovidNet.

Konklusjoner

Forskerne kritiserte mangelen på demografiske eller kliniske data relatert til røntgenbildene i COVIDx, og argumenterte for at uten disse, er det umulig å ta hensyn til ‘forvrengningsfaktorer’ som alder.

De observerer også at problemene funnet i COVIDx-datasettet kan være anvendelige på andre datasett som ble samlet inn på samme måte (dvs. ved å blande før-COVID-radiologiske bildebiblioteker med nyere COVID-røntgenbilder uten tilstrekkelig dataarkitektur, variasjonskompensasjon og tydelig omfang av begrensningene i denne tilnærmingen).

I sammenfatting av svakhetene i COVIDx, påpeker forskerne den ensidige inklusjonen av ‘klare’ pediatriske røntgenbilder, samt deres oppfatning av misbruk av etiketter og høy risiko for forvrengning og bias i COVIDx, og hevder at ‘den usedvanlige ytelsen [av COVIDx] som er rapportert over hele problemområdet er oppblåst, at modellens ytelsesresultater er misrepresentert, og at modellene ikke generaliserer godt til klinisk-realistiske data.’

Rapporten konkluderer:

‘En mangelen på tilgjengelige sykehusdata kombinert med utilstrekkelig modellverifisering over problemområdet har tillatt å bruke åpne data til å mislede forskningssamfunnet. Fortsettende publisering av oppblåste modellprestasjonsmetrikker risikerer å skade tillit til AI-forskning i medisinsk diagnostikk, spesielt hvor sykdommen er av stor offentlig interesse. Kvaliteten på forskningen i dette området må forbedres for å forhindre dette, og dette må starte med dataene.’

*Selv om forskerne i studien hevder å ha gjort data, filer og kode for den nye rapporten tilgjengelig online, krever tilgang innlogging, og på tidspunktet for skriving, er det ingen generell offentlig tilgang til filene.