Populaire COVIDx-dataset bekritiseerd door Britse onderzoekers

Een onderzoeksconsortium uit het Verenigd Koninkrijk heeft kritiek geuit op de mate van wetenschappelijke zekerheid die is gesteld in open source-datasets die worden gebruikt voor computer vision-gebaseerde analyse van longfoto’s van COVID-19-patiënten, met name de populaire open source-dataset COVIDx.

De onderzoekers, die COVIDx hebben getest in verschillende AI-trainingsmodellen, beweren dat het ‘niet representatief is voor het echte klinische probleem’, dat de resultaten die zijn behaald met het gebruik van het ‘opgeblazen’ zijn en dat de modellen ‘niet goed generaliseren’ naar echte wereldgegevens.

De auteurs merken ook op dat de bijgedragen gegevens die deel uitmaken van COVIDx inconsistent zijn, waarbij oorspronkelijke afbeeldingen in verschillende resoluties worden geleverd, die automatisch worden omgezet door de diepe leerworkflow naar consistente formaten die nodig zijn voor training, en observeren dat dit proces bedrieglijke artefacten kan introduceren met betrekking tot het afbeeldingsformaatalgoritme, in plaats van het klinische aspect van de gegevens.

Het artikel heet De valkuilen van het gebruik van open data voor het ontwikkelen van diepe leeroplossingen voor COVID-19-detectie in longfoto’s en is een samenwerking tussen het Center for Computational Imaging & Simulation in Biomedicine (CISTIB) van de Universiteit van Leeds, samen met onderzoekers van vijf andere organisaties in dezelfde stad, waaronder het Leeds Teaching Hospitals NHS Trust.

Het onderzoek beschrijft, onder andere, negatieve praktijken, zoals het ‘misbruik van labels’ in de COVIDx-dataset, evenals een ‘hoog risico op vooroordelen en storende factoren’. De eigen experimenten van de onderzoekers met het doorvoeren van de dataset in drie bruikbare diepe leermodellen hebben hen ertoe gebracht te concluderen dat ‘de uitzonderlijke prestaties die breed worden gerapporteerd in het probleemdomein opgeblazen zijn, dat de resultaten van modelprestaties verkeerd worden weergegeven en dat modellen niet goed generaliseren naar klinisch-realistle gegevens.’

Vijf contrastende datasets in één

Het rapport* merkt op dat de meeste huidige AI-gebaseerde methoden in dit veld afhankelijk zijn van een ‘heterogene’ verzameling van gegevens uit verschillende open source-repositories, waarbij wordt opgemerkt dat vijf datasets met opvallend verschillende kenmerken zijn samengevoegd in de COVIDx-dataset, ondanks (volgens de onderzoekers) onvoldoende gelijkwaardigheid van gegevenskwaliteit en type.

De COVIDx-dataset werd uitgebracht in mei 2020 als een consortiuminspanning geleid door het Department of Systems Design Engineering van de Universiteit van Waterloo in Canada, met de gegevens beschikbaar als onderdeel van de COVID-Net Open Source Initiative.

De vijf collecties die de COVIDx-dataset vormen, zijn: de COVID-19 Image Data Collection (een open source-set van Montreal-onderzoekers); de COVID-19 Chest X-ray Dataset initiatief; de Actualmed COVID-19 Chest X-ray dataset; de COVID-19 Radiography Database; en de RSNA Pneumonia Detection Challenge dataset, een van de vele pre-COVID-sets die zijn ingezet voor de pandemiecrisis.

(RICORD – zie hieronder – is later toegevoegd aan COVIDx, maar omdat het werd opgenomen na de modellen van interesse in de studie, werd het uitgesloten van de testgegevens, en in elk geval zou het COVIDx nog verder hebben gevarieerd, wat de centrale klacht van de auteurs van de studie is.)

De onderzoekers beweren dat COVIDx de ‘grootste en meest gebruikte’ dataset van zijn soort is binnen de wetenschappelijke gemeenschap die verband houdt met COVID-onderzoek, en dat gegevens die worden geïmporteerd in COVIDx uit de constituerende externe datasets niet voldoende overeenkomen met het driedelige schema van de COVIDx-dataset (d.w.z. ‘normaal’, ‘longontsteking’ en ‘COVID-19’).

Net genoeg..?

Bij het onderzoeken van de herkomst en geschiktheid van de bijdragende datasets voor COVIDx op het moment van de studie, vonden de onderzoekers ‘misbruik’ van de RSNA-gegevens, waarbij gegevens van een bepaald type zijn ondergebracht in een andere categorie:

‘De RSNA-repository, die openbaar beschikbare longfoto’s van NIH Chestx-ray8 [**]bevat, was ontworpen voor een segmentatieopgave en bevat als zodanig drie klassen van afbeeldingen, ‘Longopaciteit’, ‘Geen longopaciteit/niet normaal’ en ‘Normaal’, met begrenzingsvakken beschikbaar voor ‘Longopaciteit’-gevallen.

‘Bij de compilatie in COVIDx worden alle longfoto’s uit de ‘Longopaciteit’-klasse opgenomen in de longontstekingsklasse.’

In feite, beweert het artikel, breidt de COVIDx-methodiek de definitie van ‘longontsteking’ uit tot ‘alle longontstekingsachtige longopaciteiten’. Als gevolg daarvan wordt de waarde van vergelijkbare gegevenstypen (vermoedelijk) bedreigd. De onderzoekers stellen:

‘ […] de longontstekingsklasse binnen de COVIDx-dataset bevat longfoto’s met een verzameling van veel andere pathologieën, waaronder pleuravocht, infiltratie, consolidatie, emfyseem en tumoren. Consolidatie is een radiologisch kenmerk van mogelijke longontsteking, niet een klinische diagnose. Het gebruik van consolidatie als vervanging voor longontsteking zonder dit te documenteren is mogelijk misleidend.’

Alternatieve pathologieën (naast COVID-19) geassocieerd met COVIDx. Bron: https://arxiv.org/ftp/arxiv/papers/2109/2109.08020.pdf

Het rapport concludeert dat slechts 6,13% van de 4.305 longontstekingsgevallen afkomstig van RSNA correct waren gelabeld, wat overeenkomt met slechts 265 echte longontstekingsgevallen.

Verder vertegenwoordigden veel van de niet-longontstekingsgevallen die waren opgenomen in COVIDx co-morbiditeiten – complicaties van andere ziekten, of anderszins secundaire medische problemen in aandoeningen die niet noodzakelijk verband houden met longontsteking.

Niet ‘Normaal’

Het rapport suggereert verder dat de invloed van de RSNA-challengedataset in COVIDx de empirische stabiliteit van de gegevens heeft verstoord. De onderzoekers observeren dat COVIDx de ‘normale’ klasse van de RSNA-gegevens prioriteert, waardoor alle ‘geen longopaciteit/niet normale’ klassen in de bredere dataset worden uitgesloten. Het artikel zegt:

‘Terwijl dit in overeenstemming is met wat wordt verwacht binnen de ‘normale’ label, breidt het longontstekingsklasse uit en gebruikt alleen ‘normale’ longfoto’s, in plaats van longontstekingsnegatieve gevallen, wat de classificatieopgave aanzienlijk vereenvoudigt.

‘Het eindresultaat hiervan is een dataset die een taak weerspiegelt die is verwijderd van het echte klinische probleem.’

Mogelijke vooroordelen door onverenigbare gegevensstandaarden

Het artikel onderscheidt verschillende andere soorten vooroordelen in COVIDx, waarbij wordt opgemerkt dat sommige van de bijdragende gegevens pediatrische longfoto’s mengt met de longfoto’s van volwassen patiënten, en verder observeren dat deze gegevens de enige ‘aanzienlijke’ bron van pediatrische afbeeldingen in COVIDx zijn.

Ook hebben afbeeldingen uit de RSNA-dataset een resolutie van 1024×1024, terwijl een andere bijdragende dataset afbeeldingen levert met een resolutie van slechts 299×299. Aangezien machine learning-modellen afbeeldingen zullen omzetten naar de beschikbare trainingsruimte (latent space), betekent dit dat de 299×299-afbeeldingen zullen worden omgezet in een trainingsworkflow (potentieel leidend tot artefacten gerelateerd aan een schaalalgoritme in plaats van pathologie), en de grotere afbeeldingen worden verkleind. Dit werkt tegen de homogene gegevensstandaarden die nodig zijn voor AI-gebaseerde computer vision-analyse.

Verder bevat de ActMed-gegevens die worden opgenomen in COVIDx ‘schijfvormige markers’ in COVID-19-longfoto’s, een terugkerend kenmerk dat niet in overeenstemming is met de bredere dataset, en dat zou moeten worden behandeld als een ‘herhalende outlier’.

Dit is het soort probleem dat normaal wordt aangepakt door ofwel het schoonmaken van de gegevens of het weglaten ervan, aangezien de terugkeer van de markers voldoende is om te worden geregistreerd als een ‘kenmerk’ in training, maar niet frequent genoeg om nuttig te generaliseren in de bredere context van de dataset. Zonder een mechanisme om de invloed van de kunstmatige markers te compenseren, zouden ze potentieel door de methodiek van het machine learning-systeem kunnen worden beschouwd als pathologische fenomenen.

Training en testen

De onderzoekers hebben COVIDx getest tegen twee vergelijkbare datasets over drie modellen. De extra twee datasets waren RICORD, die 1096 COVID-19-longfoto’s bevat over 361 patiënten, afkomstig uit vier landen; en CheXpert, een openbare dataset

De drie modellen die werden gebruikt, waren COVID-Net, CoroNet en DarkCovidNet. Alle drie de modellen gebruiken Convolutional Neural Networks (CNN’s), hoewel CoroNet bestaat uit een tweestaps beeldclassificatieproces, met auto-encoders die output doorgeven aan een CNN-classificator.

Testen toonden een ‘steile daling’ in alle modelprestaties op niet-COVIDx-datasets in vergelijking met de 86% nauwkeurigheid die resulteerde bij het gebruik van COVIDx-gegevens. Echter, als de gegevens onjuist gelabeld of gegroepeerd zijn, zijn dit effectief valse resultaten. De onderzoekers noteerden aanzienlijk lagere nauwkeurigheidsresultaten op de vergelijkbare externe datasets, die het artikel voorstelt als meer realistische en correct gelabelde gegevens.

Verder merkt het artikel op:

‘Een klinische beoordeling van 500 grad-CAM-saliency-kaarten gegenereerd door voorspelling op COVIDx-testgegevens toonde een trend van significantie in klinisch irrelevante kenmerken. Dit omvatte vaak een focus op botstructuur en zachte weefsels in plaats van diffuse bilaterale opacificatie van de longvelden die typerend zijn voor COVID-19-infectie.’

Dit is een longfoto van een bevestigd COVID-19-geval, met een voorspellingswaarschijnlijkheid van 0,938 van COVIDx getraind op DarkCovidNet.

Conclusies

De onderzoekers bekritiseren het ontbreken van demografische of klinische gegevens met betrekking tot de longfoto’s in COVIDx, waarbij wordt betoogd dat zonder deze gegevens het onmogelijk is om ‘storende factoren’ zoals leeftijd te verantwoorden.

Zij merken ook op dat de problemen die zijn gevonden in de COVIDx-dataset mogelijk van toepassing zijn op andere datasets die op dezelfde manier zijn gegenereerd (d.w.z. door het mengen van pre-COVID-radiologische beeldendatabanken met recente COVID-X-ray-afbeeldingsgegevens zonder adequate gegevensarchitectuur, variatiecompensatie en duidelijke reikwijdte van de beperkingen van deze benadering).

Bij het samenvatten van de tekortkomingen van COVIDx, benadrukken de onderzoekers de onevenwichtige inclusie van ‘heldere’ pediatrische X-ray’s, evenals hun perceptie van het misbruik van labels en het hoge risico op vooroordelen en storende factoren in COVIDx, waarbij wordt gesteld dat ‘de uitzonderlijke prestaties [van COVIDx] die breed worden gerapporteerd in het probleemdomein opgeblazen zijn, dat de resultaten van modelprestaties verkeerd worden weergegeven en dat modellen niet goed generaliseren naar klinisch-realistle gegevens.’

Het rapport concludeert:

‘Een gebrek aan beschikbare ziekenhuisgegevens in combinatie met onvoldoende modelbeoordeling over het probleemdomein heeft het gebruik van open source-gegevens toegelaten om de onderzoekscommunity te misleiden. Het voortdurend publiceren van opgeblazen modelprestatie-metrieken riskeert de geloofwaardigheid van AI-onderzoek in medische diagnostiek te schaden, met name waar de ziekte van groot publiek belang is. De kwaliteit van onderzoek in dit domein moet worden verbeterd om dit te voorkomen, en dit moet beginnen met de gegevens.’

*Hoewel de onderzoekers van de studie beweren dat ze de gegevens, bestanden en code voor het nieuwe artikel online beschikbaar hebben gemaakt, is toegang vereist en was er op het moment van schrijven geen algemene toegang tot de bestanden beschikbaar.
** ChestX-ray8: Hospital-scale Chest X-ray Database en Benchmarks op Weakly-Supervised Classification en Localization van Common Thorax Diseases – https://arxiv.org/pdf/1705.02315.pdf