Kritik Dataset COVIDx Populer oleh Peneliti UK

Sebuah konsorsium penelitian dari UK telah mengkritik sejauh mana kepercayaan ilmiah yang diberikan pada dataset sumber terbuka yang digunakan untuk analisis berbasis penglihatan komputer dari X-ray dada pasien COVID-19, dengan fokus pada dataset sumber terbuka populer COVIDx.

Peneliti, setelah menguji COVIDx dalam berbagai model pelatihan AI, mengklaim bahwa itu ‘tidak representatif dari masalah klinis nyata’, bahwa hasil yang diperoleh dengan menggunakan itu ‘terlalu tinggi’, dan bahwa model ‘tidak umum dengan baik’ ke data dunia nyata.

Penulis juga mencatat inkonsistensi data yang disumbangkan yang membentuk COVIDx, di mana gambar asli datang dalam berbagai resolusi yang secara otomatis diformat oleh alur kerja pembelajaran dalam menjadi ukuran konsisten yang diperlukan untuk pelatihan, dan mengamati bahwa proses ini dapat memperkenalkan artifact yang menipu yang terkait dengan algoritma pengubahan ukuran gambar, bukan aspek klinis dari data.

Makalah ini disebut The pitfalls of using open data to develop deep learning solutions for COVID-19 detection in chest X-rays, dan merupakan kolaborasi antara Pusat Penggambaran dan Simulasi Komputasi dalam Biomedis (CISTIB) di Universitas Leeds, bersama dengan peneliti dari lima organisasi lain di kota yang sama, termasuk Leeds Teaching Hospitals NHS Trust.

Penelitian tersebut menjelaskan, antara lain, praktik negatif ‘penyalahgunaan label’ dalam dataset COVIDx, serta ‘risiko tinggi bias dan konfounding’. Eksperimen peneliti dalam menguji dataset tersebut melalui tiga model pembelajaran dalam yang layak mempromps mereka untuk menyimpulkan bahwa ‘kinerja luar biasa yang dilaporkan secara luas di seluruh domain masalah itu terlalu tinggi, bahwa hasil kinerja model itu salah, dan bahwa model tidak umum dengan baik ke data klinis yang realistis.’

Lima Dataset Kontras dalam Satu

Laporan* mencatat bahwa sebagian besar metodologi berbasis AI saat ini dalam bidang ini bergantung pada ‘kumpulan heterogen’ data dari repositori sumber terbuka yang berbeda, dengan mengamati bahwa lima dataset dengan karakteristik yang cukup berbeda telah digabungkan ke dalam dataset COVIDx meskipun (dalam pertimbangan peneliti) kualitas data dan jenis yang tidak memadai.

Dataset COVIDx dirilis pada Mei 2020 sebagai upaya konsorsium yang dipimpin oleh Departemen Desain Sistem di Universitas Waterloo di Kanada, dengan data dibuat tersedia sebagai bagian dari Inisiatif Sumber Terbuka COVID-Net.

Lima koleksi yang membentuk COVIDx adalah: Koleksi Data Gambar COVID-19 (sebuah sumber terbuka dari peneliti Montreal); Dataset X-ray Dada COVID-19 inisiatif; Dataset X-ray Dada COVID-19 Actualmed dataset; Database Radiografi COVID-19 database; dan dataset Tantangan Deteksi Pneumonia RSNA dataset, salah satu dari banyak dataset pra-COVID yang telah dipaksa untuk krisis pandemik.

(RICORD – lihat di bawah – telah ditambahkan ke COVIDx, tetapi karena itu dimasukkan setelah model yang dipelajari dalam penelitian, itu dikecualikan dari data pengujian, dan dalam hal apapun akan cenderung memvariasikan COVIDx lebih lanjut, yang merupakan keluhan utama penulis penelitian.)

Peneliti berpendapat bahwa COVIDx adalah ‘dataset terbesar dan paling banyak digunakan’ dari jenisnya dalam komunitas ilmiah yang terkait dengan penelitian COVID, dan bahwa data yang diimpor ke COVIDx dari dataset eksternal yang membentuknya tidak memadai untuk memenuhi skema tripartit dari dataset COVIDx (yaitu, ‘normal’, ‘pneumonia’, dan ‘COVID-19’).

Cukup Dekat..?

Dalam memeriksa asal dan kesesuaian dataset yang menyumbang untuk COVIDx pada saat penelitian, peneliti menemukan ‘penyalahgunaan’ dataset RSNA, di mana data dari satu jenis telah, menurut klaim peneliti, dikelompokkan ke dalam kategori yang berbeda:

‘Repository RSNA, yang menggunakan data X-ray dada yang tersedia secara publik dari NIH Chestx-ray8 [**], dirancang untuk tugas segmentasi dan sebagai such mengandung tiga kelas gambar, ‘Lung Opacity’, ‘No Lung Opacity/Not Normal’, dan ‘Normal’, dengan kotak pembatas tersedia untuk ‘Lung Opacity’ kasus.

‘Dalam kompilasi ke COVIDx semua X-ray dada dari kelas ‘Lung Opacity’ dimasukkan ke dalam kelas pneumonia.’

Secara efektif, makalah tersebut mengklaim, metodologi COVIDx memperluas definisi ‘pneumonia’ untuk mencakup ‘semua opasitas paru-paru seperti pneumonia’. Akibatnya, nilai banding dari jenis data yang sama (presumably) terancam. Peneliti menyatakan:

‘ […] kelas pneumonia dalam dataset COVIDx mengandung X-ray dada dengan berbagai patologi lain, termasuk, efusi pleura, infiltrasi, konsolidasi, emfisema dan massa. Konsolidasi adalah fitur radiologis dari pneumonia yang mungkin, bukan diagnosis klinis. Menggunakan konsolidasi sebagai pengganti pneumonia tanpa mendokumentasikan ini adalah potensial menyesatkan.’

Patologi alternatif (selain COVID-19) yang terkait dengan COVIDx. Sumber: https://arxiv.org/ftp/arxiv/papers/2109/2109.08020.pdf

Laporan menemukan bahwa hanya 6,13% dari 4.305 kasus pneumonia yang berasal dari RSNA yang dilabeli dengan benar, mewakili hanya 265 kasus pneumonia yang sebenarnya.

Lebih lanjut, banyak kasus non-pneumonia yang dimasukkan dalam COVIDx mewakili komorbiditas – komplikasi penyakit lain, atau masalah medis sekunder dalam kondisi yang tidak terkait dengan pneumonia.

Tidak ‘Normal’

Laporan tersebut lebih lanjut menyarankan bahwa pengaruh dataset tantangan RSNA dalam COVIDx telah menggeser stabilitas empiris dari data. Peneliti mengamati bahwa COVIDx memprioritaskan kelas ‘normal’ dari data RSNA, secara efektif mengeluarkan semua kelas ‘tidak ada opasitas paru-paru/tidak normal’ dalam dataset yang lebih luas. Makalah tersebut mengatakan:

‘Sementara ini sesuai dengan apa yang diharapkan dalam label ‘normal’, memperluas kelas pneumonia dan menggunakan hanya ‘normal’ X-ray dada, bukan kasus pneumonia-negatif, sangat menyederhanakan tugas klasifikasi.

‘Hasil akhir dari ini adalah dataset yang mencerminkan tugas yang dihilangkan dari masalah klinis yang sebenarnya.’

Potensi Bias dari Standar Data yang Tidak Kompatibel

Makalah tersebut mengidentifikasi sejumlah jenis bias lainnya dalam COVIDx, mencatat bahwa beberapa data yang disumbangkan mencampur gambar X-ray dada pediatrik dengan X-ray pasien dewasa, dan lebih lanjut mengamati bahwa data ini adalah satu-satunya ‘sumber signifikan’ dari gambar pediatrik dalam COVIDx.

Juga, gambar dari dataset RSNA memiliki resolusi 1024×1024, sementara dataset lainnya menyediakan gambar hanya dengan resolusi 299×299. Karena model pembelajaran mesin akan selalu mengubah ukuran gambar untuk menyesuaikan ruang pelatihan yang tersedia (ruang laten), ini berarti bahwa gambar 299×299 akan diperbesar dalam alur kerja pelatihan (potensial menyebabkan artifact yang terkait dengan algoritma penskalaan), dan gambar yang lebih besar akan diperkecil. Lagi, ini berlawanan dengan standar data homogen yang diperlukan untuk analisis penglihatan komputer berbasis AI.

Lebih lanjut, data ActMed yang diingest ke COVIDx mengandung ‘marker berbentuk disk’ dalam X-ray dada COVID-19, sebuah fitur berulang yang tidak konsisten dengan dataset yang lebih luas, dan yang perlu ditangani sebagai ‘outlier berulang’.

Ini adalah jenis masalah yang biasanya ditangani dengan membersihkan atau menghilangkan data, karena kejadian marker yang berulang cukup untuk mendaftarkan sebagai ‘fitur’ dalam pelatihan, tetapi tidak cukup sering untuk generalisasi yang berguna dalam skema dataset yang lebih luas. Tanpa mekanisme untuk mengurangi pengaruh marker buatan, mereka dapat dipertimbangkan oleh metodologi sistem pembelajaran mesin sebagai fenomena patologis.

Pelatihan dan Pengujian

Peneliti menguji COVIDx melawan dua dataset komparatif melalui tiga model. Dua dataset tambahan adalah RICORD, yang berisi 1096 X-ray dada COVID-19 di seluruh 361 pasien, bersumber dari empat negara; dan CheXpert, sebuah dataset publik

Tiga model yang digunakan adalah COVID-Net, CoroNet dan DarkCovidNet. Ketiga model tersebut menggunakan Jaringan Saraf Konvolusional (CNN), meskipun CoroNet terdiri dari proses klasifikasi gambar dua tahap, dengan autoencoder yang melewati output ke klasifikasi CNN.

Pengujian menunjukkan ‘penurunan tajam’ dalam kinerja model pada dataset non-COVIDx dibandingkan dengan akurasi 86% yang dihasilkan saat menggunakan data COVIDx. Namun, jika data tersebut dilabeli atau dikelompokkan dengan salah, ini secara efektif merupakan hasil palsu. Peneliti mencatat hasil akurasi yang sangat berkurang pada dataset eksternal yang dapat dibandingkan, yang makalah tersebut usulkan sebagai data yang lebih realistis dan dilabeli dengan benar.

Lebih lanjut, makalah tersebut mengamati:

‘Tinjauan klinis dari 500 peta saliensi grad-CAM yang dihasilkan oleh prediksi pada data pengujian COVIDx menunjukkan tren signifikansi dalam fitur yang tidak relevan secara klinis. Ini sering termasuk fokus pada struktur tulang dan jaringan lunak bukan opasitas bilateral difus dari lapangan paru-paru yang khas dari infeksi COVID-19.’

Ini adalah X-ray dari kasus COVID-19 yang dikonfirmasi, diberi probabilitas prediksi 0,938 dari COVIDx yang dilatih pada DarkCovidNet.

Kesimpulan

Peneliti mengkritik kurangnya data demografi atau klinis yang terkait dengan gambar X-ray dalam COVIDx, dengan alasan bahwa tanpa itu, mustahil untuk mempertimbangkan ‘faktor pengganggu’ seperti usia.

Mereka juga mengamati bahwa masalah yang ditemukan dalam dataset COVIDx mungkin berlaku untuk dataset lain yang disumberkan dengan cara yang sama (yaitu dengan mencampur database radiologi pra-COVID dengan data X-ray COVID baru tanpa arsitektur data yang memadai, kompensasi varians, dan cakupan batasan pendekatan ini).

Dalam merangkum kekurangan COVIDx, peneliti menekankan inklusi yang tidak seimbang dari ‘X-ray pediatrik yang jelas’, serta persepsi mereka tentang penyalahgunaan label dan risiko bias yang tinggi dalam COVIDx, dengan mengklaim bahwa ‘kinerja luar biasa [dari COVIDx] yang dilaporkan secara luas di seluruh domain masalah itu terlalu tinggi, bahwa hasil kinerja model itu salah, dan bahwa model tidak umum dengan baik ke data klinis yang realistis.’

Laporan tersebut menyimpulkan:

‘Kurangnya data rumah sakit yang tersedia, dikombinasikan dengan evaluasi model yang tidak memadai di seluruh domain masalah, telah memungkinkan penggunaan data sumber terbuka untuk menyesatkan komunitas penelitian. Publikasi berkelanjutan dari metrik kinerja model yang terlalu tinggi berisiko merusak kepercayaan penelitian AI dalam diagnostik medis, terutama di mana penyakit tersebut sangat penting bagi masyarakat. Kualitas penelitian dalam domain ini harus ditingkatkan untuk mencegah hal ini, ini harus dimulai dengan data.’

*Meskipun peneliti penelitian ini mengklaim telah membuat data, file, dan kode untuk makalah baru tersedia secara online, akses memerlukan login, dan, pada saat penulisan, tidak ada akses umum ke file yang tersedia.
** ChestX-ray8: Database X-ray Dada Skala Rumah Sakit dan Benchmarks pada Klasifikasi dan Lokalisasi Lemah dari Penyakit Thorax yang Umum – https://arxiv.org/pdf/1705.02315.pdf