ชุดข้อมูล COVIDx ที่ได้รับความนิยมถูกวิจารณ์โดยนักวิจัยจากสหราชอาณาจักร

กลุ่มนักวิจัยจากสหราชอาณาจักรได้แสดงความกังวลเกี่ยวกับความมั่นใจทางวิทยาศาสตร์ที่มีต่อชุดข้อมูลโอเพ่นซอร์สที่ใช้ในการวิเคราะห์ภาพรังสีทรวงของผู้ป่วยโควิด-19 โดยใช้เทคนิคการมองเห็นของคอมพิวเตอร์ โดยเฉพาะชุดข้อมูล COVIDx ที่ได้รับความนิยม

นักวิจัยเหล่านี้ได้ทดสอบชุดข้อมูล COVIDx ในโมเดลการฝึกอบรม AI ที่หลากหลาย และพบว่าชุดข้อมูลนี้ไม่ได้แสดงถึงปัญหาในทางคลินิกที่แท้จริง และผลลัพธ์ที่ได้รับจากการใช้ชุดข้อมูลนี้มีการพองตัว และโมเดลเหล่านี้ไม่สามารถสร้างแบบจำลองที่ดีในโลกแห่งความเป็นจริง

นักวิจัยยังพบว่าชุดข้อมูล COVIDx มีการไม่สอดคล้องกันของข้อมูลที่มีส่วนร่วม ซึ่งทำให้เกิดปัญหาในการใช้งาน และอาจทำให้เกิดผลลัพธ์ที่ไม่ถูกต้อง

รายงานฉบับนี้มีชื่อว่า อันตรายของการใช้ข้อมูลโอเพ่นซอร์สในการพัฒนาโซลูชันการเรียนรู้ของเครื่องจักรสำหรับการตรวจจับโควิด-19 ในภาพรังสีทรวง และเป็นผลงานร่วมกันระหว่างศูนย์สำหรับการถ่ายภาพและจำลองแบบในด้านชีวการแพทย์ (CISTIB) ของมหาวิทยาลัยลีดส์ และนักวิจัยจากองค์กรอื่นๆ ในเมืองลีดส์ รวมถึงโรงพยาบาลสอนลีดส์ (Leeds Teaching Hospitals NHS Trust)

รายงานฉบับนี้พบว่าชุดข้อมูล COVIDx มีการใช้ป้ายกำกับข้อมูลที่ไม่ถูกต้อง และมีความเสี่ยงสูงในการเกิดความเอนเอียงและความสับสน

ชุดข้อมูลที่แตกต่างกัน 5 ชุดใน 1

รายงานฉบับนี้พบว่าชุดข้อมูล COVIDx ประกอบด้วยชุดข้อมูล 5 ชุดที่มีลักษณะแตกต่างกัน แต่ไม่มีการปรับให้เหมาะสมกับมาตรฐานข้อมูลที่เหมือนกัน

ชุดข้อมูล COVIDx ได้รับการเผยแพร่ในเดือนพฤษภาคม 2020 โดยกรมวิศวกรรมระบบของมหาวิทยาลัยวอเตอร์ลูในแคนาดา และข้อมูลได้รับการเผยแพร่ผ่านโครงการ COVID-Net Open Source Initiative

ชุดข้อมูลทั้ง 5 ชุดที่ประกอบเป็นชุดข้อมูล COVIDx ได้แก่ ชุดข้อมูลภาพรังสีทรวงโควิด-19 (COVID-19 Image Data Collection) ชุดข้อมูลภาพรังสีทรวงโควิด-19 (COVID-19 Chest X-ray Dataset) ชุดข้อมูลภาพรังสีทรวงโควิด-19 ของ Actualmed (Actualmed COVID-19 Chest X-ray dataset) ชุดข้อมูลฐานข้อมูลรังสีวิทยาโควิด-19 (COVID-19 Radiography Database) และชุดข้อมูลการแข่งขันการตรวจจับปอดบวมของ RSNA (RSNA Pneumonia Detection Challenge dataset)

ใกล้เคียงพอ…?

ในการตรวจสอบแหล่งที่มาและความเหมาะสมของชุดข้อมูลที่มีส่วนร่วมใน COVIDx ในขณะนั้น นักวิจัยพบว่ามีการใช้ป้ายกำกับข้อมูลที่ไม่ถูกต้องในชุดข้อมูล RSNA

รายงานฉบับนี้พบว่าชุดข้อมูล COVIDx มีการใช้ป้ายกำกับข้อมูลที่ไม่ถูกต้อง และมีความเสี่ยงสูงในการเกิดความเอนเอียงและความสับสน

ไม่ ‘ปกติ’

รายงานฉบับนี้พบว่าชุดข้อมูล COVIDx มีการใช้ป้ายกำกับข้อมูลที่ไม่ถูกต้อง และมีความเสี่ยงสูงในการเกิดความเอนเอียงและความสับสน

นักวิจัยพบว่าชุดข้อมูล COVIDx มีการใช้ป้ายกำกับข้อมูลที่ไม่ถูกต้อง และมีความเสี่ยงสูงในการเกิดความเอนเอียงและความสับสน

ความเอนเอียงที่อาจเกิดขึ้นจากมาตรฐานข้อมูลที่ไม่เข้ากัน

รายงานฉบับนี้พบว่าชุดข้อมูล COVIDx มีการใช้ป้ายกำกับข้อมูลที่ไม่ถูกต้อง และมีความเสี่ยงสูงในการเกิดความเอนเอียงและความสับสน

นักวิจัยพบว่าชุดข้อมูล COVIDx มีการใช้ป้ายกำกับข้อมูลที่ไม่ถูกต้อง และมีความเสี่ยงสูงในการเกิดความเอนเอียงและความสับสน

การฝึกอบรมและการทดสอบ

นักวิจัยได้ทดสอบชุดข้อมูล COVIDx กับชุดข้อมูลอื่นๆ 2 ชุด โดยใช้โมเดล 3 แบบ

ผลการทดสอบพบว่าโมเดลทั้ง 3 แบบมีการลดลงของประสิทธิภาพเมื่อใช้ชุดข้อมูลที่ไม่ใช่ COVIDx

สรุป

นักวิจัยวิจารณ์ถึงการขาดข้อมูลประชากรหรือข้อมูลทางคลินิกที่เกี่ยวข้องกับภาพรังสีทรวงในชุดข้อมูล COVIDx

นักวิจัยพบว่าชุดข้อมูล COVIDx มีการใช้ป้ายกำกับข้อมูลที่ไม่ถูกต้อง และมีความเสี่ยงสูงในการเกิดความเอนเอียงและความสับสน

รายงานฉบับนี้สรุปว่าชุดข้อมูล COVIDx มีการใช้ป้ายกำกับข้อมูลที่ไม่ถูกต้อง และมีความเสี่ยงสูงในการเกิดความเอนเอียงและความสับสน