مجموعة بيانات COVIDx الشهيرة تنتقد من قبل باحثين من المملكة المتحدة

كشف اتحاد بحثي من المملكة المتحدة عن انتقادات لمدى الثقة العلمية المودعة في مجموعات البيانات المفتوحة المصدر المستخدمة لتحليل صور الأشعة السينية لمرضى كوفيد-19 باستخدام التحليل القائم على الرؤية الحاسوبية، ويركز على مجموعة البيانات المفتوحة المصدر الشهيرة COVIDx.

يزعم الباحثون، بعد اختبار COVIDx في نماذج تدريب متعددة للذكاء الاصطناعي، أنها “ليست ممثلة للمشكلة السريرية الحقيقية”، وأن النتائج التي تم الحصول عليها باستخدامها “مكبرة”، وأن النماذج “لا ت일반 جيدا” إلى بيانات العالم الحقيقي.

كما يشير المؤلفون إلى عدم الاتساق في البيانات المساهمة التي تتكون منها COVIDx، حيث تأتي الصور الأصلية بدرجات مختلفة من الدقة التي يتم إعادة تنسيقها تلقائيًا بواسطة تدفق التعلم العميق إلى الأحجام الثابتة اللازمة للتدريب، ويشيرون إلى أن هذا العملية يمكن أن تroduce خدع خادعة تتعلق بخوارزمية إعادة تحجيم الصورة، بدلاً من الجانب السريري للبيانات.

المقالة بعنوان مخاطر استخدام البيانات المفتوحة لتطوير حلول التعلم العميق لاكتشاف كوفيد-19 في صور الأشعة السينية ، وهي تعاون بين مركز التصوير والتحليل الحاسوبي البيولوجي (CISTIB) في جامعة ليدز، جنبًا إلى جنب مع باحثين من خمسة منظمات أخرى في نفس المدينة، بما في ذلك مستشفيات ليدز التعليمية للخدمات الصحية الوطنية.

تفاصيل البحث، من بين ممارسات سلبية أخرى، “إساءة استخدام التسميات” في مجموعة بيانات COVIDx، بالإضافة إلى “مخاطر عالية من التحيز والارتباط”. أدت تجارب الباحثين الخاصة بوضع المجموعة من البيانات عبر ثلاثة نماذج قابلة للتطبيق للتعلم العميق إلى استنتاجهم بأن “الأداء الاستثنائي المبلغ عنه على نطاق واسع عبر مجال المشكلة مفرط، وأن نتائج أداء النماذج غير ممثلة، وأن النماذج لا ت일반 جيدا إلى بيانات سريرية واقعية.“

خمس مجموعات بيانات متناقضة في واحدة

تلاحظ التقرير أن غالبية المناهج القائمة على الذكاء الاصطناعي الحالية في هذا المجال تعتمد على “مجموعة غير متجانسة” من البيانات من مستودعات مفتوحة المصدر المنفصلة، مشيرًا إلى أن خمس مجموعات بيانات ذات سمات مختلفة بشكل ملحوظ تم دمجها في مجموعة بيانات COVIDx على الرغم من (في اعتبار الباحثين) عدم المساواة في جودة البيانات ونوعها.

تم إصدار مجموعة بيانات COVIDx في مايو 2020 كجهد تعاوني بقيادة قسم هندسة الأنظمة التصميمية في جامعة واترلو في كندا، مع إتاحة البيانات كجزء من مبادرة COVID-Net المفتوحة المصدر.

المجموعات الخمس التي تشكل COVIDx هي: مجموعة بيانات الصور لكوفيد-19 (مجموعة مفتوحة المصدر من قبل باحثين من مونتريال); مبادرة مجموعة بيانات الأشعة السينية لكوفيد-19 مبادرة؛ مجموعة بيانات الأشعة السينية لكوفيد-19 من Actualmed مجموعة بيانات؛ قاعدة بيانات الأشعة السينية لكوفيد-19 قاعدة بيانات؛ ومجموعة بيانات تحدي كشف الالتهاب الرئوي من RSNA مجموعة بيانات، واحدة من المجموعات المسبقة لكوفيد التي تم ضغطها لخدمة أزمة الوباء.

(RICORD – انظر أدناه – تمت إضافتها إلى COVIDx في وقت لاحق، ولكن نظرًا لأنها تمت إضافتها بعد نماذج الدراسة، تم استبعادها من بيانات الاختبار، وبالنسبة إلىcentral شكوى المؤلفين من الدراسة، فإنها ستتended إلى تغيير COVIDx بشكل أكبر، وهو الشكوى المركزية للمؤلفين من الدراسة.)

يزعم الباحثون أن COVIDx هي “أكبر وأكثر مجموعة بيانات استخدامًا” من نوعها داخل المجتمع العلمي المتعلق بأبحاث كوفيد، وأن البيانات المستوردة إلى COVIDx من مجموعات البيانات الخارجية لا تتوافق بشكل كافٍ مع مخطط التصنيف الثلاثي لمجموعة بيانات COVIDx (أي “عادي” و “التهاب الرئة” و “كوفيد-19”).

قريبة بما فيه الكفاية..؟

في فحص أصل وملاءمة مجموعات البيانات المساهمة في COVIDx في وقت الدراسة، وجد الباحثون “إساءة استخدام” بيانات RSNA، حيث تم توجيه بيانات من نوع معين إلى فئة مختلفة، وفقًا لما يزعمه الباحثون:

‘مخزن RSNA، الذي يستخدم بيانات عامة للأشعة السينية للصدر من NIH Chestx-ray8 [**]، تم تصميمه لمهمة التجزئة وبالتالي يحتوي على ثلاث فئات من الصور، ‘الغيبة الرئوية’ و ‘لا غيبة رئوية / غير طبيعية’ و ‘طبيعية’، مع وجود صناديق تحديد متوفرة للصور من فئة ‘الغيبة الرئوية’.

‘في تجميعها في COVIDx، جميع صور الأشعة السينية من فئة ‘الغيبة الرئوية’ يتم تضمينها في فئة الالتهاب الرئوي.’

بصورة فعالة، يزعم البحث أن منهجية COVIDx توسع تعريف “الالتهاب الرئوي” ليشمل “جميع الغيبات الرئوية الشبيهة بالالتهاب الرئوي”. ونتيجة لذلك، يفترض أن قيمة التुलनات بين أنواع البيانات المماثلة تكون مهددة. يصرح الباحثون بأن:

‘ […] فئة الالتهاب الرئوي داخل مجموعة بيانات COVIDx تحتوي على صور أشعة سينية مع مجموعة متنوعة من الأمراض الأخرى، بما في ذلك، التهاب الجنبة و التسلّب و التهاب الشعب الهوائية و الورم.

غير ‘طبيعي’

يشير التقرير إلى أن تأثير مجموعة بيانات RSNA في COVIDx قد أثر على الاستقرار التجريبي للبيانات. يلاحظ الباحثون أن COVIDx يفضل فئة “الطبيعي” من بيانات RSNA، وبالتالي يستبعد جميع الفئات “لا غيبة رئوية / غير طبيعية” في مجموعة البيانات الأوسع.

تحيزات محتملة من معايير بيانات غير متوافقة

يحدد البحث عددًا من أنواع التحيز الأخرى في COVIDx، مشيرًا إلى أن بعض البيانات المساهمة تختلط بين صور الأشعة السينية للأطفال والبالغين، ويشير أيضًا إلى أن هذه البيانات هي المصدر الوحيد “المهم” لصور الأطفال في COVIDx.

أيضًا، تتمتع صور الأشعة السينية من مجموعة بيانات RSNA بدقة 1024×1024، بينما توفر مجموعة بيانات أخرى صورًا بدقة 299×299 فقط. منذ أن ستحتاج نماذج التعلم العميق إلى إعادة تحجيم الصور لتكييفها مع الفضاء التدريبي المتاح (فضاء كامن)، هذا يعني أن الصور 299×299 سوف يتم تحجيمها إلى الأعلى في تدفق التدريب (مما قد يؤدي إلى وجود آثار متعلقة بخوارزمية التحجيم بدلاً من علم الأمراض)، والصور الأكبر سوف يتم تحجيمها إلى الأسفل. مرة أخرى، هذا يعمل ضد المعايير المتجانسة للبيانات اللازمة للتحليل القائم على الرؤية الحاسوبية.

التدريب والاختبار

قارن الباحثون أداء COVIDx مع مجموعتي بيانات أخرى عبر ثلاثة نماذج. كانت المجموعتان الإضافيتان هما RICORD، التي تحتوي على 1096 صورة أشعة سينية لكوفيد-19 عبر 361 مريضًا من أربع دول؛ و CheXpert، مجموعة عامة

كانت النماذج الثلاثة المستخدمة هي COVID-Net و CoroNet و DarkCovidNet. جميع النماذج الثلاثة تستخدم شبكات عصبونية متعمقة (CNNs)، على الرغم من أن CoroNet تتكون من عملية تصنيف الصور على مرحلتين، مع تمرير خرج المُحسِّنات الذكية إلى مصنف CNN.

أظهر الاختبار انخفاضًا حادًا في أداء جميع النماذج على مجموعات بيانات غير COVIDx مقارنة بالدقة البالغة 86٪ الناتجة عند استخدام بيانات COVIDx. ومع ذلك، إذا كانت البيانات مخطئة أو غير محسوبة بشكل صحيح، فإن هذه النتائج تكون في الواقع نتائج كاذبة. لاحظ الباحثون نتائج دقة منخفضة بشكل كبير على مجموعات البيانات الخارجية المقارنة، والتي يُ提ع استنتاجها في البحث على أنها بيانات أكثر واقعية وتصنيفًا صحيحًا.

استنتاجات

ينتقد الباحثون عدم وجود بيانات ديموغرافية أو سريرية تتعلق بصور الأشعة السينية في COVIDx، بحجة أن بدونها، من المستحيل مراعاة “عوامل الارتباط” مثل العمر.

كما يشيرون إلى أن المشاكل الموجودة في مجموعة بيانات COVIDx قد تكون قابلة للتطبيق على مجموعات بيانات أخرى تم الحصول عليها بطريقة مماثلة (أي عن طريق مزج قواعد بيانات الأشعة السينية قبل كوفيد مع بيانات الأشعة السينية لكوفيد-19 الحديثة دون بنية بيانات كافية، ومكافحة التباين، ونطاق واضح للقيود المحددة لهذه المقاربة).

في تلخيص عيوب COVIDx، يؤكد الباحثون على عدم توازن الإدراج “الواضح” لصور الأشعة السينية للأطفال، بالإضافة إلى تصورهم لسوء استخدام التسميات وارتفاع مخاطر التحيز والارتباط في COVIDx، معترفين بأن “الأداء الاستثنائي [لكوفيد] المبلغ عنه على نطاق واسع عبر مجال المشكلة مفرط، وأن نتائج أداء النماذج غير ممثلة، وأن النماذج لا ت일반 جيدا إلى بيانات سريرية واقعية.“

يختتم التقرير بالقول:

‘نقص البيانات المتاحة في المستشفيات، مع تقييم النماذج غير الكافي عبر مجال المشكلة، سمح باستخدام البيانات المفتوحة لتضليل مجتمع البحث. استمرار نشر معايير الأداء المفرط للنماذج يهدد بتعريض ثقة البحث في مجال الذكاء الاصطناعي في التشخيص الطبي، خاصة عندما يكون المرض ذا أهمية كبيرة للجمهور. يجب أن تتحسن جودة البحث في هذا المجال لمنع حدوث ذلك، ويتعين أن يبدأ ذلك بالبيانات.’

*على الرغم من أن باحثي الدراسة يزعمون أنهم قد جعلوا البيانات والملفات والبرامج الخاصة بالورقة الجديدة متاحة على الإنترنت، يتطلب الوصول إلى تسجيل الدخول، وفي وقت الكتابة، لا يوجد وصول عام للملفات.

** ChestX-ray8: قاعدة بيانات الأشعة السينية للصدر بمستوى المستشفى و Benchmarks على التصنيف الضعيف الإشراف والتحديد الموقعي للأمراض الشائعة في الصدر – https://arxiv.org/pdf/1705.02315.pdf