تطلق Protege اختبارات مستقلة للذكاء الاصطناعي في الرعاية الصحية، فيما تكشف Disease Odyssey عن فجوات تشخيصية

Protege تطلق تقييمات مستقلة للذكاء الاصطناعي في الرعاية الصحية، وتُخضع النماذج لاختبارات على حالات مرضى لم يسبق لها الاطلاع عليها. ويقدم أول معيار مرجعي لها، Disease Odyssey، مؤشرًا مبكرًا على أهمية ذلك: فبحسب الشركة، لم تتمكن النماذج الرائدة من تحديد حالات مثل انقطاع النفس النومي وفقر الدم إلا في 53%–69% من الحالات عند تحليل سجلات المرضى.

يشمل الإطلاق، في 21 أكتوبر، تقييمات بالتعاون مع Xlue AI وStandard Model Biomedicine أيضًا. وتتناول النتائج مجتمعة سؤالين مهمين للمستشفيات والمطورين: هل يستطيع النموذج استخلاص مؤشرات سريرية مفيدة من السجلات الفعلية، وما تكلفة إصدار تلك التنبؤات؟

تتمثل الفكرة التي تطرحها Protege في نقل قدر أكبر من هذا التقييم إلى جهات خارج المؤسسات التي تطور النماذج. فهي تصمم التقييمات وتجريها وتحتسب نتائجها باستخدام سجلات مرضى محمية الخصوصية وإجابات يتحقق منها الأطباء، ما يتيح للمطورين تحديد مواطن الضعف قبل إطلاق ادعاءات أوسع بشأن الأداء.

اختبار يختلف عن الإجابة عن أسئلة الامتحانات الطبية

يختلف السؤال الطبي الذي يذكر التشخيص بوضوح عن سجل مريض موزع على زيارات متعددة. فالأعراض تتطور بمرور الوقت، وقد تكون السجلات غير مكتملة، وقد تكون العلامة الحاسمة مدفونة بين معلومات أقل صلة. وتركز Disease Odyssey على التعرف إلى المرض قبل تشخيصه، انطلاقًا من هذه السجلات الممتدة عبر الزمن.

ينطبق النطاق المُعلن، من 53% إلى 69%، على الحالات والأمراض التي خضعت للاختبار، لا على الذكاء الاصطناعي في الرعاية الصحية عمومًا. ولا يتضمن إعلان Protege تفاصيل كافية عن أحجام العينات أو نماذج المقارنة المحددة أو مدى عدم اليقين المحيط بالنتائج، بما يسمح بوضع ترتيب أوسع. لكنه يوضح أن ثمة مجالًا واسعًا للتحسين في المعيار المرجعي الأولي للشركة.

قال بوبي سامويلز، الشريك المؤسس والرئيس التنفيذي لشركة Protege، في الإعلان: «يتطور الذكاء الاصطناعي في الرعاية الصحية بسرعة، لكن أساليب تقييمه لم تواكب هذا التطور».

كيف تفصل Protege بين الاختبار والتطوير

تصف Protege عمليتها بأنها مزدوجة التعمية: فلا يطّلع مطورو النماذج مسبقًا على بيانات المرضى أو الأسئلة، بينما تقيّم Protege الأنظمة من دون معرفة كيفية بنائها. ويشير هذا المصطلح هنا إلى أسلوب إجراء التقييم، لا إلى تجربة سريرية عشوائية.

من المهم إبقاء مواد الاختبار خارج عملية التطوير، لأن الاطلاع على أسئلة المعيار المرجعي قد يرفع الأداء الظاهري. فالنموذج الذي صادف إجابةً أثناء التدريب قد يبدو أكثر قدرة مما هو عليه عند مواجهة حالة جديدة فعلًا.

تضيف منصة تقييم الرعاية الصحية التابعة للشركة عدة ضوابط عملية. وهي تصف حالات اختبار محمية ومحجوبة عن النماذج، ومهامًا وطرقًا لاحتساب النتائج ذات إصدارات محددة، وتحليلًا لأنماط الإخفاق والفئات السكانية المتأثرة. ويجعل تحديد الإصدارات المقارنة بين نسخ النماذج أكثر دلالة؛ إذ يسهل تفسير النتيجة الأعلى عندما لا تكون المهمة وقواعد احتساب النتائج قد تغيرتا خفيةً.

تعتمد المنصة على معلومات مترابطة تشمل السجلات الصحية الإلكترونية، والملاحظات السريرية، والتصوير الطبي، وعلم الأمراض، والمطالبات التأمينية، والنتائج الصحية. ويحوّل مختبر البيانات التابع لها الأسئلة السريرية إلى مهام تقييم وإجابات مرجعية. ويُراد من هذا الجمع اختبار كيفية استخدام النماذج للسياق السريري، لا مجرد التحقق من قدرتها على إعادة إنتاج حقائق طبية منفصلة.

نماذج متخصصة تتنافس على الأداء والتكلفة

تتناول التقييمات المصاحبة مهامًا مختلفة، لذا ينبغي قراءة نتائجها بمعزل عن نتائج Disease Odyssey.

في عملها مع Standard Model Biomedicine، قيّمت Protege تنبؤات تتعلق بالبقاء على قيد الحياة لدى المصابين بسرطان الثدي وسرطان الرئة، والمدة حتى تلقي المريض علاجه التالي. وتفيد الشركة بأن النموذج المتخصص حقق أداءً منافسًا للأنظمة الرائدة، فيما كانت تكلفة كل تنبؤ أقل بمقدار يتراوح بين 36 و170 مرة.

وتناول تقييم منفصل لنموذج HealthSAW التابع لـXlue AI المخاطر المستقبلية المرتبطة بالسرطان وأمراض القلب والأوعية الدموية والحالات العصبية. وتقول Protege إن HealthSAW تفوق على النماذج الرائدة في 14 اختبارًا من أصل 16، بتكلفة لكل مريض تقل عن 0.1% من تكلفتها.

هذه مقارنات خاصة بمهام محددة أبلغت عنها Protege، وليست دليلًا على أن نموذجًا واحدًا هو الأفضل في جميع البيئات السريرية. ولا يوضح الإعلان منهجية احتساب التكلفة كاملةً. وقد تجعل تكاليف التنبؤ المنخفضة الفحوص المتكررة أو التحليلات واسعة النطاق أكثر جدوى عمليًا، لكن تكاليف النشر تعتمد أيضًا على التكامل والإشراف والعمل الذي تسببه النتائج غير الصحيحة.

ينبغي أن تواكب التقييمات تحديثات النماذج

توفر Protege، في إطار أعمالها الأوسع، بيانات لتطوير الذكاء الاصطناعي، ما يجعل الفصل بين بيانات التطوير وبيانات التقييم جزءًا مهمًا من نهجها. وتؤكد موادها أهمية توثيق مصادر البيانات، وضبط الوصول إليها، وتحديث حالات المرضى، بوصفها وسائل للحفاظ على فائدة الاختبارات بمرور الوقت.

تعتزم الشركة توسيع نطاق التقييمات ليشمل مجالات منها علم الأمراض، والأمراض الجلدية، والأورام، وسير العمل الإداري. وتهدف إلى وضع عملية قابلة للتكرار وإعادة التنفيذ مع تغير النماذج، بدلًا من إسناد نتيجة واحدة إلى منتج على نحو دائم.

وهذا مفيد لكل من المشترين والمطوّرين. إذ تحتاج المستشفى إلى معرفة ما إذا كان النموذج المحدَّث لا يزال يعمل بكفاءة مع مرضاها وسير العمل فيها. أما المطوّر، فيحتاج إلى ما هو أكثر من نتيجة متوسطة؛ إذ عليه أن يفهم الحالات التي يفشل فيها النموذج، وما إذا كان التحسّن في مجال ما يُفضي إلى نقاط ضعف في مجالات أخرى.

يمكن للاختبارات المستقلة أن تجعل هذه النقاشات أكثر تحديدًا، لكن أداء النموذج في اختبار معياري بأثر رجعي لا يعادل إثبات فائدته في الممارسة السريرية. وتظل الدراسات المستقبلية، والأداء لدى فئات المرضى المختلفة، ومعدلات النتائج الإيجابية والسلبية الكاذبة، وآثار ذلك على أعباء عمل الأطباء، عناصر مهمة في الأدلة.

يطرح إطلاق Protege سؤالًا أكثر إلحاحًا على شركات الذكاء الاصطناعي في الرعاية الصحية: كيف يؤدي النظام عندما تكون الحالات غير مألوفة ويضع طرف آخر الاختبار؟ وستعتمد قيمة الخدمة الجديدة على مدى وضوح الأساليب والنتائج في مساعدة المؤسسات على الإجابة عن هذا السؤال، وعلى مدى اتساق الاختبارات في كشف المشكلات التي قد لا تظهر في العروض التوضيحية المصقولة.