Protege ने शुरू किए स्वतंत्र स्वास्थ्य सेवा AI परीक्षण, Disease Odyssey ने उजागर कीं निदान संबंधी कमियाँ

Protege स्वास्थ्य सेवा AI का स्वतंत्र मूल्यांकन शुरू कर रही है। इसमें मॉडलों को ऐसे मरीजों के मामलों पर परखा जाएगा, जिन्हें उन्होंने पहले नहीं देखा है। उसका पहला मानदंड, Disease Odyssey, इस बात का शुरुआती संकेत देता है कि यह क्यों महत्वपूर्ण है: कंपनी के अनुसार, मरीजों के इतिहास के आधार पर काम करते हुए अग्रणी मॉडल स्लीप एपनिया और एनीमिया जैसी स्थितियों की पहचान केवल 53%–69% मामलों में कर पाए।

21 अक्टूबर को शुरू की गई इस पहल में Xlue AI और Standard Model Biomedicine के साथ किए गए मूल्यांकन भी शामिल हैं। इनके नतीजे उन दो सवालों पर रोशनी डालते हैं जो अस्पतालों और डेवलपरों के लिए मायने रखते हैं: क्या कोई मॉडल वास्तविक रिकॉर्ड से उपयोगी चिकित्सकीय संकेत निकाल सकता है, और ऐसी भविष्यवाणियाँ तैयार करने में कितना खर्च आता है।

Protege का प्रस्ताव है कि इस आकलन का बड़ा हिस्सा उन संगठनों से बाहर किया जाए जो मॉडल बना रहे हैं। कंपनी निजता-सुरक्षित मरीज रिकॉर्ड और चिकित्सकों द्वारा सत्यापित उत्तरों का इस्तेमाल करके मूल्यांकन तैयार करती है, उसे चलाती है और उसके अंक देती है। इससे डेवलपरों को प्रदर्शन के बारे में व्यापक दावे करने से पहले कमज़ोरियों की पहचान करने का तरीका मिलता है।

चिकित्सा परीक्षा के सवालों के जवाब देने से अलग तरह का परीक्षण

स्पष्ट रूप से बताया गया निदान वाला चिकित्सकीय सवाल, कई मुलाकातों में फैले मरीज के इतिहास से अलग होता है। लक्षण समय के साथ विकसित होते हैं, रिकॉर्ड अधूरे हो सकते हैं और निर्णायक संकेत कम प्रासंगिक जानकारी के बीच छिपा हो सकता है। Disease Odyssey का ध्यान ऐसे दीर्घकालिक इतिहास के आधार पर निदान से पहले बीमारी की पहचान करने पर है।

बताई गई 53%–69% की सीमा केवल जाँचे गए मामलों और स्थितियों पर लागू होती है, स्वास्थ्य सेवा AI पर समग्र रूप से नहीं। Protege की घोषणा में नमूने के आकार, तुलना के लिए इस्तेमाल किए गए सटीक मॉडलों या नतीजों से जुड़ी अनिश्चितता के बारे में इतनी जानकारी नहीं है कि व्यापक रैंकिंग की जा सके। हालांकि, इससे यह ज़रूर पता चलता है कि कंपनी के शुरुआती मानदंड पर सुधार की काफी गुंजाइश अभी बाकी है।

Protege के सह-संस्थापक और CEO बॉबी सैमुअल्स ने घोषणा में कहा, “स्वास्थ्य सेवा AI तेज़ी से आगे बढ़ रहा है, लेकिन इसके मूल्यांकन का तरीका उस गति के साथ नहीं चल पाया है।”

Protege परीक्षण को विकास से कैसे अलग रखती है

Protege अपनी प्रक्रिया को दोहरा-अंध मूल्यांकन बताती है: मॉडल बनाने वालों को मरीजों के डेटा या सवालों की पहले से जानकारी नहीं दी जाती, जबकि Protege इन प्रणालियों का मूल्यांकन यह जाने बिना करती है कि उन्हें कैसे बनाया गया। यहाँ इस शब्द का अर्थ मूल्यांकन की व्यवस्था से है, न कि किसी यादृच्छिक नैदानिक परीक्षण से।

परीक्षण सामग्री को विकास प्रक्रिया से अलग रखना महत्वपूर्ण है, क्योंकि मानदंड के सवालों से पहले ही परिचित होने पर प्रदर्शन वास्तविकता से बेहतर दिख सकता है। प्रशिक्षण के दौरान किसी उत्तर से परिचित हो चुका मॉडल, सचमुच नए मामले का सामना करने पर अपनी वास्तविक क्षमता से अधिक सक्षम नज़र आ सकता है।

कंपनी का स्वास्थ्य सेवा मूल्यांकन मंच कई व्यावहारिक नियंत्रण जोड़ता है। इसमें सुरक्षित और विकास के दौरान अलग रखे गए परीक्षण मामले, संस्करण-आधारित कार्य और अंक-निर्धारण, तथा विफलताओं के स्वरूप और प्रभावित आबादियों का विश्लेषण शामिल है। संस्करणों का हिसाब रखने से मॉडल के अलग-अलग संस्करणों की तुलना अधिक सार्थक हो जाती है: जब कार्य और अंक देने के नियम चुपचाप न बदले हों, तो ऊँचे अंक का अर्थ समझना आसान होता है।

यह मंच आपस में जुड़ी कई तरह की जानकारी का इस्तेमाल करता है, जिनमें इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड, चिकित्सकीय टिप्पणियाँ, इमेजिंग, रोगविज्ञान, बीमा दावे और स्वास्थ्य संबंधी नतीजे शामिल हैं। इसका Data Lab चिकित्सकीय सवालों को मूल्यांकन कार्यों और संदर्भ उत्तरों में बदलता है। इस संयोजन का उद्देश्य यह जाँचना है कि मॉडल चिकित्सकीय संदर्भ का उपयोग कैसे करते हैं, न कि केवल यह कि वे अलग-अलग चिकित्सा तथ्यों को दोहरा सकते हैं या नहीं।

विशेषीकृत मॉडल प्रदर्शन और लागत के मामले में प्रतिस्पर्धा करते हैं

साथ में किए गए मूल्यांकनों में अलग-अलग कार्यों की जाँच की गई है, इसलिए उनके नतीजों को Disease Odyssey से अलग समझना चाहिए।

Standard Model Biomedicine के साथ किए गए काम में Protege ने स्तन और फेफड़ों के कैंसर में जीवित रहने की अवधि तथा मरीज के अगले उपचार तक के समय से जुड़े पूर्वानुमानों का मूल्यांकन किया। कंपनी का कहना है कि विशेषीकृत मॉडल ने अग्रणी प्रणालियों के बराबर प्रदर्शन किया और प्रति पूर्वानुमान उसकी लागत 36–170 गुना कम रही।

Xlue AI के HealthSAW मॉडल के एक अलग मूल्यांकन में कैंसर, हृदय-वाहिका रोगों और तंत्रिका संबंधी स्थितियों के भविष्य के जोखिमों की जाँच की गई। Protege के अनुसार, HealthSAW ने 16 में से 14 परीक्षणों में अग्रणी मॉडलों से बेहतर प्रदर्शन किया और प्रति मरीज इसकी लागत उनकी लागत के 0.1% से भी कम रही।

ये Protege द्वारा बताए गए कार्य-विशिष्ट तुलना-नतीजे हैं; इनसे यह साबित नहीं होता कि हर नैदानिक परिस्थिति में कोई एक मॉडल सर्वश्रेष्ठ है। घोषणा में लागत की गणना की पूरी पद्धति स्पष्ट नहीं की गई है। पूर्वानुमान की कम लागत से बार-बार की जाने वाली जाँच या बड़े पैमाने पर विश्लेषण अधिक व्यावहारिक हो सकते हैं, लेकिन तैनाती की लागत एकीकरण, निगरानी और गलत नतीजों से पैदा होने वाले काम पर भी निर्भर करती है।

मूल्यांकन को मॉडल के अपडेट के साथ कदम मिलाकर चलना होगा

Protege का व्यापक कारोबार AI विकास के लिए डेटा उपलब्ध कराता है, इसलिए विकास के डेटा और मूल्यांकन के डेटा को अलग रखना उसके दृष्टिकोण का अहम हिस्सा है। कंपनी की सामग्री में डेटा के स्रोत का पता लगाने की क्षमता, नियंत्रित पहुँच और मरीजों के नए मामलों को शामिल करने पर ज़ोर दिया गया है, ताकि समय के साथ परीक्षण उपयोगी बने रहें।

कंपनी की योजना रोगविज्ञान, त्वचा रोग विज्ञान, कैंसर विज्ञान और प्रशासनिक कार्यप्रवाहों समेत कई क्षेत्रों में मूल्यांकन का विस्तार करने की है। उसका उद्देश्य ऐसी प्रक्रिया बनाना है जिसे मॉडल बदलने पर फिर से चलाया जा सके—न कि किसी उत्पाद के साथ स्थायी रूप से जोड़ दिया जाने वाला एक अकेला अंक।

यह खरीदारों और निर्माताओं, दोनों के लिए उपयोगी है। अस्पताल को यह जानना ज़रूरी है कि अपडेट किया गया मॉडल अब भी उसकी आबादी और कार्यप्रवाह के लिए कारगर है या नहीं। डेवलपर को औसत स्कोर से अधिक जानकारी चाहिए: उसे समझना होता है कि किन मामलों में मॉडल विफल होता है और क्या एक क्षेत्र में सुधार से दूसरे क्षेत्रों में कमज़ोरियाँ पैदा होती हैं।

स्वतंत्र परीक्षण इन चर्चाओं को अधिक ठोस बना सकता है, लेकिन पूर्वव्यापी बेंचमार्क में अच्छा प्रदर्शन, नैदानिक ​​अभ्यास में सिद्ध लाभ के समान नहीं है। संभावित अध्ययन, मरीज़ों के विभिन्न समूहों में प्रदर्शन, ग़लत-सकारात्मक और ग़लत-नकारात्मक दरें, और चिकित्सकों के कार्यभार पर पड़ने वाले प्रभाव—ये सभी साक्ष्य के महत्वपूर्ण पहलू बने हुए हैं।

Protege की शुरुआत स्वास्थ्य सेवा क्षेत्र की एआई कंपनियों के सामने एक अधिक स्पष्ट सवाल रखती है: जब मामले अपरिचित हों और परीक्षण कोई दूसरा तय करे, तो प्रणाली कैसा प्रदर्शन करती है? इस नई सेवा का महत्व इस बात पर निर्भर करेगा कि इसके तरीके और नतीजे संगठनों को इस सवाल का जवाब देने में कितनी स्पष्टता से मदद करते हैं—और परीक्षण कितनी निरंतरता से उन समस्याओं को उजागर करते हैं, जो सुघड़ प्रदर्शनों में नज़र नहीं आतीं।