Google ने स्वास्थ्य क्षेत्र में AI के मूल्यांकन के लिए बहु-विधि रूपरेखा प्रकाशित की

Google ने घोषणा की कि वह 4 नवंबर, 2026 को एक श्वेतपत्र प्रकाशित करेगा, जिसमें बताया गया है कि वह स्वास्थ्य क्षेत्र में सामान्य प्रयोजन वाले जनरेटिव AI का मूल्यांकन कैसे करता है। इस रूपरेखा में बंद-प्रश्न वाले मानदंड-परीक्षण, AI स्वचालित मूल्यांकनकर्ता और विशेषज्ञों की मानवीय समीक्षा शामिल हैं, जिनकी मदद से आम और उच्च-जोखिम वाली परिस्थितियों में सटीकता, सुरक्षा और उपयोगिता का आकलन किया जाता है।

इस लेख की लेखिका, डॉ. Sarah Montgomery-Taylor, Google for Health में नैदानिक मूल्यांकन की प्रमुख हैं; डॉ. Elizabeth McGlynn और डॉ. Dana Gelb Safran ने इस काम में उनके साथ साझेदारी की। Google का कहना है कि उसने यह तरीका विकसित किया है और अब भी इसका इस्तेमाल यह परखने के लिए करता है कि उसके मॉडल उपयोगी और सटीक जवाब देते हैं या नहीं, जो स्वास्थ्य से जुड़ी सुरक्षित बातचीत में सहायक हों। इस पद्धति को प्रकाशित करने का उद्देश्य पारदर्शिता को बढ़ावा देना और डेवलपरों, शोधकर्ताओं तथा चिकित्सकों को ऐसे उपकरण बनाने में मदद करना है जिन पर लोग भरोसा कर सकें।

मूल्यांकन को वास्तविक नैदानिक उपयोग के अनुरूप बनाना

लेखकों का तर्क है कि अलग-अलग कार्यों के लिए बनाई गई मूल्यांकन विधियाँ सामान्य प्रयोजन वाले मॉडलों का पर्याप्त आकलन नहीं कर पातीं। वे इसका उदाहरण एक ऐसे जनरेटिव AI-पूर्व मॉडल से देते हैं जो CT स्कैन में फेफड़ों के कैंसर का पता लगा सकता है, लेकिन मैमोग्राम में स्तन कैंसर का पता नहीं लगा सकता या बातचीत का सारांश बनाकर नोट तैयार नहीं कर सकता। जब एक ही मॉडल सैकड़ों, हज़ारों या उससे भी अधिक कार्य कर सकता है, तो डेवलपरों और स्वास्थ्य संगठनों को बातचीतों और जोखिमों को प्राथमिकता देने का तरीका चाहिए।

परीक्षण के मामले चुनने से पहले, मूल्यांकनकर्ता एक महत्वपूर्ण उपयोगकर्ता यात्रा का नक्शा बनाते हैं: प्रणाली का इस्तेमाल कौन कर रहा है, वह क्या हासिल करना चाहता है और इसमें कौन-कौन से चरण शामिल हैं। उपयोगकर्ताओं में मरीज़, परिवार के सदस्य, चिकित्सक या प्रशासक शामिल हो सकते हैं। यह नक्शा प्रतिनिधि परीक्षण डेटा और मापदंड तय करने में मार्गदर्शन देता है। इसमें अपेक्षित उपयोग और दुरुपयोग के आम तरीकों को भी शामिल किया जाता है, जैसे किसी उत्पाद पर उसके अनुमोदित उपयोग से बाहर निर्भर रहना और सुरक्षा फ़िल्टरों को दरकिनार करने की कोशिश करना।

इसके बाद हर अनुप्रयोग का तीन क्षेत्रों में मूल्यांकन किया जाता है। सटीकता के आकलन में चिकित्सकीय सहमति, साक्ष्य का समर्थन, तथ्यपरकता, नैदानिक तर्क और संदर्भ के अनुरूपता शामिल हैं; चिकित्सा-सारांश जैसे कार्यों में स्रोतों पर आधारित होने की कसौटी भी जोड़ी जाती है। सुरक्षा का आकलन केवल इस बात तक सीमित नहीं रहता कि कथन सही हैं या नहीं, बल्कि यह भी देखा जाता है कि कोई व्यक्ति जवाब को समझकर उस पर कार्रवाई करे या कार्रवाई न करे, तो उससे क्या नुकसान हो सकता है। आकलन में उस नुकसान की गंभीरता और उसकी आशंका, दोनों पर विचार किया जाता है। उपयोगिता के आकलन में स्वास्थ्य-साक्षरता, प्रासंगिकता, व्यापकता और यह देखा जाता है कि क्या कोई व्यक्ति जवाब के आधार पर कार्रवाई कर सकता है। इसलिए कोई जवाब सटीक होते हुए भी असुरक्षित हो सकता है, या सटीक और सुरक्षित होने के बावजूद इतना जटिल या कार्रवाई के लिहाज़ से अनुपयोगी हो सकता है कि वह उपयोगकर्ता की मदद न करे।

शोधपत्र के उदाहरण दिखाते हैं कि कार्य के अनुसार मुख्य जोखिम कैसे बदलता है। लक्षणों की जाँच कर रहे किसी आम उपयोगकर्ता के लिए सुरक्षा की सबसे बड़ी चिंता यह है कि जवाब उन चेतावनी वाले लक्षणों को उजागर न करे जिनमें तत्काल देखभाल की ज़रूरत होती है; इसके बजाय, जरूरत से ज़्यादा डराने वाला जवाब बेवजह चिंता पैदा कर सकता है, जबकि स्वयं आकलन करने के अस्पष्ट निर्देश सही अगले कदम उठाने में बाधा बन सकते हैं। चिकित्सक द्वारा AI की मदद से तैयार किए गए डिस्चार्ज सारांश में मनगढ़ंत जानकारी, छूटी हुई बातें और तथ्यात्मक त्रुटियाँ सटीकता के लिए खतरा हैं; एलर्जी या निषिद्ध दवाओं का उल्लेख छूट जाना सुरक्षा के जोखिम पैदा करता है; और उलझाऊ प्रारूप या समय-क्रम में असंगति उपयोगिता घटा सकती है।

स्वचालित मूल्यांकन के व्यापक पैमाने और मानवीय विवेक का मेल

पहली मूल्यांकन विधि में निश्चित उत्तरों वाले परीक्षणों का इस्तेमाल होता है, जैसे बहुविकल्पीय प्रश्न, जिनसे बुनियादी ज्ञान की बड़ी मात्रा में जाँच अपेक्षाकृत कम खर्च में की जा सकती है। स्थिर परीक्षण वास्तविक बातचीतों की जटिलता और प्रतिनिधित्व को दोहरा नहीं सकते। डेटा का दूषित होना भी एक सीमा है: जब परीक्षण के प्रश्न प्रशिक्षण डेटा में शामिल हों, तो नतीजे सामान्यीकृत चिकित्सकीय तर्क के बजाय परीक्षण की तैयारी को दर्शा सकते हैं। इसलिए यह रूपरेखा इन मानदंड-परीक्षणों का उपयोग आधार-स्तर तय करने और आगे के मूल्यांकन का लक्ष्य निर्धारित करने के लिए करती है; वास्तविक दुनिया के प्रदर्शन की पुष्टि के लिए अतिरिक्त विधियाँ भी ज़रूरी हैं।

दूसरी विधि में अंक देने का काम किसी दूसरी AI प्रणाली को सौंपा जाता है। ये स्वचालित मूल्यांकनकर्ता खुले जवाबों पर लिखित मूल्यांकन-मानदंड लागू करते हैं, जिससे विशेषज्ञ समीक्षकों की व्यावहारिक क्षमता से कहीं अधिक परिस्थितियों की जाँच की जा सकती है। वे कई चरणों वाली ऐसी नकली बातचीतों का आकलन कर सकते हैं जिनमें उपयोगकर्ता शुरुआत में नैदानिक जानकारी नहीं देते; इससे जाँचा जाता है कि क्या मॉडल सलाह देने से पहले स्पष्टीकरण माँगता है। फिर भी, स्वचालित मूल्यांकनकर्ताओं की पुष्टि विशेषज्ञों द्वारा तैयार किए गए संदर्भ डेटा से करना ज़रूरी है, क्योंकि वे लंबे जवाबों को ज़्यादा अंक दे सकते हैं, अपने ही मॉडल-परिवार के जवाबों को तरजीह दे सकते हैं और शोरयुक्त मानवीय टिप्पणियों की कमियों को आगे बढ़ा सकते हैं।

इसके बाद चिकित्सक और अन्य विषय-विशेषज्ञ उन मामलों की जाँच करते हैं जहाँ स्वचालित मूल्यांकन-मानदंड सबसे कमज़ोर पड़ते हैं, जिनमें जटिल लक्षण-प्रस्तुतियाँ, असामान्य मामले और ऐसे विषय शामिल हैं जिन पर चिकित्सकीय सहमति सीमित है। वे यह भी परखते हैं कि जवाब स्थानीय नैदानिक मानदंडों और अलग-अलग मरीज़ समूहों के अनुकूल है या नहीं। सुरक्षा-सीमाओं की अलग से जाँच करने वाली रेड-टीमिंग में भावनात्मक अपील, काल्पनिक संदर्भ गढ़ना या स्वास्थ्य पेशेवर होने का रूप धरना जैसी तरकीबें आज़माई जाती हैं, ताकि उत्पाद के निर्धारित दायरे से बाहर के जवाब निकलवाए जा सकें। मानवीय समीक्षा भी त्रुटिहीन नहीं होती: लेखकों के अनुसार, किसी मूल्यांकन कार्य में दो चिकित्सकों की रेटिंग में 30–40% या उससे भी अधिक का अंतर हो सकता है। इसलिए मूल्यांकनकर्ताओं के बीच भिन्नता को नियंत्रित करना और उपयुक्त विश्लेषण करना आवश्यक है।

उपलब्धता के बाद भी निगरानी जारी रहती है

किसी उत्पाद के अस्तित्व में आने से पहले ही मूल्यांकन शुरू हो जाता है; इस चरण में आधारभूत मॉडल की सामान्य क्षमताओं और सुरक्षा की जाँच की जाती है। जब मॉडल को किसी अनुप्रयोग में शामिल किया जाने लगता है, तो मूल्यांकन उस उत्पाद के उपयोगकर्ताओं और कार्यप्रवाह के अनुरूप हो जाता है। रिलीज़ के करीब, नियंत्रित रूप से उपलब्ध कराने के चरण में बिना उपयोगकर्ता को दिखाए किए जाने वाले शैडो परीक्षण, नैदानिक पायलट या चरणबद्ध शुरुआत शामिल हो सकती है। व्यापक रूप से उपलब्ध कराने से पहले मानव-कारक और उपयोगिता परीक्षण भी किए जाते हैं।

नैदानिक और विकास टीमों को हर उत्पाद-चरण के समीक्षा-बिंदु पर, ऐप्लिकेशन के नैदानिक जोखिम के आधार पर, सफल मूल्यांकन की सीमाएँ और मूल्यांकन-मानदंडों के भार मिलकर तय करने चाहिए—न कि सभी पर लागू होने वाली या मनमानी संख्यात्मक सीमाएँ। तैनाती के बाद डेवलपर एल्गोरिदम में बदलाव और सिस्टम की स्थिरता पर नज़र रखते हैं। ऐप्लिकेशन अपनाने वाले संगठन पेशेवर उपकरणों के लिए नैदानिक कार्यप्रवाह की सुरक्षा, या उपभोक्ता उत्पादों के लिए उपयोगकर्ता की सुरक्षा और उपयोग के तरीकों की निगरानी करते हैं।

लेखकों का कहना है कि उपयोगकर्ताओं की शिकायतों और गंभीर संकेतक घटनाओं जैसे प्रतिक्रियात्मक संकेतों के आधार पर ही तैनाती के बाद की निगरानी नहीं की जा सकती। परीक्षण-समुच्चय वास्तविक संवादों से अलग होते हैं, और अनुभव बढ़ने के साथ उपयोगकर्ता अपने प्रॉम्प्ट और अपेक्षाएँ बदलते हैं। निगरानी से मिले निष्कर्षों को आवश्यकताओं, प्रशिक्षण और आगे के मूल्यांकन की प्राथमिकताओं में शामिल करना चाहिए। संवादों और स्वास्थ्य-परिणामों की दीर्घकालिक निगरानी में डेटा-साइलो के साथ-साथ निजता, तकनीकी और संगठनात्मक बाधाएँ भी आती हैं। शोधपत्र यह भी बताता है कि डेवलपरों और स्वास्थ्य प्रणालियों की साझा ज़िम्मेदारियाँ तय करना, कार्यान्वयन की लागत का आकलन करना, स्वतंत्र सत्यापन करना और वैज्ञानिक सहमति बनाना—ये सभी शासन-संबंधी काम अभी पूरे किए जाने बाकी हैं।

डेवलपरों और स्वास्थ्य प्रणालियों के लिए यह रूपरेखा सवाल को इस बात से आगे ले जाती है कि किसी मॉडल ने स्थिर मानदंड पर सफलता हासिल की या नहीं; अब सवाल यह है कि क्या विकास और तैनाती के दौरान उसकी सटीकता, सुरक्षा और उपयोगिता लगातार प्रमाणित की जा सकती है। इसकी मुख्य चुनौती व्यावहारिक है: निगरानी को जवाबदेही से जोड़ना, साथ ही ज़िम्मेदारी तय करना, इस काम के लिए धन जुटाना और संगठनात्मक तथा डेटा-संबंधी सीमाओं के पार नतीजों का स्वतंत्र सत्यापन करना।