‘हाउस’ टीवी शो का उपयोग करके एआई की निदान क्षमताओं को विकसित करना

हालांकि दुर्लभ बीमारी का निदान एआई (और मनुष्यों) के लिए एक विशेष रूप से कठिन चुनौती है, लोकप्रिय भाषा मॉडल चैटजीपीटी और जेमिनी ‘हाउस’ मेडिकल ड्रामा से निदान मामलों पर प्रशिक्षित होने पर आशाजनक प्रदर्शन दिखाते हैं।

स्वास्थ्य विज्ञान के लगभग आधे छात्र नियमित रूप से मेडिकल ड्रामा जैसे हाउस, ग्रे’स एनाटॉमी, और स्क्रब्स देखते हैं। हालांकि इस तरह की सामग्री का उपयोग केवल शैक्षिक उद्देश्यों के लिए किया जा सकता है, जिसमें बहुत सारी फिल्टरिंग और फ्रेमिंग की आवश्यकता होती है, क्योंकि खतरनाक गलत सूचना फैलाने का जोखिम है, नाटकों में चित्रित चिकित्सा स्थितियों के लिए अनुसंधान का मानक आमतौर पर काफी उच्च होता है (हालांकि सटीकता उत्पादनों में भिन्न होती है)।

अप्रत्याशित रूप से, डॉक्टर अक्सर मूल, सलाहकार और/या लिखते हैं टीवी मेडिकल ड्रामा। ऐसे मामलों में, व्यापक चिकित्सा डोमेन ज्ञान न केवल चिकित्सा मुद्दों को सटीक रूप से प्रस्तुत करने के लिए फायदेमंद है, बल्कि नए और दिलचस्प कथा रेखाओं के लिए सुझाव देने के लिए भी है।

हाल के ‘स्वर्ण युग’ के सबसे अधिक शोधित चिकित्सा शो में से एक हाउस (जिसे हाउस एमडी भी कहा जाता है), जिसमें मुख्य पात्र की विचित्रता और सहायक कलाकारों में बड़े उतार-चढ़ाव, मनोरंजक थे, लेकिन ‘रोग के सप्ताह’ के लिए दूसरे स्थान पर थे।

वास्तव में, आठ सीज़न के दौरान प्रसारित 177 एपिसोड में, हाउस ने 176 निदान मामलों का एक मेहनती अध्ययन प्रदान किया। हालांकि शो 2012 में समाप्त हो गया था, 2015 तक यह एक शिक्षण उपकरण के रूप में उपयोग किया जा रहा था, जिसमें एक विशेष डॉ हाउस सेमिनार मानक सेमिनार सामग्री की तुलना में बेहतर परिणाम दिखा रहा था, भले ही भाग लेने वाले छात्रों को कोई क्रेडिट नहीं मिला:

2015 के एक अध्ययन से, विविध कारण जिनकी वजह से मेडिकल छात्र ‘हाउस’ टीवी शो से जानकारी लेने वाले एक निदान सेमिनार में भाग लेना चाहते थे। सेमिनार का आयोजन जानबूझकर एक चुनौतीपूर्ण समय पर किया गया था, और इसमें कोई अध्ययन क्रेडिट नहीं था; इन कारकों के बावजूद, यह पहल सफल रही। स्रोत

हाउस और एआई

हालांकि ‘हाउस’ और अन्य विविध टीवी शो का उपयोग सीखने में एक प्रभावी सहायक के रूप में सिद्ध हो चुका है, चिकित्सा छात्रों के लिए, अब तक इस दृष्टिकोण का बहुत कम उपयोग किया गया है एक मशीन लर्निंग संदर्भ में।

अब, पेन्सिलवेनिया स्टेट यूनिवर्सिटी से एक नई पेपर ने इस दिशा में एक प्रारंभिक प्रयास किया है, 176 हाउस मामलों का एक डेटासेट विकसित करके, जिसे एक कथा संचालित निदान संरचना में तैयार किया गया है, और ओपनएआई और गूगल के लोकप्रिय एलएलएम पर मूल्यांकन किया गया है।

इस चुनौती की कठिनाई के बावजूद (जो जैविक विज्ञान के सबसे कठिन क्षेत्रों में से एक को दर्शाता है), शोधकर्ताओं ने पाया कि चैटजीपीटी और जेमिनी के अधिक हाल के संस्करणों ने पुराने संस्करणों की तुलना में सुधार दिखाया, जो दर्शाता है कि मॉडल विकास की विकासवादी प्रवृत्ति समय के साथ निदान प्रक्रियाओं में प्रभावी ढंग से झुकने की संभावना है।

पेपर में कहा गया है:

‘परिणामों में महत्वपूर्ण परिवर्तनशीलता दिखाई देती है, 16.48% से 38.64% सटीकता के बीच, नए मॉडल पीढ़ियों में 2.3× सुधार दिखा रहा है। जबकि सभी मॉडल दुर्लभ बीमारी निदान के साथ महत्वपूर्ण चुनौतियों का सामना करते हैं, वास्तुकला में देखी गई सुधार भविष्य के विकास के लिए आशाजनक दिशा का संकेत देती है। ‘

‘हमारी शैक्षिक रूप से मान्य बेंचमार्क नैरेटिव मेडिकल तर्क के लिए बेसलाइन प्रदर्शन मेट्रिक्स स्थापित करता है और एआई-सहायता प्राप्त निदान अनुसंधान के लिए एक सार्वजनिक रूप से उपलब्ध मूल्यांकन ढांचा प्रदान करता है।’

मौजूदा चिकित्सा डेटासेट में नैरेटिव प्रक्रिया की कमी को हल करने के अलावा, जो डेटासेट – जिसे वे सार्वजनिक रूप से उपलब्ध करा रहे हैं – आसानी से उपलब्ध है, मानक चिकित्सा डेटासेट की तुलना में जो आमतौर पर प्रतिबंधित होते हैं।

नया काम शीर्षक है हाउस एमडी का उपयोग करके दुर्लभ बीमारी निदान पर बड़े भाषा मॉडल का मूल्यांकन, और पेन स्टेट से चार शोधकर्ताओं से आता है।

डेटा

अपने डेटासेट को आबाद करने के लिए, लेखकों ने लंबे समय से स्थापित हाउस विकि प्रशंसक साइट से सार्वजनिक रूप से उपलब्ध सामग्री का उपयोग किया। कथात्मक सामग्री को ब्यूटीफुल सूप फ्रेमवर्क का उपयोग करके निकाला और शुद्ध किया गया था, जो वेब पेजों के एचटीएमएल स्रोत से संरचनात्मक डेटा निकाल सकता है।

आधार कथाओं को इस तरह से निकाले जाने के बाद, चार एलएलएम का उपयोग आउटपुट को मानकीकृत मामला प्रारूप में बदलने के लिए किया गया था। उपयोग किए गए मॉडल जीपीटी-4ओ मिनी थे; जीपीटी-5 मिनी; जेमिनी 2.5 फ्लैश; और जेमिनी 2.5 प्रो. अंत में, गुणवत्ता फिल्टरिंग लागू की गई, ताकि यह सुनिश्चित किया जा सके कि डेटासेट में उपयुक्त नैदानिक विवरण था, और चिकित्सा तर्क में वर्तमान राज्य के साथ संरेखण था।

लेखकों का观察 है कि ‘अनाथ’ बीमारियां (जिन्हें दुर्लभ बीमारियां भी कहा जाता है) मानक चिकित्सा डेटाबेस में कम प्रतिनिधित्व करती हैं; कुछ मामलों में, हाउस शो में उनका कवरेज उनके कुल मौजूदा कवरेज का एक असामान्य प्रतिशत हो सकता है।

लेखक स्वीकार करते हैं कि इस तरह के डेटा स्रोत की उपयोगिता को सावधानी से मूल्यांकन किया जाना चाहिए, जिसमें कलात्मक स्वतंत्रता को प्राथमिकता दी जा सकती है जो कभी-कभी चिकित्सा नाटक के विकास में होती है:

‘जबकि हमारा डेटासेट कल्पनाशील सामग्री की सीमाओं को दर्शाता है, जिसमें नाटकीय अतिशयोक्ति और जटिल मामलों पर ध्यान केंद्रित किया जाता है, ये विशेषताएं मॉडल की मजबूती का परीक्षण करने वाले चुनौतीपूर्ण एज केस प्रदान करके मूल्यांकन में लाभकारी हो सकती हैं।’

‘हाउस एमडी का चिकित्सा पेशेवरों द्वारा शैक्षिक मान्यकरण एआई मूल्यांकन के लिए निकाले गए दृश्यों में नैदानिक रूप से महत्वपूर्ण जानकारी होने का विश्वास दिलाता है।’

परियोजना के लिए उत्पन्न डेटासेट के उदाहरण। स्रोत

परीक्षण

नैरेटिव निदान कार्यों पर मॉडल की सटीकता का मूल्यांकन करने के लिए, लेखकों ने एक सरल पाइपलाइन का डिजाइन किया जो प्रोम्प्ट जनरेशन, मॉडल अंतर्दृष्टि, और स्कोरिंग को जोड़ती है।

चार उपरोक्त एलएलएम का परीक्षण किया गया था, प्रत्येक मॉडल को तापमान शून्य (निर्धारित आउटपुट के लिए) पर कॉन्फ़िगर किया गया था, और अधिकतम टोकन लंबाई 1,500 थी – जटिल निदान तर्क को समायोजित करने के लिए एक अनुमति। कोई अतिरिक्त सिस्टम प्रोम्प्ट्स का उपयोग नहीं किया गया था।

प्रोम्प्ट स्वयं एक मानक संरचित चिकित्सा मामला प्रस्तुति प्रारूप का पालन करते थे – जिस प्रकार के दर्शक सबसे अधिक परिचित होंगे जब एक नए रोगी/बीमारी को पेश किया जाता है, और एक डॉक्टर अन्य डॉक्टरों के लिए एक सारांश प्रस्तुत करता है (वास्तव में, दर्शकों के लिए)।

प्रत्येक प्रोम्प्ट में एक नैदानिक कथा शामिल थी जिसमें जनसांख्यिकीय विवरण; लक्षणों का एक समयरेखा; प्रासंगिक चिकित्सा इतिहास; और प्रारंभिक निदान खोज शामिल थे। मॉडल को एक प्राथमिक निदान की पहचान करने और अपने निष्कर्ष को तर्क के साथ सही ठहराने के लिए कहा गया था।

प्रत्येक मॉडल ने एक ही पास में अपना निदान प्रतिक्रिया उत्पन्न की, किसी भी पुनरावृत्ति सुधार के बिना; और प्रतिक्रियाएं 176 मामलों में स्थिर परिस्थितियों में एकत्र की गईं:

जेमिनी 2.5 प्रो के लिए परीक्षण के लिए एक प्रतिनिधि मूल्यांकन उदाहरण दिखा रहा है, जिसमें एक नैरेटिव क्लिनिकल प्रोम्प्ट और इसका संबंधित मैदान-निदान शामिल है। स्रोत

मेट्रिक्स के लिए, पूर्वानुमानों का मूल्यांकन एक ‘फजी’ स्ट्रिंग-मिलान प्रक्रिया का उपयोग करके किया गया था जो चिकित्सा शब्दावली में अस्पष्टता के लिए खाता है। दृष्टिकोण में पाइथन के सीक्वेंसमैचर लाइब्रेरी का उपयोग 0.8 की समानता सीमा के साथ किया गया था, जो पहले सटीक सब्स्ट्रिंग मिलान के साथ शुरू होता है और जब आवश्यक हो तब टोकन-वार तुलना में वापस आता है। सटीकता की गणना इन शर्तों के तहत सही ढंग से वर्गीकृत मामलों के अनुपात के रूप में की गई थी:

शोधकर्ताओं द्वारा उपयोग की जाने वाली ‘फजी मिलान’ कार्य प्रवाह。

लेखकों का कहना है कि फजी मिलान का अर्थ यह हो सकता है कि समानार्थी निदान जो अलग-अलग शब्दावली का उपयोग करते हैं उन्हें याद किया जा सकता है, लेकिन वे अपने दृष्टिकोण को परियोजना की सीमाओं को पूरा करने के लिए सबसे पुनरुत्पादक के रूप में प्रस्तुत करते हैं।

परिणाम

निदान सटीकता मॉडल के साथ व्यापक रूप से भिन्न थी, जेमिनी 2.5 प्रो 38.64% पर सबसे अच्छा प्रदर्शन करता है, इसके बाद जीपीटी-5 मिनी 36.93% पर, जेमिनी 2.5 फ्लैश 32.95% पर, और जीपीटी-4ओ मिनी 16.48% पर। इन अंतरों के बावजूद, सभी मॉडल दुर्लभ बीमारियों के लिए निदान तर्क की मांगों से जूझते हैं:

चार मॉडलों पर निदान सटीकता के परिणाम。

लेखकों का उल्लेख है कि प्रदर्शन शो के मौसमों में भिन्न था:

हाउस के विविध मौसमों में सटीकता में भिन्नता, लेकिन कोई स्पष्ट वक्र या स्पष्ट कारण नहीं।

पेपर में कहा गया है:

‘सीज़न 1 में 56.52% के साथ उच्चतम सटीकता हासिल की गई, जबकि सीज़न 5 में 20.83% के साथ सबसे कम सटीकता देखी गई। यह परिवर्तन इस बात का संकेत देता है कि निदान जटिलता श्रृंखला में भिन्न होती है, बाद के सीज़न में संभावित रूप से अधिक चुनौतीपूर्ण दुर्लभ बीमारी मामलों की विशेषता है। ‘

‘हालांकि, सीज़न 8 में 52.38% का अपेक्षाकृत मजबूत प्रदर्शन यह दर्शाता है कि केवल समय की प्रगति ही सटीकता में अंतरों को पूरी तरह से नहीं समझा सकती है; मामला-विशिष्ट निदान जटिलता प्रतीत होता है कि प्राथमिक चालक है।’

मॉडल ने सामान्य स्थितियों का निदान करते समय अधिक विश्वसनीय रूप से प्रदर्शन किया, जैसे कि मेनिन्जाइटिस, मायोकार्डियल इन्फ्रक्शन, और फुफ्फुसीय एम्बोलिज्म – लेकिन दुर्लभ बीमारियों जैसे न्यूरोसिस्टिसेर्कोसिस और एर्डहाइम-चेस्टर रोग के साथ-साथ जटिल ऑटोइम्यून विकारों जैसे सिस्टमिक ल्यूपस एरिथेमेटोसस और सार्कॉइडोसिस के साथ लगातार संघर्ष किया। प्रदर्शन विषाक्तता मामलों पर भी गिर गया जिन्हें एक्सपोज़र इतिहास को क्लिनिकल संकेतों से जोड़ने की आवश्यकता थी।

लेखकों का सुझाव है कि मॉडलों के बीच सटीकता में परिवर्तन वास्तुकला और प्रशिक्षण रणनीति में महत्वपूर्ण अंतर को दर्शाता है, जेमिनी 2.5 प्रो और जीपीटी-5 मिनी के मजबूत प्रदर्शन का संकेत है कि नए एलएलएम पीढ़ियों में सुधारित तर्क क्षमता है – हालांकि उनके परिणाम अभी भी जटिल निदान कार्यों से निपटने में स्पष्ट सीमाओं को प्रकट करते हैं।

लेखकों का तर्क है कि परिणाम नैरेटिव-आधारित दुर्लभ बीमारी निदान के लिए बेसलाइन मेट्रिक्स प्रदान करते हैं, जो दर्शाते हैं कि वर्तमान भाषा मॉडल चिकित्सा तर्क क्षमता दिखा रहे हैं।

परिणाम, वे दावा करते हैं, सटीकता स्तर के बावजूद, निदान के लगभग 40% मामलों में सही निदान की पहचान करने की क्षमता को इंगित करते हैं, जो वास्तविक तर्क क्षमता को दर्शाता है, जो भविष्य के सुधार के लिए आधार तैयार करता है।

जबकि शोधकर्ता स्वीकार करते हैं कि सटीकता के स्तर अभी भी विनम्र हैं, बेंचमार्क का ध्यान केवल जटिल मामलों पर केंद्रित है जो प्रशिक्षित चिकित्सकों को भी चुनौती देते हैं, और लगभग 40% मामलों में निदान की सही पहचान करने की क्षमता वास्तविक तर्क क्षमता को दर्शाती है, जो लक्षित फाइन-ट्यूनिंग, संरचित चिकित्सा ज्ञान एकीकरण, या हाइब्रिड तर्क रणनीतियों के माध्यम से भविष्य के सुधार के लिए आधार तैयार करती है।

निष्कर्ष

टीवी शो की कथाओं को वास्तविक दुनिया के चिकित्सा डेटासेट में पुनर्निर्देशित करने में कुछ स्पष्ट खतरे हैं – यहां तक कि ‘हाउस’ जैसे मामलों में जहां सामग्री में उच्च स्तर के योग्य चिकित्सा योगदान और/या पर्यवेक्षण है।

यह दिलचस्प है कि ‘हाउस’ का एक प्रत्येक एपिसोड प्रभावी रूप से एक सारांश मशीन के रूप में कार्य करता है जो चिकित्सा प्रविष्टियों की एक श्रृंखला के लिए जो इंटरनेट पर सामान्य लोगों के लिए सीधे उपलब्ध नहीं हो सकती हैं, या जो जानकारी को एक अधिक खंडित और गैर-रेखीय तरीके से प्रस्तुत करती है।

एक डॉक्टर द्वारा एक एपिसोड के लिए स्क्रीनप्ले लिखना, जैसा कि ‘हाउस’ के साथ अक्सर होता था, शोधकर्ताओं द्वारा सामग्री पर ‘हस्ताक्षर’ के रूप में उपयोग किया जा सकता है; हालांकि, यह इस तथ्य की उपेक्षा करता है कि कलात्मक विचारों ने बीमारी की प्रस्तुति को प्रभावित किया होगा।

यह डेटा को कई अन्य संभावित डेटा स्रोतों की स्थिति में छोड़ देता है जो प्रशिक्षण के लिए उपयुक्त हो सकते हैं: महंगे, योग्य मानव पर्यवेक्षण की एक ताज़ा परत की आवश्यकता है।

* कृपया ध्यान दें कि यह बहुत छोटा पेपर पारंपरिक टेम्पलेट का पालन नहीं करता है, और मैंने कवरेज को इसे समायोजित करने के लिए अनुकूलित किया है। पहली बार सोमवार, 17 नवंबर, 2025 को प्रकाशित।

पहली बार सोमवार, 17 नवंबर, 2025 को प्रकाशित।