एआई मेडिकल स्कैन में बाएं और दाएं के बीच अंतर बताने में संघर्ष करता है

एक नए अध्ययन में पाया गया है कि एआई इमेज मॉडल जैसे कि चैटजीपीटी फ्लिप्ड या घुमाए गए एनाटॉमी को गलत तरीके से पढ़ सकते हैं, जिससे निदान में खतरनाक त्रुटियों का जोखिम बढ़ जाता है, और परीक्षणों से पता चलता है कि वे अक्सर मेडिकल स्कैन में बुनियादी स्थानिक तर्क में विफल रहते हैं – अनुमान लगाना कि अंग कहां होने चाहिए, वास्तव में छवि को देखने के बजाय। शायद व्यापक रुचि के साथ, शोध यह प्रदर्शित करता है कि ये मॉडल आपके अपलोड किए गए पीडीएफ या आपकी छवियों को वास्तव में पढ़ या देख नहीं रहे हैं।

जिन लोगों ने नियमित रूप से डेटा अपलोड किया है, जैसे कि पीडीएफ सामग्री, एक प्रमुख भाषा मॉडल जैसे कि चैटजीपीटी में जानते हैं कि एलएलएम हमेशा आवश्यक रूप से आपके द्वारा प्रस्तुत की जाने वाली सामग्री को पढ़ या जांच नहीं करते हैं; इसके बजाय, वे अक्सर आपके द्वारा इसे अपलोड करते समय लिखे गए प्रॉम्प्ट के आधार पर सामग्री के बारे में अनुमान लगाते हैं।

यह एक भाषा मॉडल को यह स्वीकार करने के लिए चुनौतीपूर्ण हो सकता है कि यह वास्तव में सामग्री की जांच नहीं कर रहा है, लेकिन इसके आधार पर अपना उत्तर दे रहा है पूर्व ज्ञान, मेटाडेटा या सामान्य धारणाएं। स्रोत: https://chatgpt.com

एक संभावित कारण यह है कि अपलोड की गई सामग्री को ‘अतिरिक्त’ मानकर उत्तर की गति बढ़ाने के लिए, और पाठ-प्रॉम्प्ट पर विचार करने के लिए प्रणाली के पूर्व ज्ञान पर निर्भर करना, अपलोड को पूरी तरह से避 करना और इस प्रक्रिया में नेटवर्क ट्रैफिक को कम करना।

एक अन्य कारण संसाधनों का संरक्षण है (हालांकि प्रदाता इसे प्रकट करने के लिए अनिच्छुक लगते हैं, यदि यह सच है), जहां एलएलएम द्वारा पहले के आदान-प्रदान में निकाले गए मेटाडेटा का उपयोग आगे के उत्तरों के आधार के रूप में किया जाता है, भले ही इन आदान-प्रदान और उस मेटाडेटा में पर्याप्त जानकारी नहीं होती है जो इस उद्देश्य की पूर्ति करे।

बाएं। दाएं?

वर्तमान पीढ़ी के एलएलएम के विविध ध्यान अवधि और फोकसिंग क्षमताओं के कारण जो भी हो, ऐसे स्थितियां और संदर्भ हैं जहां अनुमान लगाना बेहद खतरनाक है। इनमें से एक यह है जब प्रश्न में एआई को मेडिकल सेवाएं प्रदान करने के लिए कहा जा रहा है जैसे कि स्क्रीनिंग या रेडियोलॉजिकल सामग्री के जोखिम का अनुमान।

इस सप्ताह जर्मनी और संयुक्त राज्य अमेरिका के शोधकर्ताओं ने चार प्रमुख दृष्टि-भाषा मॉडलों की प्रभावशीलता की जांच करने वाला एक नया शोध अध्ययन जारी किया, जिसमें चैटजीपीटी-4ो भी शामिल है, जब उन्हें मेडिकल स्कैन में अंगों के स्थान की पहचान करने के लिए कहा जाता है।

आश्चर्यजनक रूप से, इस संबंध में राज्य की कला का प्रतिनिधित्व करने के बावजूद, आधार मॉडल अधिकांश समय 50 प्रतिशत की सफलता दर प्राप्त नहीं करते हैं – जाहिर तौर पर क्योंकि वे अपने प्रशिक्षित ज्ञान को मानव शरीर रचना विज्ञान से पर्याप्त रूप से अलग नहीं कर पाते हैं और वास्तव में देखते छवियों को प्रस्तुत किया जा रहा है, इसके बजाय एक आसान प्रशिक्षित प्राथमिक तक पहुंचने के लिए अपने प्रशिक्षण डेटा से।

शोधकर्ताओं ने पाया कि परीक्षण किए गए एलएलएम ने तब बेहतर प्रदर्शन किया जब विचार किए जाने वाले खंड अन्य संकेतकों (जैसे बिंदुओं और अल्फ़ान्यूमेरिकल क्रम संकेतकों) द्वारा संकेत दिए गए थे, साथ ही नामित किए गए थे – और सबसे अच्छा तब जब प्रश्न में किसी भी अंग या शरीर रचना विज्ञान का उल्लेख नहीं किया गया था:

विज़ुअल मार्कर के साथ प्रदर्शन में वृद्धि, जैसा कि मॉडल को सीखे गए डेटा पर निर्भर करने से रोका जाता है और इसे सामने के डेटा पर ध्यान केंद्रित करने के लिए मजबूर किया जाता है। स्रोत: https://wolfda95.github.io/your_other_left/

लेख में कहा गया है*:

‘राज्य की कला के वीएलएम पहले से ही अपने भाषा घटकों के भीतर मजबूत प्राथमिक एनाटॉमिकल ज्ञान रखते हैं। दूसरे शब्दों में, वे जानते हैं कि मानक मानव शरीर रचना में एनाटॉमिकल संरचनाएं आमतौर पर कहां स्थित होती हैं।

‘हमें लगता है कि वीएलएम अक्सर अपने उत्तरों को इस प्राथमिक ज्ञान पर आधारित बनाते हैं, न कि वास्तविक छवि सामग्री का विश्लेषण करके। उदाहरण के लिए, जब पूछा जाता है कि क्या लिवर पेट के दाईं ओर है, तो एक मॉडल उत्तर दे सकता है बिना छवि की जांच किए, केवल सीखे गए नियम पर निर्भर करता है कि लिवर आमतौर पर पेट के दाईं ओर स्थित होता है।

‘इस तरह का व्यवहार उन मामलों में महत्वपूर्ण गलत निदान की ओर ले जा सकता है जहां वास्तविक स्थितियां मानक एनाटॉमिकल पैटर्न से विचलित होती हैं, जैसे कि सिटस इनवर्सस, पोस्ट-सर्जिकल परिवर्तन, या ट्यूमर विस्थापन।’

इस समस्या को भविष्य के प्रयासों में कम करने के लिए, लेखकों ने एक डेटासेट विकसित किया है जो इस समस्या को संबोधित करने के लिए डिज़ाइन किया गया है।

लेख के निष्कर्षों से कई पाठकों को आश्चर्य हो सकता है जिन्होंने चिकित्सा एआई के विकास का पालन किया है, क्योंकि रेडियोग्राफी को शुरू से ही मशीन लर्निंग के माध्यम से स्वचालन के लिए सबसे अधिक जोखिम वाली नौकरियों में से एक के रूप में चिह्नित किया गया था।

नई कार्य को आपका दूसरा बाएं! दृष्टि-भाषा मॉडल मेडिकल छवियों में सापेक्ष स्थितियों की पहचान करने में विफल रहते हैं कहा जाता है, और यह अल्म यूनिवर्सिटी में दो संकायों के सात शोधकर्ताओं और अमेरिका में एक्सियम बायो से है।

विधि और डेटा

शोधकर्ताओं ने चार मुद्दों का उत्तर देने का लक्ष्य रखा: क्या राज्य की कला के दृष्टि-भाषा मॉडल रेडियोलॉजी छवियों में सापेक्ष स्थितियों का सही ढंग से निर्धारण कर सकते हैं; क्या विज़ुअल मार्करों का उपयोग उनके प्रदर्शन में सुधार करता है; क्या वे वास्तविक छवि सामग्री की तुलना में प्राथमिक एनाटॉमिकल ज्ञान पर अधिक निर्भर करते हैं; और वे चिकित्सा संदर्भ से वंचित होने पर सापेक्ष स्थिति कार्यों को कितनी अच्छी तरह से संभालते हैं।

इसके लिए उन्होंने मेडिकल इमेजिंग रिलेटिव पोज़िशनिंग (एमआईआरपी) डेटासेट तैयार किया।

हालांकि अधिकांश मौजूदा दृश्य प्रश्न-उत्तर बेंचमार्क सीटी या एमआरआई स्लाइस के लिए एनाटॉमिकल और स्थानीयकरण कार्यों को शामिल करते हैं, ये पुराने संग्रह एनाटॉमिकल संरचनाओं के बीच सापेक्ष स्थिति निर्धारण की मूल चुनौती को नजरअंदाज करते हैं, जिससे कई कार्य प्राथमिक चिकित्सा ज्ञान का उपयोग करके हल किए जा सकते हैं।

एमआईआरपी इसे संबोधित करने के लिए डिज़ाइन किया गया है और एनाटॉमिकल संरचनाओं के बीच सापेक्ष स्थिति प्रश्नों का परीक्षण करता है, विज़ुअल मार्करों के प्रभाव का मूल्यांकन करता है, और यादृच्छिक रोटेशन और फ्लिप को लागू करता है ताकि सीखे गए नियमों पर निर्भरता को अवरुद्ध किया जा सके। डेटासेट पेट के सीटी स्लाइस पर केंद्रित है, जो रेडियोलॉजी में जटिलता और प्रचुरता के कारण है।

एमआईआरपी में हां और नहीं उत्तरों की समान संख्या है, और प्रत्येक प्रश्न में एनाटॉमिकल संरचनाएं वैकल्पिक रूप से स्पष्टता के लिए चिह्नित की जा सकती हैं।

तीन प्रकार के विज़ुअल मार्करों का परीक्षण किया गया था: काले संख्या एक सफेद बॉक्स में; काले अक्षर एक सफेद बॉक्स में; और एक लाल और एक नीला बिंदु:

एमआईआरपी में उपयोग किए जाने वाले विभिन्न विज़ुअल मार्कर। स्रोत: https://arxiv.org/pdf/2508.00549

संग्रह बियॉन्ड द क्रैनियल वॉल्ट (बीटीसीवी) और एब्डोमिनल मल्टी-ऑर्गन सेगमेंटेशन (एएमओएस) डेटासेट से सोर्स किया गया था।

एएमओएस डेटासेट से एनोटेटेड स्लाइस। स्रोत: https://arxiv.org/pdf/2206.08023

टोटलसेगमेंटेटर परियोजना का उपयोग वॉल्यूमेट्रिक डेटा से फ्लैट एनाटॉमिकल छवियों को निकालने के लिए किया गया था:

टोटलसेगमेंटेटर में उपलब्ध 104 एनाटॉमिकल संरचनाओं में से कुछ। स्रोत: https://arxiv.org/pdf/2208.05868

इसके बाद एक्सियल इमेज स्लाइस सिम्पलआईटीके फ्रेमवर्क के साथ प्राप्त किए गए थे।

‘चुनौती’ छवि स्थानों को कम से कम 50px अलग होना था, और मार्करों के आकार से कम से कम दोगुना होना था, ताकि प्रश्न-उत्तर जोड़े उत्पन्न किए जा सकें।

परीक्षण

परीक्षण किए गए चार दृष्टि-भाषा मॉडल थे जीपीटी-4ओ; लामा3.2; पिक्सट्रल; और डीपसीक का जनसप्रो.

शोधकर्ताओं ने अपने चार शोध प्रश्नों का परीक्षण एक-एक करके किया, जिसमें पहला (क्यू1) यह था ‘क्या वर्तमान शीर्ष-स्तरीय वीएलएम रेडियोलॉजिकल छवियों में सापेक्ष स्थितियों का सटीक रूप से निर्धारण कर सकते हैं? इस प्रश्न के लिए, शोधकर्ताओं ने मॉडल को मानक प्रश्न प्रारूप का उपयोग करके सादे, घुमाए गए या फ्लिप किए गए सीटी स्लाइस पर परीक्षण किया, जैसे कि क्या बाएं गुर्दे पेट के नीचे हैं?.

परिणाम (नीचे दिखाए गए) ने सभी मॉडलों में लगभग 50 प्रतिशत की सटीकता दिखाई, जो कि मौके के स्तर का प्रदर्शन दर्शाता है, और विज़ुअल मार्करों के बिना सापेक्ष स्थिति का विश्वसनीय रूप से निर्धारण करने में असमर्थता को दर्शाता है:

एमआईआरपी बेंचमार्क (आरक्यू1-आरक्यू3) और एब्लेशन डेटासेट (एएस) पर छवि-आधारित मूल्यांकन का उपयोग करके सभी प्रयोगों के लिए औसत सटीकता।

यह देखने के लिए कि क्या विज़ुअल मार्कर रेडियोलॉजिकल छवियों में सापेक्ष स्थिति का निर्धारण करने में दृष्टि-भाषा मॉडल की मदद कर सकते हैं, अध्ययन ने अक्षरों, संख्याओं या लाल और नीले बिंदुओं के साथ एनोटेटेड सीटी स्लाइस का उपयोग करके प्रयोगों को दोहराया; और यहाँ, प्रश्न प्रारूप को इन मार्करों को संदर्भित करने के लिए समायोजित किया गया था – उदाहरण के लिए, क्या बाएं गुर्दे (ए) पेट (बी) के नीचे हैं? या क्या बाएं गुर्दे (लाल) पेट (नीले) के नीचे हैं?.

परिणामों ने जीपीटी-4ओ और पिक्सट्रल के लिए अक्षर या संख्या मार्करों का उपयोग करने पर छोटे सटीकता लाभ दिखाए, जबकि जनसप्रो और लामा3.2 में बहुत कम से लेकर कोई लाभ नहीं हुआ, जो दर्शाता है कि मार्कर अकेले प्रदर्शन में महत्वपूर्ण सुधार करने के लिए पर्याप्त नहीं हो सकते हैं।

छवि-आधारित मूल्यांकन का उपयोग करके सभी प्रयोगों के लिए सटीकता। आरक्यू2, आरक्यू3, और एएस के लिए, प्रत्येक मॉडल के लिए सर्वोत्तम प्रदर्शन करने वाले मार्कर प्रकार के साथ परिणाम दिखाए गए हैं: जीपीटी-4ओ के लिए अक्षर, और पिक्सट्रल, जनसप्रो और लामा3.4 के लिए लाल-नीले बिंदे।

तीसरे प्रश्न को संबोधित करने के लिए, क्या वीएलएम रेडियोलॉजिकल छवियों में सापेक्ष स्थिति का निर्धारण करते समय प्राथमिक एनाटॉमिकल ज्ञान पर विज़ुअल इनपुट की तुलना में अधिक निर्भर करते हैं?, लेखकों ने जांचा कि क्या दृष्टि-भाषा मॉडल रेडियोलॉजिकल छवियों में सापेक्ष स्थिति का निर्धारण करते समय विज़ुअल साक्ष्य की तुलना में प्राथमिक एनाटॉमिकल ज्ञान पर अधिक निर्भर करते हैं।

घुमाए गए या फ्लिप किए गए सीटी स्लाइस पर परीक्षण किए जाने पर, जीपीटी-4ओ और पिक्सट्रल अक्सर उन उत्तरों का उत्पादन करते थे जो मानक एनाटॉमिकल स्थितियों के साथ संगत थे, छवि में दिखाए गए की तुलना में अधिक, जीपीटी-4ओ ने एनाटॉमी-आधारित मूल्यांकन पर 75 प्रतिशत से अधिक की सटीकता हासिल की, लेकिन छवि-आधारित मूल्यांकन पर मौके के स्तर का प्रदर्शन किया।

प्रॉम्प्ट से एनाटॉमिकल शब्दों को हटाने और केवल विज़ुअल मार्करों का उपयोग करने से मॉडल को छवि सामग्री पर निर्भर करने के लिए मजबूर किया गया, जिससे महत्वपूर्ण लाभ हुआ, जीपीटी-4ओ ने अक्षर मार्करों के साथ 85 प्रतिशत से अधिक की सटीकता हासिल की, और पिक्सट्रल ने बिंदुओं के साथ 75 प्रतिशत से अधिक की सटीकता हासिल की।

चिकित्सा छवियों में एनाटॉमिकल संरचनाओं की सापेक्ष स्थिति का निर्धारण करने में चार दृष्टि-भाषा मॉडलों की तुलना। प्रदर्शन मौके के स्तर पर है जब सादी छवियों (आरक्यू1) का उपयोग किया जाता है, और विज़ुअल मार्करों (आरक्यू2) के साथ मामूली लाभ दिखाता है। जब एनाटॉमिकल नामों को हटा दिया जाता है और मॉडल को केवल मार्करों पर निर्भर करने के लिए मजबूर किया जाता है, तो जीपीटी-4ओ और पिक्सट्रल में महत्वपूर्ण सटीकता में वृद्धि होती है (आरक्यू3)। परिणाम प्रत्येक मॉडल के सर्वोत्तम प्रदर्शन करने वाले मार्कर प्रकार का उपयोग करके दिखाए जाते हैं।

यह सुझाव देता है कि जबकि दोनों कार्य छवि डेटा का उपयोग करके कार्य कर सकते हैं, वे एनाटॉमिकल नामों को दिए जाने पर सीखे गए एनाटॉमिकल प्राथमिकों पर डिफ़ॉल्ट करने के लिए प्रवृत्त होते हैं – एक पैटर्न जो स्पष्ट रूप से जनसप्रो या लामा3.2 में नहीं देखा गया है।

हालांकि हम आमतौर पर अपसारण अध्ययनों को कवर नहीं करते हैं, लेखकों ने अपने चौथे और अंतिम शोध प्रश्न का उत्तर इस तरह दिया। इसलिए, चिकित्सा संदर्भ के बिना सापेक्ष स्थिति क्षमता का परीक्षण करने के लिए, अध्ययन ने सादी सफेद छवियों का उपयोग किया जिसमें यादृच्छिक रूप से रखे गए मार्कर थे और सरल प्रश्न पूछे जैसे कि क्या संख्या 1 संख्या 2 से ऊपर है?. पिक्सट्रल ने बिंदु मार्करों के साथ बेहतर परिणाम दिखाए, जबकि अन्य मॉडल अपने आरक्यू3 स्कोर के समान प्रदर्शन किया।

जनसप्रो और विशेष रूप से लामा3.2 ने इस सरलीकृत सेटिंग में भी संघर्ष किया, जो मेडिकल इमेजरी तक सीमित नहीं होने वाली सापेक्ष स्थिति में अंतर्निहित कमजोरियों का संकेत देता है।

लेखकों का निरीक्षण है कि जीपीटी-4ओ ने अक्षर मार्करों के साथ सर्वोत्तम प्रदर्शन किया, जबकि पिक्सट्रल, जनसप्रो और लामा3.2 ने लाल-नीले बिंदुओं के साथ उच्च स्कोर हासिल किए। जीपीटी-4ओ समग्र शीर्ष प्रदर्शनकर्ता था, पिक्सट्रल खुले स्रोत मॉडलों में अग्रणी था।

निष्कर्ष

व्यक्तिगत रूप से, यह पत्र मेरी रुचि को इसलिए आकर्षित करता है क्योंकि यह वर्तमान एलएलएम की एक सबसे कम रिपोर्ट की गई और मौलिक कमजोरियों पर प्रकाश डालता है – कि यदि कार्य से बचा जा सकता है, और जब तक आप अपनी सामग्री को सावधानी से प्रस्तुत नहीं करते हैं, तो वे नहीं आपके द्वारा अपलोड किए गए पाठ को पढ़ेंगे या छवियों की जांच करेंगे जिन्हें आप उन्हें प्रस्तुत करते हैं।

इसके अलावा, अध्ययन से पता चलता है कि यदि आपका पाठ-प्रॉम्प्ट किसी भी तरह से आपके द्वारा जमा की जाने वाली सामग्री की व्याख्या करता है, तो एलएलएम इसे एक ‘टेलियोलॉजिकल’ उदाहरण के रूप में मानेगा, और पूर्व ज्ञान पर आधारित कई चीजों का अनुमान लगाएगा या मानेगा, इसके बजाय जो आप जमा करते हैं उसे अध्ययन और विचार करने के लिए।

प्रभावी रूप से, इस स्थिति में, वीएलएम ‘विचलित’ सामग्री की पहचान करने में बहुत कठिनाई का सामना करेंगे – निदान चिकित्सा में सबसे महत्वपूर्ण कौशल में से एक। जबकि यह तर्क को उल्टा करना और आउट-ऑफ-डिस्ट्रीब्यूशन परिणामों के बजाय आउटलायर की तलाश करने वाली प्रणाली बनाना संभव है, मॉडल को असंगत या भ्रामक उदाहरणों के साथ संकेत को अभिभूत करने से बचने के लिए असाधारण क्यूरेशन की आवश्यकता होगी।

* इनलाइन उद्धरण हटा दिए गए हैं क्योंकि उन्हें हाइपरलिंक के रूप में शामिल करने का कोई सुरुचिपूर्ण तरीका नहीं है। कृपया स्रोत पत्र देखें। सोमवार, 4 अगस्त, 2025 को पहली बार प्रकाशित।