صراع الذكاء الاصطناعي في التمييز بين اليسار واليمين في التصوير الطبي

أظهرت دراسة جديدة أن نماذج الصور الذكية مثل ChatGPT قد تُخطئ في قراءة التشريح المقلوب أو المُدور، مما يزيد من خطر الأخطاء الخطيرة في التشخيص، مع نتائج تشير إلى أنهم غالباً ما يفشلون في اختبارات العقل المكاني الأساسية في التصوير الطبي – الخَضَر حيث يجب أن يكون مكان الأعضاء، بدلاً من النظر الفعلي إلى الصورة. ربما يكون الأمر أكثر إثارة للاهتمام، أن البحث يُظهر أن هذه النماذج قد لا تقرأ ملفات PDF المرفوعة أو تنظر إلى الصور على الإطلاق.

من يعمل بانتظام على تحميل البيانات، مثل محتوى PDF، إلى نموذج لغة رائد مثل ChatGPT، سيعرف أن النماذج اللغوية لا تقرأ أو تُفحص دائماً ما تقدمه لهم؛ بل غالباً ما تُقدم افتراضات حول المواد، بناءً على ما كتبت عنه في سؤالك عند تحميله.

من الصعب حتى جعل نموذج لغة يعترف بأن إجابته استندت إلى المعرفة السابقة أو البيانات الوصفية أو الافتراضات العامة، بدلاً من المحتوى الذي قدمته. مصدر: https://chatgpt.com

واحدة من الأسباب المحتملة لهذا الأمر هي زيادة سرعة الإجابة من خلال اعتبار المواد المرفوعة “زائدة”، والاعتماد على نص السؤال للاستفادة من المعرفة السابقة للنظام – وتجنب التحميل تماماً، وبالتالي تقليل حركة المرور على الشبكة.

واحدة أخرى هي الحفاظ على الموارد (على الرغم من أن المُقدمين يبدو أنهم غير راغبين في الكشف عن ذلك، إذا كان ذلك صحيحاً)، حيث يتم استخدام البيانات الوصفية الموجودة مسبقاً التي استخرجها النموذج اللغوي من المبادلات السابقة في المحادثة كأساس للإجابات اللاحقة، حتى عندما لا تحتوي هذه المبادلات والبيانات الوصفية على معلومات كافية لتحقيق هذا الغرض.

اليسار. اليمين؟

ما كان السبب في انتباذ انتباه وتركيز الجيل الحالي من النماذج اللغوية، هناك مواقف وسياقات لا يمكن فيها الخوض في التخمين. واحدة من هذه المواقف هي عندما يُطلب من الذكاء الاصطناعي تقديم خدمات طبية مثل الفحص أو تقدير المخاطر للمواد الشعاعية.

أصدر باحثون من ألمانيا والولايات المتحدة هذا الأسبوع دراسة بحثية جديدة تُحقق في فعالية أربعة نماذج رؤية-لغة رائدة، بما في ذلك ChatGPT-4o، عند سؤالهم عن تحديد موقع الأعضاء في التصوير الطبي.

على الرغم من تمثيلهم الحالة الرائدة في هذا الصدد، فإن النماذج الأساسية تُحقق معدل نجاح لا يزيد عن معدل الفرصة في معظم الأحيان – على ما يبدو لأنهم غير قادرين على فصل معرفتهم المُدربة حول علم التشريح بشكل كافٍ، والنظر الفعلي إلى الصور المقدمة لهم، بدلاً من اللجوء إلى سهل سابق من بيانات التدريب.

وجد الباحثون أن النماذج التي تم اختبارها تُحقق نتائج أفضل بشكل ملحوظ عندما تم تحديد الأقسام التي يجب النظر فيها بواسطة مؤشرات أخرى (مثل النقاط والمرادفات الألفبائية الرقمية) بالإضافة إلى التسمية – وأفضل من ذلك عندما لم تُشير إلى أعضاء أو تشريح في الاستفسار على الإطلاق:

مستويات نجاح مختلفة، تزداد مع تقليل قدرة النموذج على اللجوء إلى بيانات التدريب، وإجباره على التركيز على البيانات أمامه. مصدر: https://wolfda95.github.io/your_other_left/

تُلاحظ الورقة*:

‘النماذج الرؤية-لغة الرائدة تملك بالفعل معرفة تشريحية سابقة قوية متضمنة في مكونات اللغة. بعبارة أخرى، “تعرف” حيث تقع الهياكل التشريحية عادة في علم التشريح البشري القياسي.

‘نفترض أن النماذج الرؤية-لغة غالباً ما تستند إجاباتها إلى هذه المعرفة السابقة بدلاً من تحليل المحتوى الفعلي للصورة. على سبيل المثال، عندما يُطلب من النموذج معرفة ما إذا كان الكبد إلى يمين المعدة، قد تجيب بنعم دون فحص الصورة، واعتماداً فقط على المعرفة المُكتسبة التي غالباً ما يكون الكبد إلى يمين المعدة.

‘قد يؤدي هذا السلوك إلى تشخيصات خاطئة حرجة في الحالات التي تختلف فيها المواقع الفعلية عن الأنماط التشريحية النموذجية، مثل في سيتوس إنفيرسوس، أو بعد تعديلات الجراحة، أو إزاحة الأورام.’

للتغلب على هذه المشكلة في الجهود المستقبلية، قام المؤلفون بتطوير مجموعة بيانات مصممة للتعامل مع هذه القضية.

قد تكون نتائج الورقة مفاجئة للعديد من القراء الذين اتبعوا تطور الذكاء الاصطناعي الطبي، منذ أن تم تحديد التصوير الإشعاعي في البداية كأحد الوظائف الأكثر عرضة للتحول التام من خلال التعلم الآلي.

العمل الجديد هو الآخر 左！ نماذج اللغة والرؤية تفشل في تحديد المواقع النسبية في الصور الطبية، ويأتي من سبعة باحثين عبر两个 كليتين في جامعة أولم، وAxiom Bio في الولايات المتحدة.

المنهج والبيانات

سعى الباحثون إلى الإجابة على أربعة قضايا: ما إذا كانت نماذج اللغة والرؤية الرائدة قادرة على تحديد المواقع النسبية في صور الأشعة؛ ما إذا كان استخدام المؤشرات البصرية يُحسن أدائهم في هذه المهمة؛ ما إذا كانوا يعتمدون أكثر على المعرفة التشريحية السابقة من على محتوى الصورة الفعلي؛ وكيف يتعاملون مع مهام الموضع النسبي عندما يتم نزعها من أي سياق طبي.

بهذا الغرض، قاموا بإنشاء مجموعة بيانات التحديد النسبي للتصوير الطبي (MIRP).

على الرغم من أن معظم بنوك الاختبارات البصرية الحالية لقطع التصوير المقطعي المحوسب أو التصوير بالرنين المغناطيسي تتضمن مهام تشريحية وتحديد موقع، إلا أن هذه المجموعات القديمة تتجاهل التحدي الأساسي المتمثل في تحديد المواقع النسبية، تاركة العديد من المهام قابلة للتحقيق باستخدام المعرفة الطبية السابقة فقط.

تم تصميم MIRP للتعامل مع هذا من خلال اختبار أسئلة الموضع النسبي بين الهياكل التشريحية، وتقييم تأثير المؤشرات البصرية، وتطبيق الدورات والانعطافات العشوائية لمنع الاعتماد على القيم المُتعلمة.

تركز مجموعة البيانات على شرائح التصوير المقطعي المحوسب البطنية، بسبب تعقيدها وانتشارها في الأشعة.

تحتوي MIRP على عدد متساو من نعم ولا إجابات، مع توجيه الهياكل التشريحية في كل سؤال بشكل اختياري لتوضيحها.

تم اختبار ثلاثة أنواع من المؤشرات البصرية: أرقام سوداء في مربع أبيض؛ حروف سوداء في مربع أبيض؛ ونقطة حمراء وزرقاء:

المؤشرات البصرية المختلفة المستخدمة في MIRP. مصدر: https://arxiv.org/pdf/2508.00549

تم الحصول على المجموعة من مجموعتي البيانات الحالية خارج القبو القحفي (BTCV) وتجزئة الأعضاء المتعددة في البطن (AMOS).

شرائح مُشروحة من مجموعة بيانات AMOS. مصدر: https://arxiv.org/pdf/2206.08023

تم استخدام مشروع TotalSegmentator لاستخراج الصور المسطحة التشريحية من البيانات الحجمية:

بعض الهياكل التشريحية الـ 104 المتاحة في TotalSegmentator. مصدر: https://arxiv.org/pdf/2208.05868

تم الحصول على شرائح الصور المحوسبة المحورية باستخدام إطار SimpleITK.

كانت مواقع “التحدي” يجب أن تكون على مسافة لا تقل عن 50 بكسل، ويكون حجمها لا يقل عن ضعف حجم المؤشرات، من أجل توليد أزواج سؤال وإجابة.

الاختبارات

تم اختبار أربعة نماذج رؤية-لغة: GPT-4o؛ Llama3.2؛ Pixtral؛ وJanusPro من DeepSeek.

اختبار الباحثون كل سؤال بحثي على حدة، مع السؤال الأول (Q1) ‘هل يمكن للنماذج الرؤية-لغة الرائدة تحديد المواقع النسبية بدقة في الصور الشعاعية؟ للسؤال الأول، اختبر الباحثون النماذج على شرائح التصوير المقطعي المحوسب البسيطة أو المُدورة أو المقلوبة باستخدام تنسيق سؤال قياسي، مثل هل الكلية اليسرى تحت المعدة؟.

أظهرت النتائج (الموضحة أدناه) دقة قريبة من 50 في المائة عبر جميع النماذج، مما يشير إلى أداء على مستوى الفرصة، وعدم القدرة على الحكم بشكل موثوق على المواقع النسبية دون مؤشرات بصرية:

الدقة المتوسطة لجميع التجارب باستخدام التقييم المبني على الصورة على معيار MIRP (RQ1–RQ3) ومجموعة البيانات المُحذفة (AS).

为了 اختبار ما إذا كان المؤشرات البصرية يمكن أن تساعد نماذج اللغة والرؤية في تحديد المواقع النسبية في الصور الشعاعية، كرر الدراسة التجارب باستخدام شرائح التصوير المقطعي المحوسب المُشروحة بالحروف أو الأرقام أو النقاط الحمراء والزرقاء؛ هنا، تم تعديل تنسيق السؤال ليشير إلى هذه المؤشرات – على سبيل المثال، هل الكلية اليسرى (A) تحت المعدة (B)? أو هل الكلية اليسرى (النقطة الحمراء) تحت المعدة (النقطة الزرقاء)?.

أظهرت النتائج مكاسب دقة صغيرة لGPT-4o وPixtral عند استخدام مؤشرات الحروف أو الأرقام، في حين لم يرى JanusPro وLlama3.2 أي فائدة تُذكر، مما يشير إلى أن المؤشرات وحدها قد لا تكون كافية لتحسين الأداء بشكل كبير.

الدقة لجميع التجارب باستخدام التقييم المبني على الصورة.对于 RQ2 و RQ3 و AS، يتم عرض النتائج مع أفضل نوع مؤشر للأداء لكل نموذج: الحروف لGPT-4o، والنقاط الحمراء والزرقاء لPixtral وJanusPro وLlama3.4.

为了 التعامل مع السؤال الثالث، هل النماذج الرؤية-لغة تعتمد أكثر على المعرفة التشريحية السابقة من على الإدخال البصري عند تحديد المواقع النسبية في الصور الشعاعية؟،فحص المؤلفون ما إذا كانت نماذج اللغة والرؤية تعتمد أكثر على المعرفة التشريحية السابقة من على الأدلة البصرية عند تحديد المواقع النسبية في الصور الشعاعية.

عندما تم اختبارهم على شرائح التصوير المقطعي المحوسب المُدورة أو المقلوبة، أنتج GPT-4o وPixtral غالباً إجابات متوافقة مع المواقع التشريحية القياسية، بدلاً من انعكاس ما تم إظهاره في الصورة، مع تحقيق GPT-4o أكثر من 75 في المائة دقة على تقييم تشريحي، ولكن فقط أداء على مستوى الفرصة على تقييم مبني على الصورة.

إزالة المصطلحات التشريحية من النصوص و使用 المؤشرات البصرية فقط أجبرت النماذج على الاعتماد على محتوى الصورة، مما أدى إلى مكاسب ملحوظة، مع تجاوز GPT-4o 85 في المائة دقة مع مؤشرات الحروف، وPixtral أكثر من 75 في المائة مع النقاط.

مقارنة بين النماذج الرؤية-لغة الأربعة في تحديد المواقع النسبية للهياكل التشريحية في الصور الطبية – وهو شرط أساسي للاستخدام السريري. الأداء على مستوى الفرصة مع الصور البسيطة (RQ1) ويُظهر مكاسب صغيرة مع المؤشرات البصرية (RQ2). عندما يتم إزالة الأسماء التشريحية ويُجبر النماذج على الاعتماد بالكامل على المؤشرات، يحقق GPT-4o وPixtral تحسينات دقة كبيرة (RQ3). يتم عرض النتائج باستخدام أفضل نوع مؤشر لكل نموذج.

هذا يشير إلى أن كلاهما يمكنهما أداء المهمة باستخدام بيانات الصورة، ولكنهما يميلان إلى الافتراض على القيم التشريحية المُتعلمة عندما يتم تقديم أسماء تشريحية – نمط لا يظهر بوضوح في JanusPro أو Llama3.2.

على الرغم من أننا عادة لا نغطي دراسات الحذف، فقد تعامل المؤلفون مع السؤال البحثي الرابع والأخير بهذه الطريقة. لذلك، لاختبار القدرة على تحديد الموضع النسبي بدون أي سياق طبي، استخدمت الدراسة صور بيضاء بسيطة مع مؤشرات موزعة عشوائياً وسألت أسئلة بسيطة مثل هل الرقم 1 فوق الرقم 2؟. أظهر Pixtral نتائج محسنة مع مؤشرات النقاط، في حين أن النماذج الأخرى أدت بشكل مشابه لأدائها في RQ3.

واجه JanusPro، و特别 Llama3.2، صعوبات حتى في هذا السياق المُبسط، مما يشير إلى ضعف أساسي في تحديد الموضع النسبي لا يقتصر على الصور الطبية.

يلاحظ المؤلفون أن GPT-4o أدى بشكل أفضل مع مؤشرات الحروف، في حين أن Pixtral وJanusPro وLlama3.2 حققوا درجات أعلى مع النقاط الحمراء والزرقاء. كان GPT-4o هو الأفضل بشكل عام، مع Pixtral كأفضل أداء بين النماذج المفتوحة المصدر.

الاستنتاج

على صعيد شخصي، لفتت هذه الورقة انتباهي ليس بسبب أهميتها الطبية، بل لأنها تُبرز واحدة من أهم النقاط الضعف للجيل الحالي من النماذج اللغوية الرائدة – وهي أن، إذا كان من الممكن تجنب المهمة، و除 إذا قدمت المواد بعناية، فإنهم لا يقرأون النصوص التي تُرفع أو يُفحصون الصور التي تُقدم لهم.

أشير الدراسة إلى أن، إذا كان سؤالك النصي يُشرح بأي شكل من الأشكال ما هي المواد الثانوية المُرفوعة، فإن النموذج اللغوي سيُعتبرها “مثالاً تلوجيًا”، وسيُفترض/يُفترض العديد من الأشياء حولها بناءً على المعرفة السابقة، بدلاً من دراسة ما قدمته.

بصورة فعالة، في هذه الحالة، ستجد صعوبة كبيرة في تحديد “المواد الشاذة” – واحدة من أهم المهارات في الطب التشخيصي. بينما من الممكن عكس المنطق وطلب من النظام البحث عن حالات غير نمطية بدلاً من النتائج داخل التوزيع، فإن النموذج سيحتاج إلى تحسين استثنائي لتجنب غمر الإشارة بالأمثلة غير ذات الصلة أو الزائفة.

* تم حذف المراجع الداخلية، حيث لا يوجد طريقة أنيقة لضمها كhyperlinks. يُرجى الرجوع إلى الورقة الأصلية.

نُشر لأول مرة يوم الإثنين، 4 أغسطس 2025