AI ต่อสู้กับการบอกซ้ายและขวาในภาพถ่ายทางการแพทย์

การศึกษใหม่พบว่าโมเดลภาพ AI เช่น ChatGPT อาจอ่านภาพถ่ายทางกายวิภาคที่ถูกพลิกหรือหมุนได้อย่างผิดพลาด ซึ่งเพิ่มความเสี่ยงของข้อผิดพลาดที่อันตรายในการวินิจฉัย โดยทดสอบว่าพวกมันบ่อยครั้งล้มเหลวในการใช้เหตุผลเชิงพื้นที่พื้นฐานในภาพถ่ายทางการแพทย์ – เดาว่าอวัยวะควรอยู่ที่ไหน แทนที่จะดูภาพจริงๆ

ใครก็ตามที่เคยอัปโหลดข้อมูล เช่น เนื้อหา PDF ไปยังโมเดลภาษา hàng đầu เช่น ChatGPT จะทราบว่าโมเดลภาษาขนาดใหญ่ (LLMs) ไม่จำเป็นต้องอ่านหรือตรวจสอบสิ่งที่คุณนำเสนอให้พวกมันเสมอไป แต่พวกมันบ่อยครั้งทำการสมมติเกี่ยวกับเนื้อหา โดยอาศัยสิ่งที่คุณเขียนเกี่ยวกับมันในคำสั่งเมื่อคุณอัปโหลดมัน

อาจเป็นเรื่องที่ท้าทายที่จะทำให้โมเดลภาษา承认ว่ามันไม่ได้ตรวจสอบเนื้อหาที่คุณนำเสนอ แต่พึ่งพาความรู้ก่อนหน้า เมตาดาต้า หรือสมมติฐานทั่วไป Source: https://chatgpt.com

หนึ่งเหตุผลที่เป็นไปได้คือเพื่อเพิ่มความเร็วของคำตอบโดยพิจารณาว่าเนื้อหาที่อัปโหลดเป็นสิ่งที่ไม่จำเป็น และพึ่งพาคำสั่งเพื่อใช้ความรู้ก่อนหน้าของระบบ – หลีกเลี่ยงการอัปโหลดทั้งหมด และลดการรับส่งข้อมูลเครือข่ายในกระบวนการ

อีกเหตุผลหนึ่งคือการอนุรักษ์ทรัพยากร (แม้ว่าผู้ให้บริการอาจไม่น่าจะเปิดเผยสิ่งนี้ หากเป็นความจริง) โดยที่เมตาดาต้าที่ LLM ได้รับจากการแลกเปลี่ยนก่อนหน้าในแชทถูกใช้เป็นพื้นฐานสำหรับคำตอบเพิ่มเติม แม้ว่าการแลกเปลี่ยนเหล่านั้นและเมตาดาต้านั้นจะไม่มีข้อมูลเพียงพอเพื่อใช้ในการนี้ก็ตาม

ซ้าย ขวา?

ไม่ว่าเหตุผลจะเป็นอย่างไรสำหรับการมีสมาธิและความสามารถในการมุ่งเน้นที่หลากหลายของ LLM ในรุ่นปัจจุบัน มีสถานการณ์และบริบทที่การเดาเป็นอันตรายอย่างมาก หนึ่งในนั้นคือเมื่อ AI ที่เกี่ยวข้องถูกขอให้ให้บริการทางการแพทย์ เช่น การ筛查หรือการประเมินความเสี่ยงของวัสดุทางรังสีวิทยา

นักวิจัยจากเยอรมนีและสหรัฐฯ ได้เผยแพร่การศึกษาวิจัยใหม่เกี่ยวกับประสิทธิผลของโมเดลภาษา-ภาพสี่แบบนำหน้า รวมถึง ChatGPT-4o เมื่อถูกขอให้ระบุตำแหน่งของอวัยวะในภาพถ่ายทางการแพทย์

อย่างน่าประหลาดใจ แม้ว่าพวกเขาจะเป็นตัวแทนของสถานะปัจจุบันในด้านนี้ แต่โมเดลฐานบรรลุอัตราความสำเร็จไม่สูงกว่าโอกาสส่วนใหญ่ของเวลา – เห็นได้ชัดว่าพวกมันไม่สามารถแยกความรู้กายวิภาคที่ได้รับการฝึกอบรมออกจากภาพที่นำเสนอให้พวกมัน และแทนที่จะมองภาพจริงๆ

นักวิจัยพบว่า LLM ที่ทดสอบมีประสิทธิภาพดีขึ้นอย่างมีนัยสำคัญเมื่อใช้ตัวบ่งชี้อื่นๆ (เช่น จุดและตัวอักษร-ตัวเลข) และตัวอักษร – และดีที่สุดเมื่อไม่มีการกล่าวถึงอวัยวะหรือกายวิภาคในคำถามเลย:

ระดับความสำเร็จที่แตกต่างกัน โดยเพิ่มขึ้นเมื่อความสามารถของโมเดลในการอาศัยข้อมูลฝึกอบรมลดลง และถูกบังคับให้มุ่งเน้นไปที่ข้อมูลที่อยู่ตรงหน้า Source: https://wolfda95.github.io/your_other_left/

งานวิจัยนี้สังเกตเห็นว่า*:

‘โมเดลภาษา-ภาพที่ทันสมัยมีความรู้กายวิภาคที่เข้มแข็งซึ่งฝังอยู่ในองค์ประกอบภาษาแล้ว ในอีกคำหนึ่ง พวกมัน “รู้” ว่าโครงสร้างกายวิภาคอยู่ที่ไหนโดยทั่วไปในกายวิภาคมนุษย์มาตรฐาน

‘เราสันนิษฐานว่า VLMs มักจะตอบคำถามโดยอาศัยความรู้ก่อนหน้านี้มากกว่าการวิเคราะห์เนื้อหาภาพจริงๆ ตัวอย่างเช่น เมื่อถามว่า ตับอยู่ทางขวาของกระเพาะอาหารหรือไม่ โมเดลอาจตอบว่าใช่โดยไม่ตรวจสอบภาพ โดยอาศัยเพียงความรู้ที่ได้รับซึ่งว่าปกติตับจะอยู่ทางขวาของกระเพาะอาหาร

‘พฤติกรรมดังกล่าวอาจนำไปสู่การวินิจฉัยผิดพลาดที่สำคัญในกรณีที่ตำแหน่งจริงเบี่ยงเบนไปจากรูปแบบกายวิภาคทั่วไป เช่น ใน situs inversus การเปลี่ยนแปลงหลังการผ่าตัด หรือการเปลี่ยนที่ของเนื้องอก

เพื่อลดปัญหานี้ในความพยายามในอนาคต ผู้เขียนได้พัฒนาเซตข้อมูลที่ออกแบบมาเพื่อแก้ไขปัญหานี้

ผลการวิจัยอาจน่าประหลาดใจสำหรับผู้อ่านหลายคนที่ติดตามการพัฒนา AI ทางการแพทย์ เนื่องจากรังสีวิทยาได้รับการทำเครื่องหมายไว้ตั้งแต่เนิ่นๆว่าเป็นหนึ่งในงานที่มีความเสี่ยงสูงที่จะถูกทำให้กลายเป็นระบบอัตโนมัติผ่านการเรียนรู้ของเครื่อง

งานวิจัยใหม่นี้เรียกว่า ด้านซ้ายของคุณ! โมเดลภาษา-ภาพล้มเหลวในการระบุตำแหน่งสัมพัทธ์ในภาพทางการแพทย์ และมาจากนักวิจัยเจ็ดคนจากสองคณะที่มหาวิทยาลัยอูล์ม และ Axiom Bio ในสหรัฐฯ

วิธีการและข้อมูล

นักวิจัยตั้งเป้าที่จะตอบปัญหา четыреประการ: โมเดลภาษา-ภาพที่ทันสมัยสามารถระบุตำแหน่งสัมพัทธ์ในภาพถ่ายทางการแพทย์ได้หรือไม่; การใช้ตัวบ่งชี้ภาพช่วยให้พวกมันทำงานได้ดีขึ้นในงานนี้หรือไม่; พวกมันพึ่งพาความรู้กายวิภาคก่อนหน้ามากกว่าเนื้อหาภาพจริงๆ หรือไม่; และพวกมันจัดการกับงานตำแหน่งสัมพัทธ์ได้ดีเพียงใดเมื่อไม่มีบริบททางการแพทย์

เพื่อจุดประสงค์นี้ พวกเขาจัดทำชุดข้อมูล การวางตำแหน่งสัมพัทธ์ทางการแพทย์ (MIRP)

แม้ว่าเกณฑ์มาตรฐานการถามคำถามด้วยภาพส่วนใหญ่สำหรับภาพถ่าย CT หรือ MRI จะรวมถึงงานกายวิภาคและที่ตั้ง แต่คอลเลกชันเก่าเหล่านี้มองข้ามความท้าทายหลักในการกำหนดตำแหน่งสัมพัทธ์ ทำให้หลายงานสามารถทำได้ด้วยความรู้ทางการแพทย์ก่อนหน้าเพียงอย่างเดียว

MIRP ได้รับการออกแบบมาเพื่อแก้ไขปัญหานี้โดยการทดสอบคำถามตำแหน่งสัมพัทธ์ระหว่างโครงสร้างกายวิภาค การประเมินผลกระทบของตัวบ่งชี้ภาพ และการหมุนและพลิกแบบสุ่มเพื่อขัดขวางการอาศัยแบบฝึกหัดที่เรียนรู้ไว้ ชุดข้อมูลนี้มุ่งเน้นไปที่ภาพถ่าย CT ที่ตัดขวางท้อง เนื่องจากความซับซ้อนและความแพร่หลายในการรังสีวิทยา

MIRP มีคำตอบ “ใช่” และ “ไม่ใช่” จำนวนเท่าๆ กัน โดยโครงสร้างกายวิภาคในคำถามแต่ละข้ออาจมีการทำเครื่องหมายเพื่อความชัดเจนได้

มีการทดสอบตัวบ่งชี้ภาพสามประเภท: ตัวเลขสีดำในกล่องสีขาว; ตัวอักษรสีดำในกล่องสีขาว; และจุดสีแดงและสีน้ำเงิน:

ตัวบ่งชี้ภาพต่างๆ ที่ใช้ใน MIRP Source: https://arxiv.org/pdf/2508.00549

คอลเลกชันนี้ได้รับจากชุดข้อมูล นอกโครงกระดูก (BTCV) และ การแบ่งส่วนอวัยวะหลายส่วนในท้อง (AMOS) ที่มีอยู่แล้ว

ภาพถ่ายที่มีการทำเครื่องหมายจากชุดข้อมูล AMOS Source: https://arxiv.org/pdf/2206.08023

โครงการ TotalSegmentator ถูกใช้ในการทำภาพแบนจากข้อมูลแบบปริมาตร:

โครงสร้างกายวิภาค 104 รายการที่มีอยู่ใน TotalSegmentator Source: https://arxiv.org/pdf/2208.05868

จากนั้นได้รับภาพส่วนตัดตามแนวแกนโดยใช้เฟรมเวิร์ก SimpleITK

ตำแหน่งของภาพ “ท้าทาย” ต้องอยู่ห่างจากกัน至少 50px และมีขนาดใหญ่กว่าตัวบ่งชี้อย่างน้อยสองเท่า เพื่อสร้างคู่คำถามและคำตอบ

การทดสอบ

โมเดลภาษา-ภาพสี่แบบที่ถูกทดสอบคือ GPT-4o; Llama3.2; Pixtral; และ JanusPro ของ DeepSeek

นักวิจัยทดสอบคำถามวิจัยแต่ละข้อทีละข้อ โดยคำถามแรก (Q1) คือ ‘โมเดลภาษา-ภาพที่ทันสมัยสามารถระบุตำแหน่งสัมพัทธ์ในภาพถ่ายทางการแพทย์ได้หรือไม่? สำหรับการสืบค้นนี้ นักวิจัยทดสอบโมเดลเหล่านี้บนภาพถ่าย CT ที่ไม่มีการทำเครื่องหมายหรือถูกพลิกหรือหมุน โดยใช้รูปแบบคำถามมาตรฐาน เช่น ไตซ้ายอยู่ต่ำกว่ากระเพาะอาหารหรือไม่?

ผลลัพธ์ (แสดงด้านล่าง) แสดงถึงความแม่นยำใกล้ 50 เปอร์เซ็นต์ข้ามทั้งโมเดลทั้งหมด ซึ่งบ่งชี้ถึงประสิทธิภาพในระดับโอกาส และความไม่สามารถที่จะพิจารณาตำแหน่งสัมพัทธ์ได้อย่างน่าเชื่อถือโดยไม่ต้องมีตัวบ่งชี้ภาพ:

ความแม่นยำเฉลี่ยสำหรับทุกการทดลองโดยใช้การประเมินตามภาพในเกณฑ์มาตรฐาน MIRP (RQ1–RQ3) และชุดข้อมูลการกำจัด (AS)

เพื่อทดสอบว่าตัวบ่งชี้ภาพสามารถช่วยให้โมเดลภาษา-ภาพระบุตำแหน่งสัมพัทธ์ในภาพถ่ายทางการแพทย์ได้หรือไม่ การทดลองซ้ำโดยใช้ภาพถ่าย CT ที่มีการทำเครื่องหมายด้วยตัวอักษร ตัวเลข หรือจุดสีแดงและสีน้ำเงิน; และรูปแบบคำถามถูกปรับให้อ้างอิงตัวบ่งชี้เหล่านี้ – ตัวอย่างเช่น ไตซ้าย (A) อยู่ต่ำกว่ากระเพาะอาหาร (B) หรือไม่? หรือ ไตซ้าย (สีแดง) อยู่ต่ำกว่ากระเพาะอาหาร (สีน้ำเงิน) หรือไม่?

ผลลัพธ์แสดงให้เห็นถึงการเพิ่มขึ้นของความแม่นยำเล็กน้อยสำหรับ GPT-4o และ Pixtral เมื่อใช้ตัวบ่งชี้ตัวอักษรหรือตัวเลข ในขณะที่ JanusPro และ Llama3.2 ไม่เห็นประโยชน์มากนัก ซึ่งบ่งชี้ว่าตัวบ่งชี้เพียงอย่างเดียวอาจไม่เพียงพอในการปรับปรุงประสิทธิภาพอย่างมีนัยสำคัญ

ความแม่นยำสำหรับทุกการทดลองโดยใช้การประเมินตามภาพ สำหรับ RQ2, RQ3 และ AS ผลลัพธ์แสดงด้วยตัวบ่งชี้ที่ดีที่สุดสำหรับแต่ละโมเดล: ตัวอักษรสำหรับ GPT-4o และจุดสีแดง-สีน้ำเงินสำหรับ Pixtral, JanusPro และ Llama3.4

เพื่อตอบคำถามที่สาม โมเดลภาษา-ภาพพึ่งพาความรู้กายวิภาคก่อนหน้ามากกว่าเนื้อหาภาพจริงๆ ในการกำหนดตำแหน่งสัมพัทธ์ในภาพถ่ายทางการแพทย์หรือไม่? ผู้เขียนตรวจสอบว่าโมเดลภาษา-ภาพพึ่งพาความรู้กายวิภาคก่อนหน้ามากกว่าเนื้อหาภาพจริงๆ ในการกำหนดตำแหน่งสัมพัทธ์ในภาพถ่ายทางการแพทย์หรือไม่

เมื่อทดสอบบนภาพถ่าย CT ที่ถูกพลิกหรือหมุน GPT-4o และ Pixtral มักจะให้คำตอบที่สอดคล้องกับตำแหน่งกายวิภาคมาตรฐานมากกว่าที่จะสะท้อนถึงสิ่งที่แสดงในภาพ โดย GPT-4o บรรลุความแม่นยำมากกว่า 75 เปอร์เซ็นต์ในการประเมินตามกายวิภาค แต่มีเพียงประสิทธิภาพในระดับโอกาสในการประเมินตามภาพ

การลบคำศัพท์กายวิภาคออกจากคำสั่งและใช้เพียงตัวบ่งชี้ภาพบังคับให้โมเดลพึ่งพาเนื้อหาภาพ โดยนำไปสู่การปรับปรุงอย่างมีนัยสำคัญ โดย GPT-4o มีความแม่นยำเกิน 85 เปอร์เซ็นต์ด้วยตัวบ่งชี้ตัวอักษร และ Pixtral มากกว่า 75 เปอร์เซ็นต์ด้วยจุด

การเปรียบเทียบของโมเดลภาษา-ภาพสี่แบบในการกำหนดตำแหน่งสัมพัทธ์ของโครงสร้างกายวิภาคในภาพทางการแพทย์ – ความต้องการหลักสำหรับการใช้งานทางคลินิก ประสิทธิภาพอยู่ในระดับโอกาสด้วยภาพที่ไม่มีการทำเครื่องหมาย (RQ1) และแสดงการปรับปรุงเล็กน้อยด้วยตัวบ่งชี้ภาพ (RQ2) เมื่อชื่อกายวิภาคถูกลบออกและโมเดลต้องอาศัยตัวบ่งชี้เพียงอย่างเดียว GPT-4o และ Pixtral มีการปรับปรุงความแม่นยำอย่างมีนัยสำคัญ (RQ3) ผลลัพธ์แสดงด้วยตัวบ่งชี้ที่ดีที่สุดสำหรับแต่ละโมเดล

สิ่งนี้ชี้ให้เห็นว่าแม้ว่าทั้งสองจะสามารถทำงานได้โดยใช้ข้อมูลภาพ แต่พวกมันมักจะย้อนกลับไปสู่ความรู้กายวิภาคที่ได้รับการฝึกอบรมเมื่อได้รับชื่อกายวิภาค – รูปแบบที่ไม่เห็นได้ชัดเจนใน JanusPro หรือ Llama3.2

แม้ว่าปกติแล้วเราจะไม่ครอบคลุมการศึกษาการกำจัด แต่ผู้เขียนได้กล่าวถึงคำถามวิจัยที่สี่ในลักษณะนี้ เพื่อทดสอบความสามารถในการวางตำแหน่งสัมพัทธ์โดยไม่มีบริบททางการแพทย์

ดังนั้นจึงใช้ภาพสีขาวที่มีการวางตัวบ่งชี้แบบสุ่มและถามคำถามง่ายๆ เช่น ตัวเลข 1 อยู่เหนือตัวเลข 2 หรือไม่? Pixtral แสดงผลลัพธ์ที่ดีขึ้นด้วยตัวบ่งชี้จุด ในขณะที่โมเดลอื่นๆ มีประสิทธิภาพใกล้เคียงกับผลลัพธ์ RQ3

JanusPro และโดยเฉพาะ Llama3.2 ต้องดิ้นรนแม้ในบริบทที่ง่ายขึ้นนี้ ซึ่งบ่งชี้ถึงความอ่อนแอในเรื่องการวางตำแหน่งสัมพัทธ์ที่ไม่จำกัดเฉพาะภาพทางการแพทย์

ผู้เขียนสังเกตเห็นว่า GPT-4o ทำงานได้ดีที่สุดด้วยตัวบ่งชี้ตัวอักษร ในขณะที่ Pixtral, JanusPro และ Llama3.2 มีประสิทธิภาพสูงสุดด้วยจุดสีแดง-สีน้ำเงิน GPT-4o เป็นผู้นำโดยรวม โดย Pixtral เป็นโมเดลที่มีประสิทธิภาพสูงสุดในหมู่โมเดลที่เปิดเผยต่อสาธารณะ

สรุป

ในเรื่องส่วนตัว การศึกษานี้ดึงดูดความสนใจของผมไม่มากนักเนื่องจากความสำคัญทางการแพทย์ แต่เนื่องจากเป็นการเน้นย้ำถึงจุดอ่อนที่ไม่ได้รายงานและพื้นฐานที่สุดของ LLM ในรุ่นปัจจุบัน – ว่าถ้างานสามารถหลีกเลี่ยงได้ และหากคุณไม่นำเสนอเนื้อหาของคุณอย่างระมัดระวัง พวกมันจะไม่อ่านข้อความที่คุณอัปโหลดหรือตรวจสอบภาพที่คุณนำเสนอให้พวกมัน

นอกจากนี้ การศึกษานี้ชี้ให้เห็นว่าหากคำสั่งของคุณอธิบายว่าเนื้อหาที่อัปโหลดเป็นอย่างไร โมเดลภาษาจะมีแนวโน้มที่จะรักษาไว้เป็นตัวอย่าง “เทเลโอลॉจี” และจะสมมติหลายสิ่งเกี่ยวกับเนื้อหานั้นโดยอาศัยความรู้ก่อนหน้า แทนที่จะศึกษาและพิจารณาสิ่งที่คุณอัปโหลด

โดยพื้นฐานแล้ว ในสถานะปัจจุบัน โมเดลภาษา-ภาพจะพบปัญหาในการระบุเนื้อหาที่ผิดปกติ – หนึ่งในทักษะที่สำคัญที่สุดในการแพทย์เชิงวินิจฉัย แม้ว่าจะเป็นไปได้ที่จะกลับตรรกะและทำให้ระบบมองหาสิ่งที่ไม่ปกติแทนผลลัพธ์ที่อยู่ในกระบวนการ แต่โมเดลจะต้องมีการดูแลอย่างพิเศษเพื่อหลีกเลี่ยงการรบกวนสัญญาณด้วยตัวอย่างที่ไม่เกี่ยวข้องหรือไม่ถูกต้อง

* อ้างอิงภายในถูก省略 เนื่องจากไม่มีวิธีที่สวยงามในการรวมไว้เป็นลิงก์hyperlink โปรดอ้างอิงเอกสารต้นฉบับ

เผยแพร่ครั้งแรกวันจันทร์ที่ 4 สิงหาคม 2025