การท้าทาย AI ที่ได้รับการสนับสนุนจากฝูงชนเพื่อปรับปรุงการวิเคราะห์มัมโมแกรมสิ้นสุดลง

มัมโมแกรมเป็นสิ่งสำคัญสำหรับสุขภาพของผู้หญิงและเพื่อตรวจหาสัญญาณเตือนเร็วๆ นี้ของมะเร็งเต้านม อย่างไรก็ตาม มัมโมแกรมต้องการผู้เชี่ยวชาญมนุษย์เพื่อทำการวินิจฉัย และแม้แต่ผู้เชี่ยวชาญที่ได้รับการฝึกอบรมสูงก็ยังทำผิดพลาดได้ คาดว่าอัตราผลบวกลวงของมัมโมแกรมอยู่ที่ประมาณ 10% ในสหรัฐอเมริกา เพื่อสร้างระบบที่ให้การอ่านมัมโมแกรมที่แม่นยำยิ่งขึ้น Digital Mammography (DM) Dream Challenge ได้สร้างความพยายามร่วมกันในการพัฒนาอัลกอริทึมการอ่านมัมโมแกรมใหม่ๆ

ตามรายงานของ PhysicsWorld เทคนิคการมองเห็นของคอมพิวเตอร์และอัลกอริทึมการเรียนรู้ลึกได้กลายเป็นเรื่องที่ซับซ้อนมากขึ้นในช่วงไม่กี่ปีที่ผ่านมา นักวิจัยและวิศวกรจึงหันมาใช้ AI เพื่อทำการวินิจฉัยมัมโมแกรม โดยมีเป้าหมายที่จะเพิ่มความแม่นยำ Digital Mammography (DM) Dream Challenge ได้ดำเนินการแข่งขันเพื่อสอบสอบการใช้อัลกอริทึม AI ในการรับรู้สัญญาณเตือนมะเร็งเต้านมที่เป็นไปได้

การแข่งขัน DM Dream เป็นการศึกษาอัลกอริทึมการเรียนรู้ลึกที่ใหญ่ที่สุดเกี่ยวกับการวินิจฉัยมัมโมแกรมจนถึงตอนนี้ จัสติน กินนีย์ ประธานของการแข่งขัน DREAM อธิบายว่าเหตุผลในการจัดแข่งขันคือเพื่อให้สามารถประเมินอัลกอริทึมการเรียนรู้ลึกได้อย่างเป็นระบบ ผู้เข้าร่วมการแข่งขันต้องออกแบบอัลกอริทึมที่สามารถฝึกอบรมด้วยข้อมูลมัมโมแกรมและผลลัพธ์คะแนนความน่าจะเป็นที่ผู้ป่วยจะถูกวินิจฉัยว่ามีมะเร็งเต้านมภายในหนึ่งปี นอกจากนี้ยังมีการแข่งขันแบบที่สองด้วย ในการแข่งขันครั้งที่สอง อัลกอริทึมสามารถฝึกอบรมด้วยข้อมูลเพิ่มเติม เช่น ข้อมูลความเสี่ยงทางประชากรศาสตร์ ข้อมูลทางคลินิก และภาพจากการสแกนในครั้งก่อน

ใช้สองชุดข้อมูลในการฝึกอบรมแบบจำลอง ชุดข้อมูลแรกคือชุดข้อมูล Kaiser Permanente Washington (KPW) ซึ่งรวบรวมโดยนักวิจัยจากสหรัฐอเมริกา ในขณะที่ชุดข้อมูลที่สองรวบรวมโดยนักวิจัยจากสวีเดนที่ Karolinska Institute (KI)

มีผู้เข้าร่วมการแข่งขันมากกว่า 1,100 คน ซึ่งแบ่งออกเป็น 126 ทีม และประกอบด้วยคนจากทั่วโลก ในช่วงแรกของการแข่งขัน แบบจำลองถูกฝึกอบรมโดยใช้ชุดข้อมูล KPW ซึ่งรวมภาพจากการสแกนมากกว่า 140,000 ครั้ง เมื่อเปรียบเทียบกับผลลัพธ์ของการแข่งขันครั้งที่สอง พบว่าการเข้าถึงคุณลักษณะเพิ่มเติม เช่น ข้อมูลทางคลินิก ไม่ได้ปรับปรุงความสามารถในการแยกแยะของอัลกอริทึมอย่างมีนัยสำคัญ อย่างไรก็ตาม ทีม DM Dream แนะนำว่าการพัฒนาแบบจำลองในอนาคตควรรวมการวิเคราะห์ภาพก่อนหน้าของผู้ป่วย โดยเสนอว่าผู้เข้าร่วมอาจไม่ได้ใช้ข้อมูลอย่างเต็มที่

ตามรายงานของ Health IT Analytics ทีม DR Dream ต้องการให้ทีมที่ทำผลงานดีที่สุด 8 ทีมร่วมมือกันในการออกแบบแบบจำลองการจำแนกประเภทアンサンブル เพื่อดูว่าแบบจำลองนี้สามารถทำได้ดีกว่าแบบจำลองแต่ละตัวหรือไม่ ผู้จัดการการแข่งขันใช้การรวมการคาดการณ์ของอัลกอริทึมต่างๆ โดยการสร้าง Challenge Ensemble Model (CEM) การคาดการณ์แบบมีแนวโน้มของแบบจำลอง CEM ถูกเปรียบเทียบกับการวินิจฉัยจากนักวินิจฉัยทางรังสีวิทยา โดยใช้ความจำเพาะเป็นตัววัด นักวินิจฉัยทางรังสีวิทยาทำได้ 90.5% ในด้านความจำเพาะ ในขณะที่แบบจำลอง CEM ทำได้เพียง 76.1% เมื่อรวมการคาดการณ์ของแบบจำลอง CEM และการวินิจฉัยจากนักวินิจฉัยทางรังสีวิทยาเข้าด้วยกันในแบบจำลองอื่น (CEM+R) ความจำเพาะจะดีขึ้นเป็น 92%

ผลลัพธ์ที่คล้ายกันเกิดขึ้นในชุดข้อมูลทดสอบ KI ซึ่งใช้เพื่อยืนยันแบบจำลองเท่านั้น โดยมีภาพจากการสแกนมากกว่า 166,000 ครั้ง โดยแบบจำลอง CEM มีความสามารถน้อยกว่านักวินิจฉัยทางรังสีวิทยา (92.5% เทียบกับ 96.7%) แต่แบบจำลอง CEM+R มีผลลัพธ์ที่ดีกว่า (98.5%)

แม้ว่าแบบจำลองแต่ละตัวไม่สามารถทำได้ดีกว่านักวินิจฉัยทางรังสีวิทยามนุษย์ แต่แบบจำลอง CEM+R มีความได้เปรียบเล็กน้อยเมื่อเปรียบเทียบกับการวินิจฉัยจากนักวินิจฉัยทางรังสีวิทยาเพียงอย่างเดียว อาจเป็นไปได้ว่าการผสมผสานความเข้าใจของมนุษย์กับ AI อาจช่วยปรับปรุงความแม่นยำ