การลดขนาดภาพความละเอียดสูงด้วยเครื่องมือ Machine Learning

การวิจัยใหม่จากประเทศอังกฤษได้เสนอวิธีการปรับปรุงเครื่องมือ Machine Learning เพื่อปรับขนาดภาพโดยอาศัยคุณค่าที่รับรู้ของส่วนต่างๆ ของเนื้อหาภายในภาพ แทนที่จะลดขนาด (และคุณภาพ) ของภาพโดยไม่เลือกเฟ้น

เป็นส่วนหนึ่งของความสนใจที่เพิ่มขึ้นในระบบการบีบอัดที่ขับเคลื่อนด้วย AI วิธีนี้อาจนำไปสู่การสร้างโค้ดคใหม่ๆ สำหรับการบีบอัดภาพทั่วไปในอนาคต แม้ว่างานวิจัยนี้จะถูกขับเคลื่อนด้วยการสร้างภาพทางการแพทย์ ซึ่งการลดขนาดภาพที่มีความละเอียดสูงโดยไม่เลือกเฟ้นอาจทำให้สูญเสียข้อมูลที่ช่วยชีวิต

สถาปัตยกรรมของระบบใหม่ โมดูลการเปลี่ยนแปลงพื้นที่จะสร้างแผนที่การเปลี่ยนแปลงที่สอดคล้องกับพื้นที่ที่น่าสนใจในภาพ ความหนาแน่นและทิศทางของจุดสีแดงบ่งชี้พื้นที่เหล่านี้ แผนที่นี้ใช้ไม่เพียงแต่ในการลดขนาด แต่ยังใช้ในการสร้างพื้นที่หลักที่น่าสนใจเมื่อเนื้อหาภายในภาพไม่สม่ำเสมอเมื่อขยายขนาดอีกครั้ง Source: https://arxiv.org/pdf/2109.11071.pdf

ระบบนี้ใช้ การแบ่งส่วนแบบ语义 กับภาพ – บล็อกขนาดใหญ่ที่แสดงเป็นบล็อกสีในภาพด้านบน ซึ่งครอบคลุมสิ่งที่รู้จักในภาพ เช่น ‘ถนน’, ‘จักรยาน’, ‘เนื้องอก’ เป็นต้น การจัดเรียงแผนที่การแบ่งส่วนแบบ语义จะถูกใช้ในการคำนวณว่าส่วนใดของภาพที่ไม่ควรลดขนาดมากเกินไป

เรียกชื่อว่า การเรียนรู้การลดขนาดสำหรับการแบ่งส่วนของภาพความละเอียดสูง เอกสารใหม่ นี้ เป็นการร่วมมือระหว่างนักวิจัยจากศูนย์ประมวลผลภาพทางการแพทย์ที่มหาวิทยาลัยลอนดอน และนักวิจัยจากแผนก Healthcare Intelligence ของ Microsoft Cambridge

โลกการฝึกอบรมการมองเห็นคอมพิวเตอร์ที่มีความละเอียดต่ำ (ค่อนข้าง)

การฝึกอบรมระบบการมองเห็นคอมพิวเตอร์ถูกจำกัดอย่างมากโดยความสามารถของ GPU ชุดข้อมูลอาจมีภาพหลายพันภาพที่ต้องถูกดึงคุณลักษณะ แต่แม้แต่ GPU ที่มีขนาดใหญ่ในอุตสาหกรรมก็มักจะถูกจำกัดที่ 24gb ของ VRAM โดยมีการขาดแคลน ที่ส่งผลต่อความพร้อมและต้นทุน

ซึ่งหมายความว่าข้อมูลจะต้องถูกส่งผ่าน Tensor cores ที่จำกัดของ GPU ในรูปแบบที่จัดการได้ โดยทั่วไปแล้ว 8-16 ภาพในกระบวนการฝึกอบรมการมองเห็นคอมพิวเตอร์

ไม่มีวิธีแก้ปัญหาอย่างชัดเจน แม้ว่า VRAM จะไม่มีขีดจำกัดและสถาปัตยกรรม CPU จะรองรับได้ แต่การบำบัดที่มีขนาดใหญ่มากจะทำให้เกิดคุณลักษณะระดับสูงในขณะที่สูญเสียการเปลี่ยนแปลงที่ละเอียดซึ่งอาจมีความสำคัญต่อความมีประโยชน์ของอัลกอริทึมสุดท้าย

การเพิ่มความละเอียดของภาพเข้าจะทำให้ต้องใช้ขนาดแบตช์ที่เล็กลงเพื่อใส่ข้อมูลใน ‘พื้นที่ 潛在’ ของ GPU ซึ่งจะทำให้เกิดโมเดลที่ ‘ไม่สมมาตร’ และ overfitted

ไม่ว่าจะเพิ่ม GPU เพิ่มเติมหรือไม่ก็ตาม ในสถาปัตยกรรมทั่วไป การตั้งค่าหลาย GPU สามารถเร่งเวลาในการฝึกอบรม แต่ก็สามารถทำให้ผลลัพธ์ของการฝึกอบรมไม่สมบูรณ์ เช่นเดียวกับสองโรงงานที่อยู่ติดกันทำงานในผลิตภัณฑ์เดียวกัน โดยมีเพียงสายโทรศัพท์ในการประสานงาน

การปรับขนาดภาพอย่างชาญฉลาด

สิ่งที่เหลือคือส่วนที่เกี่ยวข้องมากที่สุดของภาพสำหรับชุดข้อมูลการมองเห็นคอมพิวเตอร์สามารถรักษาไว้โดยไม่สูญเสียคุณภาพในกระบวนการปรับขนาดอัตโนมัติที่เกิดขึ้นเมื่อภาพที่มีความละเอียดสูงต้องลดขนาดให้เหมาะสมกับกระบวนการ Machine Learning

เป็นความท้าทายที่แยกจากปัญหา สูญเสียคุณภาพในกระบวนการบีบอัดอัตโนมัติ ของชุดข้อมูลการมองเห็นคอมพิวเตอร์ โดยที่คุณภาพสูญเสียไปเนื่องจากโค้ดคบีบอัดที่โยนข้อมูลที่ไม่สามารถกู้คืนได้

ในกรณีนี้ แม้จะบันทึกเป็นรูปแบบภาพที่ไม่สูญเสียคุณภาพ (เช่น PNG พร้อมการบีบอัด LZW) ก็ไม่สามารถกู้คืนข้อมูลที่ถูกทิ้งไปเมื่อปรับขนาด (เช่น การสแกน MRI ลงจากขนาดที่บันทึกไว้มากๆ ไปเป็น 256×256 หรือ 512×512 พิกเซล)

เพื่อให้ปัญหาเลวร้ายยิ่งขึ้น ขึ้นอยู่กับความต้องการของเฟรมเวิร์ก พื้นที่ขอบเขตสีดำจะถูกเพิ่มเข้าไปในภาพต้นฉบับที่มีรูปทรงสี่เหลี่ยมเพื่อสร้างรูปแบบสี่เหลี่ยมจัตุรัสที่แท้จริงสำหรับการประมวลผลเครือข่ายประสาทเทียม ซึ่งจะลดพื้นที่ที่มีประโยชน์สำหรับข้อมูลที่สำคัญ

นักวิจัยจาก UCL และ Microsoft แนะนำให้ทำกระบวนการปรับขนาดให้ฉลาดขึ้น โดยใช้กระบวนการที่เคยเป็นขั้นตอนแบบทั่วไปในกระบวนการเพื่อเน้นย้ำพื้นที่ที่น่าสนใจ และโอนภาระการวิเคราะห์บางส่วนออกจากระบบ Machine Learning ที่ภาพจะผ่านไป

วิธีนี้นักวิจัยอ้างว่าดีกว่าวิธีการที่เสนอในปี 2019 (ภาพด้านล่าง) ซึ่งพยายามได้ผลลัพธ์ที่คล้ายกันโดยการเน้นคุณภาพที่ ขอบ ของวัตถุ

จาก ‘การแบ่งส่วนแบบมีประสิทธิภาพ: การเรียนรู้การลดขนาดใกล้ขอบเขต语义’ Marin et al., 2019. Source: https://arxiv.org/pdf/1907.07156.pdf

ตามที่งานวิจัยใหม่กล่าวถึง วิธีนี้สมมติว่าพื้นที่ที่น่าสนใจมักจะอยู่ที่ขอบเขต ในขณะที่ตัวอย่างจากภาพทางการแพทย์ เช่น พื้นที่มะเร็งที่มีเครื่องหมายกำกับ อาจขึ้นอยู่กับบริบทระดับสูง และอาจปรากฏเป็นรายละเอียดที่สามารถทิ้งได้ในพื้นที่ที่กว้างขึ้นของภาพ แทนที่จะอยู่ที่ขอบเขต

การลดขนาดที่เรียนรู้ได้

การวิจัยใหม่นี้เสนอ การลดขนาดที่เรียนรู้ได้ ที่เรียกว่าโมดูลการเปลี่ยนแปลง ซึ่งฝึกอบรมร่วมกับโมดูลการแบ่งส่วนแบบขนาน และสามารถได้รับข้อมูลเกี่ยวกับพื้นที่ที่น่าสนใจที่ระบุโดยการแบ่งส่วนแบบ语义 และจัดลำดับความสำคัญของพื้นที่เหล่านั้นในระหว่างกระบวนการลดขนาด

ผู้เขียนทดสอบระบบนี้กับชุดข้อมูลที่ได้รับความนิยมหลายชุด รวมถึง Cityscapes, DeepGlobe และชุดข้อมูล Prostate Cancer Histology ท้องถิ่น ‘PCa-Histo’

สามแนวทาง: ทางซ้าย การลดขนาดแบบสม่ำเสมอ; กลาง การเข้าใกล้ขอบเขตที่ดีที่สุดจากเอกสารปี 2019; ทางขวา สถาปัตยกรรมเบื้องหลังระบบใหม่ซึ่งได้รับข้อมูลจากการรู้จำวัตถุในระดับการแบ่งส่วนแบบ语义

วิธีการที่คล้ายกันเคยถูกทดลองสำหรับ ตัวจำแนกที่ถูกเสนอในปี 2019 แต่ผู้เขียนของเอกสารปัจจุบันแย้งว่าวิธีนี้ไม่สามารถควบคุมพื้นที่ที่เน้นย้ำได้ดีพอ ซึ่งอาจพลาดพื้นที่สำคัญในบริบทของภาพทางการแพทย์

ผลลัพธ์

โมดูลการเปลี่ยนแปลงในระบบใหม่นี้เป็น CNN ขนาดเล็ก ในขณะที่ชั้นการแบ่งส่วนเป็นสถาปัตยกรรม CNN ที่ลึกโดยใช้ HRNetV2-W48 Pyramid Scene Parsing Network (PSP-net) ถูกใช้เป็นชั้นการตรวจสอบความถูกต้องสำหรับการทดสอบ CityScapes

ชุดข้อมูลที่กล่าวถึงถูกทดสอบด้วยเฟรมเวิร์กใหม่ โดยใช้การลดขนาดแบบสม่ำเสมอ (วิธีการแบบเดิม) วิธีการขอบเขตที่ดีที่สุดจากปี 2019 และวิธีการใหม่ที่ใช้การแบ่งส่วนแบบ语义

ผู้เขียนรายงานว่าวิธีการใหม่นี้แสดงให้เห็น ‘ข้อได้เปรียบที่ชัดเจนในการระบุและแยกแยะคลาสที่สำคัญทางคลินิก’ โดยมีการเพิ่มขึ้นของความแม่นยำ 15-20% พวกเขายังสังเกตเห็นว่าความแตกต่างระหว่างคลาสเหล่านี้มักถูกกำหนดเป็น ‘เกณฑ์จากสุขภาพสู่มะเร็ง’

การวิเคราะห์ IoU ระดับคลาสที่แตกต่างกัน: ซ้าย การบำบัดแบบสม่ำเสมอ; กลาง การเข้าใกล้ขอบเขตที่ดีที่สุด; และขวา วิธีการใหม่ CityScapes ถูกลดขนาดลงเหลือ 64 x 128; PCaHisto ลดลงเหลือ 80 x 800; และ DeepGlobe ลดลงเหลือ 300 พิกเซลตาราง

รายงานระบุว่าวิธีการของพวกเขาสามารถ ‘เรียนรู้กลยุทธ์การลดขนาด; รักษาข้อมูลที่ดีกว่า; และทำให้เกิดการแลกเปลี่ยนที่ดีกว่า’ โดยสรุปว่าเฟรมเวิร์กใหม่ ‘สามารถเรียนรู้ได้อย่างมีประสิทธิภาพว่าจะ “ลงทุน” พิกเซลที่จำกัดในการลดขนาดเพื่อให้ได้ผลลัพธ์ที่ดีที่สุดในการแบ่งส่วน’

ภาพหลักสำหรับบทความคุณลักษณะนี้มาจาก thispersondoesnotexist.com อัปเดต 3:35pm GMT+2 สำหรับข้อผิดพลาดข้อความ