การแก้ปัญหา JPEG Artifact ในชุดข้อมูล Computer Vision

การศึกษาใหม่จากมหาวิทยาลัยแมริแลนด์และ Facebook AI พบว่าระบบการเรียนรู้เชิงลึกที่ใช้ภาพ JPEG ที่ถูกบีบอัดสูงในข้อมูลของตนจะมี “ค่าปรับผลงานที่สำคัญ” และนำเสนอวิธีการใหม่ๆ เพื่อลดผลกระทบของสิ่งนี้

รายงานที่มีชื่อว่า การวิเคราะห์และบรรเทาผลกระทบของ JPEG Compression ในการเรียนรู้เชิงลึก อ้างว่าเป็น “การวิเคราะห์ที่ครอบคลุมมากกว่า” การศึกษาก่อนหน้านี้เกี่ยวกับผลกระทบของอาร์ติแฟคต์ในชุดข้อมูลการมองเห็นคอมพิวเตอร์ รายงานพบว่า “การบีบอัด JPEG ที่หนักถึงปานกลางจะส่งผลให้ผลงานลดลงอย่างมากในมาตรฐานมาตรฐาน” และเครือข่ายประสาทอาจไม่แข็งแรงต่อการเปลี่ยนแปลงดังกล่าวเหมือนเช่นที่งานก่อนหน้านี้แนะนำ

ภาพของสุนัขจากชุดข้อมูล MobileNetV2 ปี 2018 ที่คุณภาพ 10 (ซ้าย) ระบบการจำแนกประเภทล้มเหลวในการระบุพันธุ์สุนัข ‘Pembroke Welsh Corgi’ และเลือก ‘Norwich terrier’代替 (ระบบรู้แล้วว่าเป็นภาพสุนัข แต่ไม่รู้พันธุ์); ที่สองจากซ้าย ภาพที่ได้รับการแก้ไขอาร์ติแฟคต์ JPEG ออฟชelf ยังคงล้มเหลวในการระบุพันธุ์ที่ถูกต้อง; ที่สองจากขวา การแก้ไขอาร์ติแฟคต์ที่มุ่งเป้าหมายทำให้การจำแนกประเภทที่ถูกต้องกลับมาอีกครั้ง; และที่ขวาสุด ภาพดั้งเดิมที่ถูกต้อง Source: https://arxiv.org/pdf/2011.08932.pdf

อาร์ติแฟคต์ของการบีบอัดเป็น ‘ข้อมูล’

การบีบอัด JPEG ที่รุนแรงมีแนวโน้มที่จะสร้างพื้นที่หรือเส้นรอบวงที่มองเห็นได้หรือมองไม่เห็นรอบๆ บล็อก 8×8 ที่ใช้ในการสร้างภาพ JPEG เมื่ออาร์ติแฟคต์เหล่านี้ปรากฏขึ้น ระบบการเรียนรู้เชิงลึกมีแนวโน้มที่จะสับสนพวกมันกับองค์ประกอบของโลกแห่งความเป็นจริงของวัตถุในภาพ除非มีการชดเชยสำหรับผลกระทบนี้

ด้านบน ระบบการเรียนรู้เชิงลึกจะแยกภาพกราดีเกรเดียนต์ที่ ‘สะอาด’ จากภาพที่มีคุณภาพดี ด้านล่าง อาร์ติแฟคต์ ‘บล็อกกิ้ง’ ในภาพที่มีคุณภาพต่ำกว่าบดบังลักษณะของวัตถุ และอาจส่งผลให้ ‘ติดเชื้อ’ ลักษณะที่ได้รับจากชุดข้อมูลภาพ โดยเฉพาะในกรณีที่ภาพที่มีคุณภาพสูงและต่ำรวมอยู่ในเซตเดียวกัน เช่น ในการเก็บข้อมูลจากเว็บที่มีการทำความสะอาดข้อมูลทั่วไป Source: http://www.cs.utep.edu/ofuentes/papers/quijasfuentes2014.pdf

ดังที่เห็นในภาพแรก อาร์ติแฟคต์เหล่านี้สามารถส่งผลต่อการจำแนกประเภทภาพ โดยมีผลกระทบต่ออัลกอริทึมการรู้จำข้อความด้วย

ในกรณีของระบบการสร้างภาพ (เช่น ซอฟต์แวร์ deepfake หรือระบบการสร้างภาพ GAN) บล็อก ‘โจร’ ของภาพที่มีคุณภาพต่ำและบีบอัดสูงในเซตข้อมูลอาจทำให้คุณภาพของการสร้างภาพลดลงหรือกลายเป็นส่วนหนึ่งของคุณสมบัติที่ดีกว่าจากภาพที่มีคุณภาพดีกว่าในเซต ในทั้งสองกรณี ข้อมูลที่ดีกว่านั้นเป็นที่ต้องการ – หรืออย่างน้อยก็ข้อมูลที่สม่ำเสมอ

JPEG – โดยทั่วไป ‘ดีพอ’

การบีบอัด JPEG เป็นโค้ดคงที่ที่สามารถใช้กับรูปแบบภาพต่างๆ ได้ แม้ว่าจะใช้กับไฟล์ภาพ JFIF โดยหลักแล้ว รูปแบบภาพ JPEG (.jpg) ถูกตั้งชื่อตามวิธีการบีบอัด ไม่ใช่ไฟล์ JFIF ที่ใช้สำหรับข้อมูลภาพ

สถาปัตยกรรมการเรียนรู้เชิงลึกทั้งหมดได้เกิดขึ้นในช่วงไม่กี่ปีที่ผ่านมา โดยรวมถึงการบรรเทาอาร์ติแฟคต์ JPEG เป็นส่วนหนึ่งของการปรับขนาด/ฟื้นฟูภาพที่ขับเคลื่อนด้วย AI และการลบอาร์ติแฟคต์ JPEG ที่ใช้ AI ได้ถูกนำมาใช้ในผลิตภัณฑ์เชิงพาณิชย์หลายอย่าง เช่น ชุดภาพ/วิดีโอ Topaz และคุณสมบัติประสาทของ Adobe Photoshop รุ่นใหม่ๆ

เนื่องจากรูปแบบ JPEG ที่ใช้กันอยู่ในปัจจุบันถูกกำหนดไว้ในปี 1986 และถูกปิดใช้งานในปี 1990 จึงไม่สามารถเพิ่มเมตาดาต้าให้กับภาพที่บ่งบอกถึงระดับคุณภาพ (1-100) ที่ภาพ JPEG ถูกบันทึก – อย่างน้อยก็ไม่ใช่โดยไม่ต้องแก้ไขซอฟต์แวร์ระบบลูกค้า มืออาชีพ และวิชาการที่มีอายุเกิน 30 ปี ซึ่งไม่ได้คาดหวังเมตาดาต้าดังกล่าว

ดังนั้น จึงไม่ใช่เรื่องผิดปกติที่จะปรับแต่งการฝึกอบรมระบบการเรียนรู้เชิงลึกให้เหมาะสมกับคุณภาพของข้อมูลภาพ JPEG ที่ประเมินหรือทราบ เช่นเดียวกับที่นักวิจัยได้ทำในงานวิจัยใหม่ (ดูรายละเอียดด้านล่าง) ในการไม่มีรายการเมตาดาต้า ‘คุณภาพ’ ปัจจุบันจำเป็นต้องรู้รายละเอียดเกี่ยวกับวิธีการบีบอัดภาพ (เช่น บีบอัดจากแหล่งที่ไม่สูญเสีย) หรือประเมินคุณภาพโดยใช้อัลกอริทึมการรับรู้หรือการจำแนกประเภทด้วยตนเอง

ประนีประนอมทางเศรษฐกิจ

JPEG ไม่ใช่วิธีการบีบอัดที่สูญเสียข้อมูลเพียงอย่างเดียวที่สามารถส่งผลต่อคุณภาพของชุดข้อมูลการเรียนรู้เชิงลึก การตั้งค่าการบีบอัดในไฟล์ PDF สามารถทิ้งข้อมูลได้เช่นกัน และสามารถตั้งค่าให้มีคุณภาพต่ำมากเพื่อประหยัดพื้นที่ดิสก์สำหรับการเก็บข้อมูลในท้องถิ่นหรือเครือข่าย

สิ่งนี้สามารถสังเกตได้โดยการตรวจสอบไฟล์ PDF ต่างๆ บน archive.org ซึ่งบางส่วนถูกบีบอัดอย่างหนักจนกลายเป็นความท้าทายที่สำคัญสำหรับระบบการรู้จำภาพหรือข้อความ ในหลายกรณี เช่น หนังสือที่มีลิขสิทธิ์ การบีบอัดที่รุนแรงดูเหมือนจะถูกนำมาใช้เป็นรูปแบบของ DRM ที่ถูกที่จะลดความละเอียดของวิดีโอที่ผู้ใช้อัปโหลดบน YouTube ซึ่งผู้ถือลิขสิทธิ์มีสิทธิ์ในการลบหรือลดความละเอียดวิดีโอเหล่านั้น

ในหลายกรณีอื่นๆ คุณภาพหรือความละเอียดของภาพต่ำเพราะข้อมูลมีอายุมากและมาจากยุคที่พื้นที่จัดเก็บข้อมูลในท้องถิ่นและเครือข่ายมีราคาแพงกว่า และความเร็วเครือข่ายที่จำกัดทำให้ภาพที่ได้รับการปรับให้เหมาะสมและพกพาได้ดีกว่า

มีการกล่าวว่า JPEG แม้ว่าจะไม่ใช่วิธีแก้ปัญหาที่ดีที่สุด ในขณะนี้ แต่ก็ถูก “สถาปนา” เป็นโครงสร้างพื้นฐานที่ไม่สามารถถอดออกได้ซึ่งเชื่อมโยงกับพื้นฐานของอินเทอร์เน็ต

ภาระของมรดก

แม้ว่านวัตกรรมในภายหลัง เช่น JPEG 2000, PNG และรูปแบบ.webp จะมีคุณภาพที่ดีกว่า การบีบอัดภาพชุดข้อมูลการเรียนรู้เชิงลึกที่มีอายุมากและเป็นที่นิยมมากนั้นจะ “รีเซต” ความต่อเนื่องและประวัติศาสตร์ของการแข่งขันการมองเห็นคอมพิวเตอร์ประจำปีในวงการวิชาการ – สิ่งที่จะเกิดขึ้นกับการบันทึกภาพ PNG ในชุดข้อมูลที่มีคุณภาพสูงกว่าด้วย สิ่งนี้อาจถือเป็น “หนี้สินทางเทคนิค”

แม้ว่าไลบรารีการประมวลผลภาพบนเซิร์ฟเวอร์ที่มีชื่อเสียง เช่น ImageMagick จะรองรับรูปแบบที่ดีกว่า รวมถึง.webp แต่ความต้องการการแปลงภาพบ่อยครั้งเกิดขึ้นในระบบมรดกที่ไม่ได้ตั้งค่าให้รองรับอะไรนอกจาก JPG หรือ PNG (ซึ่งให้การบีบอัดที่ไม่สูญเสีย แต่ด้วยความล่าช้าและพื้นที่ดิสก์) แม้กระทั่ง WordPress ซึ่งเป็น CMS ที่ขับเคลื่อน เกือบ 40% ของเว็บไซต์ทั้งหมด ก็เพิ่มการรองรับ.webp เพียงสามเดือนก่อน

PNG เป็นการเข้าร่วมช้า (อาจจะช้าเกินไป) ในภาคอุตสาหกรรมรูปแบบภาพ โดยเกิดขึ้นเป็นโซลูชันที่เปิด源ในปลายยุค 1990 เพื่อตอบสนองต่อ การประกาศในปี 1995 โดย Unisys และ CompuServe ว่าจะต้องจ่ายค่าลิขสิทธิ์สำหรับการบีบอัด LZW ที่ใช้ในไฟล์ GIF ซึ่งใช้กันอย่างแพร่หลายในขณะนั้นสำหรับโลโก้และส่วนประกอบสีแบน แม้ว่าการฟื้นฟู GIF ในช่วงต้นปี 2010 จะมุ่งเน้นไปที่ความสามารถในการให้เนื้อหาสนับซ้อนความละเอียดต่ำและรวดเร็ว (ในทางกลับกัน การสนับสนุนภาพ PNG ที่มีการเคลื่อนไหวไม่เคยได้รับความนิยมหรือการรองรับที่กว้างขวาง และถึงขั้นถูก ห้ามใช้บน Twitter ในปี 2019)

แม้ว่า JPEG จะมีข้อบกพร่อง แต่การบีบอัด JPEG ก็รวดเร็ว มีประสิทธิภาพด้านพื้นที่ และฝังอยู่ลึกในระบบทุกประเภท – และดังนั้นจึงไม่น่าจะหายไปจากฉากการเรียนรู้เชิงลึกในอนาคตอันใกล้

การสร้างสมดุลระหว่าง AI และ JPEG

จนถึงระดับหนึ่ง ชุมชนการเรียนรู้เชิงลึกได้ปรับตัวให้เข้ากับข้อบกพร่องของการบีบอัด JPEG: ในปี 2011 สังคมวิทยาการรังสีวิทยาแห่งยุโรป (ESR) ได้ตีพิมพ์ การศึกษา เกี่ยวกับ “การใช้การบีบอัดภาพที่ไม่สามารถกลับด้านในภาพวิทยาการรังสี” โดยให้คำแนะนำสำหรับการ “สูญเสียที่ยอมรับได้”; เมื่อชุดข้อมูลการรู้จำข้อความ MNIST (ซึ่งภาพข้อมูลเดิมถูกจัดหาในรูปแบบไบนารี่ที่ไม่เหมือนใคร) ถูกเปลี่ยนเป็นรูปแบบภาพ “ปกติ” JPEG ไม่ใช่ PNG ถูกเลือก; และการทำงานร่วมกันก่อนหน้านี้ (2020) ของผู้เขียนรายงานใหม่นี้ได้เสนอ สถาปัตยกรรมใหม่ สำหรับการปรับเทียบระบบการเรียนรู้เชิงลึกให้เหมาะสมกับข้อบกพร่องของการบีบอัด JPEG ที่แตกต่างกัน โดยไม่ต้องมีการฝึกอบรมแบบจำลองที่แต่ละระดับคุณภาพ JPEG – คุณสมบัติที่ถูกใช้ในงานวิจัยใหม่นี้

การทดสอบและข้อสรุป

ในการกลับไปยังการศึกษาล่าสุดจาก UoM และ Facebook นักวิจัยได้พยายามทดสอบความเข้าใจและความเป็นประโยชน์ของ JPEG บนภาพที่บีบอัดระหว่าง 10-90 (ด้านล่างซึ่งภาพจะถูกบิดเบือนไปมาก และด้านบนซึ่งเทียบเท่ากับการบีบอัดที่ไม่สูญเสีย) ภาพที่ใช้ในการทดสอบถูกบีบอัดล่วงหน้าในแต่ละค่าภายในช่วงคุณภาพที่ต้องการ ซึ่งหมายความว่ามีการฝึกอบรมอย่างน้อย 8 ครั้ง

แบบจำลองถูกฝึกอบรมบนการลดความชันแบบสโตแคสติกทั่ว 4 วิธี: พื้นฐาน โดยไม่มีการบรรเทาเพิ่มเติม; การปรับให้เหมาะสมแบบมีคำแนะนำ โดยที่ชุดฝึกมีข้อได้เปรียบของน้ำหนักที่ฝึกไว้ล่วงหน้าและข้อมูลที่มีฉลาก (แม้ว่านักวิจัยจะยอมรับว่าสิ่งนี้ยากที่จะทำซ้ำในแอปพลิเคชันระดับผู้บริโภค); การแก้ไขอาร์ติแฟคต์ โดยที่การเพิ่มคุณภาพ/การปรับปรุงจะทำบนภาพที่บีบอัดก่อนการฝึกอบรม; และ การแก้ไขอาร์ติแฟคต์ที่มุ่งเป้าหมาย โดยที่เครือข่ายการแก้ไขอาร์ติแฟคต์ถูกปรับให้เหมาะสมกับข้อผิดพลาดที่ส่งกลับ

การฝึกอบรมเกิดขึ้นบนชุดข้อมูลที่หลากหลาย รวมถึงรูปแบบต่างๆ ของ ResNet, FastRCNN, MobileNetV2, MaskRCNN และ InceptionV3 ของ Keras

ผลลัพธ์ของการลดความสูญเสียตัวอย่างหลังการแก้ไขอาร์ติแฟคต์ที่มุ่งเป้าหมายจะแสดงไว้ด้านล่าง (ค่าต่ำกว่า = ดีกว่า)

ไม่สามารถลงลึกไปในรายละเอียดของผลลัพธ์ที่ได้รับจากการศึกษานี้ได้ เนื่องจากรายงานของนักวิจัยแบ่งออกเป็นสองส่วน: การประเมินอาร์ติแฟคต์ JPEG และวิธีการใหม่ๆ เพื่อบรรเทาผลกระทบ; การฝึกอบรมถูกทำซ้ำ ต่อคุณภาพ บนชุดข้อมูลหลายชุด; และงานรวมถึงการตรวจจับวัตถุ การแบ่งส่วน และการจำแนกประเภท

โดยทั่วไปแล้ว รายงานนี้สรุปว่า “การบีบอัด JPEG มีผลกระทบอย่างมากทั่วทั้งกระดานสำหรับการบีบอัดที่หนักถึงปานกลาง” และยังระบุด้วยว่ากลยุทธ์การบรรเทาที่ไม่มีฉลากใหม่ของตนบรรลุผลลัพธ์ที่ดีกว่าในแนวทางที่คล้ายกัน; ว่าสำหรับงานที่ซับซ้อน วิธีการที่มีคำแนะนำของนักวิจัยก็สามารถเอาชนะคู่แข่งได้ แม้ว่าจะไม่มีการเข้าถึงฉลากความจริงด้วย; และว่าวิธีการใหม่เหล่านี้ช่วยให้สามารถนำแบบจำลองกลับมาใช้ใหม่ได้ เนื่องจากน้ำหนักที่ได้รับสามารถถ่ายโอนระหว่างงานได้

ในแง่ของงานจำแนกประเภท รายงานระบุอย่างชัดเจนว่า “JPEG ทำให้คุณภาพของกราดีเกรเดียนต์ลดลงและทำให้เกิดข้อผิดพลาดในการกำหนดตำแหน่ง”

ผู้เขียนหวังว่าจะขยายการศึกษาในอนาคตให้ครอบคลุมวิธีการบีบอัดอื่นๆ เช่น JPEG 2000 ที่ถูกมองข้ามเป็นส่วนใหญ่ รวมถึง WebP, HEIF และ BPG และยังแนะนำว่าวิธีการของตนสามารถนำไปใช้ในการวิจัยที่คล้ายกันเกี่ยวกับอัลกอริทึมการบีบอัดวิดีโอ

เนื่องจากวิธีการแก้ไขอาร์ติแฟคต์ที่มุ่งเป้าหมายได้พิสูจน์ความสำเร็จในการศึกษานี้ ผู้เขียนจึงแสดงความตั้งใจที่จะเผยแพร่น้ำหนักที่ฝึกอบรมระหว่างโครงการ โดยคาดหวังว่า “[หลาย] แอปพลิเคชันจะสามารถใช้น้ำหนัก TTAC ของเราได้โดยไม่ต้องมีการปรับเปลี่ยนใดๆ”

n.b. ภาพต้นฉบับสำหรับบทความนี้มาจาก thispersondoesnotexist.com