การฟื้นฟูวิดีโอบนสื่อสังคมที่ถูกบีบอัดมากเกินไปด้วยการเรียนรู้ของเครื่อง

การวิจัยใหม่จากประเทศจีนเสนอวิธีการที่มีประสิทธิภาพและใหม่สำหรับการฟื้นฟูรายละเอียดและความละเอียดของวิดีโอที่อัปโหลดโดยผู้ใช้ ซึ่งถูกบีบอัดโดยอัตโนมัติในแพลตฟอร์ม เช่น WeChat และ YouTube เพื่อประหยัดแบนด์วิธและพื้นที่จัดเก็บ

การเปรียบเทียบวิธีการใหม่กับวิธีการก่อนหน้าในแง่ของความสามารถในการแก้ไขรายละเอียดที่ถูกทิ้งระหว่างการปรับขนาดอัตโนมัติของแพลตฟอร์มสื่อสังคม Source: https://arxiv.org/pdf/2208.08597.pdf

ไม่เหมือนกับวิธีการก่อนหน้าที่สามารถปรับขนาดและเพิ่มความละเอียดของวิดีโอโดยใช้ข้อมูลการฝึกอบรมทั่วไป วิธีการใหม่นี้จะสร้างแผนที่คุณลักษณะการเสื่อมสภาพ (DFM) สำหรับแต่ละเฟรมของวิดีโอที่ถูกบีบอัด ซึ่งเป็นภาพรวมของพื้นที่ที่เสียหายหรือเสื่อมสภาพมากที่สุดในเฟรมที่เกิดจากการบีบอัด

จากการทดลองตัดองค์ประกอบของงานวิจัยใหม่: ที่สองจากขวา คือความจริงสำหรับแผนที่คุณลักษณะการเสื่อมสภาพ ‘บริสุทธิ์’ (DFM) ที่สามจากขวา คือการประมาณการของความเสียหายโดยไม่ใช้ DFM ซ้าย คือแผนที่ความเสียหายที่แม่นยำยิ่งขึ้นด้วย DFM

กระบวนการฟื้นฟูนี้ ซึ่งใช้โครงข่ายประสาทเทียมแบบคอนโวลูชัน (CNN) และเทคโนโลยีอื่นๆ จะได้รับการชี้นำและเน้นโดยข้อมูลใน DFM ทำให้วิธีการใหม่นี้สามารถเหนือกว่าวิธีการก่อนหน้าในแง่ของประสิทธิภาพและความแม่นยำ

นักวิจัยได้ข้อมูลอ้างอิงที่เป็นความจริงสำหรับกระบวนการนี้โดยอัปโหลดวิดีโอคุณภาพสูงไปยังแพลตฟอร์มแบ่งปันยอดนิยมสี่แห่ง แล้วดาวน์โหลดผลลัพธ์ที่ถูกบีบอัดกลับมา จากนั้นพัฒนากระบวนการคอมพิวเตอร์วิทัศน์ที่เรียนรู้สิ่งผิดเพี้ยนจากการบีบอัดและการสูญเสียรายละเอียดในระดับนามธรรม เพื่อใช้กับหลายแพลตฟอร์มและฟื้นฟูวิดีโอให้ใกล้เคียงต้นฉบับโดยอาศัยข้อมูลที่เหมาะสมกับงานโดยตรง

ตัวอย่างจากชุดข้อมูล UVSSM ของนักวิจัย

วัสดุในการวิจัยได้รับการรวบรวมเป็นชุดข้อมูล HQ/LQ ที่เรียกว่า วิดีโอของผู้ใช้ที่แบ่งปันบนสื่อสังคม (UVSSM) และได้รับการเผยแพร่ให้สามารถดาวน์โหลดได้ (รหัสผ่าน: rsqw) ที่ Baidu เพื่อประโยชน์ของโครงการวิจัยในอนาคตที่ต้องการพัฒนาวิธีการใหม่ๆ สำหรับการฟื้นฟูวิดีโอที่ถูกบีบอัดโดยแพลตฟอร์ม

การเปรียบเทียบระหว่างตัวอย่าง HQ/LQ ที่เทียบเท่ากันจากชุดข้อมูล UVSSM ที่สามารถดาวน์โหลดได้ (ดู URL ข้างต้นสำหรับแหล่งที่มา) แม้ตัวอย่างนี้อาจผ่านการบีบอัดหลายรอบจากโปรแกรมภาพ CMS หรือ CDN จึงควรดูข้อมูลต้นฉบับเพื่อเปรียบเทียบให้แม่นยำยิ่งขึ้น

โค้ดสำหรับระบบ ซึ่งเรียกว่า การฟื้นฟูวิดีโอด้วยการรับรู้การเสื่อมสภาพแบบปรับตัว (VOTES) ได้รับการเผยแพร่ที่ GitHub แต่การนำไปใช้จำเป็นต้องมีการอาศัยการดึงข้อมูลจากหลายแหล่ง

เอกสารวิจัยที่มีชื่อเรื่องว่า การฟื้นฟูวิดีโอของผู้ใช้ที่แบ่งปันบนสื่อสังคม มาจากนักวิจัย 3 คนจากมหาวิทยาลัย Shenzhen และ 1 คนจากภาควิชาวิศวกรรมอิเล็กทรอนิกส์และสารสนเทศของมหาวิทยาลัย Polytechnic ของฮ่องกง

จากสิ่งผิดเพี้ยนไปสู่ข้อเท็จจริง

ความสามารถในการฟื้นฟูคุณภาพของวิดีโอที่ถูกดึงมาจากเว็บโดยไม่มีการสร้างรายละเอียดขึ้นเองแบบทั่วไปซึ่งบางครั้งมากเกินไปโดยโปรแกรม เช่น Gigapixel (และแพ็คเกจโอเพ่นซอร์สที่คล้ายกัน) อาจมีผลกระทบต่อภาควิจัยด้านการมองเห็นของเครื่อง

การวิจัยเกี่ยวกับเทคโนโลยีวิดีโอบนพื้นฐานของการมองเห็นของเครื่องมักจะพึ่งพาวิดีโอที่ได้รับจากแพลตฟอร์ม เช่น YouTube และ Twitter ซึ่งวิธีการบีบอัดและตัวแปลงสัญญาณถูกเก็บเป็นความลับอย่างเข้มงวด ไม่อาจอนุมานได้ง่ายจากรูปแบบสิ่งผิดเพี้ยนหรือสัญญาณทางภาพอื่น และอาจเปลี่ยนแปลงเป็นระยะ

โครงการส่วนใหญ่ที่ใช้วิดีโอที่พบจากเว็บไม่ได้วิจัยเกี่ยวกับการบีบอัด และต้องปรับตัวตามข้อจำกัดสำหรับคุณภาพของวิดีโอที่บีบอัดที่แพลตฟอร์มเหล่านั้นให้มา เนื่องจากไม่มีการเข้าถึงเวอร์ชันคุณภาพสูงเดิมที่ผู้ใช้อัปโหลด

ดังนั้น ความสามารถในการฟื้นฟูคุณภาพและความละเอียดที่ดีกว่าของวิดีโอดังกล่าว โดยไม่มีอิทธิพลจากชุดข้อมูลการมองเห็นของเครื่องอื่นๆ อาจช่วยลดการทำงานรอบๆ และการปรับให้เหมาะสมที่โครงการวิจัยด้านการมองเห็นของเครื่องต้องทำในปัจจุบัน

แม้ว่าแพลตฟอร์ม เช่น YouTube จะประกาศการเปลี่ยนแปลงครั้งสำคัญในกระบวนการบีบอัดวิดีโอของผู้ใช้ (เช่น VP9) แต่ก็ไม่ได้เปิดเผยกระบวนการหรือโค้ดคและการตั้งค่าที่ใช้ในการลดขนาดไฟล์คุณภาพสูงของผู้ใช้

การบรรลุคุณภาพเอาต์พุตที่ดีขึ้นจากอัปโหลดของผู้ใช้จึงกลายเป็นศิลปะลึกลับแบบดรูอิดในช่วงสิบปีที่ผ่านมา โดยมีวิธีเลี่ยงข้อจำกัดหลายแบบซึ่งส่วนใหญ่ยังไม่ได้รับการยืนยันและผลัดกันได้รับความนิยม

วิธีการ

วิธีการก่อนหน้าในการฟื้นฟูวิดีโอโดยใช้การเรียนรู้ลึกเกี่ยวข้องกับการดึงคุณลักษณะทั่วไป โดยเป็นวิธีการในการฟื้นฟูเฟรมเดียวหรือในโครงสร้างหลายเฟรมที่ใช้การไหลเชิงแสง (optical flow) ซึ่งพิจารณาเฟรมข้างเคียงและเฟรมภายหลังขณะฟื้นฟูเฟรมปัจจุบัน

วิธีการเหล่านี้ต้องเผชิญกับ ‘ผลกระทบของกล่องดำ’ ซึ่งไม่สามารถตรวจสอบผลกระทบของการบีบอัดในเทคโนโลยีหลักได้ เนื่องจากไม่แน่ใจว่าเทคโนโลยีหลักคืออะไร หรือว่าถูกตั้งค่าอย่างไรสำหรับวิดีโอของผู้ใช้แต่ละคน

VOTES แทนจะพยายามดึงคุณลักษณะที่สำคัญโดยตรงจากวิดีโอเดิมและวิดีโอที่บีบอัด และกำหนดรูปแบบการเปลี่ยนแปลงที่จะใช้ได้กับมาตรฐานของหลายแพลตฟอร์ม

สถาปัตยกรรมแนวคิดสำหรับ VOTES

VOTES ใช้โมดูลการรับรู้การเสื่อมสภาพพิเศษ (DSM) เพื่อดึงคุณลักษณะในบล็อกคอนโวลูชัน หลายเฟรมจะถูกส่งไปยังโมดูลการดึงคุณลักษณะและการจัดตำแหน่ง (FEAM) จากนั้นจะถูกส่งไปยังโมดูลการปรับเปลี่ยนการเสื่อมสภาพ (DMM) สุดท้าย โมดูลการกู้คืนจะผลิตวิดีโอที่ฟื้นฟู

ข้อมูลและทดลอง

ในงานวิจัยใหม่นี้ นักวิจัยมุ่งเน้นไปที่การฟื้นฟูวิดีโอที่อัปโหลดและดาวน์โหลดจากแพลตฟอร์ม WeChat แต่ต้องการให้แน่ใจว่าแอลกอริทึมที่ได้สามารถปรับให้เหมาะสมกับแพลตฟอร์มอื่นๆ ได้

เมื่อพวกเขาพบว่าสามารถฟื้นฟูวิดีโอ WeChat ได้อย่างมีประสิทธิภาพ พบว่าการปรับให้เหมาะสมกับ Bilibili, Twitter และ YouTube ใช้เวลาเพียง 90 วินาทีต่อหนึ่งรอบการฝึกสำหรับแต่ละโมเดลที่ปรับให้เหมาะสมสำหรับแพลตฟอร์มแต่ละแห่ง (บนเครื่องจักรที่มี 4 NVIDIA Tesla P40 GPUs และ VRAM ทั้งหมด 96GB)

การปรับโมเดล WeChat ที่ประสบความสำเร็จไปยังแพลตฟอร์มแบ่งปันวิดีโออื่นทำได้ค่อนข้างง่าย VOTES ให้ประสิทธิภาพใกล้เคียงกันแทบจะทันทีในหลายแพลตฟอร์ม โดยใช้ชุดข้อมูล UVSSM ของผู้วิจัยและชุดข้อมูล REDS (ดูด้านล่าง)

เพื่อสร้างชุดข้อมูล UVSSM นักวิจัยรวบรวมวิดีโอ 264 รายการ ระยะเวลา 5-30 วินาที แต่ละวิดีโอมีอัตราเฟรม 30fps วิดีโอมาจากกล้องโทรศัพท์มือถือหรืออินเทอร์เน็ต และมีความละเอียด 1920 x 1080 หรือ 1280 x 270

เนื้อหาของวิดีโอ (ดูภาพด้านบน) รวมถึงทิวทัศน์เมือง ภูมิประเทศ ผู้คน สัตว์ และหัวข้ออื่นๆ และสามารถใช้ได้ภายใต้ใบอนุญาต Creative Commons Attribution ซึ่งอนุญาตให้ใช้ซ้ำ

นักวิจัยอัปโหลดวิดีโอ 214 รายการไปยัง WeChat โดยใช้โทรศัพท์มือถือ 5 ยี่ห้อที่แตกต่างกัน และได้รับการบีบอัดวิดีโอ WeChat ที่มีความละเอียด 960×540 (เว้นแต่วิดีโอดั้งเดิมจะมีขนาดเล็กกว่า)

ซ้ายบน: เฟรม HQ ต้นฉบับพร้อมส่วนขยายสามส่วน; ขวาบน: เฟรมเดียวกันจากวิดีโอที่ถูกแพลตฟอร์มบีบอัด; ซ้ายล่าง: การเสื่อมสภาพที่คำนวณจากเฟรมที่บีบอัด; ขวาล่าง: พื้นที่ทำงานที่ VOTES ใช้เน้นความสนใจ ภาพคุณภาพต่ำมีขนาดครึ่งหนึ่งของภาพ HQ แต่ปรับขนาดที่นี่เพื่อให้เปรียบเทียบได้ชัดเจน

สำหรับการเปรียบเทียบในภายหลังกับวิธีการแปลงของแพลตฟอร์มอื่นๆ นักวิจัยอัปโหลดวิดีโอ 50 รายการ (ไม่รวมใน 214 รายการแรก) ไปยัง Bilibili, YouTube และ Twitter วิดีโอดั้งเดิมมีความละเอียด 1280×270 และวิดีโอที่ดาวน์โหลดมีความละเอียด 640×360

ซึ่งทำให้ชุดข้อมูล UVSSM มีจำนวนคู่ของวิดีโอ HQ และ LQ ทั้งหมด 364 รายการ โดย 214 รายการสำหรับ WeChat และ อย่างละ 50 รายการสำหรับ Bilibili, YouTube และ Twitter

สำหรับการทดลอง 10 วิดีโอที่เลือกแบบสุ่มใช้เป็นชุดการทดสอบ 4 วิดีโอใช้เป็นชุดตรวจสอบ และ 200 วิดีโอที่เหลือใช้เป็นชุดฝึกอบรมหลัก การทดลองดำเนินการ 5 ครั้งโดยใช้การตรวจสอบไขว้ K-fold และผลลัพธ์ถูกเฉลี่ยข้ามกรณีเหล่านี้

ในการทดสอบการฟื้นฟูวิดีโอ VOTES ถูกเปรียบเทียบกับ Spatio-Temporal Deformable Fusion (STDF) สำหรับการเพิ่มความละเอียด VOTES ถูกทดสอบกับ Enhanced Deformable convolutions (EDVR), RSDN, Video Super-resolution with Temporal Group Attention (VSR_TGA) และ BasicVSR วิธีการแบบขั้นตอนเดียวของ Google ที่เรียกว่า COMISR ก็รวมอยู่ด้วย แม้จะไม่ได้อยู่ในประเภทสถาปัตยกรรมเดียวกับงานก่อนหน้าอื่นๆ

วิธีการเหล่านี้ถูกทดสอบกับชุดข้อมูล UVSS และ REDS โดย VOTES สามารถทำคะแนนสูงสุดได้:

นักวิจัยยังอ้างว่าผลลัพธ์เชิงคุณภาพก็แสดงถึงความเหนือกว่าของ VOTES เมื่อเทียบกับระบบก่อนหน้า:

เฟรมวิดีโอจาก REDS ที่ฟื้นฟูโดยวิธีการที่แข่งขันกัน ความละเอียดที่แสดงเพียงอ้างอิง: ดูเอกสารสำหรับความละเอียดที่แน่นอน

เผยแพร่ครั้งแรก 19 สิงหาคม 2022