การฟื้นฟูวิดีโอสื่อสังคมที่ถูกบีบอัดมากเกินไปด้วยเครื่องมือการเรียนรู้ของเครื่อง

การวิจัยใหม่จากประเทศจีนเสนอวิธีการที่มีประสิทธิภาพและใหม่สำหรับการฟื้นฟูรายละเอียดและความละเอียดของวิดีโอที่อัปโหลดโดยผู้ใช้ ซึ่งถูกบีบอัดโดยอัตโนมัติในแพลตฟอร์ม เช่น WeChat และ YouTube เพื่อประหยัดแบนด์วิธและพื้นที่จัดเก็บ

การเปรียบเทียบวิธีการใหม่กับวิธีการก่อนหน้าในแง่ของความสามารถในการแก้ไขรายละเอียดที่ถูกทิ้งระหว่างการปรับขนาดอัตโนมัติของแพลตฟอร์มสื่อสังคม Source: https://arxiv.org/pdf/2208.08597.pdf

ไม่เหมือนกับวิธีการก่อนหน้าที่สามารถปรับขนาดและเพิ่มความละเอียดของวิดีโอโดยใช้ข้อมูลการฝึกอบรมทั่วไป วิธีการใหม่นี้จะสร้างแผนที่คุณลักษณะการเสื่อมสภาพ (DFM) สำหรับแต่ละเฟรมของวิดีโอที่ถูกบีบอัด ซึ่งเป็นภาพรวมของพื้นที่ที่เสียหายหรือเสื่อมสภาพมากที่สุดในเฟรมที่เกิดจากการบีบอัด

จากการศึกษาแบ่งส่วนของกระดาษใหม่: ที่สองจากขวา คือความจริงสำหรับแผนที่คุณลักษณะการเสื่อมสภาพ ‘บริสุทธิ์’ (DFM) ที่สามจากขวา คือการประมาณการของความเสียหายโดยไม่ใช้ DFM ซ้าย คือแผนที่ความเสียหายที่แม่นยำยิ่งขึ้นด้วย DFM

กระบวนการฟื้นฟูนี้ ซึ่งใช้เครือข่ายประสาทเทียม (CNN) และเทคโนโลยีอื่นๆ จะได้รับการชี้นำและเน้นโดยข้อมูลใน DFM ทำให้วิธีการใหม่นี้สามารถเหนือกว่าวิธีการก่อนหน้าในแง่ของประสิทธิภาพและความแม่นยำ

ความจริงสำหรับกระบวนการนี้ได้รับจากนักวิจัยโดยการอัปโหลดวิดีโอคุณภาพสูงไปยังแพลตฟอร์มแบ่งปันวิดีโอ 4 แพลตฟอร์มที่ได้รับความนิยมสูงสุด และพัฒนาปัญญาประดิษฐ์ที่สามารถเรียนรู้การเสื่อมสภาพและความเสียหายของรายละเอียดได้ เพื่อให้สามารถนำไปใช้กับแพลตฟอร์มต่างๆ เพื่อฟื้นฟูวิดีโอให้ใกล้เคียงกับคุณภาพเดิมมากที่สุดโดยใช้ข้อมูลที่ไม่เกี่ยวข้องกัน

ตัวอย่างจากชุดข้อมูล UVSSM ของนักวิจัย

วัสดุในการวิจัยได้รับการรวบรวมเป็นชุดข้อมูล HQ/LQ ที่เรียกว่า User Videos Shared on Social Media (UVSSM) และได้รับการเผยแพร่ให้สามารถดาวน์โหลดได้ (รหัสผ่าน: rsqw) ที่ Baidu เพื่อประโยชน์ของโครงการวิจัยในอนาคตที่ต้องการพัฒนาวิธีการใหม่ๆ สำหรับการฟื้นฟูวิดีโอที่ถูกบีบอัดโดยแพลตฟอร์ม

การเปรียบเทียบระหว่างตัวอย่าง HQ/LQ ที่เทียบเท่ากันจากชุดข้อมูล UVSSM ที่สามารถดาวน์โหลดได้ (ดู URL ข้างต้นสำหรับแหล่งที่มา)

โค้ดสำหรับระบบ ซึ่งเรียกว่า Video restOration through adapTive dEgradation Sensing (VOTES) ได้รับการเผยแพร่ที่ GitHub แต่การนำไปใช้จำเป็นต้องมีการอาศัยการดึงข้อมูลจากหลายแหล่ง

เอกสารวิจัยที่มีชื่อเรื่องว่า Restoration of User Videos Shared on Social Media มาจากนักวิจัย 3 คนจากมหาวิทยาลัย Shenzhen และ 1 คนจากภาควิชาวิศวกรรมอิเล็กทรอนิกส์และสารสนเทศของมหาวิทยาลัย Polytechnic ของฮ่องกง

จากสิ่งประดิษฐ์ไปสู่ข้อเท็จจริง

ความสามารถในการฟื้นฟูคุณภาพของวิดีโอที่ถูกดึงมาจากเว็บโดยไม่มีการ ‘หลอกลวง’ ของรายละเอียดโดยโปรแกรม เช่น Gigapixel (และแพ็คเกจโอเพ่นซอร์สที่คล้ายกัน) อาจมีผลกระทบต่อภาควิจัยด้านการมองเห็นของเครื่อง

การวิจัยเกี่ยวกับเทคโนโลยีวิดีโอบนพื้นฐานของการมองเห็นของเครื่องมักจะพึ่งพาวิดีโอที่ได้รับจากแพลตฟอร์ม เช่น YouTube และ Twitter ซึ่งวิธีการบีบอัดและโค้ดค Cannot เปิดเผยได้ไม่ácil และอาจเปลี่ยนแปลงได้บ่อย

โครงการส่วนใหญ่ที่ใช้วิดีโอที่พบจากเว็บไม่ได้ทำการวิจัยเกี่ยวกับการบีบอัด และต้องทำการปรับให้เหมาะสมสำหรับคุณภาพของวิดีโอที่บีบอัดที่แพลตฟอร์มเหล่านั้นให้มา เนื่องจากไม่มีการเข้าถึงเวอร์ชันคุณภาพสูงเดิมที่ผู้ใช้อัปโหลด

ดังนั้น ความสามารถในการฟื้นฟูคุณภาพและความละเอียดที่ดีกว่าของวิดีโอดังกล่าว โดยไม่มีอิทธิพลจากชุดข้อมูลการมองเห็นของเครื่องอื่นๆ อาจช่วยลดการทำงานรอบๆ และการปรับให้เหมาะสมที่โครงการวิจัยด้านการมองเห็นของเครื่องต้องทำในปัจจุบัน

แม้ว่าแพลตฟอร์ม เช่น YouTube จะประกาศการเปลี่ยนแปลงครั้งสำคัญในกระบวนการบีบอัดวิดีโอของผู้ใช้ (เช่น VP9) แต่ก็ไม่ได้เปิดเผยกระบวนการหรือโค้ดคและการตั้งค่าที่ใช้ในการลดขนาดไฟล์คุณภาพสูงของผู้ใช้

การบรรลุคุณภาพเอาต์พุตที่ดีขึ้นจากอัปโหลดของผู้ใช้จึงกลายเป็น ‘ศิลปะ’ ในช่วง 10 ปีที่ผ่านมา โดยมีวิธีการ ‘การทำงานรอบๆ’ ที่ไม่ได้รับการยืนยันหลายวิธี

วิธีการ

วิธีการก่อนหน้าในการฟื้นฟูวิดีโอโดยใช้การเรียนรู้ลึกเกี่ยวข้องกับการดึงคุณลักษณะทั่วไป โดยเป็นวิธีการในการฟื้นฟูเฟรมเดียวหรือในโครงสร้างหลายเฟรมที่ใช้การไหลของ光 (optical flow)

วิธีการเหล่านี้ต้องเผชิญกับ ‘ผลกระทบของกล่องดำ’ ซึ่งไม่สามารถตรวจสอบผลกระทบของการบีบอัดในเทคโนโลยีหลักได้ เนื่องจากไม่แน่ใจว่าเทคโนโลยีหลักคืออะไร หรือว่าถูกกำหนดคงอย่างไรสำหรับวิดีโอของผู้ใช้แต่ละคน

VOTES แทนจะพยายามดึงคุณลักษณะที่สำคัญโดยตรงจากวิดีโอเดิมและวิดีโอที่บีบอัด และกำหนดรูปแบบการเปลี่ยนแปลงที่จะใช้ได้กับมาตรฐานของหลายแพลตฟอร์ม

สถาปัตยกรรมแนวคิดสำหรับ VOTES

VOTES ใช้โมดูลการรับรู้การเสื่อมสภาพพิเศษ (DSM) เพื่อดึงคุณลักษณะในบล็อกการเชื่อมต่อ หลายเฟรมจะถูกส่งไปยังโมดูลการดึงคุณลักษณะและการจัดตำแหน่ง (FEAM) จากนั้นจะถูกส่งไปยังโมดูลการปรับเปลี่ยนการเสื่อมสภาพ (DMM) สุดท้าย โมดูลการกู้คืนจะผลิตวิดีโอที่ฟื้นฟู

ข้อมูลและทดลอง

ในงานวิจัยใหม่นี้ นักวิจัยมุ่งเน้นไปที่การฟื้นฟูวิดีโอที่อัปโหลดและดาวน์โหลดจากแพลตฟอร์ม WeChat แต่ต้องการให้แน่ใจว่าแอลกอริทึมที่ได้สามารถปรับให้เหมาะสมกับแพลตฟอร์มอื่นๆ ได้

เมื่อพวกเขาพบว่าสามารถฟื้นฟูวิดีโอ WeChat ได้อย่างมีประสิทธิภาพ พบว่าการปรับให้เหมาะสมกับ Bilibili, Twitter และ YouTube ใช้เวลาเพียง 90 วินาทีสำหรับแต่ละโมเดลที่ปรับให้เหมาะสมสำหรับแพลตฟอร์มแต่ละแห่ง (บนเครื่องจักรที่มี 4 NVIDIA Tesla P40 GPUs และ VRAM ทั้งหมด 96GB)

การปรับให้เหมาะสมกับโมเดล WeChat ที่ประสบความสำเร็จไปยังแพลตฟอร์มแบ่งปันวิดีโออื่นๆ พิสูจน์ว่าเป็นเรื่องง่าย

เพื่อสร้างชุดข้อมูล UVSSM นักวิจัยรวบรวมวิดีโอ 264 รายการ ระยะเวลา 5-30 วินาที แต่ละวิดีโอมีอัตราเฟรม 30fps วิดีโอมาจากกล้องโทรศัพท์มือถือหรืออินเทอร์เน็ต และมีความละเอียด 1920 x 1080 หรือ 1280 x 270

เนื้อหาของวิดีโอ (ดูภาพด้านบน) รวมถึงทิวทัศน์เมือง ผู้คน สัตว์ และหัวข้ออื่นๆ และสามารถใช้ได้ภายใต้ใบอนุญาต Creative Commons Attribution ซึ่งอนุญาตให้ใช้ซ้ำ

นักวิจัยอัปโหลดวิดีโอ 214 รายการไปยัง WeChat โดยใช้โทรศัพท์มือถือ 5 ยี่ห้อที่แตกต่างกัน และได้รับการบีบอัดวิดีโอ WeChat ที่มีความละเอียด 960×540 (เว้นแต่วิดีโอดั้งเดิมจะมีขนาดเล็กกว่า)

ซ้ายบน: เฟรม HQ เดิมพร้อมส่วนขยายสามส่วน; ซ้ายล่าง: เฟรมเดียวกันจากวิดีโอที่บีบอัด; ขวาบน: การเสื่อมสภาพที่คำนวณของเฟรมที่บีบอัด; และขวามือ: ‘พื้นที่ทำงาน’ สำหรับ VOTES ที่จะเน้นไปที่

สำหรับการเปรียบเทียบในภายหลังกับวิธีการแปลงของแพลตฟอร์มอื่นๆ นักวิจัยอัปโหลดวิดีโอ 50 รายการ (ไม่รวมใน 214 รายการแรก) ไปยัง Bilibili, YouTube และ Twitter วิดีโอดั้งเดิมมีความละเอียด 1280×270 และวิดีโอที่ดาวน์โหลดมีความละเอียด 640×360

ซึ่งทำให้ชุดข้อมูล UVSSM มีจำนวนคู่ของวิดีโอ HQ และ LQ ทั้งหมด 364 รายการ โดย 214 รายการสำหรับ WeChat และ 50 รายการสำหรับ Bilibili, YouTube และ Twitter

สำหรับการทดลอง 10 วิดีโอที่เลือกแบบสุ่มใช้เป็นชุดการทดสอบ 4 วิดีโอใช้เป็นชุดตรวจสอบ และ 200 วิดีโอที่เหลือใช้เป็นชุดฝึกอบรมหลัก การทดลองดำเนินการ 5 ครั้งโดยใช้การตรวจสอบข้าม K-fold และผลลัพธ์ถูกเฉลี่ยข้ามกรณีเหล่านี้

ในการทดสอบการฟื้นฟูวิดีโอ VOTES ถูกเปรียบเทียบกับ Spatio-Temporal Deformable Fusion (STDF) สำหรับการเพิ่มความละเอียด VOTES ถูกทดสอบกับ Enhanced Deformable convolutions (EDVR), RSDN, Video Super-resolution with Temporal Group Attention (VSR_TGA) และ BasicVSR วิธีการ single-stage ของ Google ที่เรียกว่า COMISR ก็ถูกนำมาเปรียบเทียบด้วย

วิธีการเหล่านี้ถูกทดสอบกับชุดข้อมูล UVSS และ REDS โดย VOTES สามารถทำคะแนนสูงสุดได้:

นักวิจัยยังอ้างว่าผลลัพธ์ที่มีคุณภาพก็แสดงถึงความเหนือกว่าของ VOTES เมื่อเทียบกับระบบก่อนหน้า:

เฟรมวิดีโอจาก REDS ที่ฟื้นฟูโดยวิธีการที่แข่งขันกัน ความละเอียดที่แสดงเพียงอ้างอิง: ดูเอกสารสำหรับความละเอียดที่แน่นอน