การใช้ AI ในการสรุปวิดีโอ “วิธีการ” ที่ยาว

หากคุณเป็นคนชอบเร่งความเร็วของวิดีโอสอนบน YouTube เพื่อให้ได้ข้อมูลที่คุณต้องการจริงๆ หรือคุณชอบดูคำบรรยายของวิดีโอเพื่อหาข้อมูลที่สำคัญที่ซ่อนอยู่ในวิดีโอที่ยาวและเต็มไปด้วยโฆษณา หรือคุณหวังว่า WikiHow จะสร้างเวอร์ชันที่สั้นกว่าของข้อมูลใน视频สอน ดังนั้นโครงการใหม่จาก UC Berkeley, Google Research และ Brown University อาจเป็นสิ่งที่น่าสนใจสำหรับคุณ

โครงการที่มีชื่อว่า TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency มีรายละเอียดเกี่ยวกับการสร้างระบบสรุปวิดีโอโดยใช้ AI ที่สามารถระบุขั้นตอนที่เกี่ยวข้องจากวิดีโอและทิ้งสิ่งที่ไม่จำเป็น ซึ่งจะทำให้ได้สรุปที่สั้นและตรงประเด็น

การแสวงหาประโยชน์ของ WikiHow จากคลิปวิดีโอที่ยาวสำหรับข้อมูลข้อความและวิดีโอใช้โดยโครงการ IV-Sum เพื่อสร้างสรุปที่ไม่แท้จริงซึ่งให้ข้อมูลที่ถูกต้องในการฝึกอบรมระบบ Source: https://arxiv.org/pdf/2208.06773.pdf

สรุปที่ได้จะมีขนาดเพียงเศษเสี้ยวของวิดีโอต้นฉบับ และข้อมูลหลายรูปแบบ (เช่น ข้อความ) จะถูกบันทึกระหว่างกระบวนการด้วย เพื่อให้ระบบในอนาคตสามารถสร้างโพสต์บล็อกแบบ WikiHow ได้โดยอัตโนมัติ ซึ่งสามารถแยกข้อมูลที่ไม่จำเป็นออกจากวิดีโอสอนได้ และสร้างบทความสั้นที่มีภาพประกอบได้

ระบบใหม่นี้เรียกว่า IV-Sum (‘Instructional Video Summarizer’) และใช้อัลกอริทึมการรู้จำภาพ ResNet-50 ที่เปิดเผยให้ใช้งานฟรี รวมถึงเทคนิคอื่นๆ เพื่อแยกเฟรมและเซ็กเมนต์ที่เกี่ยวข้องจากวิดีโอที่ยาว

กระบวนการทำงานแนวคิดของ IV-Sum

ระบบถูกฝึกอบรมด้วยสรุปที่ไม่แท้จริงที่สร้างจากโครงสร้างเนื้อหาของเว็บไซต์ WikiHow ซึ่งบุคคลจริงๆ มักจะใช้วิดีโอสอนยอดนิยมเพื่อสร้างเนื้อหามัลติมีเดียแบบแบนๆ มากขึ้น โดยใช้คลิปสั้นและภาพเคลื่อนไหวจากวิดีโอสอน

การอภิปรายเกี่ยวกับการใช้สรุปของ WikiHow เป็นข้อมูลที่ถูกต้องสำหรับระบบนี้ ผู้เขียนระบุว่า:

‘แต่ละบทความในเว็บไซต์ WikiHow Videos ประกอบด้วยวิดีโอสอนหลักที่แสดงถึงงานที่มักจะรวมถึงเนื้อหาส่งเสริมการขาย คลิปของวิทยากรที่พูดกับกล้องโดยไม่มีข้อมูลทางภาพของงาน และขั้นตอนที่ไม่จำเป็นต่อการทำงาน

‘ผู้ชมที่ต้องการภาพรวมของงานจะชอบวิดีโอที่สั้นกว่าโดยไม่มีข้อมูลที่ไม่เกี่ยวข้องเหล่านั้น บทความของ WikiHow (เช่น ดูวิธีการทำข้าวซูชิ) มีข้อความที่มีขั้นตอนที่สำคัญทั้งหมดในคลิปวิดีโอที่แสดงพร้อมกับภาพ/คลิปที่แสดงขั้นตอนต่างๆ ของงาน’

ฐานข้อมูลที่ได้จากการเก็บข้อมูลจากเว็บนี้เรียกว่า WikiHow Summaries ฐานข้อมูลประกอบด้วยวิดีโอสอน 2,106 รายการและสรุปที่เกี่ยวข้อง ซึ่งเป็นขนาดของชุดข้อมูลที่ใหญ่กว่าที่มักพบในโครงการสรุปวิดีโอ ซึ่งปกติต้องการการระบุและบันทึกข้อมูลด้วยมืออย่าง耗เวลาและต้องใช้แรงงาน

IV-Sum ใช้การแสดงผลลัพธ์แบบ 3D convolutional neural network แทนที่จะเป็นการแสดงผลลัพธ์แบบเฟรม และการศึกษาการลบส่วนประกอบที่แสดงในเอกสารนี้ยืนยันว่าส่วนประกอบทั้งหมดของแนวทางนี้จำเป็นต่อการทำงานของระบบ

IV-Sum ทดสอบได้ดีกว่าเฟรมเวิร์กที่เทียบเท่า รวมถึง CLIP-It (ซึ่งผู้เขียนบางคนในเอกสารนี้ cũngทำงานด้วย)

IV-Sum ได้คะแนนดีกว่าเมธอดที่เทียบเท่า อาจเป็นเพราะขอบเขตการประยุกต์ใช้ที่จำกัดกว่า เมื่อเทียบกับโครงการสรุปวิดีโอทั่วไป

วิธีการ

ขั้นตอนแรกในกระบวนการสรุปคือการใช้อัลกอริทึมที่ต้องใช้ความพยายามน้อยกว่าและไม่จำเป็นต้องมีการกำกับดูแลมากนักในการสร้างสรุปที่ไม่แท้จริงและคะแนนความสำคัญของเฟรมสำหรับวิดีโอสอนจำนวนมาก โดยมีเพียงป้ายกำกับงานเดียวในแต่ละวิดีโอ

ต่อไป ระบบสรุปสอนจะถูกฝึกอบรมด้วยข้อมูลนี้ ระบบนี้ใช้ข้อความที่ถูกถอดเสียงอัตโนมัติ (เช่น ซับไตเติล AI ที่สร้างโดย YouTube สำหรับวิดีโอ) และวิดีโอที่เป็นแหล่งที่มาเป็นข้อมูลเข้า

ระบบประกอบด้วยตัวเข้ารหัสวิดีโอและตัวแปลงคะแนนเซ็กเมนต์ (SST) และการฝึกอบรมจะถูกชี้นำโดยคะแนนความสำคัญที่กำหนดไว้ในสรุปที่ไม่แท้จริง สรุปสุดท้ายจะถูกสร้างโดยการเชื่อมต่อเซ็กเมนต์ที่ได้คะแนนความสำคัญสูง

จากเอกสาร:

‘ความเข้าใจหลักเบื้องหลังกระบวนการสร้างสรุปที่ไม่แท้จริงของเราคือว่าเมื่อให้วิดีโอที่แสดงถึงงานหลายๆ คลิป ขั้นตอนที่สำคัญมักจะปรากฏขึ้นในหลายๆ คลิป (ความเกี่ยวข้องของงาน)

‘นอกจากนี้ หากขั้นตอนใดขั้นตอนหนึ่งสำคัญ มักจะพูดถึงขั้นตอนนั้นก่อน ระหว่าง หรือหลังการทำงาน ดังนั้นซับไตเติลสำหรับวิดีโอที่ได้มาจากการรู้จำเสียงอัตโนมัติ (ASR) จะอ้างอิงถึงขั้นตอนสำคัญเหล่านั้น (ความสว่างร่วมระหว่างรูปแบบ)’

ในการสร้างสรุปที่ไม่แท้จริง วิดีโอจะถูกแบ่งออกเป็นเซ็กเมนต์อย่างสม่ำเสมอ และเซ็กเมนต์จะถูกจัดกลุ่มตามความคล้ายคลึงกันทางภาพเป็น ‘ขั้นตอน’ (สีที่แตกต่างกันในภาพด้านบน) ขั้นตอนเหล่านี้จะถูกกำหนดคะแนนความสำคัญตาม ‘ความเกี่ยวข้องของงาน’ และ ‘ความสว่างร่วม’ (เช่น ความสัมพันธ์ระหว่างข้อความ ASR และภาพ) ขั้นตอนที่ได้คะแนนสูงจะถูกเลือกให้เป็นตัวแทนของขั้นตอนในสรุปที่ไม่แท้จริง

ระบบใช้ Cross-Modal Saliency เพื่อช่วยในการกำหนดความเกี่ยวข้องของแต่ละขั้นตอน โดยการเปรียบเทียบข้อความที่ถูกตีความกับภาพและการกระทำในวิดีโอ

คะแนนความสำคัญทั่วไปจะถูกคำนวณจากค่าเฉลี่ยของขั้นตอนเหล่านี้

ข้อมูล

ชุดข้อมูลสรุปที่ไม่แท้จริงถูกสร้างขึ้นสำหรับกระบวนการนี้ ซึ่งประกอบด้วยเนื้อหาส่วนใหญ่ของชุดข้อมูลก่อนหน้าสองชุด ได้แก่ COIN ซึ่งเป็นชุดข้อมูลปี 2019 ที่มีวิดีโอสอน 11,000 รายการเกี่ยวกับ 180 งาน และ Cross-Task ซึ่งมีวิดีโอสอน 4,700 รายการ โดย 3,675 รายการถูกใช้ในงานวิจัย

ด้านบน ตัวอย่างจาก COIN; ด้านล่าง ตัวอย่างจาก Cross-Task Sources, ตามลำดับ: https://arxiv.org/pdf/1903.02874.pdf และ https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

โดยใช้วิดีโอที่ปรากฏในทั้งสองชุดข้อมูลเพียงครั้งเดียว นักวิจัยจึงสามารถได้ชุดข้อมูลที่มีวิดีโอสอน 12,160 รายการ โดยครอบคลุม 263 งานที่แตกต่างกัน และ 628.53 ชั่วโมงของเนื้อหา

ในการเติมชุดข้อมูลที่อิงจาก WikiHow และเพื่อให้ข้อมูลที่ถูกต้องสำหรับระบบ ผู้เขียนเก็บข้อมูลจากวิดีโอสอนยาวๆ บน WikiHow รวมทั้งภาพและคลิปวิดีโอที่เกี่ยวข้องกับขั้นตอนแต่ละขั้นตอน

คุณลักษณะที่ถูกดึงมาจาก ResNet50 ถูกใช้ในการจับคู่ส่วนของวิดีโอที่ถูกเลือกจากภาพของ WikiHow และทำการระบุตำแหน่งของขั้นตอน

คลิปสั้นๆ เหล่านี้ถูกตัดต่อเข้าด้วยกันเพื่อสร้างวิดีโอที่จะประกอบเป็นข้อมูลที่ถูกต้องสำหรับการฝึกอบรมแบบจำลอง

ป้ายกำกับถูกกำหนดให้กับเฟรมแต่ละเฟรมในวิดีโอที่เข้ามา เพื่อระบุว่าเฟรมนั้นเป็นส่วนหนึ่งของสรุปหรือไม่ โดยแต่ละวิดีโอรับป้ายกำกับระดับเฟรมแบบไบนารี่และคะแนนสรุปที่เฉลี่ยจากคะแนนความสำคัญของเฟรมในเซ็กเมนต์

ในขั้นตอนนี้ ‘ขั้นตอน’ ในวิดีโอสอนแต่ละวิดีโอจะถูกเชื่อมโยงกับข้อมูลข้อความและป้ายกำกับ

การฝึกอบรม การทดสอบ และมาตรการ

ชุดข้อมูล WikiHow สุดท้ายถูกแบ่งออกเป็นวิดีโอทดสอบ 1,339 รายการ และวิดีโอยืนยัน 768 รายการ ซึ่งเป็นการเพิ่มขึ้นอย่างมีนัยสำคัญจากขนาดเฉลี่ยของชุดข้อมูลที่ไม่ใช่ข้อมูลดิบที่อุทิศให้กับการวิเคราะห์วิดีโอ

ตัวเข้ารหัสวิดีโอและข้อความในเครือข่ายใหม่ถูกฝึกอบรมร่วมกันบนเครือข่าย S3D โดยมีน้ำหนักที่โหลดจากแบบจำลอง HowTo100M ที่ฝึกอบรมไว้ก่อนหน้านี้ภายใต้ข้อเสีย MIL-NCE

แบบจำลองถูกฝึกอบรมด้วยตัวเพิ่มประสิทธิภาพ Adam โดยมีอัตราการเรียนรู้ 0.01 และขนาดแบตช์ 24 โดยใช้การเชื่อมต่อข้อมูลแบบกระจายเพื่อกระจายการฝึกอบรมไปทั่ว 8 GPU NVIDIA RTX 2080 โดยมี VRAM ทั้งหมด 24GB

IV-Sum ถูกเปรียบเทียบกับสถานการณ์ต่างๆ สำหรับ CLIP-It ตามงานก่อนหน้า โดยใช้เมตริก เช่น ค่า Precision, Recall และ F-Score ที่ไม่ได้รับการดูแล โดยใช้ฐานที่ไม่ได้รับการดูแลสามฐาน (ดูรายละเอียดในเอกสาร)

ผลลัพธ์ถูกแสดงไว้ในภาพก่อนหน้า แต่นักวิจัยระบุเพิ่มเติมว่า CLIP-It พลาดขั้นตอนที่เป็นไปได้หลายขั้นตอนในหลายขั้นตอนของการทดสอบ ซึ่ง IV-Sum ไม่พลาด นักวิจัยให้เหตุผลว่านี่อาจเป็นเพราะ CLIP-It ถูกฝึกอบรมและพัฒนาด้วยชุดข้อมูลที่เล็กกว่ามากเมื่อเทียบกับชุดข้อมูล WikiHow ใหม่

ผลกระทบ

คุณค่าที่อาจเกิดขึ้นในระยะยาวของการวิจัยสายนี้ (ซึ่ง IV-Sum มีเหมือนกับความท้าทายในการวิเคราะห์วิดีโอทั่วไป) อาจเป็นการทำให้วิดีโอสอนสามารถเข้าถึงดัชนีของเครื่องมือค้นหาทั่วไปได้ และทำให้สามารถสร้าง ‘ส่วนตัด’ ในผลลัพธ์ของการค้นหาที่สามารถแยกข้อมูลที่ไม่จำเป็นออกจากวิดีโอสอนได้

เห็นได้ชัดว่าการพัฒนาระบบที่ช่วยลดภาระในการให้ความสนใจแบบเชิงเส้นและเอกสิทธิ์เฉพาะตัวต่อเนื้อหาวิดีโออาจมีผลกระทบต่อความน่าสนใจของสื่อต่อผู้ทำการตลาดที่รู้สึกว่าความไม่โปร่งใสของวิดีโอเป็นวิธีเดียวที่พวกเขาสามารถดึงดูดเราได้

ด้วยการระบุตำแหน่งของ ‘เนื้อหาที่มีค่า’ ที่ยากต่อการระบุ ผู้บริโภคสื่อได้ให้ความอดทนอย่างกว้างขวางต่อวิดีโอที่มีโฆษณาและเนื้อหาที่ไม่เกี่ยวข้อง Projects เช่น IV-Sum มีความหวังว่าในอนาคต ส่วนย่อยของเนื้อหาวิดีโอจะกลายเป็นรูปแบบที่สามารถแยกออกจาก ‘น้ำหนัก’ ของการโฆษณาและเนื้อหาที่ไม่เกี่ยวข้องได้

เผยแพร่ครั้งแรกเมื่อวันที่ 16 สิงหาคม 2022 อัปเดตเวลา 14.52 น. ของวันที่ 16 สิงหาคม โดยลบคำว่าซ้ำ