มุมมองของ Anderson
การใช้ AI ในการสรุปวิดีโอ “วิธีการ” ที่ยาว

ประเด็นสำคัญIV-Sum ใช้บทสรุปที่มีโครงสร้างของ WikiHow…
ดูเพิ่มเติม
- IV-Sum ใช้บทสรุปที่มีโครงสร้างของ WikiHow เป็นข้อมูลอ้างอิงเพื่อฝึกการสรุปวิดีโอโดยไม่ต้องติดฉลากด้วยมือ
- ระบบจะละทิ้งเนื้อหาส่งเสริมการขายและส่วนที่ไม่จำเป็นเพื่อสร้างบทสรุปที่มีระยะเวลาเพียงเศษเสี้ยวของวิดีโอต้นฉบับ
- ความเด่นชัดข้ามรูปแบบระหว่างคำพูดและภาพช่วยให้ IV-Sum ระบุขั้นตอนสำคัญในวิดีโอคำแนะนำหลายรายการ
หากคุณเป็นคนชอบเร่งความเร็วของวิดีโอสอนบน YouTube เพื่อให้ได้ข้อมูลที่คุณต้องการจริงๆ หรือคุณชอบดูคำบรรยายของวิดีโอเพื่อหาข้อมูลที่สำคัญที่ซ่อนอยู่ในวิดีโอที่ยาวและเต็มไปด้วยโฆษณา หรือคุณหวังว่า WikiHow จะสร้างเวอร์ชันที่สั้นกว่าของข้อมูลในวิดีโอสอน ดังนั้นโครงการใหม่จาก UC Berkeley, Google Research และ Brown University อาจเป็นสิ่งที่น่าสนใจสำหรับคุณ
โครงการที่มีชื่อว่า TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency บทความวิจัยใหม่นี้อธิบายการสร้างระบบสรุปวิดีโอโดยใช้ AI ที่สามารถระบุขั้นตอนที่เกี่ยวข้องจากวิดีโอและทิ้งสิ่งที่ไม่จำเป็น ซึ่งจะทำให้ได้สรุปที่สั้นและตรงประเด็น

การแสวงหาประโยชน์ของ WikiHow จากคลิปวิดีโอที่ยาวสำหรับข้อมูลข้อความและวิดีโอใช้โดยโครงการ IV-Sum เพื่อสร้างสรุปจำลองซึ่งให้ข้อมูลที่ถูกต้องในการฝึกอบรมระบบ Source: https://arxiv.org/pdf/2208.06773.pdf
สรุปที่ได้จะมีขนาดเพียงเศษเสี้ยวของวิดีโอต้นฉบับ และข้อมูลหลายรูปแบบ (เช่น ข้อความ) จะถูกบันทึกระหว่างกระบวนการด้วย เพื่อให้ระบบในอนาคตสามารถสร้างโพสต์บล็อกแบบ WikiHow ได้โดยอัตโนมัติ ซึ่งสามารถแยกข้อมูลที่ไม่จำเป็นออกจากวิดีโอสอนได้ และสร้างบทความสั้นที่มีภาพประกอบได้
ระบบใหม่นี้เรียกว่า IV-Sum (‘Instructional Video Summarizer’) และใช้อัลกอริทึมการรู้จำภาพแบบโอเพนซอร์ส ResNet-50 รวมถึงเทคนิคอื่นๆ เพื่อแยกเฟรมและเซ็กเมนต์ที่เกี่ยวข้องจากวิดีโอที่ยาว
ระบบถูกฝึกอบรมด้วยสรุปจำลองที่สร้างจากโครงสร้างเนื้อหาของเว็บไซต์ WikiHow ซึ่งบุคคลจริงๆ มักจะใช้วิดีโอสอนยอดนิยมเพื่อสร้างเนื้อหามัลติมีเดียแบบแบนๆ มากขึ้น โดยใช้คลิปสั้นและภาพเคลื่อนไหวจากวิดีโอสอน
การอภิปรายเกี่ยวกับการใช้สรุปของ WikiHow เป็นข้อมูลที่ถูกต้องสำหรับระบบนี้ ผู้เขียนระบุว่า:
‘แต่ละบทความในเว็บไซต์ WikiHow Videos ประกอบด้วยวิดีโอสอนหลักที่แสดงถึงงานที่มักจะรวมถึงเนื้อหาส่งเสริมการขาย คลิปของวิทยากรที่พูดกับกล้องโดยไม่มีข้อมูลทางภาพของงาน และขั้นตอนที่ไม่จำเป็นต่อการทำงาน
‘ผู้ชมที่ต้องการภาพรวมของงานจะชอบวิดีโอที่สั้นกว่าโดยไม่มีข้อมูลที่ไม่เกี่ยวข้องเหล่านั้น บทความของ WikiHow (เช่น ดูวิธีทำข้าวซูชิ) มีข้อความที่มีขั้นตอนที่สำคัญทั้งหมดในคลิปวิดีโอที่แสดงพร้อมกับภาพ/คลิปที่แสดงขั้นตอนต่างๆ ของงาน’
ฐานข้อมูลที่ได้จากการเก็บข้อมูลจากเว็บนี้เรียกว่า WikiHow Summaries ฐานข้อมูลประกอบด้วยวิดีโอสอน 2,106 รายการและสรุปที่เกี่ยวข้อง ซึ่งเป็นขนาดของชุดข้อมูลที่ใหญ่กว่าที่มักพบในโครงการสรุปวิดีโอ ซึ่งปกติต้องติดป้ายกำกับและใส่คำอธิบายด้วยมือโดยมีต้นทุนสูงและใช้แรงงานมาก งานใหม่นี้ทำให้กระบวนการดังกล่าวเป็นอัตโนมัติได้เป็นส่วนใหญ่ เพราะจำกัดขอบเขตไว้ที่การสรุปวิดีโอสอนแทนวิดีโอทั่วไป
IV-Sum ใช้ตัวแทนข้อมูลเชิงเวลาจากโครงข่ายประสาทเทียมคอนโวลูชันสามมิติ แทนที่จะเป็นการแสดงผลลัพธ์แบบเฟรม และการศึกษาการลบส่วนประกอบที่แสดงในเอกสารนี้ยืนยันว่าส่วนประกอบทั้งหมดของแนวทางนี้จำเป็นต่อการทำงานของระบบ
IV-Sum ทดสอบได้ดีกว่าเฟรมเวิร์กที่เทียบเท่า รวมถึง CLIP-It (ซึ่งผู้เขียนบางคนในเอกสารนี้ ก็เคยร่วมพัฒนาด้วย)

IV-Sum ได้คะแนนดีกว่าเมธอดที่เทียบเท่า อาจเป็นเพราะขอบเขตการประยุกต์ใช้ที่จำกัดกว่า เมื่อเทียบกับโครงการสรุปวิดีโอทั่วไป รายละเอียดของตัวชี้วัดและวิธีให้คะแนนอยู่ในส่วนถัดไปของบทความนี้
วิธีการ
ขั้นตอนแรกในกระบวนการสรุปคือการใช้อัลกอริทึมที่ต้องใช้ความพยายามน้อยกว่าและไม่จำเป็นต้องมีการกำกับดูแลมากนักในการสร้างสรุปจำลองและคะแนนความสำคัญรายเฟรมสำหรับวิดีโอสอนจำนวนมากที่รวบรวมจากเว็บ โดยมีเพียงป้ายกำกับงานเดียวในแต่ละวิดีโอ
ต่อไป ระบบสรุปสอนจะถูกฝึกอบรมด้วยข้อมูลนี้ ระบบนี้ใช้ข้อความที่ถูกถอดเสียงอัตโนมัติ (เช่น ซับไตเติล AI ที่สร้างโดย YouTube สำหรับวิดีโอ) และวิดีโอที่เป็นแหล่งที่มาเป็นข้อมูลเข้า
ระบบประกอบด้วยตัวเข้ารหัสวิดีโอและโมเดลทรานส์ฟอร์เมอร์สำหรับให้คะแนนเซ็กเมนต์ (SST) และการฝึกอบรมจะถูกชี้นำโดยคะแนนความสำคัญที่กำหนดไว้ในสรุปจำลอง สรุปสุดท้ายจะถูกสร้างโดยการเชื่อมต่อเซ็กเมนต์ที่ได้คะแนนความสำคัญสูง
จากเอกสาร:
‘ความเข้าใจหลักเบื้องหลังกระบวนการสร้างสรุปจำลองของเราคือว่าเมื่อให้วิดีโอที่แสดงถึงงานหลายๆ คลิป ขั้นตอนที่สำคัญมักจะปรากฏขึ้นในหลายๆ คลิป (ความเกี่ยวข้องของงาน)
‘นอกจากนี้ หากขั้นตอนใดขั้นตอนหนึ่งสำคัญ มักจะพูดถึงขั้นตอนนั้นก่อน ระหว่าง หรือหลังการทำงาน ดังนั้นซับไตเติลสำหรับวิดีโอที่ได้มาจากการรู้จำเสียงอัตโนมัติ (ASR) จะอ้างอิงถึงขั้นตอนสำคัญเหล่านั้น (ความเด่นข้ามรูปแบบข้อมูล)’

ในการสร้างสรุปจำลอง วิดีโอจะถูกแบ่งออกเป็นเซ็กเมนต์อย่างสม่ำเสมอ และเซ็กเมนต์จะถูกจัดกลุ่มตามความคล้ายคลึงกันทางภาพเป็น ‘ขั้นตอน’ (สีที่แตกต่างกันในภาพด้านบน) ขั้นตอนเหล่านี้จะถูกกำหนดคะแนนความสำคัญตาม ‘ความเกี่ยวข้องของงาน’ และ ‘ความเด่นข้ามรูปแบบข้อมูล’ (เช่น ความสัมพันธ์ระหว่างข้อความ ASR และภาพ) ขั้นตอนที่ได้คะแนนสูงจะถูกเลือกให้เป็นตัวแทนของขั้นตอนในสรุปจำลอง
ระบบใช้ Cross-Modal Saliency เพื่อช่วยในการกำหนดความเกี่ยวข้องของแต่ละขั้นตอน โดยเปรียบเทียบคำพูดที่ตีความได้กับภาพและการกระทำในวิดีโอ กระบวนการนี้ใช้โมเดลวิดีโอ–ข้อความที่ฝึกไว้แล้ว โดยฝึกองค์ประกอบร่วมกันภายใต้ฟังก์ชันความสูญเสีย MIL-NCE และใช้ตัวเข้ารหัสวิดีโอ 3D CNNที่พัฒนาโดย DeepMind และผู้ร่วมงาน
คะแนนความสำคัญทั่วไปจะถูกคำนวณจากค่าเฉลี่ยของขั้นตอนเหล่านี้
ข้อมูล
ชุดข้อมูลสรุปจำลองถูกสร้างขึ้นสำหรับกระบวนการนี้ ซึ่งประกอบด้วยเนื้อหาส่วนใหญ่ของชุดข้อมูลก่อนหน้าสองชุด ได้แก่ COIN ซึ่งเป็นชุดข้อมูลปี 2019 ที่มีวิดีโอสอน 11,000 รายการเกี่ยวกับ 180 งาน และ Cross-Task ซึ่งมีวิดีโอสอน 4,700 รายการ โดย 3,675 รายการถูกใช้ในงานวิจัย Cross-Task ครอบคลุม 83 งานที่แตกต่างกัน

ด้านบน ตัวอย่างจาก COIN; ด้านล่าง ตัวอย่างจาก Cross-Task Sources, ตามลำดับ: https://arxiv.org/pdf/1903.02874.pdf และ https://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf
โดยใช้วิดีโอที่ปรากฏในทั้งสองชุดข้อมูลเพียงครั้งเดียว นักวิจัยจึงสามารถได้ชุดข้อมูลที่มีวิดีโอสอน 12,160 รายการ โดยครอบคลุม 263 งานที่แตกต่างกัน และ 628.53 ชั่วโมงของเนื้อหา
ในการเติมชุดข้อมูลที่อิงจาก WikiHow และเพื่อให้ข้อมูลที่ถูกต้องสำหรับระบบ ผู้เขียนเก็บข้อมูลจากวิดีโอสอนยาวๆ บน WikiHow รวมทั้งภาพและคลิปวิดีโอหรือ GIF ที่เกี่ยวข้องกับแต่ละขั้นตอน โครงสร้างเนื้อหาที่ WikiHow สร้างขึ้นจึงเป็นแม่แบบสำหรับแยกขั้นตอนในระบบใหม่
คุณลักษณะที่ถูกดึงมาจาก ResNet50 ถูกใช้ในการจับคู่ส่วนของวิดีโอที่ถูกเลือกจากภาพของ WikiHow และระบุตำแหน่งของขั้นตอน ภาพที่คล้ายกันมากที่สุดภายในช่วงวิดีโอห้าวินาทีถูกใช้เป็นจุดอ้างอิง
คลิปสั้นๆ เหล่านี้ถูกตัดต่อเข้าด้วยกันเพื่อสร้างวิดีโอที่จะประกอบเป็นข้อมูลที่ถูกต้องสำหรับการฝึกอบรมแบบจำลอง
ป้ายกำกับถูกกำหนดให้กับเฟรมแต่ละเฟรมในวิดีโอที่เข้ามา เพื่อระบุว่าเฟรมนั้นเป็นส่วนหนึ่งของสรุปหรือไม่ โดยแต่ละวิดีโอรับป้ายกำกับระดับเฟรมแบบไบนารี่และคะแนนสรุปที่เฉลี่ยจากคะแนนความสำคัญของเฟรมในเซ็กเมนต์
ในขั้นตอนนี้ ‘ขั้นตอน’ ในวิดีโอสอนแต่ละวิดีโอจะถูกเชื่อมโยงกับข้อมูลข้อความและป้ายกำกับ
การฝึกอบรม การทดสอบ และมาตรการ
ชุดข้อมูล WikiHow สุดท้ายถูกแบ่งออกเป็นวิดีโอทดสอบ 1,339 รายการ และวิดีโอยืนยัน 768 รายการ ซึ่งเป็นการเพิ่มขึ้นอย่างมีนัยสำคัญจากขนาดเฉลี่ยของชุดข้อมูลที่ไม่ใช่ข้อมูลดิบที่อุทิศให้กับการวิเคราะห์วิดีโอ
ตัวเข้ารหัสวิดีโอและข้อความในเครือข่ายใหม่ถูกฝึกอบรมร่วมกันบนเครือข่าย S3D โดยโหลดค่าน้ำหนักจากโมเดล HowTo100M ที่ฝึกไว้ล่วงหน้า ภายใต้ฟังก์ชันความสูญเสีย MIL-NCE
แบบจำลองถูกฝึกอบรมด้วยตัวเพิ่มประสิทธิภาพ Adam โดยมีอัตราการเรียนรู้ 0.01 และขนาดแบตช์ 24 โดยใช้การเชื่อมต่อข้อมูลแบบกระจายเพื่อกระจายการฝึกอบรมไปทั่ว 8 GPU NVIDIA RTX 2080 โดยมี VRAM ทั้งหมด 24GB
จากนั้นเปรียบเทียบ IV-Sum กับ CLIP-It ในหลายการตั้งค่า ตามงานวิจัยที่คล้ายกันก่อนหน้านี้ รวมถึงการศึกษา CLIP-It ตัวชี้วัดคือ Precision, Recall และ F-Score บนวิธีอ้างอิงแบบไม่มีผู้สอนสามวิธี ดูรายละเอียดในบทความวิจัย
ผลลัพธ์ถูกแสดงไว้ในภาพก่อนหน้า แต่นักวิจัยระบุเพิ่มเติมว่า CLIP-It พลาดขั้นตอนที่เป็นไปได้หลายขั้นตอนในหลายขั้นตอนของการทดสอบ ซึ่ง IV-Sum ไม่พลาด นักวิจัยให้เหตุผลว่านี่อาจเป็นเพราะ CLIP-It ถูกฝึกอบรมและพัฒนาด้วยชุดข้อมูลที่เล็กกว่ามากเมื่อเทียบกับชุดข้อมูล WikiHow ใหม่
ผลกระทบ
คุณค่าที่อาจเกิดขึ้นในระยะยาวของการวิจัยสายนี้ (ซึ่ง IV-Sum มีเหมือนกับความท้าทายในการวิเคราะห์วิดีโอทั่วไป) อาจเป็นการทำให้วิดีโอสอนสามารถเข้าถึงดัชนีของเครื่องมือค้นหาทั่วไปได้ และสร้างข้อความสรุปในผลการค้นหาสำหรับวิดีโอ เช่นเดียวกับที่ Google มักดึงข้อความจากบทความยาวทั่วไป
เห็นได้ชัดว่าการพัฒนากระบวนการที่อาศัย AI ไม่ว่าชนิดใด ซึ่งช่วยลดภาระในการให้ความสนใจแบบเชิงเส้นและเอกสิทธิ์เฉพาะตัวต่อเนื้อหาวิดีโออาจมีผลกระทบต่อความน่าสนใจของสื่อต่อผู้ทำการตลาดที่รู้สึกว่าความไม่โปร่งใสของวิดีโอเป็นวิธีเดียวที่พวกเขาสามารถดึงดูดเราได้
ด้วยการระบุตำแหน่งของ ‘เนื้อหาที่มีค่า’ ที่ยากต่อการระบุ ผู้ชมจึงยอมทนอย่างกว้างขวางแม้ไม่เต็มใจกับการวางสินค้า ช่วงสปอนเซอร์ และการยกย่องตัวเองของผู้สร้าง ซึ่งมักห้อมล้อมสาระที่แท้จริงของวิดีโอ โครงการอย่าง IV-Sum ให้ความหวังว่าส่วนย่อยของวิดีโอจะระบุและแยกออกจากสิ่งที่หลายคนมองว่าเป็นภาระ ได้แก่ โฆษณาที่แทรกในเนื้อหาและการพูดนอกเรื่องที่ไม่ให้สาระ
เผยแพร่ครั้งแรกเมื่อวันที่ 16 สิงหาคม 2022 อัปเดตเวลา 14.52 น. ของวันที่ 16 สิงหาคม โดยลบคำว่าซ้ำ













