ความท้าทายในการใส่คำบรรยายวิดีโอที่มากกว่า 1fps

ความสามารถของระบบการเรียนรู้ของเครื่องจักรในการตระหนักถึงเหตุการณ์ที่เกิดขึ้นภายในวิดีโอนั้นเป็นสิ่งสำคัญสำหรับอนาคตของการสร้างวิดีโอด้วย AI – ไม่ว่าจะเป็นเพราะว่าชุดข้อมูลวิดีโอต้องการคำบรรยายที่แม่นยำเพื่อสร้างแบบจำลองที่สอดคล้องกับการร้องขอของผู้ใช้ และไม่ทำให้ hallucinate มากเกินไป

ตัวอย่างของการใส่คำบรรยายวิดีโอจากโครงการ VidReCap ของ Google Source: https://sites.google.com/view/vidrecap

การใส่คำบรรยายวิดีโอโดยมือเป็นเรื่องที่ไม่สมควรทำสำหรับชุดข้อมูลที่ต้องการสำหรับการฝึกอบรมที่มีประสิทธิภาพ แม้ว่าจะเป็นไปได้ที่จะฝึกอบรมระบบ AI ให้สามารถใส่คำบรรยายวิดีโอโดยอัตโนมัติ แต่ก็ยังต้องการตัวอย่างที่สร้างโดยมนุษย์เป็นจำนวนมากเพื่อใช้เป็นข้อมูลอ้างอิงสำหรับการตรวจสอบและความครอบคลุม

สิ่งที่สำคัญกว่านั้นคือระบบการใส่คำบรรยายวิดีโอที่ใช้ AI ส่วนใหญ่ ทำงานที่ 1fps ซึ่งไม่ใช่อัตราการบันทึกที่หนาแน่นพอที่จะแยกแยะความแตกต่างในหลายๆ สถานการณ์: การเปลี่ยนแปลงของสีหน้าที่รวดเร็วสำหรับระบบการรู้จำอารมณ์; เหตุการณ์ที่รวดเร็วในกีฬาที่มีความเร็วสูง เช่น บาสเก็ตบอล; การเคลื่อนไหวที่รวดเร็ว; การตัดต่อที่รวดเร็วในภาพยนตร์แนวดราม่า ซึ่งระบบ เช่น PySceneDetect อาจล้มเหลวในการระบุหรือไม่ได้ถูกใช้; และหลายๆ สถานการณ์อื่นๆ ที่ช่วงการสนใจที่ชัดเจนจำเป็นต้องมีการบันทึกที่หนาแน่นยิ่งขึ้น

คลิกเพื่อดูวิดีโอ การกระทำที่รวดเร็วแต่เปลี่ยนแปลงชีวิตในกีฬาที่อาจเป็นหนึ่งในกีฬาที่ช้าที่สุดในโลก เมื่อ Alex Higgins ชนะการแข่งขันชิงแชมป์โลกกับ Ray Reardon ในปี 1982 Source: https://www.youtube.com/watch?v=_1PuqKno_Ok

การเคลื่อนที่เร็วและทำลายตรรกะ

อัตราที่ต่ำนี้เป็นมาตรฐานสำหรับหลายๆ เหตุผล หนึ่งในนั้นคือการใส่คำบรรยายวิดีโอเป็นกิจกรรมที่ใช้ทรัพยากรมาก ไม่ว่าจะเป็นระบบที่ศึกษเฟรมต่อเฟรมหรือใช้วิธีการต่างๆ เพื่อให้คำบรรยายที่สามารถเข้าใจได้จากชุดเฟรม ในทั้งสองกรณี ช่วงเวลาบริบท ถูกจำกัดโดยข้อจำกัดของฮาร์ดแวร์

อีกเหตุผลหนึ่งที่ 1fps เป็นมาตรฐานในปัจจุบันคือวิดีโอทั่วไปไม่ได้มีเหตุการณ์ที่รวดเร็วมากนัก ดังนั้นจึงไม่จำเป็นต้องให้ความสนใจ 300 เฟรมของโต๊ะสนุ๊กเกอร์ที่ไม่มีการเคลื่อนไหวเหมือนกับช่วงเวลาที่ลูกบอลดำถูกตีเข้าไปในหลุมและชนะการแข่งขัน (ดูตัวอย่างด้านบน)

สามารถใช้คำใบ้ทางอ้อมเพื่อระบุเหตุการณ์สำคัญในกีฬาวิดีโอ เช่น การตอบสนองของฝูงชนต่อการกระทำที่รวดเร็วในเกมบาสเก็ตบอล อย่างไรก็ตาม สิ่งเหล่านี้อาจเกิดขึ้นจากเหตุผลอื่นๆ (เช่น การบาดเจ็บของผู้เล่น) และไม่สามารถพึ่งพาได้ นี่เป็นตัวอย่างหนึ่งของวิธีการที่ชุดข้อมูลวิดีโอที่มีคำบรรยายที่ไม่ถูกต้องสามารถนำไปสู่แบบจำลองการสร้างวิดีโอที่ hallucinate หรือตีความคำสั่งผิดๆ

F-16

บทความใหม่จากประเทศจีนกำลังนำเสนอคำตอบในรูปแบบของ แบบจำลองภาษาขนาดใหญ่หลายรูปแบบ (MLLM) แรกที่สามารถวิเคราะห์วิดีโอได้ที่ 16fps แทนที่จะเป็น 1fps ที่เป็นมาตรฐานในปัจจุบัน โดยไม่ตกไปในอุปสรรคหลักของการเพิ่มอัตราการวิเคราะห์

ในการทดสอบ ระบบใหม่นี้ซึ่งมีชื่อว่า F-16 อ้างว่าสามารถเอาชนะแบบจำลองที่เป็นกรรมสิทธิ์ เช่น GPT-4o และ Google’s Gemini-1.5 pro ในขณะที่แบบจำลองอื่นๆ ที่มีอยู่ในปัจจุบันสามารถเทียบหรือเกินผลลัพธ์ของ F-16 ในการทดสอบ แต่แบบจำลองเหล่านั้นมีขนาดใหญ่และซับซ้อนกว่า

แม้ว่า F-16 จะถูกฝึกอบรมบนฮาร์ดแวร์ที่มีประสิทธิภาพสูง (ซึ่งเราจะพิจารณาในภายหลัง) แต่การอนุมาน (inference) มักจะใช้ทรัพยากรน้อยกว่าการฝึกอบรม ดังนั้นเราจึงหวังว่ารหัส (ซึ่งได้รับการสัญญาว่าจะปล่อยออกมาในอนาคตอันใกล้) จะสามารถทำงานบน GPU ระดับกลางหรือสูงได้

ไปไกลกว่าการขยายขนาด

ผู้เขียนสังเกตว่าการเข้าใกล้นี้เป็นทางเลือกที่เป็นไปได้มากกว่าการขยายขนาดชุดข้อมูล หนึ่งสามารถอนุมานได้ว่าถ้าจะเพิ่มขนาดชุดข้อมูล การเข้าใกล้นี้ก็ยังคงเป็นทางเลือกที่ดี เพราะระบบใหม่นี้แยกแยะเหตุการณ์ได้ละเอียดกว่า

พวกเขากล่าวว่า:

‘การบันทึกเฟรมที่มีอัตราต่ำอาจทำให้สูญเสียข้อมูลภาพที่สำคัญ โดยเฉพาะอย่างยิ่งในวิดีโอที่มีฉากที่เปลี่ยนแปลงอย่างรวดเร็ว หรือมีรายละเอียดที่ซับซ้อน หรือมีการเคลื่อนไหวที่รวดเร็ว นอกจากนี้ หากเฟรมสำคัญถูกพลาด แต่แบบจำลองถูกฝึกอบรมบนป้ายกำกับ (label) ที่พึ่งพาเฟรมสำคัญ แบบจำลองอาจต้องดิ้นรนในการจัดตำแหน่งการคาดการณ์ของมันกับเนื้อหาที่คาดหวัง ซึ่งอาจนำไปสู่การ hallucinate และประสิทธิภาพที่ลดลง…

‘… F-16 ประสบความสำเร็จในการทำงานที่ดีที่สุดในด้านการถาม-ตอบวิดีโอโดยทั่วไปในหมู่แบบจำลองที่มีขนาดใกล้เคียง และแสดงให้เห็นถึงความได้เปรียบชัดเจนในการทำความเข้าใจวิดีโอที่มีอัตราเฟรมสูง โดยเอาชนะแบบจำลองที่เป็นกรรมสิทธิ์ เช่น GPT-4o นี่เปิดโอกาสใหม่ๆ สำหรับการพัฒนาการทำความเข้าใจวิดีโอที่มีอัตราเฟรมสูงในงานวิจัย MLLM’

บทความใหม่นี้มีชื่อว่า การปรับปรุงความเข้าใจวิดีโอของ MLLM ด้วย 16 เฟรมต่อวินาที และมาจากผู้เขียน 8 คนจาก Tsinghua University และ ByteDance

วิธีการ

เนื่องจากเฟรมที่ต่อเนื่องกันมักจะมีข้อมูลที่ซ้ำกัน F-16 ใช้เครื่องมือจัดตำแหน่งเฟรมที่มีอัตราสูงเพื่อบีบอัดและเข้ารหัสรายละเอียดการเคลื่อนไหวที่สำคัญ ในขณะที่ยังคงรักษาไว้ซึ่ง语义ที่มองเห็นได้ แต่ละเฟรมจะถูกประมวลผลโดยตัวเข้ารหัสภาพที่ได้รับการฝึกอบรมล่วงหน้า โดยการถอดรหัสการแสดงผลลักษณะก่อนที่จะส่งไปยังเครื่องมือจัดตำแหน่งที่ใช้ Gaussian Error Linear Units (GELUs)

สถาปัตยกรรมของ F-16 ประมวลผลวิดีโอที่ 16 FPS โดยการบันทึกเฟรมที่มากกว่าแบบจำลองที่มีอัตราเฟรมต่ำ และเครื่องมือจัดตำแหน่งเฟรมที่มีอัตราสูงช่วยรักษาไว้ซึ่ง语义ที่มองเห็นได้ ในขณะที่เข้ารหัสการเคลื่อนไหวได้อย่างมีประสิทธิภาพโดยไม่ต้องเพิ่มโทเค็นภาพ Source: https://arxiv.org/pdf/2503.13956

เพื่อจัดการเฟรมที่เพิ่มขึ้นอย่างมีประสิทธิภาพ F-16 จัดกลุ่มเฟรมเป็นหน้าต่างการประมวลผลที่เล็กๆ โดยการรวมลักษณะภาพโดยใช้ Multi-Layer Perceptron (MLP) 3 ชั้น ช่วยให้รักษาเฉพาะรายละเอียดการเคลื่อนไหวที่เกี่ยวข้องมากที่สุด และลดการซ้ำซ้อนโดยไม่จำเป็น ในขณะที่ยังคงรักษากระแสการกระทำตามลำดับเวลา

โทเค็นวิดีโอที่ประมวลผลแล้วจะถูกส่งไปยัง Qwen2-7B ซึ่งเป็นแบบจำลองภาษาขนาดใหญ่ (LLM) เพื่อสร้างคำตอบข้อความตามลักษณะภาพที่ถอดรหัสและคำสั่งผู้ใช้ที่กำหนด

รูปแบบที่ย่อ

F-16 ขยาย LLaVA-OneVision ซึ่งเป็นแบบจำลองภาษาขนาดใหญ่สำหรับภาพ เพื่อประมวลผลวิดีโอโดยการเปลี่ยนแปลงไปป์ไลน์การประมวลผลภาพของมัน ในขณะที่แบบจำลองภาพทั่วไปจัดการเฟรมแยกกัน F-16 ใช้เครื่องมือจัดตำแหน่งเฟรมที่มีอัตราสูงเพื่อแปลงหลายเฟรมให้เป็นรูปแบบที่แบบจำลองสามารถประมวลผลได้อย่างมีประสิทธิภาพมากขึ้น ซึ่งช่วยหลีกเลี่ยงการให้ข้อมูลที่ซ้ำซ้อนกับระบบ

เพื่อให้เข้ากันได้กับฐานรากของภาพ F-16 ใช้พารามิเตอร์ที่ได้รับการฝึกอบรมล่วงหน้าโดยการเปลี่ยนเครื่องมือจัดตำแหน่งให้เป็น เมทริกซ์ย่อย วิธีนี้ช่วยให้แบบจำลองสามารถรวมความรู้จากแบบจำลองเฟรมเดียวเข้ากับการประมวลผลวิดีโอที่ต่อเนื่องกัน

การปรับเปลี่ยนความเร็ว

เนื่องจากการประมวลผลวิดีโอที่ 16 FPS เพิ่มความเข้าใจการเคลื่อนไหว แต่เพิ่มค่าใช้จ่ายในการคำนวณ โดยเฉพาะอย่างยิ่งในช่วงอนุมาน F-16 นำเสนอวิธีการ การถอดรหัสเฟรมที่มีอัตราเร็วต่อเนื่อง ซึ่งช่วยให้สามารถปรับอัตราเฟรมได้อย่างมีประสิทธิภาพโดยไม่ต้องฝึกอบรมใหม่

เครื่องมือจัดตำแหน่งเฟรมเดียวและเฟรมที่มีอัตราสูงของ F-16

ความยืดหยุ่นนี้ช่วยให้แบบจำลองสามารถทำงานได้อย่างมีประสิทธิภาพที่อัตราเฟรมต่ำกว่าเมื่อความแม่นยำสูงไม่จำเป็น และลดค่าใช้จ่ายในการคำนวณ

ในช่วงการทดสอบ เมื่ออัตราเฟรมที่ต่ำกว่าถูกเลือก F-16 ใช้พารามิเตอร์ของเครื่องมือจัดตำแหน่งที่ได้รับการฝึกอบรมล่วงหน้าโดยการทำซ้ำเฟรมอินพุตเพื่อให้ตรงกับขนาดที่คาดหวัง

ข้อมูลและการทดสอบ

F-16 ถูกสร้างขึ้นบน Qwen2-7B และขยาย LLaVA-OneVision โดยใช้ SigLIP เป็นตัวเข้ารหัสภาพ

สำหรับการฝึกอบรม F-16 ใช้ชุดข้อมูลวิดีโอทั่วไป เช่นเดียวกับ LLaVA-Video รวมถึง LLaVA-Video-178K, NExT-QA, ActivityNet-QA และ PerceptionTest

F-16 ยังถูกฝึกอบรมเพิ่มเติมบนชุดข้อมูลกีฬาที่มีอัตราเฟรมสูง เช่น FineGym, Diving48 และ SoccerNet

การทำความเข้าใจวิดีโอกีฬาที่มีอัตราเฟรมสูง

F-16 ถูกทดสอบบน FineGym, Diving48, SoccerNet และชุดข้อมูล NBA เพื่อประเมินความสามารถในการทำความเข้าใจการกระทำกีฬาที่มีอัตราเฟรมสูง

โดยใช้คลิป NBA ที่มีคำบรรยายที่ถูกต้อง 10,000 คลิป การฝึกอบรมมุ่งเน้นไปที่การเคลื่อนไหวของลูกบอลและการกระทำของผู้เล่น และความสามารถของแบบจำลองในการกำหนดว่าการยิงเป็นไปได้หรือไม่ โดยใช้ชุดข้อมูลทดสอบ NSVA และวัดผลโดย F1 score

ผลลัพธ์ของการวิเคราะห์วิดีโอกีฬาที่มีอัตราเฟรมสูง F-16 ที่มีเครื่องมือจัดตำแหน่งเฟรมที่มีอัตราสูงแสดงผลลัพธ์ที่ดีกว่าในกีฬาทั้งหมดเมื่อเทียบกับแบบจำลองที่มีอัตราเฟรมต่ำ

การปรับเปลี่ยนอัตราเฟรม

F-16 ถูกทดสอบที่อัตราเฟรมต่างๆ เพื่อวัดความสามารถในการปรับเปลี่ยน

ผลลัพธ์แสดงให้เห็นว่าการลดอัตราเฟรมส่งผลกระทบต่อการรู้จำการเคลื่อนไหว แต่ F-16 ยังคงแสดงผลลัพธ์ที่ดีกว่าแบบจำลองที่มีอัตราเฟรมต่ำ และยังคงรักษาความสามารถที่ดีแม้ที่อัตราเฟรมต่ำกว่า 16

สรุป

ไม่ใช่เรื่องที่ยากเกินไปที่จะเน้นย้ำถึงความสำคัญหรือความท้าทายของการวิจัยสายนี้ – โดยเฉพาะในปีนี้ที่จะเป็น ปีที่突破 สำหรับการสร้างวิดีโอด้วย AI ซึ่งทำให้ข้อบกพร่องของการสร้างชุดข้อมูลวิดีโอและคุณภาพการใส่คำบรรยาย ชัดเจนขึ้น

ควรเน้นย้ำด้วยว่าความท้าทายในการได้รับการอธิบายที่แม่นยำเกี่ยวกับรายละเอียดภายในวิดีโอไม่สามารถแก้ไขได้ด้วยการเพิ่ม VRAM, เวลา, หรือพื้นที่ดิสก์เท่านั้น วิธีการที่เหตุการณ์ถูกแยกออกหรือถอดรหัสจากวิดีโอที่ยาวและน่าเบื่อ (เช่น คลิปวิดีโอสนุ๊กเกอร์หรือกอล์ฟ) จะได้รับประโยชน์จากการคิดใหม่เกี่ยวกับแนวทางเชิง语义และกลไกที่เป็น SOTA ในปัจจุบัน – เนื่องจากบางข้อจำกัดเหล่านี้ถูกกำหนดไว้ในยุคที่ทรัพยากรไม่เพียงพอ

(โดยtheway แม้ว่าอัตรา 16fps จะดูเหมือนต่ำสำหรับปี 2025 แต่ก็เป็นอัตราการฝึกอบรมที่ใช้กันใน วิดีโอมデル Wan 2.1 ที่ได้รับความนิยมอย่างมาก และความเร็วที่มันทำงานด้วยปัญหาเล็กน้อยที่สุด หวังว่าฉากการวิจัยจะให้ความสนใจกับ ‘เอนโทรปีมาตรฐาน’ ที่นี่; บางครั้งข้อจำกัดที่ล้าสมัยสามารถส่งผลต่อมาตรฐานในอนาคต)

เผยแพร่ครั้งแรกวันพุธที่ 19 มีนาคม 2025