AI เชิงกำเนิด เป็นแรงขับเคลื่อนสำคัญในชุมชน AI มาระยะหนึ่ง ความก้าวหน้าของการสร้างภาพ โดยเฉพาะด้วยโมเดลการแพร่กระจาย ช่วยให้โมเดลสร้างวิดีโอก้าวหน้าทั้งด้านวิจัยและการใช้งานจริง โดยทั่วไป โมเดลวิดีโอจะฝึกจากศูนย์ หรือปรับแต่งบางส่วนหรือทั้งหมดจากโมเดลภาพที่ฝึกไว้แล้ว โดยเพิ่มชั้นประมวลผลด้านเวลาและใช้ชุดข้อมูลภาพผสมวิดีโอ

บทความนี้สำรวจ Stable Video Diffusion ซึ่งเป็นโมเดลการแพร่กระจายวิดีโอในปริภูมิแฝงสำหรับสร้างวิดีโอจากภาพและข้อความที่มีความละเอียดสูง เราจะพิจารณาว่าการเพิ่มชั้นด้านเวลาและการปรับแต่งด้วยชุดวิดีโอคุณภาพสูงขนาดเล็กช่วยเพิ่มความสามารถและประสิทธิภาพจากโมเดลภาพสองมิติได้อย่างไร รวมถึงสถาปัตยกรรม วิธีทำงาน และผลประเมินเทียบกับโมเดลวิดีโอชั้นนำ

Stable Video Diffusion และโมเดลสร้างวิดีโอ: บทนำ

ศักยภาพอันกว้างขวางทำให้ AI เชิงกำเนิดเป็นหัวข้อวิจัยสำคัญ โมเดลสร้างภาพพัฒนาทั้งด้านประสิทธิภาพและคุณภาพอย่างรวดเร็ว และประสบการณ์เหล่านี้ช่วยให้โมเดลวิดีโอใช้งานจริงได้ดีขึ้น อย่างไรก็ตาม งานวิจัยจำนวนมากเน้นการจัดวางชั้นประมวลผลเชิงพื้นที่และเวลา มากกว่าการตรวจสอบผลของการเลือกข้อมูลฝึกที่เหมาะสม

ในโมเดลภาพ การกระจายตัวของข้อมูลฝึกมีผลสำคัญต่อคุณภาพ การฝึกล่วงหน้าด้วยข้อมูลขนาดใหญ่และหลากหลาย แล้วปรับแต่งด้วยชุดข้อมูลเล็กลงแต่คุณภาพสูงกว่า มักช่วยเพิ่มประสิทธิภาพอย่างมาก โมเดลวิดีโออาศัยบทเรียนจากโมเดลภาพ แต่ผลของข้อมูลและกลยุทธ์ฝึกยังได้รับการศึกษาน้อยกว่า Stable Video Diffusion จึงสำรวจเรื่องนี้โดยเน้นการคัดสรรข้อมูล

โมเดลวิดีโอรุ่นใหม่ใช้การแพร่กระจายและการกำหนดเงื่อนไขด้วยข้อความหรือภาพ เพื่อสร้างเฟรมที่สอดคล้องกัน โมเดลการแพร่กระจายเรียนรู้การกำจัดสัญญาณรบกวนจากตัวอย่างที่มาจากการแจกแจงปกติทีละขั้นผ่านการปรับปรุงซ้ำ และให้ผลดีในการสร้างวิดีโอความละเอียดสูงและภาพจากข้อความ บทความอธิบายหลักการนี้ในบริบทของวิดีโอในปริภูมิแฝง พร้อมกล่าวถึงเครือข่ายปฏิปักษ์เชิงกำเนิด (GAN) และโมเดลถดถอยอัตโนมัติด้วย

Stable Video Diffusion ใช้โมเดลฐานการแพร่กระจายวิดีโอในปริภูมิแฝงที่มีสถาปัตยกรรมและวิธีฝึกคงที่ เพื่อประเมินผลของการคัดสรรข้อมูล เป้าหมายสำคัญคือ:

• เสนอขั้นตอนคัดสรรข้อมูลที่เป็นระบบและมีประสิทธิภาพ เพื่อเปลี่ยนวิดีโอจำนวนมากที่ยังไม่ผ่านการคัดเลือกให้เป็นชุดข้อมูลคุณภาพสูง
• ฝึกโมเดลสร้างวิดีโอจากภาพและข้อความที่มีประสิทธิภาพเหนือกว่ากรอบงานเดิม
• ทดลองเฉพาะโดเมนเพื่อศึกษาความเข้าใจสามมิติและความรู้พื้นฐานด้านการเคลื่อนไหวของโมเดล

รากฐานของกรอบงานประกอบด้วยโมเดลการแพร่กระจายวิดีโอในปริภูมิแฝงและเทคนิคคัดสรรข้อมูล

โมเดลการแพร่กระจายวิดีโอในปริภูมิแฝง

Video-LDM ฝึกโมเดลหลักในปริภูมิแฝงเพื่อลดความซับซ้อนด้านการคำนวณ โดยมากเริ่มจากโมเดลข้อความสู่ภาพที่ฝึกไว้แล้วและเพิ่มชั้นผสมข้อมูลตามเวลา หลายโมเดลฝึกเฉพาะชั้นเวลา หรือข้ามการฝึกเพิ่มเติม แต่ Stable Video Diffusion ปรับแต่งทั้งกรอบงาน สำหรับการสร้างวิดีโอจากข้อความ โมเดลรับเงื่อนไขจากพรอมต์โดยตรง ผลลัพธ์แสดงว่าสามารถนำไปปรับแต่งเพื่อสร้างหลายมุมมองหรือวิดีโอจากภาพได้ง่าย

การคัดสรรข้อมูล

การคัดสรรข้อมูลสำคัญต่อ Stable Video Diffusion และโมเดลเชิงกำเนิดทั่วไป การฝึกล่วงหน้าบนข้อมูลขนาดใหญ่ช่วยงาน เช่น การสร้างแบบจำลองภาษาและการสร้างภาพจากข้อความ การใช้ตัวแทนข้อมูลภาษาและภาพที่มีประสิทธิภาพช่วยให้การคัดสรรข้อมูลภาพประสบความสำเร็จ แต่ด้านวิดีโอยังได้รับความสนใจน้อย การคัดสรรวิดีโอมีอุปสรรคหลายประการ กรอบงานจึงใช้กลยุทธ์ฝึกสามระยะเพื่อเพิ่มคุณภาพและประสิทธิภาพ

คัดสรรข้อมูลเพื่อสร้างวิดีโอคุณภาพสูง

ระยะที่ I คือการฝึกล่วงหน้าด้วยภาพผ่านโมเดลการแพร่กระจายข้อความสู่ภาพสองมิติ ระยะที่ II คือการฝึกล่วงหน้าด้วยวิดีโอจำนวนมาก และระยะที่ III คือการปรับแต่งด้วยชุดย่อยขนาดเล็กที่มีคุณภาพและความละเอียดสูง

ก่อนเริ่มฝึก ต้องประมวลผลและใส่คำกำกับข้อมูลเพื่อเป็นรากฐานของระยะที่ II และช่วยให้ได้ผลลัพธ์ที่เหมาะสม กรอบงานเริ่มด้วยขั้นตอนตรวจจับการตัดฉากแบบลำดับต่อเนื่องที่อัตราเฟรม (FPS) สามระดับ ภาพแสดงเหตุผลที่ต้องใช้กระบวนการนี้

จากนั้นใส่คำบรรยายให้แต่ละคลิปด้วยวิธีสร้างคำบรรยายสังเคราะห์สามแบบ ตารางเปรียบเทียบชุดข้อมูลก่อนและหลังกรอง

ระยะที่ I: การฝึกล่วงหน้าด้วยภาพ

ขั้นแรกเริ่มจากโมเดลการแพร่กระจายภาพที่ฝึกไว้แล้ว คือ Stable Diffusion 2.1 เพื่อให้ Stable Video Diffusion มีตัวแทนข้อมูลภาพที่แข็งแกร่งขึ้น

ระยะที่ II: การฝึกล่วงหน้าด้วยวิดีโอ

ระยะนี้อาศัยข้อค้นพบว่าการคัดสรรข้อมูลช่วยเพิ่มผลลัพธ์และประสิทธิภาพของโมเดลภาพหลายสื่อ แต่ยังไม่มีตัวแทนข้อมูลสำเร็จรูปที่แข็งแกร่งพอสำหรับกรองตัวอย่างวิดีโอที่ไม่ต้องการ จึงใช้ความชอบของมนุษย์เป็นสัญญาณในการสร้างชุดข้อมูลฝึกล่วงหน้า ภาพแสดงผลเชิงบวกของการฝึกด้วยข้อมูลคัดสรร ซึ่งช่วยการฝึกวิดีโอต่อบนชุดข้อมูลขนาดเล็ก

กรอบงานคัดสรรชุดย่อยของข้อมูล Latent Video Diffusion ด้วยวิธีต่างๆ และพิจารณาอันดับของโมเดล LVD ที่ฝึกบนแต่ละชุด การใช้ข้อมูลคัดสรรช่วยเพิ่มประสิทธิภาพของกรอบงานและโมเดลการแพร่กระจายโดยทั่วไป กลยุทธ์นี้ใช้ได้กับชุดข้อมูลที่ใหญ่กว่าและเกี่ยวข้องกับการใช้งานจริงมากขึ้นด้วย ภาพต่อไปแสดงประโยชน์ของการฝึกล่วงหน้าด้วยข้อมูลคัดสรรอีกครั้ง

ระยะที่ III: การปรับแต่งด้วยข้อมูลคุณภาพสูง

หลังระยะก่อนหน้า กรอบงานมุ่งเพิ่มประสิทธิภาพผ่านการปรับแต่งวิดีโอคุณภาพสูงและศึกษาการเปลี่ยนจากระยะที่ II สู่ III โดยยืมเทคนิคจากโมเดลการแพร่กระจายภาพในปริภูมิแฝงและเพิ่มความละเอียดของตัวอย่างฝึก ประเมินผลด้วยโมเดลสามตัวที่เหมือนกันแต่ตั้งค่าน้ำหนักเริ่มต้นต่างกัน ตัวแรกข้ามการฝึกล่วงหน้าด้วยวิดีโอ ส่วนอีกสองตัวเริ่มด้วยน้ำหนักจากโมเดลวิดีโอในปริภูมิแฝงอื่นๆ

ผลลัพธ์และข้อค้นพบ

Stable Video Diffusion ใช้วิธีเลือกข้อมูลที่เหมาะสมที่สุดฝึกโมเดลฐาน แล้วปรับแต่งเป็นโมเดลประสิทธิภาพสูงหลายแบบที่ทำงานเฉพาะต่างกัน ก่อนเปรียบเทียบกับกรอบงานชั้นนำ

ภาพด้านบนแสดงตัวอย่างการสร้างวิดีโอจากภาพที่ความละเอียดสูง ส่วนภาพด้านล่างแสดงการสร้างวิดีโอคุณภาพสูงจากข้อความ

โมเดลฐานที่ฝึกไว้แล้ว

Stable Video Diffusion สร้างบน Stable Diffusion 2.1 ข้อค้นพบล่าสุดชี้ว่าการปรับตารางระดับสัญญาณรบกวนและเพิ่มระดับสัญญาณรบกวนมีความสำคัญต่อการสร้างภาพความละเอียดสูงระหว่างฝึกโมเดลการแพร่กระจาย วิธีนี้ช่วยให้โมเดลฐานเรียนรู้ตัวแทนการเคลื่อนไหวที่แข็งแกร่ง และทำได้ดีกว่าโมเดลฐานเปรียบเทียบในการสร้างวิดีโอจากข้อความโดยไม่ใช้ตัวอย่างเฉพาะงาน ดังแสดงในตาราง

การแทรกเฟรมและการสร้างหลายมุมมอง

กรอบงานปรับแต่งโมเดลภาพสู่วิดีโอด้วยชุดข้อมูลหลายมุมมอง เพื่อสร้างมุมมองใหม่ของวัตถุ โมเดลนี้เรียกว่า SVD-MV หรือ Stable Video Diffusion Multi View โดยปรับแต่ง SVD เดิมด้วยชุดข้อมูลสองชุด ให้รับภาพเดียวแล้วส่งออกเป็นลำดับภาพจากหลายมุม

ภาพแสดงผลที่เทียบได้กับ Scratch Multi View ซึ่งเป็นโมเดลชั้นนำ และแสดงว่า SVD-MV ใช้ประโยชน์จากความรู้ของ SVD เดิมในการสร้างหลายมุมมองได้ จำนวนรอบฝึกที่ค่อนข้างน้อยอาจให้ผลดีที่สุด เช่นเดียวกับโมเดลหลายตัวที่ปรับแต่งจาก SVD

ค่าประเมินแสดงทางซ้ายของภาพ โดย Stable Video Diffusion Multi View ทำได้ดีกว่า Scratch-MV และ SD2.1 Multi-View อย่างชัดเจน ภาพที่สองแสดงผลของจำนวนรอบฝึกต่อคะแนน CLIP และผลลัพธ์ที่มั่นคงของ SVD-MV

ข้อคิดส่งท้าย

เราได้สำรวจ Stable Video Diffusion โมเดลการแพร่กระจายวิดีโอในปริภูมิแฝงสำหรับสร้างวิดีโอจากภาพและข้อความที่มีความละเอียดสูง กรอบงานใช้สถาปัตยกรรมและวิธีฝึกคงที่เพื่อศึกษาผลของการคัดสรรข้อมูลอย่างเป็นระบบ

โมเดลการแพร่กระจายสำหรับภาพสองมิติช่วยเพิ่มความสามารถและประสิทธิภาพของโมเดลสร้างวิดีโอได้ด้วยชั้นเวลาและการปรับแต่งบนชุดวิดีโอคุณภาพสูงขนาดเล็ก กรอบงานศึกษาการขยายขนาดและเก็บข้อมูลอย่างเป็นระบบ เพื่อเสนอวิธีคัดสรรวิดีโอจำนวนมากและเปลี่ยนวิดีโอที่มีสัญญาณรบกวนให้เป็นข้อมูลฝึกที่เหมาะสม

การฝึกทั้งสามระยะถูกวิเคราะห์แยกกันเพื่อประเมินผลต่อประสิทธิภาพ สุดท้ายได้ตัวแทนข้อมูลวิดีโอที่แข็งแกร่งสำหรับปรับแต่งเพื่อสร้างวิดีโอคุณภาพดี โดยมีผลลัพธ์เทียบได้กับโมเดลวิดีโอชั้นนำ