AI วิดีโอให้สมบูรณ์แบบกับเซลฟี่แมว

และมักไม่สามารถตอบสนองความคาดหวังของผู้ใช้ได้ ส่วนหนึ่งของสาเหตุของปัญหานี้คือ – ความจริงที่ว่าโมเดลภาษาและภาพต้องประนีประนอมในการฝึกอบรมข้อมูลต้นกำเนิด หากฝึกอบรมน้อยเกินไป

เครื่องมือสร้างวิดีโอ AI มักให้ผลลัพธ์ที่ใกล้เคียง แต่ไม่ถึงเป้าหมายในแง่ของการนำเสนอข้อความที่ต้องการจากผู้ใช้ แต่การแก้ไขระดับสูงใหม่ทำให้แตกต่างทั้งหมด ระบบสร้างวิดีโอแบบสร้างสรรค์มักมีปัญหาในการสร้างวิดีโอที่มีความคิดสร้างสรรค์หรือไม่ปกติ ความคิดจะยืดหยุ่น แต่ไม่สมบูรณ์ – หากฝึกอบรมมากเกินไป ความคิดจะถูกต้อง แต่ไม่ยืดหยุ่นเพียงพอในการรวมเข้ากับการผสมผสานใหม่ การผสมผสาน คุณสามารถเข้าใจได้จากวิดีโอที่ฝังตัวอยู่ด้านล่าง ในด้านซ้ายคือการประนีประนอมที่หลายระบบ AI ให้ผลลัพธ์ในการตอบสนองคำสั่งซึ่งไม่สมจริง (คำสั่งด้านบนของวิดีโอในตัวอย่างทั้งสี่) ที่ขอให้มีการผสมผสานองค์ประกอบที่ไม่สมจริง ในด้านขวามือ คือการให้ผลลัพธ์ของ AI ที่ยึดมั่นในคำสั่งได้ดีกว่า: (/video) คลิกเพื่อเล่น (ไม่มีเสียง) ในด้านขวามือ เราจะเห็น ‘factorized’

WAN 2.2 ให้ผลลัพธ์ที่ดีกว่าในคำสั่ง เมื่อเทียบกับการตีความที่ไม่ชัดเจนของ ‘vanilla’ Wan 2.2. ในด้านซ้าย โปรดอ้างอิงไฟล์วิดีโอต้นกำเนิดสำหรับการแสดงผลที่ดีกว่าและตัวอย่างอื่นๆ แม้ว่าไฟล์แบบดั้งเดิมที่แสดงในบทความนี้จะไม่มีอยู่ที่เว็บไซต์โครงการ และถูกสร้างขึ้นสำหรับบทความนี้ โครงสร้าง

ต้นกำเนิด แม้ว่าเราต้องให้อภัยมือของคนในการตบไก่ (!) แต่ชัดเจนว่าตัวอย่างในด้านขวามือยึดมั่นในคำสั่งเดิมได้ดีกว่าตัวอย่างในด้านซ้าย น่าสนใจที่ทั้งสองโครงสร้างที่แสดงเป็นโครงสร้าง – Wan 2.2 ที่ได้รับความนิยมและสามารถใช้งานได้ดี ซึ่งเป็นการเปิดตัวของจีนได้รับการยอมรับในกลุ่มโอเพ่นซอร์สและกลุ่มงานอดิเรกในปีนี้ เหมือนกัน ความแตกต่างคือว่าพายพานการสร้างที่สองถูก ซึ่งในกรณีนี้หมายถึงการใช้โมเดลภาษาขนาดใหญ่ (LLM) เพื่อแปลคำสั่งใหม่ของเฟรมแรกของวิดีโอ เพื่อให้ระบบสามารถให้ผลลัพธ์ที่ต้องการของผู้ใช้ได้ แยกตัว การ ‘ยึดภาพ’ นี้เกี่ยวข้องกับการฉีดภาพที่สร้างจาก LLM ที่ได้รับการปรับปรุงใหม่เข้าไปในพายพานการสร้างวิดีโอเป็น ‘เฟรมเริ่มต้น’ และใช้ LoRA เพื่อช่วยรวม ‘เฟรมแปลก’ เข้ากับกระบวนการสร้างวิดีโอ ผลลัพธ์ในการตอบสนองคำสั่งได้ดีมาก โดยเฉพาะอย่างยิ่งสำหรับวิธีแก้ปัญหาที่ดูเรียบง่าย: (/video)

(ไม่มีเสียง) ตัวอย่างอื่นๆ ของการสร้างวิดีโอที่ ‘แยกตัว’ จริงๆ ที่ยึดมั่นในคำสั่ง โปรดอ้างอิงไฟล์วิดีโอต้นกำเนิดสำหรับการแสดงผลที่ดีกว่าและตัวอย่างอื่นๆ แม้ว่าไฟล์แบบดั้งเดิมที่แสดงในบทความนี้จะไม่มีอยู่ที่เว็บไซต์โครงการ

คลิกเพื่อเล่น วิธีนี้มาในรูปแบบของ บทความใหม่และถูกสร้างขึ้นสำหรับบทความนี้ และการสร้างวิดีโอที่แยกตัว: การแยกการก่อสร้างฉากและการสังเคราะห์เวลาในโมเดลการแพร่กระจายวิดีโอจากข้อความ เว็บไซต์โครงการ ที่มีวิดีโอ ในขณะที่ระบบหลายระบบในปัจจุบันพยายามเพิ่มความแม่นยำของคำสั่งโดยใช้โมเดลภาษาในการเขียนข้อความที่ไม่ชัดเจนหรือไม่สมบูรณ์ แต่ยังคงได้รับคะแนนการประเมินที่เทียบเท่ากับโมเดล บทความใหม่โต้แย้งว่าวิธีนี้ยังคงนำไปสู่ความล้มเหลวเมื่อการแสดงฉากภายในของโมเดลมีข้อบกพร่อง แม้ว่าจะมีข้อความที่เขียนใหม่โดยละเอียด แต่โมเดลวิดีโอจากข้อความมักจะผิดพลาดในการสร้างองค์ประกอบหลักหรือสร้างสถานะเริ่มต้นที่ไม่เข้ากันกับตรรกะของการเคลื่อนไหว หากเฟรมแรกไม่สะท้อนถึงสิ่งที่คำสั่งอธิบาย วิดีโอที่ได้จะไม่สามารถฟื้นตัวได้ ไม่ว่าโมเดลการเคลื่อนไหวจะดีเพียงใด บทความระบุ*: ‘(โมเดลวิดีโอจากข้อความ) มักจะสร้างเฟรมที่มีการกระจายตัว

I2V ซึ่งบ่งชี้ว่าการสร้างการเคลื่อนไหวยังคงดีแม้ว่าความจริงของฉากจะไม่ดีนัก ‘(โมเดล I2V) แสดงพฤติกรรมที่ตรงกันข้าม

ด้วยคะแนนการประเมินที่ดีจากฉากเริ่มต้นที่แม่นยำและความสอดคล้องของเวลาที่อ่อนแอในขณะที่ข้อความ I2V+ ช่วยปรับสมดุลทั้งสองด้านการเปรียบเทียบการวินิจฉัยของโหมดการสร้างโมเดลพบว่าโมเดลที่ไม่มีการตรึงภาพมีคะแนนการเคลื่อนไหวที่ดี

การยึดภาพและการสังเคราะห์เวลาได้รับประโยชน์จากความลำเอียงเชิงอุปนัยที่แตกต่างกัน I2V+ข้อความได้รับคะแนนเฟรมที่ดีที่สุดแต่โครงสร้างที่มีอยู่พยายามเรียนรู้ทั้งสองอย่างพร้อมกันภายในโมเดลเดียว’ การเปรียบเทียบโหมดการสร้างวิดีโอในสองชุดข้อมูล ซึ่งแสดงให้เห็นว่า

แต่ประนีประนอมกับการจัดเรียงฉาก ในขณะที่วิธีการที่มีภาพมักจะแสดงรูปแบบตรงกันข้าม: ‘ความแตกต่างนี้ชี้ให้เห็นถึงความไม่ตรงกันทางโครงสร้างในโมเดล T2V ปัจจุบัน:

(FID) และความสอดคล้องของเวลา (FVD) โดยเน้นย้ำถึงประโยชน์ของการแยกการก่อสร้างฉากออกจากการสังเคราะห์เวลา ผลลัพธ์เหล่านี้ชี้ให้เห็นว่าความไม่ตรงกันทางโครงสร้างที่โมเดลปัจจุบันพยายามเรียนรู้ทั้งการก่อสร้างฉากและการเคลื่อนไหวในครั้งเดียว แม้ว่าทั้งสองงานจะต้องการความลำเอียงเชิงอุปนัยที่แตกต่างกันและดีกว่าที่จะจัดการแยกกัน

อาจเป็นเรื่องที่น่าสนใจที่สุดคือว่าวิธีนี้สามารถนำไปใช้กับการติดตั้งแบบท้องถิ่นของโมเดล เช่น Wan 2.1 และ2.2 และโมเดลการแพร่กระจายวิดีโออื่นๆ เช่น Hunyuan Video ตามคำบอกเล่า การเปรียบเทียบคุณภาพของผลลัพธ์ของผู้เชี่ยวชาญกับพอร์ทัลการสร้างแบบเชิงพาณิชย์ เช่น Kling และ Runway ส่วนใหญ่ของผู้ให้บริการ API หลักกำลังปรับปรุงการนำเสนอแบบโอเพ่นซอร์ส เช่น WAN ด้วย LoRAs และ – ดูเหมือนว่า – ด้วยวิธีการที่คล้ายกับที่พบในบทความใหม่นี้ ดังนั้นวิธีการนี้อาจเป็นโอกาสให้กลุ่ม FOSS จับตาม การทดสอบที่ดำเนินการสำหรับวิธีนี้แสดงให้เห็นว่าวิธีการแบบง่ายและแบบโมดูลาร์นี้ให้ผลลัพธ์ที่ดีกว่าใน บทความระบุ*:

All

T2V-CompBench โดยปรับปรุงโมเดลที่ทดสอบทั้งหมดอย่างมีนัยสำคัญ โดยเพิ่มคะแนนได้สูงถึง 53.25% ‘(ทั้ง) โมเดลที่มีการเพิ่มภาพยึดมั่นสม่ำเสมอปรับปรุงประสิทธิภาพการก่อสร้างฉาก smaller Factorized models (CogVideo 5B, Wan 5B และ

Wan 1B) outperform the larger Wan 14B T2V model.

‘ ซึ่งแสดงให้เห็นว่าการยึดภาพทางภาพช่วยเพิ่มความเข้าใจฉากและความเข้าใจการกระทำแม้ในโมเดลที่มีขนาดเล็กกว่า’ โมเดล Factorized Wan 5B ของเรายังทำได้ดีกว่า PixVerse-V3 ซึ่งเป็นโมเดลที่ดีที่สุดในการทดสอบประสิทธิภาพ ต่อไปคือการทดสอบ VBench2.0: ‘ภายในแต่ละตระกูลโมเดลเวอร์ชัน Factorized’ model. outperforms the original Notably, our lightweight anchor-grounded LoRA on WAN 14B reaches performance comparable its pretrained I2V

14B variant (0.661vs. 0.666), despite requiring no full retraining.’ การปรับปรุงผลลัพธ์ของวิธีการ T2V ที่แยกตัวใน VBench 2.0ทั่วทั้งการก่อสร้างฉาก การให้เหตุผลแบบสัญจร และการควบคุม

โดยมีการเพิ่มขึ้นมากกว่า 60% – แม้ว่าความน่าเชื่อถือของมนุษย์ยังคงต่ำกว่า Veo 3 ที่เป็นของบริษัทอื่น

ทั่วทั้งโครงสร้างที่ทดสอบ วิธีการที่แยกตัวเพิ่มคะแนนในหมวดทั้งหมดของ

VBench ยกเว้น ความน่าเชื่อถือของมนุษย์ ซึ่งลดลงเล็กน้อยแม้จะเพิ่มคำสั่ง

WANWAN 14B ที่ใหญ่กว่า 5B เอาชนะ

T2V-CompBench ที่การยึดภาพมีส่วนช่วยมากกว่าขนาด ในขณะที่การเพิ่มขึ้นใน VBench มีความสม่ำเสมอ แต่ก็เล็กกว่าที่เห็นใน

ซึ่งเสริมผลลัพธ์ก่อนหน้าของ

T2V-CompBench และผู้เขียนระบุว่าสิ่งนี้เนื่องมาจาก VBench มีการให้คะแนนแบบทวินามที่เข้มงวด สำหรับการทดสอบคุณภาพ

บทความให้ภาพนิ่ง แต่เราอ้างอิงผู้อ่านไปยังวิดีโอที่ประกอบเข้าด้วยกันซึ่งฝังตัวอยู่ในบทความนี้ สำหรับการมองเห็นที่ชัดเจนกว่าโดยมีข้อจำกัดว่าไฟล์วิดีโอต้นกำเนิดมีจำนวนและความหลากหลายมากกว่า และมีการแสดงผลที่ดีกว่าและรายละเอียดมากกว่า คุณสามารถหามันได้ที่ ที่นี่ สำหรับผลลัพธ์คุณภาพ บทความระบุ: วิธีการที่แยกตัวยังคงเสถียรแม้จะลดจำนวนขั้นตอนการแพร่กระจายจาก 50 เป็น 15 โดยไม่สูญเสียประสิทธิภาพใน T2V-CompBench ในทางตรงกันข้าม ทั้งแบบที่มีคำสั่งเดียวและแบบที่เพิ่มคำสั่งลดลงอย่างรวดเร็วภายใต้เงื่อนไขเดียวกัน ‘วิดีโอที่มีการยึดภาพแสดงให้เห็นถึงการก่อสร้างฉากที่แม่นยำยิ่งขึ้น การผูกมัดของวัตถุและคุณลักษณะที่เข้มข้นขึ้น และความก้าวหน้าทางเวลาที่ชัดเจนขึ้น’

ซึ่งการเพิ่มขนาดค่อนข้างง่าย ในโมเดลวิดีโอ

แม้ว่าการลดขั้นตอนจะช่วยเพิ่มความเร็วได้ถึงสามเท่า แต่ในทางปฏิบัติแล้วกระบวนการสร้างใหม่ทั้งหมดจะเร็วขึ้นเพียง 2.1 เท่าเท่านั้น เนื่องจากต้นทุนคงที่ของการตรึงภาพ ผลลัพธ์เหล่านี้แสดงให้เห็นว่าการตรึงภาพไม่เพียงแต่ปรับปรุงคุณภาพของตัวอย่างเท่านั้น แต่ยังช่วยให้กระบวนการแพร่กระจายมีเสถียรภาพมากขึ้น และช่วยให้การสร้างใหม่เร็วขึ้นและมีประสิทธิภาพมากขึ้นโดยไม่สูญเสียความแม่นยำ เว็บไซต์ของโครงการมีตัวอย่างของการสร้างวิดีโอใหม่ ซึ่งเรานำเสนอไว้ที่นี่: (/video) สรุปโดยผู้เขียน: คลิกเพื่อเล่น (ไม่มีเสียง) การเปรียบเทียบระหว่างวิดีโอที่มีและไม่มีการตรึงภาพ ‘ผลลัพธ์ของเราบ่งชี้ว่าการตรึงภาพที่ดีขึ้น ไม่ใช่แค่การเพิ่มขนาดของโมเดล อาจมีความสำคัญเท่าเทียมกัน การพัฒนาล่าสุดในการแพร่กระจาย T2V อาศัยการเพิ่มขนาดของโมเดลและข้อมูลการฝึกอบรม แต่แม้แต่โมเดลขนาดใหญ่ก็มักจะประสบปัญหาในการอนุมานฉากเริ่มต้นที่สอดคล้องกันจากข้อความเพียงอย่างเดียว’ ซึ่งแตกต่างจากการแพร่กระจายภาพ

ทำให้การเพิ่มขนาดมีค่าใช้จ่ายมากกว่า ‘ผลลัพธ์ของเราบ่งชี้ว่าการยึดภาพที่ดีขึ้นสามารถเสริมการเพิ่มขนาดโดยการแก้ไขอุปสรรคอื่น:

แต่ละการปรับปรุงโครงสร้างต้องทำงานในมิติเวลาเพิ่มเติม

การสร้างฉากที่ถูกต้องก่อนที่การสังเคราะห์เวลาเริ่มต้น ‘โดยการแยกวิดีโอการสร้างออกเป็นการก่อสร้างฉากและการสร้างแบบจำลองเวลา เราบรรเทาอุปสรรคทั่วไปหลายประการโดยไม่ต้องใช้โมเดลขนาดใหญ่กว่ามาก เราพิจารณาว่านี่เป็นหลักการออกแบบที่เสริมซึ่งสามารถชี้แนะโครงสร้างอนาคตเพื่อการสร้างวิดีโอที่น่าเชื่อถือและเป็นระบบมากขึ้น’ สรุป แม้ว่าปัญหาของการผสมผสานจะเป็นเรื่องที่แท้จริง และอาจต้องการวิธีแก้ปัญหาที่เฉพาะเจาะจง

(เช่น การปรับปรุงการคัดเลือกและการกระจายตัวก่อนการฝึกอบรม) แต่ก็เป็นการเปิดเผยที่น่าสนใจที่จะเห็นวิธีการ ‘แยกตัว’ ที่สามารถ

‘แก้ไข’ การจัดเรียงแนวคิดที่ยึดติดและยึดมั่นได้ดีขึ้น โดยใช้การปรับแต่ง

LoRA ในระดับปานกลาง และการแทรกภาพยึดมั่นที่ดีขึ้น ช่องว่างของทรัพยากรระหว่างการอนุมานแบบท้องถิ่นและโซลูชันเชิงพาณิชย์อาจไม่ใหญ่เท่าที่คิด เนื่องจากผู้ให้บริการส่วนใหญ่พยายามลดการใช้ทรัพยากร GPU ที่สำคัญให้กับผู้บริโภค

API

จากรายงานพบว่าผู้ให้บริการวิดีโอสร้างสรรค์จำนวนหนึ่งดูเหมือนจะใช้โมเดล FOSS ของจีนที่ ‘ปรับปรุง’ และ ‘เพิ่มประสิทธิภาพ’ แล้วโดยทั่วไปแล้วโมเดลเหล่านี้มี ‘คุณค่าในการปกป้อง’ น้อยมาก เนื่องจากได้ทำการฝึกฝน LoRA หรือ – ด้วยต้นทุนที่สูงกว่าและผลตอบแทนที่สูงกว่า – ปรับแต่งน้ำหนักโมเดลอย่างละเอียด †† ข้อมูลเช่นนี้สามารถช่วยลดช่องว่างนี้ได้มากยิ่งขึ้น ในบริบทของการเปิดตัว AI รุ่นใหม่ของจีนอย่างตั้งใจ (ไม่จำเป็นต้องเป็นไปเพื่อประโยชน์ส่วนรวมหรืออุดมคติ) ในขณะที่ผลประโยชน์ทางธุรกิจของตะวันตกอาจต้องการการขยายขนาดโมเดลและกฎระเบียบที่เพิ่มขึ้นเพื่อปิดกั้นโมเดลที่ดีที่สุดในที่สุดและหลายชั้นของตัวกรองเนื้อหา * เน้นของผู้เขียน ไม่ใช่ของผม † บทความไม่ระบุว่าใช้ GPU แบบใด หรือใช้กี่ตัว ††

แม้ว่าเส้นทาง LoRA จะเป็นไปได้มากกว่า

ทั้งในแง่ของความสะดวกในการใช้งานและเพราะว่าน้ำหนักที่เต็มไม่ได้ให้มาเสมอไป เผยแพร่ครั้งแรกวันศุกร์ที่ 19 ธันวาคม

2025