ทำไมระบบวิดีโอสร้างสรรค์ (Generative Video Systems) ไม่สามารถสร้างภาพยนตร์ให้สมบูรณ์ได้

การเกิดขึ้นและการพัฒนาของวิดีโอสร้างสรรค์ (Generative AI Video) ทำให้ผู้สังเกตการณ์หลายคนคาดการณ์ว่าเครื่องมือการเรียนรู้ของเครื่อง (Machine Learning) จะเป็นการสิ้นสุดของอุตสาหกรรมภาพยนตร์อย่างที่เรารู้จัก – แทนที่จะทำให้คนสร้างสรรค์สามารถสร้างภาพยนตร์ฮอลลีวูดได้ที่บ้าน โดยใช้ระบบ GPU ทั้งบนเครื่องหรือบนคลาวด์

เป็นไปได้หรือไม่? ถึงแม้จะเป็นไปได้ แต่จะเกิดขึ้นในเร็วๆ นี้หรือไม่?

ที่บุคคลจะสามารถสร้างภาพยนตร์ได้ในรูปแบบที่เรารู้จัก โดยมีตัวละครที่สอดคล้องกัน ความต่อเนื่องของเรื่องราว และความสมจริงที่สมบูรณ์ เป็นเรื่องที่เป็นไปได้ – และอาจเป็นเรื่องที่หลีกเลี่ยงไม่ได้

อย่างไรก็ตาม มีเหตุผลพื้นฐานหลายประการที่ทำให้ไม่น่าจะเกิดขึ้นได้กับระบบวิดีโอที่ใช้แบบจำลองการกระจายตัว (Latent Diffusion Models)

สิ่งนี้มีความสำคัญเพราะในขณะนี้ ประเภทนี้รวมถึง ทุก ระบบวิดีโอสร้างสรรค์ที่เป็นที่นิยม ทั้งระบบข้อความถึงวิดีโอ (T2) และระบบภาพถึงวิดีโอ (I2V) รวมถึง Minimax, Kling, Sora, Imagen, Luma, Amazon Video Generator, Runway ML, Kaiber และ (ตามที่เราสามารถระบุได้) ฟังก์ชันการสร้างวิดีโอของ Adobe Firefly ที่กำลังจะมาถึง

ที่นี่ เรากำลังพิจารณาโอกาสของการสร้างภาพยนตร์เต็มรูปแบบโดยใช้ AI ที่สร้างสรรค์โดยบุคคล โดยมีตัวละครที่สอดคล้องกัน การถ่ายภาพ และเอฟเฟกต์ภาพที่มีคุณภาพเทียบเท่ากับภาพยนตร์ฮอลลีวูดในปัจจุบัน

มาดูกันว่าปัญหาที่ใหญ่ที่สุดในการสร้างภาพยนตร์โดยใช้ AI คืออะไร

1: คุณไม่สามารถสร้างภาพต่อเนื่องได้อย่างแม่นยำ

ความไม่สอดคล้องกันของเรื่องราวเป็นปัญหาที่ใหญ่ที่สุดของการสร้างภาพยนตร์โดยใช้ AI

ความจริงคือไม่มีระบบวิดีโอสร้างสรรค์ที่สามารถสร้างภาพต่อเนื่องได้อย่างแม่นยำ

เนื่องจากแบบจำลองการกระจายตัวที่เป็นแก่นกลางของระบบเหล่านี้ขึ้นอยู่กับ การลดความเสี่ยง และหลักการนี้ไม่สามารถตีความเนื้อหาที่เหมือนกันสองครั้งได้ (เช่น จากมุมที่แตกต่างกัน หรือโดยการพัฒนาภาพก่อนหน้าให้เป็นภาพต่อเนื่องที่สอดคล้องกับภาพก่อนหน้า)

เมื่อใช้ข้อความสั่งงานเพียงอย่างเดียว หรือร่วมกับ ภาพถ่าย ‘เมล็ดพันธุ์’ (การนำเข้าหลายรูปแบบ) โทเค็นที่ได้รับจากข้อความสั่งงานจะกระตุ้นให้เกิดเนื้อหาที่เหมาะสมจากพื้นที่ แบบจำลองการกระจายตัว ที่ได้รับการฝึกฝน

อย่างไรก็ตาม การขัดขวางโดยปัจจัย ‘การลดความเสี่ยง’ จะ ไม่ทำมันเหมือนกันสองครั้ง

ซึ่งหมายความว่าเอกลักษณ์ของบุคคลในภาพยนตร์จะเปลี่ยนแปลงไป และวัตถุและสภาพแวดล้อมจะไม่สอดคล้องกับภาพก่อนหน้า

นี่คือเหตุผลที่คลิปวิดีโอที่มีการแสดงภาพพิเศษและคุณภาพระดับฮอลลีวูดมักจะเป็นภาพเดียวหรือ ‘มอนตาจของความสามารถ’ ของระบบ โดยที่แต่ละภาพมีตัวละครและสภาพแวดล้อมที่แตกต่างกัน

ตัวอย่างจากมอนตาจการสร้างสรรค์ของ Marco van Hylckama Vlieg – แหล่งที่มา: https://www.linkedin.com/posts/marcovhv_thanks-to-generative-ai-we-are-all-filmmakers-activity-7240024800906076160-nEXZ/

ความหมายในคอลเลกชันของการสร้างวิดีโอ ad hoc เหล่านี้ (ซึ่งอาจไม่ซื่อสัตย์ในกรณีของระบบเชิงพาณิชย์) คือระบบพื้นฐาน สามารถ สร้างเรื่องราวที่ต่อเนื่องและสม่ำเสมอ

การเปรียบเทียบที่ถูกใช้ประโยชน์อยู่ที่นี่คือตัวอย่างภาพยนตร์ ซึ่งแสดงเพียงหนึ่งหรือสองนาทีของภาพยนตร์ แต่ทำให้ผู้ชมมีเหตุผลที่จะเชื่อว่าภาพยนตร์เต็มรูปแบบมีอยู่จริง

ระบบเดียวที่ปัจจุบันเสนอความสอดคล้องของเรื่องราวในแบบจำลองการกระจายตัวคือระบบที่สร้างภาพนิ่ง ซึ่งรวมถึง ConsiStory ของ NVIDIA และโครงการต่างๆ ในเอกสารทางวิทยาศาสตร์ เช่น TheaterGen, DreamStory และ StoryDiffusion

สองตัวอย่างของ ‘การรักษาความสอดคล้องแบบนิ่ง’ จากแบบจำลองล่าสุด: แหล่งที่มา: https://research.nvidia.com/labs/par/consistory/ และ https://arxiv.org/pdf/2405.01434

ทฤษฎีแล้ว คุณสามารถใช้ระบบที่ดีกว่าเพื่อสร้างภาพต่อเนื่อง ซึ่งสามารถเชื่อมต่อกันเป็นลำดับได้

อย่างไรก็ตาม การเข้าใกล้นี้ไม่ได้ผลในการสร้างภาพต่อเนื่องที่น่าเชื่อถือ และในกรณีใดๆ เราก็ได้เพิ่มความซับซ้อนเข้าไปในกระบวนการแล้ว

คุณสามารถใช้ การปรับให้เหมาะสมแบบ Low Rank (LoRA) ซึ่งฝึกฝนโดยเฉพาะสำหรับตัวละคร สิ่งของ หรือสภาพแวดล้อม เพื่อรักษาความสอดคล้องระหว่างภาพได้ดีขึ้น

อย่างไรก็ตาม หากตัวละครต้องการปรากฏในเครื่องแต่งกายใหม่ LoRA ใหม่จะถูกฝึกฝนโดยทั่วไปเพื่อรวมตัวละครที่สวมเครื่องแต่งกายนั้น (แม้ว่าแนวคิดย่อยๆ เช่น ‘ชุดสีแดง’ สามารถฝึกฝนเป็น LoRA riêngๆ พร้อมกับภาพที่เหมาะสม แต่ก็ไม่ใช่เรื่องที่ง่ายเสมอไปที่จะทำงานร่วมกัน)

สิ่งนี้เพิ่มความซับซ้อนมากขึ้น แม้กระทั่งในฉากเปิดเรื่องของภาพยนตร์ โดยที่บุคคลหนึ่งออกจากเตียง สวมชุดคลุม และเดินไปที่ห้องน้ำเพื่อแปรงฟัน

ฉากดังกล่าว ซึ่งมีภาพประมาณ 4-8 ภาพ สามารถถ่ายทำได้ในหนึ่งเช้าโดยวิธีการสร้างภาพยนตร์แบบดั้งเดิม ในขณะที่ปัจจุบันการสร้างภาพยนตร์โดยใช้ AI อาจต้องใช้เวลาหลายสัปดาห์ การฝึกฝน LoRA หลายๆ ตัว และการประมวลผลหลังการผลิตที่มากขึ้น

ทางเลือกหนึ่งคือการใช้การสร้างวิดีโอที่แปลงวิดีโอธรรมดาหรือ CGI ผ่านข้อความสั่งงานให้เป็นรูปแบบต่างๆ Runway มีระบบ เช่นนี้

ตัวอย่างของการถ่ายโอน CGI (ด้านซ้าย) ที่ถูกตีความผ่านการสร้างวิดีโอโดยใช้ข้อความสั่งงานของ Mathieu Visnjevec – แหล่งที่มา: https://www.linkedin.com/feed/update/urn:li:activity:7240525965309726721/

มีปัญหาอยู่สองประการ คุณต้องสร้างฟุตเทจหลักแล้ว จึงต้องสร้างภาพยนตร์ สองครั้ง แม้ว่าคุณจะใช้ระบบสังเคราะห์ เช่น MetaHuman ของ UnReal

หากคุณสร้างโมเดล CGI (เช่นในคลิปด้านบน) และใช้โมเดลเหล่านี้ในการแปลงวิดีโอถึงภาพ การรักษาความสอดคล้องระหว่างภาพไม่สามารถไว้วางใจได้

เนื่องจากแบบจำลองการกระจายตัวไม่เห็น ‘ภาพใหญ่’ แต่สร้างเฟรมใหม่ตามเฟรมก่อนหน้า และใน บางกรณี พิจารณาเฟรมอนาคตที่อยู่ใกล้ๆ แต่ไม่สามารถคิด ‘十เคลื่อน’ และไม่สามารถจดจำสิบเคลื่อนหลังได้

ที่สอง แบบจำลองการกระจายตัวยังคงดิ้นรนในการรักษาความสอดคล้องของการปรากฏตัวระหว่างภาพ แม้ว่าจะรวม LoRA หลายๆ ตัวสำหรับตัวละคร สภาพแวดล้อม และสไตล์แสงสว่างแล้วก็ตาม

2: คุณไม่สามารถแก้ไขภาพได้อย่างง่ายดาย

หากคุณแสดงตัวละครเดินลงถนนโดยใช้วิธีการสร้าง CGI แบบดั้งเดิม และคุณต้องการเปลี่ยนบางส่วนของภาพ คุณสามารถปรับเปลี่ยนแบบจำลองและเรนเดอร์ใหม่ได้

หากเป็นการถ่ายทำจริง คุณแค่ต้องเริ่มต้นใหม่และถ่ายทำใหม่พร้อมกับการเปลี่ยนแปลงที่เหมาะสม

อย่างไรก็ตาม หากคุณสร้างภาพวิดีโอโดยใช้ AI ที่คุณชื่นชอบ แต่ต้องการเปลี่ยน บางส่วน ของมัน คุณสามารถทำได้โดยใช้วิธีการประมวลผลหลังการผลิตที่ใช้เวลานานและต้องใช้ความเชี่ยวชาญ

วิธีการทำงานของแบบจำลองการกระจายตัวทำให้การเปลี่ยนแปลงเพียง一点ของข้อความสั่งงาน (แม้กระทั่งในข้อความสั่งงานหลายรูปแบบที่คุณให้ภาพ ‘เมล็ดพันธุ์’ ที่สมบูรณ์) จะเปลี่ยน หลายจุด ของการผลิตที่สร้างขึ้น ทำให้เกิดเกม ‘whack-a-mole’ ของการเปลี่ยนแปลง

3: คุณไม่สามารถพึ่งพากฎแห่งฟิสิกส์ได้

วิธีการสร้าง CGI แบบดั้งเดิมมีแบบจำลองฟิสิกส์เชิงพื้นฐานที่สามารถจำลองสิ่งต่างๆ เช่น การเคลื่อนไหวของของเหลว การเคลื่อนไหวของก๊าซ การเคลื่อนไหวผกผันของมนุษย์ (การสร้างแบบจำลองการเคลื่อนไหวของมนุษย์ที่แม่นยำ) การเคลื่อนไหวของผ้า การระเบิด และปรากฏการณ์โลกแห่งความเป็นจริงอื่นๆ

อย่างไรก็ตาม วิธีการสร้างแบบจำลองการกระจายตัวมีหน่วยความจำสั้นและขาด การเคลื่อนไหวที่มีแนวโน้ม (ตัวอย่างของการกระทำเหล่านี้ที่รวมอยู่ในเซตการฝึกอบรม) ที่จะดึงมาใช้

ใน รุ่นก่อนหน้า ของหน้าแรกของ OpenAI สำหรับระบบ Sora ที่ได้รับการยกย่อง ระบบยอมรับว่า Sora มีข้อจำกัดในด้านนี้ (แม้ว่าข้อความนี้จะถูกลบออกไปแล้ว)

การนำไปใช้จริงของระบบวิดีโอสร้างสรรค์ API ต่างๆ เผยให้เห็นข้อจำกัดที่คล้ายกันในการแสดงฟิสิกส์ที่แม่นยำ

บางการฝึกฝนการเคลื่อนไหวสามารถฝึกฝนได้ แต่การฝึกฝนเหล่านี้ใช้เวลานาน (เช่น การแสดงเต้นรำที่ซับซ้อนและไม่ซ้ำกันในเครื่องแต่งกายที่หรูหรา) และอีกครั้ง แบบจำลองการกระจายตัวมีหน้าต่างการมองเห็นที่สั้น และไม่สามารถจดจำสิบเคลื่อนหลังได้

การแก้ไขในภายหลัง

มีข้อบกพร่องอื่นๆ ของการสร้างวิดีโอ AI แบบ ‘ผู้ใช้เดียว’ เช่น ความยาก ในการแสดงการเคลื่อนไหวที่รวดเร็ว และปัญหาใหญ่กว่าในการ รักษาความสอดคล้องของเวลา ในการผลิตวิดีโอ

นอกจากนี้ การสร้างการแสดงออกบนใบหน้าที่เฉพาะเจาะจงเป็นเรื่องที่น่าเสี่ยงในการสร้างวิดีโอโดยใช้ AI เช่นเดียวกับการ_sync_ ของเสียงพูด

ในกรณีเหล่านี้ การใช้ระบบเสริม เช่น LivePortrait และ AnimateDiff กำลังได้รับความนิยมในหมู่ชุมชน VFX เนื่องจากช่วยให้สามารถถ่ายโอนการแสดงออกบนใบหน้าและ_sync_ ของเสียงพูดไปยังวิดีโอที่สร้างขึ้น

ตัวอย่างของการถ่ายโอนการแสดงออก (วิดีโอด้านซ้ายล่าง) ที่ถูกกำหนดให้กับวิดีโอที่มี LivePortrait วิดีโอนี้มาจาก Generative Z TunisiaGenerative

นอกจากนี้ ยังมีวิธีแก้ปัญหาที่ซับซ้อนซึ่งรวมถึงเครื่องมือ เช่น Stable Diffusion GUI ComfyUI และแอปพลิเคชันการประกอบและจัดการมืออาชีพ Nuke รวมถึงการดัดแปลงพื้นที่แบบจำลองที่ช่วยให้ผู้เชี่ยวชาญ VFX ได้รับการควบคุมการแสดงออกบนใบหน้าและทัศนคติได้ดีขึ้น

แม้ว่าเขาจะ อธิบาย กระบวนการสร้างการแสดงออกบนใบหน้าใน ComfyUI ว่าเป็น ‘การทรมาน’ แต่ผู้เชี่ยวชาญ VFX Francisco Contreras ได้พัฒนากระบวนการนี้ ซึ่งช่วยให้สามารถกำหนดการแสดงออกบนใบหน้าและ_sync_ ของเสียงพูดได้

Stable Diffusion ช่วยโดย ComfyUI และ Nuke ช่วยให้ Francisco Contreras ได้รับการควบคุมการแสดงออกบนใบหน้าได้อย่างไม่เคยปรากฏมาก่อน

สรุป

ไม่มีสิ่งใดที่ให้ความหวังสำหรับการสร้างภาพยนตร์โดยใช้ AI ที่มีคุณภาพสูงและสมจริง โดยมีเสียงพูด การ_sync_ และการแสดงออกที่สมจริง

นอกจากนี้ อุปสรรคที่อธิบายไว้ที่นี่ ซึ่งเกี่ยวข้องกับแบบจำลองการกระจายตัวของวิดีโอสร้างสรรค์ ไม่น่าจะแก้ไขได้ในเร็วๆ นี้

ในด้านการวิจัยสังเคราะห์เชิง AI เช่นเดียวกับการวิจัยทางวิทยาศาสตร์โดยทั่วไป ความคิดที่ยอดเยี่ยมจะทำให้เราตื่นเต้นด้วยศักยภาพของมัน แต่การวิจัยเพิ่มเติมจะพบข้อจำกัดพื้นฐานของมัน

ในพื้นที่สังเคราะห์/การสร้างสรรค์ สิ่งนี้เกิดขึ้นแล้วกับ Generative Adversarial Networks และ Neural Radiance Fields ซึ่งทั้งสองอย่างนี้พิสูจน์แล้วว่าเป็นเรื่องที่ยากมากที่จะนำไปใช้ในการสร้างระบบเชิงพาณิชย์ที่มีประสิทธิภาพ

สิ่งเหล่านี้ปรากฏขึ้นบ่อยที่สุดในฐานะส่วนประกอบเสริมในสถาปัตยกรรมทางเลือก

ในขณะที่สตูดิโอภาพยนตร์อาจหวังว่าการฝึกอบรมบนแค็ตตาล็อกภาพยนตร์ที่ได้รับอนุญาตอย่างถูกต้องจะช่วย กำจัดศิลปินสตอรีบอร์ดและทีม VFX AI จริงๆ แล้ว เพิ่ม บทบาทในกำลังแรงงานในขณะนี้

ไม่ว่าระบบวิดีโอสร้างสรรค์แบบการกระจายตัวจะสามารถเปลี่ยนเป็นเครื่องสร้างภาพยนตร์ที่มีเรื่องราวและสมจริงได้หรือไม่ หรือว่ามันเป็นเพียงการแสวงหาที่ไม่มีทางเป็นจริง จะเป็นที่ทราบกันในช่วง 12 เดือนข้างหน้า

อาจต้องมีการเข้าใกล้ใหม่หรืออาจเป็นไปได้ว่า Gaussian Splatting (GSplat) ซึ่งพัฒนาในปี 1990 และได้รับความนิยมในพื้นที่สังเคราะห์ภาพในขณะนี้ อาจเป็นทางเลือกที่เป็นไปได้ในการสร้างวิดีโอโดยใช้ AI

เนื่องจาก GSplat ใช้เวลา 34 ปีในการเป็นที่รู้จัก จึงเป็นไปได้ที่ผู้ที่มีประสบการณ์มาก่อน เช่น NeRF และ GANs – และแม้กระทั่งแบบจำลองการกระจายตัวแบบซ่อนเร้น – ยังไม่ได้ใช้ประโยชน์จากมัน

* แม้ว่า ฟังก์ชัน AI Storyboard ของ Kaiber จะมีฟังก์ชันนี้ แต่ผลลัพธ์ที่ฉันเห็น ไม่ใช่คุณภาพการผลิต

มาร์ติน แอนเดอร์สัน เป็นอดีตหัวหน้าฝ่ายวิจัยทางวิทยาศาสตร์ของ metaphysic.ai

เผยแพร่ครั้งแรกวันจันทร์ที่ 23 กันยายน 2024