การควบคุมที่สมบูรณ์ใน AI การสร้างวิดีโอ

โมเดลการสร้างวิดีโอที่เป็นพื้นฐาน เช่น Hunyuan และ Wan 2.1 แม้ว่าจะมีพลัง แต่ก็ไม่ได้ให้ผู้ใช้การควบคุมที่ละเอียดเช่นเดียวกับการผลิตภาพยนตร์และโทรทัศน์ (โดยเฉพาะการผลิต VFX)

ในสตูดิโอผลิตภาพประกอบที่มีประสิทธิภาพ โมเดลที่เปิด源 เช่นเดียวกับโมเดลก่อนหน้าที่ใช้ภาพ (ไม่ใช่วิดีโอ) เช่น Stable Diffusion Kandinsky และ Flux มักจะใช้ร่วมกับเครื่องมือสนับสนุนหลายอย่างที่ปรับผลลัพธ์ให้ตรงตามความต้องการสร้างสรรค์เฉพาะ

เมื่อผู้กำกับพูดว่า “ดูเหมือนดี แต่เราสามารถทำให้มันเล็กน้อย [n] ได้ไหม?” คุณไม่สามารถตอบได้ว่าโมเดลไม่แม่นยำพอที่จะจัดการกับคำขอนั้น

แทน_into ทีม AI VFX จะใช้เทคนิค CGI และการประกอบภาพแบบดั้งเดิม ร่วมกับขั้นตอนและกระบวนการแบบกำหนดเองที่พัฒนาขึ้นตามเวลา เพื่อพยายามผลักดันขีดจำกัดของการสร้างวิดีโอไปอีกขั้น

ดังนั้น โดยอุปมา โมเดลการสร้างวิดีโอที่เป็นพื้นฐานจึงคล้ายกับการติดตั้งโปรแกรมเว็บเบราว์เซอร์แบบดั้งเดิม เช่น Chrome; มันทำได้มากโดยไม่ต้องตั้งค่า แต่ถ้าคุณต้องการให้มันปรับให้เหมาะสมกับความต้องการของคุณ แทนที่จะทำตรงกันข้าม คุณจะต้องใช้ปลั๊กอิน

ผู้ควบคุมที่สมบูรณ์

ในโลกของการสร้างภาพโดยใช้การกระจายแบบการแพร่กระจาย เทคโนโลยีที่สำคัญที่สุดคือ ControlNet

ControlNet เป็นเทคนิคสำหรับการเพิ่มการควบคุมที่มีโครงสร้างให้กับโมเดลการสร้างภาพโดยใช้การแพร่กระจาย ทำให้ผู้ใช้สามารถชี้นำการสร้างภาพหรือวิดีโอโดยใช้ข้อมูลเพิ่มเติม เช่น แผนที่ขอบ แผนที่ความลึก หรือ ข้อมูลท่าทาง

วิธีการต่างๆ ของ ControlNet ช่วยให้สามารถสร้างภาพจากความลึก (แถวบนสุด) การแบ่งส่วนเชิงความหมาย (ด้านล่างซ้าย) และการสร้างภาพที่มีท่าทางของมนุษย์และสัตว์ (ด้านล่างซ้าย)

แทนที่จะพึ่งพาเฉพาะคำสั่งแบบข้อความ ControlNet นำเสนอสาขาการประมวลผลแบบประสานงานที่แยกจากกัน หรือ อแดปเตอร์ ที่ประมวลผลสัญญาณการควบคุมเหล่านี้ ในขณะเดียวกันก็รักษาความสามารถในการสร้างภาพของโมเดลพื้นฐานไว้

สิ่งนี้ช่วยให้สามารถสร้างภาพที่ปรับให้เหมาะสมกับข้อกำหนดของผู้ใช้ได้ดีขึ้น ทำให้มีประโยชน์อย่างยิ่งในแอปพลิเคชันที่ต้องการการควบคุมการวางองค์ประกอบ การสร้างสรรค์ หรือการเคลื่อนไหวอย่างแม่นยำ

ด้วยการชี้นำท่าทาง สามารถรับผลลัพธ์ที่แม่นยำได้หลากหลายผ่าน ControlNet Source: https://arxiv.org/pdf/2302.05543

อย่างไรก็ตาม ระบบแบบแยกส่วนเช่นนี้ทำงานภายนอกกระบวนการประสานงานที่มุ่งเน้นภายในเป็นอย่างมาก วิธีการเหล่านี้มีข้อเสียหลายประการ

ประการแรก อแดปเตอร์ถูกฝึกฝนแยกจากกัน ทำให้เกิด ความขัดแย้งระหว่างสาขา เมื่ออแดปเตอร์หลายตัวถูกผสมเข้าด้วยกัน ซึ่งอาจทำให้คุณภาพการสร้างภาพลดลง

ประการที่สอง มันนำไปสู่ การซ้ำซ้อนของพารามิเตอร์ ซึ่งต้องการการคำนวณและหน่วยความจำเพิ่มเติมสำหรับอแดปเตอร์แต่ละตัว ทำให้การปรับขนาดไม่มีประสิทธิภาพ

ประการที่สาม แม้ว่าจะมีความยืดหยุ่น แต่อแดปเตอร์มักจะให้ผลลัพธ์ที่ ไม่เหมาะสม เมื่อเทียบกับโมเดลที่ได้รับการปรับให้เหมาะสมอย่างเต็มที่สำหรับการสร้างภาพหลายแบบ

ในอุดมคติ ความสามารถของ ControlNet ควรได้รับการฝึกฝน โดยธรรมชาติ เข้ากับโมเดล โดยใช้วิธีการแบบโมดูลาร์ที่สามารถรองรับนวัตกรรมที่คาดหวังในอนาคต เช่น การสร้างวิดีโอพร้อมเสียงหรือการซิงค์เสียงแบบเนทีฟ

ในขณะนี้ ทุกฟังก์ชันเพิ่มเติมแสดงถึงงานหลังการผลิตหรือกระบวนการที่ไม่ใช่ของพื้นฐานที่ต้องนำทางไปตามน้ำหนักที่มีการผูกไว้และไวต่อการเปลี่ยนแปลงของโมเดลพื้นฐานใดๆ

FullDiT

เข้าสู่สถานการณ์นี้ มีการเสนอระบบใหม่จากประเทศจีน โดยระบุว่าสามารถรวมการควบคุมแบบ ControlNet เข้ากับโมเดลการสร้างวิดีโอโดยตรงในช่วงการฝึกฝน แทนที่จะถือเป็นเรื่องรอง

จากเอกสารวิจัยใหม่: วิธีการ FullDiT สามารถรวมการกำหนดตัวตน ความลึก และการเคลื่อนไหวของกล้องเข้ากับการสร้างภาพโดยธรรมชาติ และสามารถเรียกใช้การผสมผสานใดๆ เหล่านี้พร้อมกัน. Source: https://arxiv.org/pdf/2503.19907

ชื่อ FullDiT วิธีการใหม่นี้รวมเงื่อนไขหลายแบบ เช่น การถ่ายโอนตัวตน การสร้างแผนที่ความลึก และการเคลื่อนไหวของกล้อง เข้ากับส่วนหนึ่งของโมเดลการสร้างวิดีโอที่ได้รับการฝึกฝน โดยผู้เขียนได้สร้างโมเดลต้นแบบที่ฝึกฝนแล้วพร้อมกับคลิปวิดีโอที่ เว็บไซต์โครงการ

ในตัวอย่างด้านล่าง เราจะเห็นการสร้างภาพที่รวมการเคลื่อนไหวของกล้อง ข้อมูลตัวตน และข้อความจากผู้ใช้ (เช่น ข้อความสั่งการจากผู้ใช้)

คลิกเพื่อเล่น ตัวอย่างการกำหนดค่าผู้ใช้แบบ ControlNet โดยใช้เพียงโมเดลพื้นฐานที่ฝึกฝนแล้ว Source: https://fulldit.github.io/

ควรทราบว่าผู้เขียนไม่ได้เสนอโมเดลที่ฝึกฝนแล้วนี้เป็นโมเดลพื้นฐานที่ใช้งานได้ แต่เป็นตัวอย่างการ chứng minhแนวคิดสำหรับโมเดลการสร้างวิดีโอจากข้อความ (T2V) และโมเดลการสร้างวิดีโอจากภาพ (I2V) ที่ให้ผู้ใช้ควบคุมมากกว่าการใช้เพียงภาพหรือข้อความ

เนื่องจากยังไม่มีโมเดลที่คล้ายกัน ผู้วิจัยจึงสร้างมาตรฐานใหม่ที่เรียกว่า FullBench สำหรับการประเมินวิดีโอที่มีหลายแบบ และอ้างว่ามีประสิทธิภาพที่ดีที่สุดในแบบทดสอบที่คล้ายกัน

อย่างไรก็ตาม เนื่องจาก FullBench ถูกออกแบบโดยผู้เขียนเอง ความเป็นกลางจึงยังไม่ได้รับการทดสอบ และชุดข้อมูลที่มี 1,400 กรณีอาจมีขนาดเล็กเกินไปสำหรับการสรุปในวงกว้าง

ด้านที่น่าสนใจที่สุดของสถาปัตยกรรมที่เสนอในเอกสารคือความสามารถในการรวมการควบคุมใหม่ๆ

ผู้เขียนระบุว่า:

‘ในงานนี้ เราเพียงแต่สำรวจเงื่อนไขการควบคุมของกล้อง ตัวตน และข้อมูลความลึก เราไม่ได้สำรวจเงื่อนไขและรูปแบบอื่นๆ เช่น เสียง พูด จุดเมฆ บounding box ของวัตถุ การไหลของภาพออปติคอล ฯลฯ แม้ว่าดีไซน์ของ FullDiT จะสามารถรวมรูปแบบอื่นๆ ได้อย่างราบรื่นโดยไม่ต้องเปลี่ยนแปลงโครงสร้างมากนัก แต่วิธีการปรับโมเดลที่มีอยู่ให้เข้ากับเงื่อนไขและรูปแบบใหม่ๆ อย่างรวดเร็วและคุ้มค่านั้นยังคงเป็นคำถามที่สำคัญที่ต้องสำรวจต่อไป’

แม้ว่าผู้วิจัยจะนำเสนอ FullDiT เป็นก้าวหนึ่งในการสร้างวิดีโอที่มีหลายแบบ แต่ก็ควรพิจารณาว่างานนี้สร้างขึ้นจากสถาปัตยกรรมที่มีอยู่แล้ว ไม่ใช่แนวคิดใหม่ๆ

อย่างไรก็ตาม FullDiT ปัจจุบันอยู่ในฐานะโมเดลการสร้างวิดีโอที่มีการควบคุมแบบ ControlNet ที่ “เข้ารหัสไว้” – และดีใจที่จะเห็นว่าสถาปัตยกรรมที่เสนอสามารถรองรับการสร้างสรรค์ในอนาคตได้เช่นกัน

คลิกเพื่อเล่น ตัวอย่างการเคลื่อนไหวของกล้องจากเว็บไซต์โครงการ

เอกสารวิจัยใหม่ชื่อ FullDiT: โมเดลการสร้างวิดีโอที่มีหลายแบบพร้อมการควบคุมเต็มรูปแบบ มาจากนักวิจัย 9 คนจาก Kuaishou Technology และ The Chinese University of Hong Kong เว็บไซต์โครงการอยู่ที่ นี่ และชุดข้อมูลมาตรฐานใหม่อยู่ที่ Hugging Face

วิธีการ

ผู้เขียนอ้างว่ากลไกการควบคุมที่รวมของ FullDiT ช่วยให้การเรียนรู้การแสดงข้อมูลที่แข็งแกร่งขึ้นโดยการรับข้อมูลทั้งเชิงพื้นที่และเชิงเวลา

ตามเอกสารวิจัยใหม่ FullDiT รวมเงื่อนไขการเข้าหลายแบบผ่านการควบคุมตนเองที่เต็มรูปแบบ โดยแปลงเป็นลำดับที่รวมกัน ในทางตรงกันข้าม โมเดลที่ใช้อแดปเตอร์ (ด้านซ้ายสุด) ใช้โมดูลแยกสำหรับแต่ละการเข้า ซึ่งนำไปสู่การซ้ำซ้อน ความขัดแย้ง และประสิทธิภาพที่อ่อนลง

ไม่เหมือนกับเซตอัพแบบอแดปเตอร์ที่ประมวลผลกระแสการเข้าแต่ละส่วนแยกจากกัน โครงสร้างการควบคุมที่ใช้ร่วมกันนี้หลีกเลี่ยงความขัดแย้งระหว่างสาขาและลดภาระพารามิเตอร์

พวกเขายังอ้างว่าสถาปัตยกรรมสามารถปรับขนาดให้เข้ากับประเภทการเข้าใหม่ๆ โดยไม่ต้องเปลี่ยนแปลงโครงสร้างใหม่มากนัก และโมเดลนี้แสดงสัญญาณของการเรียนรู้ที่จะเชื่อมโยงการเคลื่อนไหวของกล้องกับตัวตนด้วย

คลิกเพื่อเล่น ตัวอย่างการสร้างตัวตนที่มาจากเว็บไซต์โครงการ

ในโครงสร้างของ FullDiT ทุกๆ เงื่อนไขการเข้า – เช่น ข้อความ การเคลื่อนไหวของกล้อง ตัวตน และความลึก – จะถูกแปลงเป็นรูปแบบโทเค็นที่รวมกัน

โทเค็นเหล่านี้จะถูกต่อท้ายเข้ากับลำดับยาวที่รวมกัน ซึ่งจะถูกประมวลผลผ่านชั้นของ ทรานส์ฟอร์เมอร์ โดยใช้การควบคุมตนเองที่เต็มรูปแบบ

วิธีการนี้ตามงานก่อนหน้า เช่น Open-Sora Plan และ Movie Gen

พลังของสาม

FullDiT แปลงสัญญาณการควบคุมแต่ละสัญญาณให้เป็นรูปแบบโทเค็นที่มาตรฐานเพื่อให้สามารถประมวลผลเงื่อนไขทั้งหมดในโครงสร้างการควบคุมที่รวมกัน

สำหรับการเคลื่อนไหวของกล้อง โมเดลจะเข้ารหัสลำดับของพารามิเตอร์ภายนอก เช่น ตำแหน่งและทิศทาง สำหรับแต่ละเฟรม

ข้อมูลตัวตนนั้นถูกจัดการแตกต่างออกไป เนื่องจากมีลักษณะเชิงพื้นที่มากกว่าเชิงเวลา

ความลึกเป็นสัญญาณที่มีทั้งเชิงพื้นที่และเชิงเวลา และโมเดลจะจัดการมันโดยการแบ่งวิดีโอความลึกออกเป็น 3 มิติ

หลังจากที่ถูกเข้ารหัสแล้ว โทเค็นเงื่อนไขเหล่านี้ (กล้อง ตัวตน และความลึก) จะถูกต่อท้ายเข้ากับลำดับยาวที่รวมกัน ทำให้ FullDiT สามารถประมวลผลมันร่วมกันโดยใช้การควบคุมตนเองที่เต็มรูปแบบ

ข้อมูลและทดสอบ

วิธีการฝึกของ FullDiT พึ่งพาเซตข้อมูลที่มีการเลือกและแก้ไขสำหรับแต่ละประเภทการเข้า

สำหรับเงื่อนไขแบบข้อความ โครงการนี้ตามแนวทางการเขียนคำบรรยายแบบมีโครงสร้างที่ระบุไว้ใน MiraData

กระบวนการรวบรวมวิดีโอและคำบรรยายจาก MiraData Source: https://arxiv.org/pdf/2407.06358

สำหรับการเคลื่อนไหวของกล้อง ชุดข้อมูล RealEstate10K เป็นแหล่งข้อมูลหลัก เนื่องจากมีการบันทึกพารามิเตอร์ของกล้องที่มีคุณภาพสูง

อย่างไรก็ตาม ผู้เขียนสังเกตเห็นว่าการฝึกฝนโดยใช้เซตข้อมูลสถานการณ์แบบนิ่งๆ เช่น RealEstate10K มีแนวโน้มที่จะลดการเคลื่อนไหวของวัตถุและมนุษย์ในวิดีโอที่สร้างขึ้น

เพื่อแก้ไขปัญหานี้ พวกเขาได้ทำการปรับให้เหมาะสมเพิ่มเติมโดยใช้เซตข้อมูลภายในที่รวมการเคลื่อนไหวของกล้องที่มีพลังมากขึ้น

การบันทึกตัวตนนั้นถูกสร้างขึ้นโดยใช้เฟรมเวิร์กที่พัฒนาไว้สำหรับ ConceptMaster ซึ่งช่วยให้สามารถกรองและดึงข้อมูลตัวตนแบบละเอียดได้อย่างมีประสิทธิภาพ

เฟรมเวิร์ก ConceptMaster ได้รับการออกแบบมาเพื่อแก้ไขปัญหาการแยกตัวตนในขณะที่รักษาความถูกต้องของแนวคิดไว้ Source: https://arxiv.org/pdf/2501.04698

การบันทึกความลึกถูกดึงมาจาก Panda-70M โดยใช้ Depth Anything

การปรับให้เหมาะสมผ่านการเรียงลำดับข้อมูล

ผู้เขียนยังใช้กำหนดการฝึกแบบก้าวหน้า โดยนำเงื่อนไขที่ท้าทายมากขึ้น ในตอนต้นของการฝึก เพื่อให้แน่ใจว่าโมเดลได้รับการแสดงผลที่แข็งแกร่งก่อนที่จะเพิ่มงานที่ง่ายกว่า

ลำดับการฝึกเริ่มตั้งแต่ ข้อความ ไปยัง การเคลื่อนไหวของกล้อง จากนั้น ตัวตน และสุดท้าย ความลึก โดยทั่วไปงานที่ง่ายกว่าจะถูกนำเข้ามาในภายหลังและมีตัวอย่างน้อย

ผู้เขียนเน้นย้ำถึงคุณค่าของการเรียงลำดับงานในลักษณะนี้:

‘ระหว่างระยะการฝึกเบื้องต้น เราสังเกตเห็นว่างานที่ท้าทายต้องใช้เวลาในการฝึกที่ยาวนานกว่าและควรนำเข้ามาในตอนต้นของกระบวนการเรียนรู้ ซึ่งเกี่ยวข้องกับการกระจายข้อมูลที่ซับซ้อนซึ่งแตกต่างอย่างมากจากวิดีโอที่ผลิตออกมา ซึ่งต้องการให้โมเดลมีความสามารถที่เพียงพอในการจับและแสดงข้อมูลเหล่านี้’

‘ในทางกลับกัน การนำงานที่ง่ายเข้ามาในตอนต้นอาจทำให้โมเดลให้ความสำคัญกับการเรียนรู้สิ่งเหล่านั้นก่อน เนื่องจากมันให้ผลตอบรับในการปรับให้เหมาะสมที่รวดเร็ว ซึ่งอาจขัดขวางการบรรลุเป้าหมายของงานที่ท้าทายมากขึ้น’

ภาพประกอบของลำดับการฝึกที่ผู้วิจัยใช้ โดยสีแดงแสดงถึงปริมาณข้อมูลที่มากขึ้น

หลังจากการฝึกเบื้องต้นแล้ว ระยะการปรับให้เหมาะสมสุดท้ายจะปรับปรุงโมเดลเพื่อเพิ่มคุณภาพการแสดงภาพและพลังงานการเคลื่อนไหว

การฝึกนี้ตามรูปแบบของเฟรมเวิร์กการแพร่กระจายมาตรฐาน: เสียงเพิ่มเข้าไปในวิดีโอละตέντ และโมเดล เรียนรู้ที่จะคาดเดาและลบมัน โดยใช้โทเค็นเงื่อนไขที่ฝังไว้เป็นคำแนะนำ

เพื่อประเมิน FullDiT และให้การเปรียบเทียบที่ยุติธรรมกับวิธีการก่อนหน้า และเนื่องจากไม่มีมาตรฐานที่เหมาะสมอื่นๆ ผู้เขียนจึงแนะนำ FullBench ซึ่งเป็นชุดมาตรฐานที่ประกอบด้วย 1,400 กรณีทดสอบที่แตกต่างกัน

ตัวอย่างการสำรวจข้อมูลสำหรับมาตรฐานใหม่ FullBench Source: https://huggingface.co/datasets/KwaiVGI/FullBench

แต่ละจุดข้อมูลให้การบันทึกที่แท้จริงสำหรับสัญญาณการควบคุมต่างๆ รวมถึง การเคลื่อนไหวของกล้อง ตัวตน และ ความลึก

มาตรการ

ผู้เขียนประเมิน FullDiT โดยใช้มาตรการ 10 ประการ ที่ครอบคลุม 5 ด้านหลักของประสิทธิภาพ: การจัดตำแหน่งข้อความ การควบคุมกล้อง ความคล้ายคลึงของตัวตน ความแม่นยำของความลึก และคุณภาพวิดีโอทั่วไป

การจัดตำแหน่งข้อความถูกวัดโดยใช้ CLIP ความคล้ายคลึง ในขณะที่การควบคุมกล้องถูกประเมินผ่าน ข้อผิดพลาดการหมุน (RotErr) ข้อผิดพลาดการแปล (TransErr) และ ความสอดคล้องของการเคลื่อนไหวกล้อง (CamMC) ตามแนวทางของ CamI2V (ในโครงการ CameraCtrl)

ความคล้ายคลึงของตัวตนนั้นถูกประเมินโดยใช้ DINO-I และ CLIP-I และความแม่นยำของการควบคุมความลึกถูกปริมาณโดยใช้ Mean Absolute Error (MAE)

คุณภาพวิดีโอนั้นถูกตัดสินโดยใช้ 3 มาตรการจาก MiraData: ความคล้ายคลึง CLIP ระดับเฟรมสำหรับความเรียบเนียน; ระยะทางการเคลื่อนไหวแบบออปติคัลสำหรับพลังงานการเคลื่อนไหว; และ คะแนน LAION-Aesthetic สำหรับความน่าดึงดูดทางภาพ

การฝึก

ผู้เขียนฝึก FullDiT โดยใช้โมเดลการสร้างวิดีโอจากข้อความที่มีพารามิเตอร์ประมาณ 1 พันล้านตัว

พวกเขาตั้งใจเลือกขนาดพารามิเตอร์ที่เหมาะสมเพื่อรักษาความยุติธรรมในการเปรียบเทียบกับวิธีการก่อนหน้า และเพื่อให้แน่ใจถึงการทำซ้ำได้

เนื่องจากวิดีโอที่ใช้ในการฝึกมีความยาวและความละเอียดที่แตกต่างกัน ผู้เขียนจึงปรับแต่งแต่ละ แบตช์ โดยการปรับขนาดและเพิ่มวิดีโอเพื่อให้ได้ความละเอียดที่เหมือนกัน ตัวอย่าง 77 เฟรมต่อซีเควนซ์ และใช้การควบคุมและ มาสก์ข้อผิดพลาด เพื่อเพิ่มประสิทธิภาพการฝึก

ตัวปรับให้เหมาะสม Adam ถูกใช้ที่อัตราการเรียนรู้ 1×10⁻⁵ ทั่วคลัสเตอร์ของ 64 NVIDIA H800 GPUs โดยรวมเป็น 5,120GB ของ VRAM

โมเดลถูกฝึกเป็นเวลาประมาณ 32,000 ก้าว โดยรวมถึงตัวตนสูงสุด 3 ตัวต่อวิดีโอ พร้อมกับ 20 เฟรมของเงื่อนไขการเคลื่อนไหวของกล้องและ 21 เฟรมของเงื่อนไขความลึก ทั้งสองแบบถูกตัวอย่างอย่างสม่ำเสมอจากทั้งหมด 77 เฟรม

สำหรับการอนุมาน โมเดลสร้างวิดีโอความละเอียด 384×672 พิกเซล (ประมาณ 5 วินาที ที่ 15 เฟรมต่อวินาที) โดยใช้ 50 ก้าวการอนุมานแบบการแพร่กระจายและค่าความชี้นำของคลาสสิฟายเออร์แบบไม่มีการควบคุมที่ 5

วิธีการก่อนหน้า

สำหรับการประเมินวิดีโอจากกล้อง FullDiT ถูกเปรียบเทียบกับ MotionCtrl CameraCtrl และ CamI2V โดยที่ทุกๆ โมเดลถูกฝึกโดยใช้ RealEstate10K เพื่อรักษาความยุติธรรมและความเท่าเทียม

ในกรณีการสร้างวิดีโอตามเงื่อนไขตัวตน โมเดลถูกเปรียบเทียบกับ ConceptMaster รุ่น 1 พันล้านพารามิเตอร์ โดยใช้ข้อมูลฝึกและสถาปัตยกรรมเดียวกัน

สำหรับงานวิดีโอจากความลึก การเปรียบเทียบถูกทำกับ Ctrl-Adapter และ ControlVideo

ผลลัพธ์เชิงปริมาณสำหรับการสร้างวิดีโอที่มีหน้าที่เดียว FullDiT ถูกเปรียบเทียบกับ MotionCtrl, CameraCtrl และ CamI2V สำหรับการสร้างวิดีโอจากกล้อง; ConceptMaster (รุ่น 1 พันล้านพารามิเตอร์) สำหรับการสร้างวิดีโอจากตัวตน; และ Ctrl-Adapter และ ControlVideo สำหรับการสร้างวิดีโอจากความลึก

ผลลัพธ์แสดงให้เห็นว่า FullDiT แม้จะจัดการสัญญาณการควบคุมหลายแบบพร้อมกัน แต่ก็ได้ผลลัพธ์ที่ดีที่สุดในมาตรการที่เกี่ยวข้องกับข้อความ การเคลื่อนไหวของกล้อง ตัวตน และความลึก

ในมาตรการคุณภาพโดยรวม ระบบนี้โดยทั่วไปมีประสิทธิภาพเหนือกว่าวิธีการอื่นๆ แม้ว่าความเรียบเนียนจะน้อยกว่าของ ConceptMaster เล็กน้อย

ผู้เขียนแสดงความคิดเห็นว่า:

‘ความเรียบเนียนของ FullDiT น้อยกว่าของ ConceptMaster เนื่องจากการคำนวณความเรียบเนียนขึ้นอยู่กับความคล้ายคลึงของ CLIP ระหว่างเฟรมที่อยู่ติดกัน เนื่องจาก FullDiT มีการเคลื่อนไหวที่มากขึ้นเมื่อเทียบกับ ConceptMaster ความเรียบเนียนจึงได้รับผลกระทบจากความแปรผันระหว่างเฟรมที่อยู่ติดกัน’

‘สำหรับคะแนนความสวยงาม เนื่องจากโมเดลการให้คะแนนที่ชื่นชอบภาพในลักษณะการวาดภาพ ControlVideo จึงได้คะแนนสูงในด้านความสวยงาม’

เกี่ยวกับการเปรียบเทียบเชิงคุณภาพ อาจจะดีกว่าที่จะอ้างอิงตัวอย่างวิดีโอที่เว็บไซต์โครงการ FullDiT

ส่วนแรกของผลลัพธ์เชิงคุณภาพที่นำมาจากเอกสาร PDF

ผู้เขียนแสดงความคิดเห็นว่า:

‘FullDiT แสดงให้เห็นถึงการรักษาตัวตนที่เหนือกว่าและสร้างวิดีโอที่มีการเคลื่อนไหวและคุณภาพการแสดงภาพที่ดีกว่าเมื่อเทียบกับ [ConceptMaster]’

‘… ผลลัพธ์เหล่านี้แสดงให้เห็นถึงการควบคุมและการสร้างวิดีโอที่เหนือกว่าของ FullDiT เมื่อเทียบกับวิธีการสร้างวิดีโอจากความลึกและกล้องที่มีอยู่’

ส่วนหนึ่งของตัวอย่างผลลัพธ์ของ FullDiT ที่มีสัญญาณหลายแบบ

สรุป

แม้ว่า FullDiT จะเป็นก้าวหนึ่งที่น่าตื่นเต้นในการพัฒนาโมเดลการสร้างวิดีโอที่มีคุณสมบัติครบถ้วน แต่ก็ทำให้เราต้องสงสัยว่าความต้องการสำหรับการควบคุมแบบ ControlNet จะมีเหตุผลที่จะนำไปใช้ขนาดใหญ่หรือไม่

ความท้าทายหลักคือการใช้ระบบเช่น Depth และ Pose โดยทั่วไปต้องมีความคุ้นเคยกับอินเทอร์เฟซผู้ใช้ที่ซับซ้อน เช่น ComfyUI

ดังนั้น จึงดูเหมือนว่าโมเดล FOSS ที่ใช้งานได้ของชนิดนี้มีแนวโน้มที่จะถูกพัฒนาโดยกลุ่มบริษัท VFX ขนาดเล็กที่ไม่มีเงินทุนหรือความตั้งใจที่จะสร้างและฝึกโมเดลดังกล่าวในห้องปิด

ในทางกลับกัน ระบบ API ที่ขับเคลื่อนด้วย ‘เช่า AI’ อาจมีแรงจูงใจที่จะพัฒนาวิธีการตีความที่เรียบง่ายและเป็นมิตรต่อผู้ใช้สำหรับโมเดลที่มีระบบควบคุมเสริมฝังไว้

คลิกเพื่อเล่น การควบคุมแบบ Depth+Text ที่ใช้กับการสร้างวิดีโอโดย FullDiT

* ผู้เขียนไม่ได้ระบุโมเดลพื้นฐานที่ทราบ

เผยแพร่ครั้งแรกวันพฤหัสบดีที่ 27 มีนาคม 2025