เส้นทางสู่การแก้ไขวิดีโอโดยใช้ AI ที่ดีขึ้น

สาขาวิจัยการสร้างภาพ/วิดีโอซินเทซิสออกมาเป็นโครงสร้างการแก้ไขวิดีโออย่างต่อเนื่อง และในช่วงเก้าเดือนที่ผ่านมา การเปิดตัวดังกล่าวได้บ่อยขึ้น อย่างไรก็ตาม ส่วนใหญ่แสดงให้เห็นถึงความก้าวหน้าเพียงเล็กน้อยเท่านั้น เนื่องจากความท้าทายหลักนั้นสำคัญ

อย่างไรก็ตาม การร่วมมือใหม่ระหว่างจีนและญี่ปุ่นในสัปดาห์นี้ได้ผลิตตัวอย่างที่ควรพิจารณาแนวทางของพวกเขาอย่างใกล้ชิด แม้ว่าจะไม่จำเป็นต้องเป็นผลงานที่สำคัญ

ในคลิปวิดีโอด้านล่าง (จากเว็บไซต์โครงการที่เกี่ยวข้องกับเอกสาร – โปรดทราบว่าอาจทำให้เบราว์เซอร์ของคุณชะงัก) เราจะเห็นว่าแม้ว่าความสามารถในการสร้างภาพลวงตาของระบบจะไม่มีอยู่ในคอนฟิกการ์เดนท์ปัจจุบัน แต่ระบบก็ทำได้ดีในการเปลี่ยนแปลงอัตลักษณ์ของหญิงสาวในภาพโดยอาศัยวิดีโอมาสก์ (ด้านล่างซ้าย):

คลิกเพื่อเล่นตามมาสก์แบ่งส่วนเชิงพื้นที่ที่แสดงไว้ด้านล่างซ้าย หญิงสาวต้นฉบับ (ด้านบนซ้าย) ถูกเปลี่ยนเป็นอัตลักษณ์ที่แตกต่างอย่างเห็นได้ชัด แม้ว่ากระบวนการนี้จะไม่บรรลุการเปลี่ยนอัตลักษณ์ที่แสดงในคำสั่ง Source: https://yxbian23.github.io/project/video-painter/ (โปรดทราบว่า ณ เวลาที่เขียนเว็บไซต์นี้มีแนวโน้มที่จะทำให้เบราว์เซอร์ของฉันชะงัก) โปรดอ้างอิงวิดีโอต้นฉบับหากคุณสามารถเข้าถึงได้ สำหรับการแก้ไขและรายละเอียดที่ดีกว่า หรือตรวจสอบตัวอย่างที่วิดีโอทบทวนโครงการที่ https://www.youtube.com/watch?v=HYzNfsD3A0s

การแก้ไขโดยใช้มาสก์ประเภทนี้มีการใช้กันอย่างแพร่หลายในแบบจำลองการกระจายเชิงลึกแบบคงที่ โดยใช้เครื่องมือเช่น ControlNet อย่างไรก็ตาม การรักษาความสอดคล้องของพื้นหลังในวิดีโอนั้นเป็นเรื่องที่ท้าทายมากขึ้น แม้ว่าพื้นที่ที่มีมาสก์จะให้ความยืดหยุ่นในการสร้างสรรค์แก่แบบจำลอง

คลิกเพื่อเล่นการเปลี่ยนแปลงของสปีชีส์ โดยใช้วิธีการ VideoPainter โปรดอ้างอิงวิดีโอต้นฉบับหากคุณสามารถเข้าถึงได้ สำหรับการแก้ไขและรายละเอียดที่ดีกว่า หรือตรวจสอบตัวอย่างที่วิดีโอทบทวนโครงการที่ https://www.youtube.com/watch?v=HYzNfsD3A0s

ผู้เขียนของงานใหม่นี้พิจารณาวิธีการของตนในแง่ของโครงสร้าง BrushNet ของ Tencent และ ControlNet ทั้งสองแบบมีโครงสร้างแบบ dual-branch ที่สามารถแยกการสร้างพื้นหลังและพื้นหน้าได้

อย่างไรก็ตาม การนำวิธีการนี้ไปใช้กับวิธีการ Diffusion Transformers (DiT) ที่มีประสิทธิผลซึ่งเสนอโดย OpenAI’s Sora นั้นเป็นเรื่องที่ท้าทายเป็นพิเศษ

ดังนั้น ผู้วิจัยจึงพัฒนาแนวทางแบบ plug-and-play ในรูปแบบของโครงสร้าง dual-branch ที่เรียกว่า VideoPainter

VideoPainter เสนอโครงสร้างการแก้ไขวิดีโอที่ปรับปรุงการสร้างวิดีโอโดยใช้ DiTs ที่มีการฝึกฝนไว้ล่วงหน้า โดยมีการเพิ่ม context encoder ที่มีน้ำหนักเบา

แบบจำลองนี้เสนอสามนวัตกรรมหลัก: context encoder สองชั้นที่สตรีมไลน์สำหรับการชี้นำพื้นหลังที่มีประสิทธิภาพ; ระบบบูรณาการคุณลักษณะที่เลือกมาสก์ ซึ่งแยกโทเค็นแบบมาสก์และไม่มีมาสก์; และเทคนิคการเรียงสับเปลี่ยน ID ของพื้นที่การแก้ไขที่รักษาความสอดคล้องของอัตลักษณ์ในช่วงที่ยาวกว่าของวิดีโอ

โดยการแช่แข็ง DiT ที่ฝึกฝนไว้ล่วงหน้าและ context encoder ในขณะที่แนะนำ ID-Adapter VideoPainter รับรองว่าโทเค็นของพื้นที่การแก้ไขจะคงอยู่ตลอดวิดีโอ ลดการเปลี่ยนแปลงและความไม่สอดคล้อง

โครงสร้างนี้ได้รับการออกแบบสำหรับการเข้ากันได้แบบ plug-and-play ช่วยให้ผู้ใช้สามารถรวมเข้ากับกระบวนการสร้างและแก้ไขวิดีโอที่มีอยู่ได้อย่างราบรื่น

เพื่อสนับสนุนงานนี้ ซึ่งใช้ CogVideo-5B-I2V เป็นเครื่องมือสร้างสรรค์ ผู้เขียนได้สร้างชุดข้อมูลการแก้ไขวิดีโอที่ใหญ่ที่สุดจนถึงปัจจุบัน โดยมีชื่อว่า VPData ซึ่งประกอบด้วยคลิปวิดีโอมากกว่า 390,000 คลิป และมีระยะเวลารวมมากกว่า 886 ชั่วโมง

คลิกเพื่อเล่นจากตัวอย่างในเว็บไซต์โครงการ เราจะเห็นความสามารถในการแบ่งส่วนโดยใช้ชุดข้อมูล VPData และชุดการทดสอบ VPBench โปรดอ้างอิงวิดีโอต้นฉบับหากคุณสามารถเข้าถึงได้ สำหรับการแก้ไขและรายละเอียดที่ดีกว่า หรือตรวจสอบตัวอย่างที่วิดีโอทบทวนโครงการที่ https://www.youtube.com/watch?v=HYzNfsD3A0s

งานใหม่นี้มีชื่อว่า VideoPainter: การแก้ไขวิดีโอที่มีความยาวใดๆ และการแก้ไขด้วยการควบคุมบริบทแบบ plug-and-play และมาจากผู้เขียนเจ็ดคนจาก Tencent ARC Lab, The Chinese University of Hong Kong, The University of Tokyo และ University of Macau

นอกจากเว็บไซต์โครงการแล้ว ผู้เขียนยังเผยแพร่วิดีโอทบทวนที่สามารถเข้าถึงได้บน YouTube และหน้า Hugging Face

วิธีการ

กระบวนการรวบรวมข้อมูลสำหรับ VPData ประกอบด้วยการรวบรวม การทำเครื่องหมาย การแบ่ง การเลือก และการเขียนคำบรรยาย

แหล่งข้อมูลที่ใช้ในการรวบรวมนี้มาจาก Videvo และ Pexels โดยมีการรวบรวมวิดีโอมากกว่า 450,000 คลิปในตอนแรก

ในขั้นตอนการประมวลผล มีการใช้เครื่องมือและวิธีการหลายอย่าง รวมถึง Recognize Anything สำหรับการทำเครื่องหมายวิดีโอแบบเปิด, Grounding Dino สำหรับการตรวจจับวัตถุ และ Segment Anything Model 2 (SAM 2) สำหรับการแบ่งส่วนพื้นที่

เพื่อจัดการการเปลี่ยนแปลงฉากและรักษาความสอดคล้องในการแก้ไขวิดีโอ VideoPainter ใช้ PySceneDetect เพื่อระบุและแบ่งคลิปที่จุดพักตามธรรมชาติ เพื่อหลีกเลี่ยงการเปลี่ยนแปลงที่รบกวนซึ่งเกิดจากการติดตามวัตถุเดียวกันจากหลายมุม

สำหรับการเลือกข้อมูล มีการใช้สามเกณฑ์ในการกรอง: คุณภาพทาง审美 โดยใช้ Laion-Aesthetic Score Predictor; ความเข้มของการเคลื่อนไหว โดยใช้ optical flow และ RAFT; และความปลอดภัยของเนื้อหา โดยใช้ Safety Checker ของ Stable Diffusion

หนึ่งในการจำกัดข้อมูลที่สำคัญในเซตข้อมูลการแบ่งส่วนวิดีโอคือการขาดการทำเครื่องหมายข้อความที่มีรายละเอียด ซึ่งจำเป็นสำหรับการชี้นำแบบจำลองการสร้างสรรค์

ดังนั้น กระบวนการรวบรวมข้อมูลของ VideoPainter จึงรวมถึงการสร้างคำบรรยายและคำอธิบายที่มีรายละเอียดของพื้นที่ที่มีมาสก์ โดยใช้แบบจำลองการมองเห็นและภาษาที่นำหน้า เช่น CogVLM2 และ Chat GPT-4o

VideoPainter ปรับปรุงการสร้างวิดีโอโดยใช้ DiTs ที่มีการฝึกฝนไว้ล่วงหน้า โดยการเพิ่ม context encoder ที่มีน้ำหนักเบา

โครงสร้างนี้ประกอบด้วย context encoder ที่สตรีมไลน์สำหรับการชี้นำพื้นหลังที่มีประสิทธิภาพ และระบบบูรณาการคุณลักษณะที่เลือกมาสก์ ซึ่งแยกโทเค็นแบบมาสก์และไม่มีมาสก์

นอกจากนี้ ยังมีการใช้เทคนิคการเรียงสับเปลี่ยน ID ของพื้นที่การแก้ไขที่รักษาความสอดคล้องของอัตลักษณ์ในช่วงที่ยาวกว่าของวิดีโอ

ข้อมูลและการทดสอบ

VideoPainter ถูกฝึกฝนโดยใช้ CogVideo-5B-I2V และ VPData ที่มีขนาด 480x720px และอัตราการเรียนรู้ 1×10^-5

การฝึกฝนเกิดขึ้นในสองขั้นตอน โดยใช้ AdamW และ 64 NVIDIA V100 GPUs

สำหรับการทดสอบ มีการใช้ Davis สำหรับมาสก์แบบสุ่ม และ VPBench สำหรับมาสก์แบบแบ่งส่วน

VPBench ประกอบด้วยวัตถุ สัตว์ ผู้คน ภูมิประเทศ และงานที่หลากหลาย และครอบคลุมสี่การกระทำ: การเพิ่ม การลบ การเปลี่ยนแปลง และการแลกเปลี่ยน

มีการใช้แปดมาตรการในการประเมินผลลัพธ์ รวมถึง Peak Signal-to-Noise Ratio (PSNR), Learned Perceptual Similarity Metrics (LPIPS), Structural Similarity Index (SSIM) และ Mean Absolute Error (MAE)

สำหรับการจัดเรียงข้อความ มีการใช้ CLIP Similarity เพื่อประเมินระยะห่างเชิงพื้นที่ระหว่างคำบรรยายและเนื้อหาที่แท้จริงของคลิป

นอกจากนี้ ยังมีการใช้ Fréchet Video Distance (FVD) เพื่อประเมินคุณภาพวิดีโอที่ผลิตออกมา

ผู้เขียนได้ทำการเปรียบเทียบผลลัพธ์กับวิธีการอื่นๆ เช่น ProPainter, COCOCO และ Cog-Inp

ผลลัพธ์แสดงให้เห็นว่า VideoPainter มีประสิทธิภาพสูงกว่าวิธีการอื่นๆ ในหลายด้าน

สรุป

VideoPainter ดูเหมือนจะเป็นผลงานที่มีคุณค่าในการเพิ่มประสิทธิภาพการแก้ไขวิดีโอโดยใช้ AI

อย่างไรก็ตาม มัน还有ความต้องการในการประมวลผลที่มาก และตัวอย่างที่นำเสนอในเว็บไซต์โครงการอาจไม่ได้แสดงถึงคุณภาพที่ดีที่สุด

ดังนั้น จึงน่าสนใจที่จะเห็นโครงสร้างนี้แข่งขันกับผลงานในอนาคตและวิธีการอื่นๆ

* ควรทราบว่า “การแก้ไขวิดีโอ” ในบริบทนี้ไม่หมายถึง “การรวมคลิปต่างๆ เข้าด้วยกัน” ซึ่งเป็นความหมายทั่วไปของคำนี้ แต่หมายถึงการเปลี่ยนแปลงหรือแก้ไขเนื้อหาของคลิปวิดีโอที่มีอยู่โดยใช้เทคนิคการเรียนรู้ของเครื่อง

เผยแพร่ครั้งแรกวันจันทร์ที่ 10 มีนาคม 2025 อัปเดตวันเสาร์ที่ 25 กรกฎาคม 2026 เพื่อแทนวิดีโอ