การเชื่อมช่องว่าง ‘ระหว่าง’ ในวิดีโอสร้างสรรค์

การวิจัยใหม่จากประเทศจีนได้เสนอวิธีการที่ดีขึ้นในการ แทรกภาพ ระหว่างเฟรมวิดีโอที่มีระยะเวลาต่างกัน – หนึ่งในความท้าทายที่สำคัญที่สุดในการแข่งขันความสมจริงสำหรับวิดีโอ AI ที่สร้างสรรค์以及สำหรับการบีบอัดวิดีโอ

ในตัวอย่างวิดีโอด้านล่าง เราจะเห็นในคอลัมน์ซ้ายสุดเป็นเฟรม ‘เริ่มต้น’ (ด้านบนซ้าย) และ ‘สิ้นสุด’ (ด้านล่างซ้าย) การที่ระบบต่างๆ ต้องทำคือการเดาว่าวัตถุในสองภาพจะเคลื่อนไหวจากเฟรม A ไปยังเฟรม B ในการสร้างภาพเคลื่อนไหว การดำเนินการนี้เรียกว่า ตวีนนิง และย้อนกลับไปในยุคภาพยนตร์เงียบ

คลิกเพื่อเล่น. ในคอลัมน์ซ้ายสุด เราจะเห็นเฟรมที่เสนอเป็นเฟรมเริ่มต้นและเฟรมสิ้นสุด ในคอลัมน์กลาง และด้านบนของคอลัมน์ขวาสุด เราจะเห็นสามวิธีก่อนหน้านี้ในการแก้ปัญหานี้ ในด้านล่างขวา เราจะเห็นว่าวิธีใหม่ได้ผลลัพธ์ที่น่าเชื่อถือมากกว่าในการให้เฟรมระหว่าง. แหล่งที่มา: https://fcvg-inbetween.github.io/

วิธีการใหม่ที่นักวิจัยจีนเสนอเรียกว่า การสร้างวิดีโอด้วยเงื่อนไขเฟรม (FCVG) และผลลัพธ์ของมันสามารถเห็นได้ในด้านล่างขวาของวิดีโอด้านบน โดยให้การเปลี่ยนแปลงที่ราบรื่นและสมเหตุสมผลจากเฟรมหนึ่งไปยังเฟรมถัดไป

ในทางกลับกัน เราจะเห็นว่าหนึ่งในเฟรมเวิร์กที่มีชื่อเสียงที่สุดสำหรับการแทรกภาพวิดีโอ คือ โครงการ Frame Interpolation for Large Motion (FILM) ของ Google ซึ่งดูเหมือนจะประสบปัญหา เช่นเดียวกับหลายๆ โครงการที่คล้ายกัน ในการตีความการเคลื่อนไหวขนาดใหญ่และกล้า

เฟรมเวิร์กอื่นๆ สองตัวที่แสดงในวิดีโอ คือ Time Reversal Fusion (TRF) และ Generative Inbetweening (GI) ให้การวิเคราะห์ที่น้อยกว่า แต่ได้สร้างการเคลื่อนไหวที่เร็วและแม้กระทั่งการเต้นรำที่น่าหัวเราะ ซึ่งไม่เคารพตรรกะที่ชัดเจนของเฟรมที่ให้มา

คลิกเพื่อเล่น. วิธีแก้ปัญหาที่ไม่สมบูรณ์สองวิธีสำหรับปัญหาในการตวีนนิง ซ้าย FILM พิจารณาเฟรมทั้งสองเป็นเป้าหมายการเปลี่ยนแปลงอย่างง่าย ในทางกลับกัน TRF รู้ว่าบางรูปแบบของการเต้นรำต้องถูกแทรก แต่สร้างวิธีแก้ปัญหาที่ไม่เหมาะสมซึ่งแสดงให้เห็นถึงความผิดปกติทางกายวิภาค

ด้านบนซ้าย เราสามารถดูว่า FILM เข้าใกล้ปัญหานี้ได้อย่างไร ในขณะที่ FILM ถูกออกแบบมาเพื่อจัดการการเคลื่อนไหวขนาดใหญ่ ไม่เหมือนกับวิธีก่อนหน้านี้ที่ใช้ การไหลของภาพ แต่ก็ยังขาดความเข้าใจเชิงกลยุทธ์เกี่ยวกับสิ่งที่ควรเกิดขึ้นระหว่างเฟรมทั้งสอง และเพียงแค่ตวีนนิงระหว่างเฟรมเหล่านั้น FILM ไม่มีสถาปัตยกรรมเชิงกลยุทธ์ เช่น Latent Diffusion Model เช่น Stable Diffusion เพื่อช่วยในการสร้างสะพานระหว่างเฟรม

ทางด้านขวา ในวิดีโอด้านบน เราจะเห็นความพยายามของ TRF โดยที่ Stable Video Diffusion (SVD) ถูกใช้เพื่อ ‘เดา’ ว่าการเคลื่อนไหวของการเต้นรำที่เหมาะสมกับเฟรมที่ให้มาอาจเป็นอย่างไร – แต่มันสร้างการประมาณที่กล้าและไม่น่าเชื่อ

FCVG ที่เห็นด้านล่าง ทำงานที่น่าเชื่อถือมากกว่าในการเดาเคลื่อนไหวและเนื้อหาระหว่างเฟรมทั้งสอง:

คลิกเพื่อเล่น. FCVG ปรับปรุงวิธีก่อนหน้านี้ แต่ยังไม่สมบูรณ์แบบ

ยังคงมีเรื่องปัญหา เช่น การเปลี่ยนแปลงที่ไม่พึงประสงค์ของมือและการเปลี่ยนแปลงอัตลักษณ์ของใบหน้า แต่版本นี้เป็น版本ที่น่าเชื่อถือที่สุด – และการปรับปรุงใดๆ ที่ต้องคำนึงถึงความยากของงานที่เสนอ และอุปสรรคที่ยิ่งใหญ่ที่ท้าทายสำหรับอนาคตของวิดีโอ AI ที่สร้างสรรค์

ทำไมการแทรกภาพจึงมีความสำคัญ

ตามที่เราได้กล่าวไว้ก่อนหน้านี้ การมีความสามารถในการเติมเนื้อหาวิดีโอระหว่างเฟรมที่ให้มาสองเฟรม เป็นวิธีที่ดีที่สุดในการรักษาความสม่ำเสมอของเวลาในวิดีโอ AI ที่สร้างสรรค์ เนื่องจากสองภาพที่ต่อเนื่องกันของบุคคลเดียวกันจะมีองค์ประกอบที่สม่ำเสมอ เช่น เสื้อผ้า ผม และสภาพแวดล้อม

เมื่อใช้เพียงเฟรมเดียว การมี หน้าต่างการมองเห็นที่จำกัด ของระบบที่สร้างสรรค์ ซึ่งมักจะพิจารณาเพียงเฟรมที่อยู่ใกล้ๆ เท่านั้น จะมีแนวโน้มที่จะเปลี่ยนแปลงองค์ประกอบของวัตถุจนกระทั่ง (เช่น) ผู้ชายกลายเป็นผู้ชายอีกคน (หรือผู้หญิง) หรือมีการเปลี่ยนแปลง ‘การเปลี่ยนแปลง’ ของเสื้อผ้า – ในบรรดาการเปลี่ยนแปลงอื่นๆ ที่สร้างสรรค์โดยทั่วไปในระบบ T2V แบบเปิดและในหลายๆ วิธีแก้ปัญหาแบบเสียเงิน เช่น Kling:

คลิกเพื่อเล่น. การให้เฟรมที่ให้มาสองเฟรมใหม่ของกระดาษเข้ากับ Kling พร้อมคำสั่ง ‘ผู้ชายเต้นบนหลังคา’ ไม่ได้ให้ผลลัพธ์ที่เหมาะสม แม้ว่า Kling 1.6 จะมีอยู่ในขณะนั้น แต่ V1.5 เป็นรุ่นล่าสุดที่รองรับเฟรมเริ่มต้นและสิ้นสุดของผู้ใช้ แหล่งที่มา: https://klingai.com/

ปัญหาได้รับการแก้ไขแล้วหรือไม่?

ในทางกลับกัน ระบบเชิงพาณิชย์แบบปิดและแบบมีลิขสิทธิ์บางระบบดูเหมือนจะทำได้ดีกว่าในการแก้ปัญหา – โดยเฉพาะอย่างยิ่ง RunwayML ซึ่งสามารถสร้างการแทรกภาพระหว่างเฟรมที่ให้มาได้อย่างน่าเชื่อถือ:

คลิกเพื่อเล่น. การแทรกภาพแบบกระจายของ RunwayML มีประสิทธิภาพสูง แหล่งที่มา: https://app.runwayml.com/

การทำซ้ำการออกกำลังกาย RunwayML สร้างผลลัพธ์ที่น่าเชื่อถืออีกครั้ง:

คลิกเพื่อเล่น. การวิ่งครั้งที่สองของลำดับ RunwayML

ปัญหาหนึ่งที่นี่คือเราไม่สามารถเรียนรู้อะไรเกี่ยวกับความท้าทายที่เกี่ยวข้อง หรือปรับปรุงสถานะของศิลปะแบบเปิดได้จากระบบแบบมีลิขสิทธิ์ เราไม่สามารถรู้ได้ว่าการแสดงผลที่เหนือกว่านี้ได้รับการบรรลุผ่านแนวทางทางสถาปัตยกรรมที่เป็นเอกลักษณ์ ด้วยข้อมูล (หรือวิธีการจัดเตรียมข้อมูล เช่น การกรองและการบันทึก) หรือการผสมผสานระหว่างสิ่งเหล่านี้และนวัตกรรมการวิจัยอื่นๆ

ที่สอง บริษัทขนาดเล็ก เช่น บริษัทผลิตเอฟเฟกต์ภาพ ไม่สามารถพึ่งพาบริการ API แบบ B2B ที่อาจทำลายการวางแผนเชิงกลยุทธ์ของตนได้ด้วยการเพิ่มราคาเพียงครั้งเดียว – โดยเฉพาะอย่างยิ่งหากบริการหนึ่งมาเป็นผู้นำตลาด และมีแนวโน้มที่จะเพิ่มราคา

เมื่อสิทธิ์ไม่ถูกต้อง

สิ่งสำคัญยิ่งกว่านั้น หากโมเดลเชิงพาณิชย์ที่ทำงานได้ดีถูกฝึกโดยใช้ข้อมูลที่ไม่มีลิขสิทธิ์ เช่นเดียวกับ RunwayML บริษัทใดๆ ที่ใช้บริการเหล่านี้อาจเสี่ยงต่อการถูกฟ้องร้องทางกฎหมาย

เนื่องจากกฎหมาย (และบางคดี) มีอายุการใช้งานนานกว่าประธานาธิบดี และเนื่องจากตลาดสหรัฐฯ เป็นหนึ่งในตลาดที่ มีการฟ้องร้องมากที่สุดในโลก แนวโน้มปัจจุบันในการกำกับดูแลทางกฎหมายสำหรับการฝึกอบรมข้อมูล AI มีแนวโน้มที่จะอยู่รอด การกำกับดูแลที่ ‘ไม่เข้มงวด’ ของรัฐบาลทรัมป์สมัยที่สองที่จะมาถึง

ดังนั้นภาควิจัยด้านการมองเห็นจึงต้องแก้ปัญหานี้ด้วยวิธีการที่ยาก เพื่อให้โซลูชันที่เกิดขึ้นสามารถอยู่รอดได้ในระยะยาว

FCVG

วิธีการใหม่จากประเทศจีนถูกนำเสนอใน เอกสาร ที่มีชื่อเรื่อง การสร้างวิดีโอระหว่างเฟรมโดยการสร้างวิดีโอแบบเฟรม และมาจากนักวิจัยห้าคนจากสถาบันเทคโนโลยีฮาร์บินและมหาวิทยาลัยเทียนจิน

FCVG แก้ปัญหาเรื่องความคลุมเครือในการแทรกภาพโดยใช้ เงื่อนไขแบบเฟรม ร่วมกับเฟรมเวิร์กที่ระบุ ขอบ ในเฟรมเริ่มต้นและสิ้นสุดที่ให้มา ซึ่งช่วยให้กระบวนการสามารถติดตามการเปลี่ยนแปลงระหว่างเฟรมแต่ละเฟรมได้อย่างสม่ำเสมอ และยังช่วยให้ได้ผลลัพธ์ที่ดีขึ้น

การสร้างเงื่อนไขแบบเฟรมเกี่ยวข้องกับการแบ่งการสร้างเฟรมระหว่างออกเป็นงานย่อยๆ แทนที่จะพยายามเติมช่องว่างเชิงกลยุทธ์ที่ใหญ่มากระหว่างเฟรมสองเฟรม (และระยะเวลาที่ขอสำหรับวิดีโอที่สร้างออกมานั้นยิ่งใหญ่เท่านั้น)

ในแผนภาพด้านล่างจากเอกสาร ผู้เขียนเปรียบเทียบวิธีการ การผสมผสานย้อนกลับ (TRF) กับวิธีของตนเอง TRF สร้างเส้นทางการสร้างวิดีโอสองเส้นทางโดยใช้โมเดลภาพถึงวิดีโอที่ได้รับการฝึกอบรมล่วงหน้า (SVD) เส้นทางหนึ่งเป็น ‘ไปข้างหน้า’ ที่มีเงื่อนไขจากเฟรมเริ่มต้น และอีกเส้นทางเป็น ‘ย้อนกลับ’ ที่มีเงื่อนไขจากเฟรมสิ้นสุด ทั้งสองเส้นทางเริ่มต้นจาก เสียงสุ่ม ที่เหมือนกัน ซึ่งแสดงไว้ด้านซ้ายของภาพด้านล่าง:

การเปรียบเทียบวิธีการก่อนหน้ากับ FCVG แหล่งที่มา: https://arxiv.org/pdf/2412.11755

ผู้เขียนยืนยันว่า FCVG เป็นการปรับปรุงที่เหนือกว่าวิธีการย้อนกลับ เนื่องจากลดความคลุมเครือในการสร้างวิดีโอโดยให้เงื่อนไขที่ชัดเจนสำหรับเฟรมแต่ละเฟรม ซึ่งนำไปสู่การผลิตที่เสถียรและสม่ำเสมอ

วิธีการย้อนกลับ เช่น TRF เอกสารระบุว่าสามารถนำไปสู่ความคลุมเครือได้ เนื่องจากเส้นทางการสร้างวิดีโอไปข้างหน้าและย้อนกลับสามารถแยกออกจากกันและก่อให้เกิดความไม่สอดคล้องหรือความไม่สอดคล้อง FCVG จัดการกับปัญหานี้โดยใช้เงื่อนไขแบบเฟรมที่ได้รับจากเส้นที่ตรงกันระหว่างเฟรมเริ่มต้นและสิ้นสุด (ด้านล่างขวาของภาพด้านบน) ซึ่งนำทางกระบวนการสร้าง

คลิกเพื่อเล่น. การเปรียบเทียบอีกครั้งจากหน้าโครงการ FCVG

การย้อนกลับทำให้สามารถใช้โมเดลการสร้างวิดีโอที่ได้รับการฝึกอบรมล่วงหน้าสำหรับการแทรกภาพ แต่ก็มีข้อเสียเปรียบบางประการ การเคลื่อนไหวที่สร้างโดยโมเดล I2V มีความหลากหลายมากกว่าความเสถียร ซึ่งมีประโยชน์สำหรับการสร้างวิดีโอจากภาพ (I2V) แต่สร้างความคลุมเครือและนำไปสู่เส้นทางวิดีโอที่ไม่สอดคล้องกัน

การย้อนกลับยังต้องการการปรับ พารามิเตอร์ไฮเปอร์ อย่างรอบคอบ เช่น อัตราเฟรมสำหรับวิดีโอที่สร้างแต่ละวิดีโอ นอกจากนี้ เทคนิคบางอย่างที่ใช้ในการย้อนกลับเพื่อลดความคลุมเครือสามารถชะลอการอนุมานและเพิ่มเวลาประมวลผล

วิธีการ

ผู้เขียนสังเกตว่าหากปัญหาแรก (ความหลากหลายเทียบกับความเสถียร) สามารถแก้ไขได้ ปัญหาในเวลาต่อมาจะแก้ไขได้โดยอัตโนมัติ ซึ่งได้พยายามในข้อเสนอที่ผ่านมา เช่น GI ที่กล่าวถึงแล้ว และ ViBiDSampler

เอกสารระบุ:

‘อย่างไรก็ตาม [มี] ความสุ่มสี่ส่วนระหว่างเส้นทางเหล่านี้ ซึ่งจำกัดประสิทธิภาพของวิธีการเหล่านี้ในการจัดการสถานการณ์ที่เกี่ยวข้องกับการเคลื่อนไหวขนาดใหญ่ เช่น การเปลี่ยนแปลงท่าทางของมนุษย์อย่างรวดเร็ว การคลุมเครือในเส้นทางแทรกภาพเกิดขึ้นหลักๆ จากเงื่อนไขที่ไม่เพียงพอสำหรับเฟรมระหว่าง เนื่องจากภาพเข้าสองภาพให้เงื่อนไขสำหรับเฟรมเริ่มต้นและสิ้นสุดเท่านั้น’

‘ดังนั้น [เราจึง] เสนอเงื่อนไขที่ชัดเจนสำหรับเฟรมแต่ละเฟรม ซึ่งลดความคลุมเครือของเส้นทางแทรกภาพอย่างมีนัยสำคัญ’

เราสามารถเห็นแนวคิดหลักของ FCVG ในการทำงานในแผนภาพด้านล่าง FCVG สร้างลำดับของเฟรมวิดีโอที่เริ่มต้นและสิ้นสุดอย่างสอดคล้องกับเฟรมที่ให้มาสองเฟรม ซึ่งรับประกันว่าเฟรมเหล่านั้นมีความเสถียรในแง่ของเวลาโดยให้เงื่อนไขเฉพาะสำหรับกระบวนการสร้างวิดีโอ

แผนการอนุมาน FCVG

ในกระบวนการคิดใหม่นี้ วิธีการรวมข้อมูลจากทั้งสองทิศทางและผสมผสานเพื่อสร้างการเปลี่ยนแปลงที่ราบรื่น โดยกระบวนการแบบเรียกซ้ำ โมเดลจะปรับเฟรมที่มีเสียงรบกวนจนกระทั่งเฟรมแทรกภาพสุดท้ายถูกสร้างขึ้น

ขั้นตอนต่อไปเกี่ยวข้องกับการใช้ GlueStick โมเดลการตรงกันของเส้น ซึ่งสร้างความสอดคล้องกันระหว่างเฟรมเริ่มต้นและสิ้นสุดที่คำนวณได้ โดยมีการใช้ ท่าทางของมนุษย์ เพื่อนำทางโมเดลผ่าน Stable Video Diffusion โมเดล

GlueStick นำเส้นมาจากรูปร่างที่ตีความ ซึ่งให้เครื่องหมายตรงกันระหว่างเฟรมเริ่มต้นและสิ้นสุดใน FCVG*

ผู้เขียนสังเกต:

‘เราพบทางปฏิบัติว่า การแทรกเส้นตรงเพียงพอสำหรับกรณีส่วนใหญ่เพื่อให้แน่ใจถึงความเสถียรในแง่ของเวลาในการแทรกภาพวิดีโอ และวิธีการของเรายังช่วยให้ผู้ใช้สามารถระบุเส้นทางแทรกภาพที่ไม่ใช่เส้นตรงสำหรับการสร้างวิดีโอที่ต้องการ’

การทำงานสำหรับการสร้างเงื่อนไขแบบเฟรมไปข้างหน้าและย้อนกลับ เราจะเห็นสีที่ตรงกันที่ทำให้เนื้อหาสอดคล้องกันเมื่อการสร้างภาพเคลื่อนไหวพัฒนา

เพื่อฉีดเงื่อนไขแบบเฟรมที่ได้รับเข้าไปใน SVD FCVG ใช้วิธีการที่พัฒนาไว้สำหรับ ControlNeXt ในปี 2024 ในกระบวนการนี้ เงื่อนไขการควบคุมถูกเข้ารหัสลับโดยบล็อก ResNet หลายบล็อกก่อนการปรับมาตรฐานข้ามระหว่างสาขาการควบคุมและ SVD ของการทำงาน

ชุดวิดีโอที่เล็กๆ ถูกใช้สำหรับการ การปรับให้เหมาะสม ของโมเดล SVD โดยมีพารามิเตอร์ส่วนใหญ่ของโมเดล ถูกปิดใช้งาน

‘[ข้อจำกัดเหล่านี้] ได้รับการแก้ไขอย่างมากใน FCVG: (i) โดยการระบุเงื่อนไขสำหรับเฟรมแต่ละเฟรม ความคลุมเครือระหว่างเส้นทางไปข้างหน้าและย้อนกลับได้รับการบรรเทาอย่างมีนัยสำคัญ; (ii) มีพารามิเตอร์ที่สามารถปรับแต่งได้เพียงตัวเดียว ในขณะที่พารามิเตอร์ไฮเปอร์ของ SVD ถูกตั้งค่าให้เป็นค่าเริ่มต้น ซึ่งให้ผลลัพธ์ที่ดีในสถานการณ์ส่วนใหญ่; (iii) การผสมผสานโดยเฉลี่ยที่ไม่มีการฉีดเสียงสุ่มใหม่ นั้นเพียงพอสำหรับ FCVG และขั้นตอนการอนุมานสามารถลดลงได้ถึง 50% เมื่อเทียบกับ [GI]’

แผนการกว้างๆ สำหรับการฉีดเงื่อนไขแบบเฟรมเข้าไปใน Stable Video Diffusion สำหรับ FCVG

ข้อมูลและการทดสอบ

เพื่อทดสอบระบบ นักวิจัยได้รวบรวมชุดข้อมูลที่มีฉากที่หลากหลาย รวมถึงสภาพแวดล้อมกลางแจ้ง ท่าทางของมนุษย์ และสถานที่ภายใน รวมถึงการเคลื่อนไหว เช่น การเคลื่อนไหวของกล้อง การเต้นรำ และการแสดงออกทางสีหน้า เป็นต้น คลิป 524 คลิปที่เลือกมาจากชุดข้อมูล DAVIS และ RealEstate10k ชุดข้อมูลนี้ถูกเสริมด้วยวิดีโอที่มีอัตราเฟรมสูงจาก Pexels ชุดข้อมูลที่รวบรวมนี้ถูก แบ่ง 4:1 ระหว่างการปรับให้เหมาะสมและการทดสอบ

เมตริกที่ใช้ ได้แก่ Learned Perceptual Similarity Metrics (LPIPS); Fréchet Inception Distance (FID); Fréchet Video Distance (FVD); VBench; และ Fréchet Video Motion Distance

ผู้เขียนสังเกตว่าไม่มีเมตริกเหล่านี้ที่เหมาะสมสำหรับการประมาณความเสถียรในแง่ของเวลา และอ้างอิงถึงวิดีโอบนหน้าโครงการ FCVG

นอกเหนือจากการใช้ GlueStick สำหรับการตรงกันของเส้น DWPose ถูกใช้สำหรับการประมาณท่าทางของมนุษย์

การปรับให้เหมาะสมเกิดขึ้นเป็นเวลา 70,000 รอบภายใต้ AdamW ตัวปรับให้เหมาะสมบน GPU NVIDIA A800 โดยมีอัตราการเรียนรู้ 1×10^-6 และเฟรมถูกตัดให้เหลือ 512×320

เฟรมเวิร์กที่เป็นคู่แข่งก่อนหน้านี้ที่ถูกทดสอบ ได้แก่ FILM, GI, TRF และ DynamiCrafter

สำหรับการประเมินคุณภาพ ช่องว่างเฟรมที่ทดสอบอยู่ระหว่าง 12 ถึง 23

ผลลัพธ์เชิงปริมาณเมื่อเปรียบเทียบกับเฟรมเวิร์กก่อนหน้า

เกี่ยวกับผลลัพธ์เหล่านี้ เอกสารระบุ:

‘วิธีการของเราบรรลุผลลัพธ์ที่ดีที่สุดในบรรดาวิธีการสร้างสรรค์สี่วิธีในเมตริกทั้งหมด เมื่อพิจารณา LPIPS เมื่อเปรียบเทียบกับ FILM FCVG ของเรานั้นน้อยกว่าเล็กน้อย แต่แสดงให้เห็นถึงประสิทธิภาพที่เหนือกว่าในเมตริกอื่นๆ เมื่อพิจารณาว่าไม่มีข้อมูลเชิงเวลาใน LPIPS อาจเหมาะสมกว่าที่จะให้ความสำคัญกับเมตริกอื่นๆ และการสังเกตุภาพ’

‘นอกจากนี้ เมื่อเปรียบเทียบผลลัพธ์ภายใต้ช่องว่างเฟรมที่แตกต่างกัน FILM อาจทำงานได้ดีเมื่อช่องว่างนั้นเล็ก แต่วิธีการสร้างสรรค์เหมาะสมกว่าสำหรับช่องว่างขนาดใหญ่ ในบรรดาวิธีการสร้างสรรค์เหล่านี้ FCVG ของเรามีความเหนือกว่าอย่างมีนัยสำคัญเนื่องจากเงื่อนไขแบบเฟรมที่ชัดเจน’

สำหรับการทดสอบเชิงคุณภาพ ผู้เขียนสร้างวิดีโอที่เห็นบนหน้าโครงการ (บางส่วนฝังอยู่ในบทความนี้) และผลลัพธ์แบบคงที่และแบบเคลื่อนไหว^† ในเอกสาร PDF

ตัวอย่างผลลัพธ์แบบคงที่จากเอกสาร โปรดอ้างอิงเอกสาร PDF สำหรับการแสดงผลที่ดีกว่า และโปรดทราบว่าเอกสาร PDF มีแอนิเมชันที่สามารถเล่นได้ในแอปพลิเคชันที่รองรับฟีเจอร์นี้

ผู้เขียนสังเกต:

‘ในขณะที่ FILM สร้างผลลัพธ์การแทรกภาพที่ราบรื่นสำหรับสถานการณ์การเคลื่อนไหวขนาดเล็ก แต่ก็ยังต้องดิ้นรนในการจัดการกับการเคลื่อนไหวขนาดใหญ่เนื่องจากข้อจำกัดที่มีอยู่ของการไหลของภาพ ซึ่งนำไปสู่อาร์ตแฟคต์ที่เห็นได้ชัด เช่น การเคลื่อนไหวของพื้นหลังและมือ (ในกรณีแรก)’

‘โมเดลสร้างสรรค์ เช่น TRF และ GI ต้องเผชิญกับความคลุมเครือในการผสมผสานเส้นทาง ซึ่งนำไปสู่การเคลื่อนไหวระหว่างที่ไม่เสถียร โดยเฉพาะอย่างยิ่งในฉากที่ซับซ้อนซึ่งเกี่ยวข้องกับการเคลื่อนไหวของมนุษย์และวัตถุ’

‘ในทางกลับกัน วิธีการของเราสามารถสร้างผลลัพธ์ที่น่าพอใจได้อย่างสม่ำเสมอในสถานการณ์ต่างๆ’

ผู้เขียนยังพบว่า FCVG มีการทั่วไปที่ไม่ธรรมดาในการสร้างวิดีโอแบบการ์ตูน:

คลิกเพื่อเล่น. FCVG สร้างผลลัพธ์ที่น่าเชื่อถือมากสำหรับการแอนิเมชั่นแบบการ์ตูน

สรุป

FCVG แสดงถึงการปรับปรุงที่ดีขึ้นอย่างน้อยสำหรับสถานะของศิลปะในเรื่องการแทรกภาพเฟรมในบริบทที่ไม่มีลิขสิทธิ์ ผู้เขียนได้เผยแพร่โค้ดสำหรับงาน บน GitHub แม้ว่าชุดข้อมูลที่เกี่ยวข้องจะไม่ได้รับการเผยแพร่ ณ เวลาที่เขียน

หากโซลูชันเชิงพาณิชย์แบบมีลิขสิทธิ์ที่เหนือกว่าความพยายามแบบเปิดโดยใช้ข้อมูลที่ไม่มีลิขสิทธิ์จากเว็บ มันไม่ดูเหมือนจะมีอนาคตในแนวทางนี้สำหรับการใช้งานเชิงพาณิชย์; ความเสี่ยงนั้นใหญ่เกินไป

ดังนั้น แม้ว่าฉากที่เปิดกว้างอาจตกหล่นไปเบื้องหลังการแสดงของคนนำตลาดปัจจุบัน แต่ก็อาจเป็น ‘เต่า’ ที่เอาชนะ ‘กระต่าย’ ไปถึงเส้นชัย

* แหล่งที่มา: https://openaccess.thecvf.com/content/ICCV2023/papers/Pautrat_GlueStick_Robust_Image_Matching_by_Sticking_Points_and_Lines_Together_ICCV_2023_paper.pdf

^† ต้องการ Acrobat Reader, Okular หรือผู้อ่าน PDF อื่นๆ ที่สามารถเล่นแอนิเมชัน PDF ที่ฝังอยู่ได้

เผยแพร่ครั้งแรกวันศุกร์ที่ 20 ธันวาคม 2024