การลบวัตถุและบุคคลออกจากวิดีโอโดยใช้ AI

ไม่ เด็กจะไม่อยู่ในภาพต่อไป หาก AI มีส่วนตัดสินใจ

การลบบุคคลและวัตถุออกจากภาพและวิดีโอเป็นหัวข้อยอดนิยมในการวิจัย AI ด้านเทคนิคพิเศษทางภาพ (VFX) โดยมีชุดข้อมูลและเฟรมเวิร์กเฉพาะทางเพิ่มขึ้นเรื่อย ๆ เพื่อรับมือกับโจทย์นี้ ผลงานล่าสุดจากสถาบันข้อมูลขนาดใหญ่ มหาวิทยาลัยฟู่ตั้น ประเทศจีน คือ EffectErase ระบบลบวัตถุออกจากวิดีโอที่คำนึงถึงผลกระทบของวัตถุต่อฉากด้วย ผู้เขียนระบุว่าในการทดสอบ ระบบทำผลงานเหนือกว่าวิธีชั้นนำเดิมอย่างชัดเจน:

ตัวอย่างวิธี EffectErase ที่รวบรวมจากเนื้อหาบนเว็บไซต์โครงการ โปรดทราบว่าเว็บไซต์ที่เราให้ลิงก์มีวิดีโอความละเอียดสูงที่ยังไม่ได้ปรับประสิทธิภาพและเล่นอัตโนมัติจำนวนมาก ซึ่งอาจกระทบเสถียรภาพของเบราว์เซอร์ วิดีโอ YouTube ที่ฝังไว้ท้ายบทความให้ข้อมูลอ้างอิงที่เข้าถึงง่ายและครบถ้วนกว่า  แหล่งที่มา

งานใหม่นี้สร้างและรวบรวมชุดข้อมูลที่มีเนื้อหาใหม่บางส่วน ประกอบด้วยฉากจริงและฉากสังเคราะห์ต้นฉบับเกือบ 350 ฉาก ซึ่งบันทึกด้วยอุปกรณ์เฉพาะ หรือจัดหามาปรับใช้ในเวิร์กโฟลว์ที่สร้างขึ้นรอบ Blender 3D แบบโอเพนซอร์ส โดยใช้คลังข้อมูลสาธารณะ*

ชุดข้อมูล Video Object Removal (VOR) ที่ผสมข้อมูลจริงกับข้อมูลสังเคราะห์เป็นฐานของแอปพลิเคชัน EffectErase ซึ่งสร้างบนระบบสร้างวิดีโอ Wan2.1 งานนี้ยังกำหนดเกณฑ์มาตรฐานใหม่ที่เกี่ยวข้องสองชุด ได้แก่ VOR Eval และ VOR Wild สำหรับตัวอย่างที่มีและไม่มี ข้อมูลจริงอ้างอิงตามลำดับ

(แม้งานวิจัยจะมี เว็บไซต์โครงการประกอบแต่เว็บไซต์มีวิดีโอความละเอียดสูงจำนวนมากจนโหลดได้ยาก หากใช้งานเว็บไซต์ไม่สะดวก โปรดดูคลิปที่ข้าพเจ้าคัดมารวมไว้ในวิดีโอที่ฝังด้านบน)

การเปรียบเทียบปริมาณข้อมูลของชุดข้อมูลใหม่กับชุดข้อมูลก่อนหน้าที่มีลักษณะใกล้เคียงกัน แหล่งที่มา

นักวิจัยอ้างว่าวิธีของตนให้ผลลัพธ์ระดับแนวหน้าทั้งตามตัวชี้วัดเชิงปริมาณและการประเมินเชิงคุณภาพโดยมนุษย์

พวกเขาชี้ว่างานก่อนหน้าไม่สามารถลบผลที่เกิดร่วมกับวัตถุ เช่น เงาและภาพสะท้อน ได้เสมอไป และได้จัดทำชุดข้อมูลนี้อย่างรอบคอบเพื่อแก้ข้อบกพร่องดังกล่าว:

ตัวอย่างที่วิธีเดิมมองเฉพาะวัตถุที่จะลบ โดยไม่คำนึงถึงร่องรอยทางอ้อม เช่น ภาพสะท้อนและเงา

บทความวิจัยใหม่นี้ มีชื่อว่า EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing จัดทำโดยนักวิจัยสี่คนจากวิทยาลัยวิทยาการคอมพิวเตอร์และปัญญาประดิษฐ์ มหาวิทยาลัยฟู่ตั้น

วิธีการ

ชุดข้อมูล VOR แบบผสมถูกออกแบบให้ครอบคลุมสถานการณ์กว้างพอที่จะพิจารณาผลทั้งหมดของการลบบุคคลหรือวัตถุออกจากวิดีโอ:

เฟรมคู่จากชุดข้อมูล VOR แสดงว่าการลบต้องครอบคลุมทั้งวัตถุที่มองเห็นและผลที่วัตถุสร้างขึ้น ตัวอย่างแสดงการบดบัง เงา การเปลี่ยนแสง ภาพสะท้อน และการเปลี่ยนรูปทางกายภาพ โดยวางภาพนำเข้าที่มีวัตถุคู่กับพื้นหลังสะอาดที่ตรงกันหลังลบ ดูตัวอย่างเพิ่มเติมได้จากวิดีโอ YouTube ที่ฝังไว้ท้ายบทความ

ผู้เขียนกำหนดการรบกวนที่ต้องจัดการไว้ห้าประเภทหลัก ได้แก่ การบดบังซึ่งรวมการบดบังจากกระจกและควันในรูปแบบต่าง ๆ; เงา; แสง (เช่น วัตถุที่จะลบสร้างหรือเปลี่ยนเส้นทางของแสง); ภาพสะท้อน; และ การเปลี่ยนรูป (เช่น รอยยุบที่บุคคลทิ้งไว้บนเบาะ ซึ่งไม่ควรคงอยู่หลังลบบุคคลออกแล้ว)

กระบวนการสร้างชุดข้อมูล VOR ผสมฉากสังเคราะห์จาก Blender กับภาพถ่ายจริง ข้อมูลสังเคราะห์สร้างจากสภาพแวดล้อมสามมิติ วัตถุ และเส้นทางกล้องที่คัดเลือกไว้ ส่วนภาพจริงบันทึกในฉากหลากหลายและเพิ่มการเคลื่อนไหวแบบ Ken Burns จากนั้นใช้การแบ่งส่วนด้วย SAM2 และการปรับแก้ด้วยมือเพื่อสร้างชุดวิดีโอฉากหน้า พื้นหลัง และมาสก์ที่จัดแนวตรงกัน

สำหรับข้อมูลจริงต้นฉบับ นักวิจัยใช้กล้องคงที่บันทึกฉากเดียวกันขณะมีและไม่มีวัตถุ ครอบคลุมสภาพแวดล้อม ช่วงเวลาของวัน และสภาพอากาศหลากหลาย

สำหรับข้อมูลสังเคราะห์ มีการเรนเดอร์หลายมุมมองและสร้างสถานการณ์ที่มีหลายวัตถุ โดยจงใจรวมการเคลื่อนกล้องที่ซับซ้อนและยากซึ่งอาจเกิดในภาพจริง นักวิจัยระบุว่าวิธีนี้ละเอียดและใช้ความพยายามมากกว่าวิธีที่ใช้กับชุดข้อมูลที่คล้ายกันในด้านอื่นอย่าง Remove Objects with Side Effects in Videos (ROSE)

เพื่อเพิ่มความหลากหลายของการเคลื่อนไหว จึงใช้ เอฟเฟกต์ Ken Burns กับคู่ภาพที่บันทึกด้วยกล้อง โดยเพิ่มการแพนและซูมที่ควบคุมไว้ รวมถึงการเคลื่อนไหวเล็กน้อยแบบถือกล้องด้วยมือ ตามกฎที่กำหนดไว้ 14 ข้อ สุ่มรูปแบบการเคลื่อนไหวห้าแบบต่อคู่ และรักษาพื้นที่ครอปให้อยู่ภายในเฟรมต้นฉบับ

มีการเพิ่มขนาดและความหลากหลายด้วยการรวมวัตถุสังเคราะห์กับการตั้งค่ากล้องหลายแบบ สร้างมาสก์โดยกำหนดจุดชี้นำด้วยมือบนคีย์เฟรม แล้วแพร่การแบ่งส่วนด้วย Segment Anything 2 (SAM2) ทำความสะอาดและปรับแก้ผลลัพธ์ แล้วประกอบชุดฉากหน้า พื้นหลัง และมาสก์ที่ตรวจสอบแล้วสำหรับฝึกโมเดล

ชุดข้อมูลสุดท้ายมีวิดีโอจริงและสังเคราะห์รวม 145 ชั่วโมงในวิดีโอ 60,000 คู่ ครอบคลุมวัตถุ 366 คลาสใน 443 ฉาก

เครือข่าย EffectErase รับข้อมูลผ่านตัวเข้ารหัสอัตโนมัติแบบแปรผัน (VAE^†) โดย Wan2.1 จัดการลดสัญญาณรบกวนในตัวแทนแฝง บนโครงสร้างพื้นฐานนี้ EffectErase เพิ่มองค์ประกอบสามส่วน ได้แก่ Removal-Insertion Joint Learning ซึ่งฝึกงานลบและงานแทรกร่วมกันในบริเวณเดียวกัน; Task-Aware Region Guidance (TARG) ซึ่งใช้โทเค็นวัตถุและโทเค็นงานร่วมกับ cross-attention เพื่อจำลองความเชื่อมโยงเชิงพื้นที่และเวลาระหว่างวัตถุกับผลกระทบ และเปิดให้สลับงานได้; และ Effect Consistency Loss ซึ่งจัดแนวบริเวณผลกระทบระหว่างงานลบกับงานแทรก:

แผนผังเฟรมเวิร์ก EffectErase ระหว่างฝึก วิดีโอคู่ถูกเข้ารหัสในพื้นที่แฝงร่วม ผสมกับสัญญาณรบกวน และประมวลผลด้วย diffusion transformer ที่ใช้ cross-attention ซึ่งคำนึงถึงงาน ฟังก์ชันความสูญเสียด้านความสอดคล้องของผลกระทบจัดแนวบริเวณลบและแทรกให้สองงานมุ่งไปยังพื้นที่เดียวกัน

กระบวนการลบและแทรกฝึกร่วมกันบนโครงสร้าง diffusion เดียวกัน เพื่อให้โมเดลเรียนรู้ที่จะสนใจบริเวณที่ได้รับผลกระทบและเบาะแสเชิงโครงสร้างเดียวกัน

วิดีโอที่มีวัตถุ วิดีโอพื้นหลังล้วน และมาสก์ถูกเข้ารหัสเป็น พื้นที่แฝง ก่อนเพิ่มสัญญาณรบกวนเพื่อฝึก diffusion โมเดลเรียนรู้การคืนตัวแทนที่สะอาดภายใต้การชี้นำเฉพาะงาน ตัวปรับขนาดเล็กผสานคุณลักษณะที่มีสัญญาณรบกวนกับเงื่อนไขการลบหรือแทรก ทำให้สองงานแบ่งปันสัญญาณกำกับได้ แต่ยังควบคุมแยกกันได้

Task-Aware Region Guidance สร้างสัญญาณเฉพาะงานด้วยการรวมโทเค็นภาษากับคุณลักษณะทางภาพที่สกัดจากวัตถุฉากหน้าโดยใช้ CLIP แทนที่โทเค็นวัตถุทั่วไปด้วย embedding ที่มาจากเนื้อหาภาพจริง แล้วป้อนตัวแทนที่ผสานนี้เข้าสู่โครงสร้างหลักผ่าน cross-attention เพื่อให้โมเดลติดตามวัตถุและผลทางภาพที่เปลี่ยนแปลงในพื้นที่และเวลา พร้อมสลับระหว่างงานลบและแทรกได้อย่างยืดหยุ่น

Effect Consistency Loss บังคับให้กระบวนการลบและแทรกมุ่งไปยังบริเวณที่เปลี่ยนแปลงเดียวกัน เพราะสองงานจัดการวัตถุและผลทางภาพเดียวกัน แผนที่ attention ของแต่ละสาขาถูกรวมเป็นแผนที่บริเวณแบบนุ่ม และจัดแนวกับ แผนที่ผลต่าง ที่คำนวณจากวิดีโอวัตถุและพื้นหลัง เพื่อให้คำนึงถึงการเปลี่ยนแปลงละเอียด เช่น แสงและเงา ความสูญเสีย เพิ่มเติมนี้ช่วยให้งานแทรกชี้นำงานลบและรักษาความสอดคล้องระหว่างสองงาน

ข้อมูลและการทดสอบ

นักวิจัยเปรียบเทียบแนวทางของตนกับวิธีเติมเต็มภาพ เติมเต็มวิดีโอ และลบวัตถุหลายวิธี ได้แก่ OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; และ MiniMax-Remover

Wan2.1 ถูกปรับแต่งด้วย LoRA^†† โดยใช้ชุดข้อมูล VOR ที่ความละเอียด 832×480 พิกเซล สุ่มเลือกช่วงวิดีโอที่มี 81 เฟรมต่อเนื่อง ( ขีดจำกัดที่ใช้งานได้จริง ของ WAN ซึ่งเมื่อเกินกว่านี้มักเกิดข้อผิดพลาด) มาฝึกเป็นเวลา 129,000 รอบ ด้วย ขนาดแบตช์ 8 บน GPU H100 แปดตัว แต่ละตัวมี VRAM 80 GB กำหนด อัตราการเรียนรู้ ไว้ที่ 1×10² และ อันดับ LoRA ไว้ที่ 256

ชุดข้อมูลสังเคราะห์ ROSE-Benchmark เป็นชุดข้อมูลภายนอกเพียงชุดเดียวที่นำมาทดสอบ อีกสองชุดคือ VOR-Eval ซึ่งเป็นส่วนของชุดข้อมูล VOR ที่แบ่งไว้สำหรับ ทดสอบ และ VOR-Wild ชุดทดสอบที่ประกอบด้วยวิดีโอจริง 195 รายการซึ่งรวบรวมจากอินเทอร์เน็ตและมีวัตถุเคลื่อนไหว

ตัวชี้วัดที่ใช้ ได้แก่ อัตราส่วนสัญญาณสูงสุดต่อสัญญาณรบกวน (PSNR); ดัชนีความคล้ายคลึงเชิงโครงสร้าง (SSIM); ความคล้ายคลึงเชิงการรับรู้ของแพตช์ภาพที่เรียนรู้ (LPIPS); และ ระยะห่างวิดีโอ Fréchet (FVD) ยังมีการศึกษาผู้ใช้กับวิดีโอที่สร้างจาก VOR-Wild 195 รายการ โดยใช้ค่าเฉลี่ยคะแนนจากอาสาสมัคร 20 คน

นอกจากนี้ ผู้เขียนยังพัฒนา QScore ตัวชี้วัดที่ใช้โมเดลมัลติโมดัล Qwen-VL ประเมินคุณภาพวิดีโอหลังลบวัตถุ โดยพิจารณาสิ่งแปลกปลอมที่หลงเหลือหรือผลต่อสภาพแวดล้อมที่ยังไม่ได้ลบ เช่น เงาและผลจากแสง:

การเปรียบเทียบเชิงปริมาณบนเกณฑ์ ROSE และ VOR โดยทำตัวหนาผลลัพธ์ที่ดีที่สุดและขีดเส้นใต้ผลลัพธ์อันดับสอง

เกี่ยวกับผลเหล่านี้ ผู้เขียนระบุว่า:

“วิธีเติมเต็มภาพ [ในปัจจุบัน] ทำงานกับเฟรมเดี่ยวโดยใช้โมเดลสองมิติที่ไม่มีการจำลองมิติของเวลา จึงไม่สามารถรักษาความสอดคล้องตามเวลาในวิดีโอได้

[วิธี] เติมเต็มวิดีโอรุ่นใหม่ไม่ได้จำลองผลที่เกิดร่วมกับวัตถุอย่างชัดเจน ทำให้ผลการลบไม่เป็นธรรมชาติ [วิธี] ลบวัตถุจากวิดีโอที่มีอยู่ขาดการจำลองความสัมพันธ์เชิงพื้นที่และเวลาระหว่างวัตถุกับผลของมัน จึงมักสร้างสิ่งแปลกปลอมหรือทิ้งร่องรอยของวัตถุที่ลบไปแล้ว

“โดยรวม EffectErase ให้ผลลัพธ์ระดับแนวหน้าในทุกชุดข้อมูลและตัวชี้วัด ได้คะแนนดีที่สุดบนตัวชี้วัดคุณภาพวิดีโอ FVD ซึ่งแสดงถึงความลื่นไหลและความสอดคล้องตามเวลาที่เหนือกว่าของวิดีโอที่สร้างขึ้น

“วิธีของเรายังได้ QScore และคะแนนจากผู้ใช้สูงที่สุด ซึ่งยืนยันเพิ่มเติมถึงประสิทธิภาพในการสร้างผลการลบที่น่าเชื่อทางสายตา”

สำหรับการประเมินเชิงคุณภาพ บทความวิจัยแสดงผลแบบภาพนิ่งซึ่งนำมาไว้ด้านล่าง ส่วนผลแบบวิดีโออยู่บนเว็บไซต์โครงการและใน วิดีโอนำเสนอบน YouTube ที่มาพร้อมงาน:

การเปรียบเทียบเชิงคุณภาพบน VOR-Eval ในกรณีการบดบัง เงา แสง ภาพสะท้อน และการเปลี่ยนรูป วิธีเติมเต็มภาพมีปัญหาในการลบผลกระทบนอกมาสก์ ขณะที่โมเดลลบวัตถุมักทิ้งสิ่งแปลกปลอมที่เห็นได้ EffectErase ลบทั้งวัตถุเป้าหมายและผลที่เกี่ยวข้องได้สะอาดกว่า โปรดดูบทความต้นฉบับเพื่อความละเอียดที่สูงขึ้น และเว็บไซต์โครงการสำหรับตัวอย่างวิดีโอ

เราขอแนะนำตัวอย่างที่เกี่ยวข้องอันหลากหลายบนเว็บไซต์โครงการ ซึ่งมีตัวอย่างให้ชมด้านล่าง รวมถึงวิดีโอ YouTube อย่างเป็นทางการที่ฝังไว้ท้ายบทความ:

คลิกเพื่อเล่น ตัวอย่างเปรียบเทียบจากเว็บไซต์โครงการ EffectErase โปรดดูเว็บไซต์เพื่อความละเอียดที่สูงขึ้น (พร้อมข้อควรระวังที่กล่าวไว้ก่อนหน้า) และตัวอย่างเพิ่มเติม

ผู้เขียนกล่าวว่า:

“[วิธี] เติมเต็มวิดีโอมักสร้างสิ่งแปลกปลอมในบริเวณมาสก์ และลบผลที่วัตถุที่ถูกลบก่อไว้ได้ไม่หมด วิธีลบวัตถุก่อนหน้า เช่น [ROSE] และ [MinMax-Remover] ลบวัตถุเป้าหมายได้ดี แต่ยังมีปัญหากับผลที่เกิดร่วมกัน โดยเฉพาะการบดบัง เงา แสง ภาพสะท้อน และการเปลี่ยนรูป

“ในทางกลับกัน EffectErase ลบทั้งวัตถุเป้าหมายและผลที่เกี่ยวข้องได้อย่างมีประสิทธิภาพ ทำให้ได้ผลลัพธ์ที่สะอาด ต่อเนื่อง และมีคุณภาพสูง”

ในตอนท้าย นักวิจัยระบุว่าสามารถปรับวิธีนี้ไปใช้กับงานแทรกวัตถุแทนการลบได้ โดยไม่ต้องฝึกเพิ่มเติม:

ผลการแทรกวัตถุในวิดีโอ EffectErase แทรกวัตถุพร้อมรักษาเนื้อหาพื้นหลัง และสร้างผลที่วัตถุก่อขึ้น เช่น เงาและภาพสะท้อน ให้สอดคล้องกันระหว่างเฟรม

ดูตัวอย่างผลวิดีโอของงานแทรกได้จาก วิดีโอ YouTube ที่ลิงก์ไปยังช่วงเวลาเฉพาะ ซึ่งฝังไว้ท้ายบทความเช่นกัน แต่ไม่ได้ระบุเวลาเริ่มเล่น

บทสรุป

เมื่อพิจารณาโครงการที่คล้ายกันในงานวิจัย จะเห็นว่าหลายฝ่ายยังหวังว่าในที่สุดโมเดล VFX อเนกประสงค์จะรวมความสามารถเช่นนี้ไว้ในโมเดล “กล่องเครื่องมือ” ทั่วไปที่ออกแบบให้ทำเอฟเฟกต์ได้หลายชนิด แทนที่จะทำได้เฉพาะงานนี้

อย่างไรก็ตาม ตามแนวคิดที่ว่าความสามารถรอบด้านอาจแลกมากับความเชี่ยวชาญเฉพาะทาง จึงสมเหตุสมผลที่จะคาดว่าระบบเฉพาะอย่าง EffectErase จะยังได้เปรียบวิธีทั่วไปต่อไป โดยมีข้อแม้ว่าช่องว่างอาจแคบลงมากพอในที่สุด จนความแตกต่างไม่คุ้มกับความพยายามเพิ่มเติมในการฝึกโมเดลแยกต่างหาก

* เมื่อความกังวลเรื่องที่มาของทรัพย์สินทางปัญญาเพิ่มขึ้น ก็น่าหวังว่าจะมีการอ้างอิงแหล่งที่มาของเนื้อหาเหล่านี้ทั้งหมด แต่หากเอกสารที่เผยแพร่ของงานใหม่นี้ระบุแหล่งที่มาของโมเดลสามมิติไว้ ข้าพเจ้าก็หาเอกสารอ้างอิงนั้นไม่พบ

^† เอกสารอ้างอิงที่ให้มาดูเหมือนเป็น ข้อความอธิบายทั่วไป จากปี 2013 โดยไม่ได้ระบุว่าใช้ VAE ตัวใด

^†† คำอธิบายนี้นำมาจากบทความวิจัยและมีความหมายไม่ชัดเจน เพราะการปรับแต่งโมเดลและ LoRA เป็นคนละกระบวนการที่มีข้อกำหนดแตกต่างกันมาก

เผยแพร่ครั้งแรกวันเสาร์ที่ 21 มีนาคม 2026