การตัดภาพดิจิทัลแบบเข้าใจฉาก

ในสารคดีพิเศษที่มาพร้อมกับแผ่นดีวีดีฉบับปี 2003 ของภาพยนตร์ Alien³ (1992) ริชาร์ด เอดลันด์ นักสร้างเอฟเฟ็กต์ภาพแห่งความฝัน ได้กล่าวถึงการทำมาตติ้งแบบฟิล์มเคมีในยุค 1930 ถึง 1980 ว่าเป็น “การปล้ำสุมอ” เมื่อเปรียบเทียบกับเทคนิคการทำมาตติ้งดิจิทัลในยุค 1990

การแยกองค์ประกอบหน้าจอ (เช่น คนหรือโมเดลของยานอวกาศ) จากพื้นหลัง เพื่อที่จะสามารถนำภาพที่ถูกตัดออกมาประกอบเข้ากับพื้นหลังอื่นได้ ในตอนแรกทำได้โดยการถ่ายภาพองค์ประกอบหน้าจอในพื้นหลังที่มีสีเขียวหรือสีน้ำเงิน

กระบวนการทำมาตติ้งแบบฟิล์มเคมีสำหรับฉาก VFX ของ ILM ใน ‘Return of the Jedi’ (1983). Source: https://www.youtube.com/watch?v=qwMLOjqPmbQ

ในฟุตเทจที่ได้ พื้นหลังจะถูกแยกออกโดยใช้เคมีและใช้เป็นเทมเพลตในการพิมพ์องค์ประกอบหน้าจอ (หรือคน) ในเครื่องพิมพ์ภาพออปติคัล

กระบวนการนี้เรียกว่าการทำมาตติ้งแบบสี (CSO) – แม้ว่าในเวลาต่อมา เทอมนี้จะถูกใช้กับเอฟเฟ็กต์ภาพวิดีโอที่มีคุณภาพต่ำกว่าในโทรทัศน์ยุค 1970 และ 1980 ที่ทำโดยใช้เทคนิคแอนะล็อก

การแสดงการทำมาตติ้งแบบสีในรายการ ‘Blue Peter’ ของ BBC ในปี 1970. Source: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx

ไม่ว่าจะเป็นฟิล์มหรือวิดีโอ องค์ประกอบที่ถูกตัดออกมาจะสามารถนำไปใช้ประกอบกับฟุตเทจอื่นได้

แม้ว่ากระบวนการทำมาตติ้งแบบฟิล์มเคมีของดิสนีย์จะมีคุณภาพดีกว่าและให้ผลลัพธ์ที่ดีกว่า แต่ก็ยังคงเป็นกระบวนการที่ใช้เวลานานและไม่น่าเชื่อถือ

กระบวนการทำมาตติ้งแบบฟิล์มเคมีของดิสนีย์ ต้องการพื้นหลังที่มีสีเหลือง. ในภาพ Angela Lansbury ถูกแขวนอยู่บนวายร์ระหว่างการถ่ายทำฉาก VFX สำหรับ ‘Bedknobs and Broomsticks’ (1971). Source

ไปไกลกว่าการทำมาตติ้งดิจิทัล

ในยุค 1990 การปฏิวัติดิจิทัลได้กำจัดเคมีออกไป แต่ยังคงต้องการพื้นหลังสีเขียว การทำมาตติ้งดิจิทัลสามารถทำได้โดยการค้นหา پیکเซลที่มีสีใกล้เคียงกับสีเขียวในซอฟต์แวร์แก้ไขภาพและวิดีโอ

ในช่วง 10 ปีที่ผ่านมา การวิจัยด้านการทำมาตติ้งด้วย AI ได้เข้าสู่ยุคที่สาม โดยมีเป้าหมายในการพัฒนาระบบที่สามารถทำมาตติ้งได้ด้วยตนเองโดยไม่ต้องการพื้นหลังสีเขียว

การใส่เราลงในภาพ

การทำมาตติ้งด้วย AI ได้เข้าสู่พื้นที่ผู้บริโภคแล้ว โดยมีการใช้ฟิลเตอร์ในการประชุมวิดีโอเช่น Zoom และ Skype ที่สามารถเปลี่ยนพื้นหลังได้

อย่างไรก็ตาม การทำมาตติ้งที่ดีที่สุดยังคงต้องการพื้นหลังสีเขียว

ภาพคนหน้าจอเขียวที่มีการทำมาตติ้งด้วยฟังก์ชัน Virtual Background ของ Zoom. ภาพคนหน้าจอธรรมดาที่มีการทำมาตติ้งด้วยอัลกอริทึม มีความแม่นยำน้อยกว่าและต้องการพลังการประมวลผลสูงกว่า. Source: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image

ความจำเป็นในการตัดออก

การปรับปรุงคุณภาพ การเคลื่อนย้าย และการใช้ทรัพยากรสำหรับการทำมาตติ้ง “ในสนาม” (การแยกคนโดยไม่ต้องการพื้นหลังสีเขียว) มีความสำคัญต่อหลายภาคส่วนและกิจกรรมมากกว่าการประชุมวิดีโอ

การทำมาตติ้งที่ดีขึ้นจะช่วยให้การสร้างเซตข้อมูลดีขึ้น และช่วยให้การทำมาตติ้งด้วย AI ดีขึ้น

การทำมาตติ้งด้วย AI ที่เข้าใจฉาก

การวิจัยใหม่จากจีนได้พัฒนากระบวนการทำมาตติ้งที่ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ

กระบวนการนี้เรียกว่า Situational Perception Guided Image Matting (SPG-IM) และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

ตัวอย่างการทำมาตติ้งด้วย SPG-IM เมื่อเปรียบเทียบกับวิธีการทำมาตติ้งอื่น ๆ. Source: https://arxiv.org/pdf/2204.09276.pdf

การทำมาตติ้งด้วย SPG-IM สามารถทำได้ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การทำมาตติ้งอัตโนมัติที่ฉลาด

SPG-IM ยังสามารถทำมาตติ้งได้ดีขึ้นโดยใช้การปรับเปลี่ยนการทำมาตติ้งอัตโนมัติ

การทำมาตติ้งด้วย SPG-IM สามารถทำได้ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การวิจัยใหม่นี้ได้พัฒนากระบวนการทำมาตติ้งที่ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การทำมาตติ้งด้วย SPG-IM สามารถทำได้ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การวิจัยใหม่นี้ได้พัฒนากระบวนการทำมาตติ้งที่ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การทำมาตติ้งด้วย SPG-IM สามารถทำได้ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การวิจัยใหม่นี้ได้พัฒนากระบวนการทำมาตติ้งที่ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การทำมาตติ้งด้วย SPG-IM สามารถทำได้ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การวิจัยใหม่นี้ได้พัฒนากระบวนการทำมาตติ้งที่ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การทำมาตติ้งด้วย SPG-IM สามารถทำได้ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การวิจัยใหม่นี้ได้พัฒนากระบวนการทำมาตติ้งที่ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การทำมาตติ้งด้วย SPG-IM สามารถทำได้ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การวิจัยใหม่นี้ได้พัฒนากระบวนการทำมาตติ้งที่ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การทำมาตติ้งด้วย SPG-IM สามารถทำได้ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว

การวิจัยใหม่นี้ได้พัฒนากระบวนการทำมาตติ้งที่ดีขึ้นโดยใช้การอธิบายฉากเป็นข้อความ และสามารถทำมาตติ้งได้ดีขึ้นโดยไม่ต้องการพื้นหลังสีเขียว