การปรับโครงหน้าในวิดีโอโดยใช้เครื่องมือการเรียนรู้ของเครื่อง

การทำงานร่วมกันระหว่างจีนและสหราชอาณาจักรได้พัฒนาวิธีการใหม่ในการเปลี่ยนแปลงโครงหน้าในวิดีโอ เทคนิคนี้ช่วยให้สามารถขยายหรือลดโครงหน้าได้อย่างมีประสิทธิภาพและมีความสม่ำเสมอโดยไม่มีผลกระทบ

จากวิดีโอบน YouTube ที่ใช้เป็นวัสดุแหล่งที่มาโดยนักวิจัย นักแสดง Jennifer Lawrence ปรากฏตัวเป็นบุคลิกที่มีความสามารถมากขึ้น (ขวา) ดูวิดีโอที่แนบมาด้านล่างของบทความสำหรับตัวอย่างอื่นๆ ในความละเอียดที่ดีกว่า Source: https://www.youtube.com/watch?v=tA2BxvrKvjE

การเปลี่ยนแปลงประเภทนี้มักจะทำได้เฉพาะโดยใช้วิธีการ CGI ที่ต้องสร้างโครงหน้าใหม่ทั้งหมดผ่านกระบวนการเคลื่อนไหว การติดตั้ง และการขัดแต่งที่มีค่าใช้จ่ายสูงและซับซ้อน

แทนการใช้ CGI เทคนิคนี้รวม CGI เข้ากับข้อมูล 3 มิติของโครงหน้าเป็นพารามิเตอร์ และใช้ข้อมูลนั้นเป็นพื้นฐานสำหรับกระบวนการเรียนรู้ของเครื่อง

โครงหน้าแบบพารามิเตอร์แบบดั้งเดิมกำลังถูกใช้มากขึ้นเป็นแนวทางสำหรับกระบวนการเปลี่ยนแปลงที่ใช้ AI แทน CGI Source: https://arxiv.org/pdf/2205.02538.pdf

ผู้เขียนระบุว่า:

‘เป้าหมายของเราคือการสร้างวิดีโอโครงหน้าที่มีคุณภาพสูงโดยการแก้ไขรูปร่างของโครงหน้าตามการเปลี่ยนแปลงของโครงหน้าในโลกแห่งความเป็นจริง ซึ่งสามารถใช้ได้ในแอปพลิเคชันต่างๆ เช่น การสร้างโครงหน้าที่สวยงามและการขยายโครงหน้าเพื่อผลกระทบทางภาพ’

แม้ว่าการบิดเบือนและเปลี่ยนแปลงโครงหน้าแบบ 2 มิติจะถูกนำมาใช้โดยผู้บริโภคตั้งแต่สมัยของ Photoshop (และนำไปสู่วัฒนธรรมที่ไม่เหมาะสมและไม่ถูกต้องเกี่ยวกับการบิดเบือนโครงหน้าและความผิดปกติของร่างกาย) แต่ก็ยากที่จะทำได้ในวิดีโอโดยไม่ใช้ CGI

มาร์ก ซักเคอร์เบิร์ก มีขนาดใหญ่ขึ้นและเล็กลงด้วยเทคนิคของจีน-อังกฤษ

การเปลี่ยนแปลงรูปร่างของร่างกายเป็นเรื่องที่น่าสนใจอย่างมากในภาคส่วนของการมองเห็นคอมพิวเตอร์ โดยเฉพาะอย่างยิ่งเนื่องจากมีศักยภาพในการใช้งานในอีคอมเมิร์ซแฟชั่น แม้ว่าการทำให้บุคคลดูสูงขึ้นหรือมีรูปร่างที่หลากหลายจะยังคงเป็นเรื่องที่ท้าทาย

ในทำนองเดียวกัน การเปลี่ยนแปลงรูปร่างของหัวในวิดีโอในลักษณะที่สม่ำเสมอและน่าเชื่อถือเป็นเรื่องที่ได้รับการศึกษาจากนักวิจัยในงานวิจัยก่อนหน้านี้ แต่การนำไปใช้ได้พบกับข้อจำกัดและผลกระทบ

ระบบใหม่นี้ได้รับการฝึกอบรมบนคอมพิวเตอร์ตั้งโต๊ะที่มี AMD Ryzen 9 3950X และ 32GB ของหน่วยความจำ และใช้อัลกอริทึมการไหลของภาพจาก OpenCV สำหรับแผนที่การเคลื่อนไหว ซึ่งถูกทำให้เรียบโดยเฟรมเวิร์ก StructureFlow; Facial Alignment Network (FAN) สำหรับการประมาณค่าเครื่องหมายที่สำคัญ ซึ่งใช้ในแพ็คเกจ deepfakes ที่เป็นที่นิยม; และ Ceres Solver เพื่อแก้ไขปัญหาการปรับให้เหมาะสม

ตัวอย่างของการบิดเบือนโครงหน้าที่รุนแรงด้วยระบบใหม่

เอกสารวิจัยเรื่องนี้มีชื่อว่า การเปลี่ยนแปลงพารามิเตอร์ของโครงหน้าในวิดีโอ และมาจากนักวิจัยสามคนจาก Zhejiang University และหนึ่งคนจาก University of Bath

เกี่ยวกับโครงหน้า

ภายใต้ระบบใหม่นี้ วิดีโอจะถูกแยกออกเป็นลำดับของภาพ และการวางท่าทางที่ยืดหยุ่นจะถูกประมาณค่าสำหรับโครงหน้าแต่ละอัน จากนั้นจำนวนเฟรมที่ตามมาจะถูกประมาณค่าร่วมกันเพื่อสร้างพารามิเตอร์เอกลักษณ์ที่สม่ำเสมอทั่วทั้งลำดับของภาพ (เช่น เฟรมของวิดีโอ)

การไหลทางสถาปัตยกรรมของระบบการบิดเบือนโครงหน้า

หลังจากนั้น การแสดงออกจะถูกประเมิน ซึ่งให้พารามิเตอร์การเปลี่ยนแปลงที่นำไปใช้โดยการถดถอยเชิงเส้น ต่อไป ฟังก์ชันระยะทางที่มีเครื่องหมาย (SDF) จะสร้างการทำแผนที่ที่หนาแน่น 2 มิติของเส้นโครงหน้าก่อนและหลังการเปลี่ยนแปลง

สุดท้าย การบิดเบือนโครงหน้าแบบมีจุดมุ่งหมายจะถูกดำเนินการในวิดีโอที่ออกมา

โครงหน้าพารามิเตอร์

กระบวนการนี้ใช้โมเดลโครงหน้า 3 มิติที่สามารถเปลี่ยนแปลงรูปทรง (3DMM) ซึ่งเป็นส่วนเสริมที่เพิ่มมากขึ้นสำหรับระบบสังเคราะห์หน้าที่ใช้เครื่องมือประสาทและ GAN เช่นเดียวกับการใช้งานสำหรับการตรวจจับ deepfakes

ไม่ได้มาจากเอกสารวิจัยใหม่ แต่เป็นตัวอย่างของโมเดลโครงหน้าที่สามารถเปลี่ยนแปลงรูปทรง (3DMM) – โครงหน้าพารามิเตอร์ที่ใช้ในโครงการใหม่ โครงหน้าด้านบนซ้าย การใช้เครื่องหมายบน 3DMM โครงหน้าด้านบนขวา จุดยอดของเมช 3 มิติของไอโซแมป ด้านล่างซ้ายแสดงการปรับแต่งเครื่องหมาย ด้านล่างกลาง ไอโซแมปของเนื้อหาของโครงหน้าที่ถูกดึงออกมา ด้านล่างขวา การปรับแต่งและรูปร่างที่ได้ Source: http://www.ee.surrey.ac.uk/CVSSP/Publications/papers/Huber-VISAPP-2016.pdf

กระบวนการทำงานของระบบใหม่ต้องคำนึงถึงกรณีการบดบัง เช่น เมื่อผู้แสดงมองไปทางอื่น ซึ่งเป็นหนึ่งในความท้าทายที่ใหญ่ที่สุดในซอฟต์แวร์ deepfakes เนื่องจากเครื่องหมาย FAN มีความสามารถน้อยในการจัดการกับกรณีเหล่านี้และเสื่อมลงเมื่อโครงหน้าหันหรือถูกบดบัง

ระบบใหม่สามารถหลีกเลี่ยงปัญหานี้ได้โดยการกำหนด พลังงานรูปขอบ ที่สามารถจับคู่ขอบเขตระหว่างโครงหน้า 3 มิติ (3DMM) และโครงหน้า 2 มิติ (ตามที่กำหนดโดยเครื่องหมาย FAN)

การปรับให้เหมาะสม

การนำไปใช้งานที่มีประโยชน์สำหรับระบบนี้คือการนำไปใช้การเปลี่ยนแปลงแบบเรียลไทม์ เช่น ในฟิลเตอร์วิดีโอแชท ปัจจุบันเฟรมเวิร์กไม่รองรับและทรัพยากรการคำนวณที่จำเป็นจะทำให้การเปลี่ยนแปลง ‘สด’ เป็นความท้าทายที่สำคัญ

ตามเอกสารวิจัยและสมมติว่าเป็นวิดีโอที่มีเป้าหมาย 24 เฟรมต่อวินาที การดำเนินการในแต่ละเฟรมในพายพайปรองรับเวลาความล่าช้า 16.344 วินาทีสำหรับวินาทีของวิดีโอ โดยมีการตีเส้นโครงเพิ่มเติมสำหรับการประมาณค่าเอกลักษณ์และการเปลี่ยนแปลงโครงหน้า 3 มิติ (321 มิลลิวินาทีและ 160 มิลลิวินาที ตามลำดับ)

ดังนั้นการปรับให้เหมาะสมจึงเป็นกุญแจสำคัญในการลดความล่าช้า เนื่องจากการปรับให้เหมาะสมร่วมกันทั่วทั้งเฟรมจะเพิ่มภาระการทำงานอย่างมาก และการปรับให้เหมาะสมแบบ init (โดยสมมติว่าเอกลักษณ์ที่สม่ำเสมอตั้งแต่เฟรมแรก) อาจนำไปสู่ความผิดปกติ ผู้เขียนจึงใช้สกีมาสchema ที่ใช้ในการคำนวณสัมประสิทธิ์ของเฟรมที่ตัวอย่างที่ช่วงเวลาเชิงปฏิบัติ

การปรับให้เหมาะสมร่วมกันจะดำเนินการบนชุดย่อยของเฟรมนี้ ส่งผลให้กระบวนการสร้างใหม่ที่มีประสิทธิภาพ

การบิดเบือนโครงหน้า

เทคนิคการบิดเบือนที่ใช้ในโครงการนี้เป็นการปรับเปลี่ยนจากงานของผู้เขียนในปี 2020 เรื่อง Deep Shapely Portraits (DSP)

Deep Shapely Portraits การส่งงานในปี 2020 ให้กับ ACM Multimedia ผู้นำงานวิจัยจาก ZJU-Tencent Game and Intelligent Graphics Innovation Technology Joint Lab Source: http://www.cad.zju.edu.cn/home/jin/mm2020/demo.mp4

ผู้เขียนสังเกตว่า ‘เราขยายวิธีนี้จากการเปลี่ยนแปลงภาพเดียวไปสู่การเปลี่ยนแปลงทั้งลำดับของภาพ’

การทดสอบ

เอกสารวิจัยระบุว่าไม่มีวัสดุอ้างอิงที่เทียบเท่าก่อนหน้านี้ในการประเมินวิธีการใหม่ ดังนั้นผู้เขียนจึงเปรียบเทียบเฟรมของวิดีโอที่บิดเบือนที่ผลิตโดยระบบใหม่กับผลลัพธ์แบบคงที่ของ DSP

การทดสอบระบบใหม่เทียบกับภาพคงที่จาก Deep Shapely Portraits

ผู้เขียนสังเกตว่าผลกระทบเกิดขึ้นจากวิธี DSP เนื่องจากการใช้การทำแผนที่ที่ไม่หนาแน่น – ปัญหาที่เฟรมเวิร์กใหม่แก้ไขได้ด้วยการทำแผนที่ที่หนาแน่น นอกจากนี้ วิดีโอที่ผลิตโดย DSP ยังแสดงให้เห็นถึงการขาดความเรียบและความสอดคล้องทางภาพตามที่ระบุในเอกสารวิจัย

ผู้เขียนระบุว่า:

‘ผลลัพธ์แสดงให้เห็นว่าวิธีการของเราสามารถสร้างวิดีโอที่มีโครงหน้าที่เปลี่ยนแปลงได้อย่างมีประสิทธิภาพ ในขณะที่วิธีการที่อาศัยภาพสามารถนำไปสู่ผลกระทบที่เห็นได้ชัดเจนได้อย่างง่ายดาย’

ดูวิดีโอที่แนบมาด้านล่างสำหรับตัวอย่างเพิ่มเติม:

เผยแพร่ครั้งแรกเมื่อวันที่ 9 พฤษภาคม 2022 แก้ไขเมื่อเวลา 18.00 น. ตามเวลา EET โดยการเปลี่ยน ‘ฟิลด์’ เป็น ‘ฟังก์ชัน’ สำหรับ SDF