RigNeRF: วิธีการสร้าง Deepfakes ใหม่ที่ใช้ Neural Radiance Fields

การวิจัยใหม่ที่พัฒนาโดย Adobe เป็นการนำเสนอวิธีการสร้าง Deepfakes ที่มีประสิทธิภาพและเป็นไปได้ครั้งแรกโดยใช้ Neural Radiance Fields (NeRF) – อาจเป็นนวัตกรรมแรกในด้านสถาปัตยกรรมหรือแนวทางในรอบ 5 ปีนับตั้งแต่การเกิดขึ้นของ Deepfakes ในปี 2017

วิธีการนี้ซึ่งมีชื่อว่า RigNeRF ใช้ 3D morphable face models (3DMMs) เป็นชั้นกลางระหว่างข้อมูลเข้า (เช่น อัตลักษณ์ที่จะถูกนำไปใช้ใน NeRF render) และพื้นที่ประสาท ซึ่งเป็นวิธีที่ได้รับการยอมรับอย่างกว้างขวางในหลายๆ ปีที่ผ่านมาโดย Generative Adversarial Network (GAN) face synthesis approaches ไม่มีวิธีการใดที่สามารถสร้างเฟรมเวิร์กการแทนที่ใบหน้าสำหรับวิดีโอได้

ไม่เหมือนกับวิดีโอ Deepfakes truyền thống ซึ่งไม่มีเนื้อหาที่เคลื่อนไหวที่เห็นในภาพนี้เป็น ‘จริง’ แต่เป็นพื้นที่ประสาทที่สามารถสำรวจได้ซึ่งได้รับการฝึกอบรมจากวิดีโอสั้นๆ ในด้านขวามือ เราจะเห็น 3D morphable face model (3DMM) ทำหน้าที่เป็นอินเทอร์เฟซระหว่างการควบคุมที่ต้องการ (‘ยิ้ม’, ‘มองไปทางซ้าย’, ‘มองขึ้น’ ฯลฯ) และพารามิเตอร์ที่ไม่สามารถเข้าถึงได้ของการแสดงผล Neural Radiance Field สำหรับเวอร์ชันความละเอียดสูงของคลิปนี้ รวมทั้งคลิปอื่นๆ อีกมากมาย ดูหน้าโครงการ หรือวิดีโอที่ฝังตัวอยู่ท้ายบทความนี้ Source: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html

3DMMs เป็นแบบจำลอง CGI ของใบหน้า ซึ่งพารามิเตอร์ของแบบจำลองสามารถปรับให้เหมาะสมกับระบบสังเคราะห์ภาพที่เป็นนามธรรม เช่น NeRF และ GAN ซึ่งโดยทั่วไปแล้วจะยากต่อการควบคุม

สิ่งที่คุณเห็นในภาพด้านบน (ภาพกลาง ชายใส่เสื้อเชิ้ตสีฟ้า) เช่นเดียวกับภาพด้านล่าง (ภาพซ้าย ชายใส่เสื้อเชิ้ตสีฟ้า) ไม่ใช่วิดีโอ ‘จริง’ ที่มีจุด ‘ปลอม’ ใบหน้าซ้อนทับ แต่เป็นฉากที่สังเคราะห์完全 ซึ่งมีอยู่เพียงในฐานะการแสดงผล Volumetric Neural – รวมทั้งร่างกายและพื้นหลัง:

ในตัวอย่างด้านบน วิดีโอที่แท้จริงทางด้านขวามือ (หญิงใส่ชุดแดง) ถูกใช้เพื่อ ‘หุ่น’ อัตลักษณ์ที่จับมา (ชายใส่เสื้อเชิ้ตสีฟ้า) ทางด้านซ้ายผ่าน RigNeRF ซึ่ง (ผู้เขียนอ้างว่า) เป็นระบบ NeRF แรกที่สามารถแยกท่าทางและน้ำเสียงออกจากกัน ในขณะเดียวกันก็สามารถสังเคราะห์มุมมองที่ใหม่และไม่ซ้ำกัน

ตัวชายทางด้านซ้ายในภาพด้านบนถูก ‘จับ’ มาจากวิดีโอสมาร์ทโฟน 70 วินาที และข้อมูลเข้า (รวมทั้งข้อมูลฉาก) ถูกฝึกอบรมข้าม 4 V100 GPUs เพื่อให้ได้ฉาก

เนื่องจาก 3DMM-style parametric rigs ยังมีให้ใช้สำหรับ entire-body parametric CGI proxies (ไม่ใช่แค่ face rigs) RigNeRF จึงเปิดโอกาสให้ทำ Deepfakes แบบเต็มร่างกายที่ขยับและแสดงออกได้เหมือนมนุษย์จริง ซึ่งจะแปลการเคลื่อนไหวและน้ำเสียงให้เป็นฉาก NeRF และวิดีโอ

สำหรับ RigNeRF – มันคือวิธีการสร้าง Deepfakes ในความหมายที่เข้าใจกันในปัจจุบันหรือไม่? หรือเป็นเพียงอีกวิธีหนึ่งที่ไม่สมบูรณ์แบบเหมือนกับ DeepFaceLab และระบบ Autoencoder Deepfakes อื่นๆ ในปี 2017?

นักวิจัยของเอกสารใหม่ไม่มีข้อกังวลเกี่ยวกับจุดนี้:

‘การเป็นวิธีการที่สามารถสร้างการเคลื่อนไหวของใบหน้าได้ RigNeRF มีแนวโน้มที่จะถูกใช้ในทางที่ผิดโดยผู้กระทำผิดเพื่อสร้าง Deepfakes.’

เอกสารใหม่ เอกสาร มีชื่อว่า RigNeRF: Fully Controllable Neural 3D Portraits และมาจาก ShahRukh Atha ของ Stonybrook University ผู้ฝึกงานที่ Adobe ในระหว่างการพัฒนา RigNeRF และผู้เขียนร่วมอีก 4 คนจาก Adobe Research

eyond Autoencoder-Based Deepfakes

Deepfakes ที่มีชื่อเสียงส่วนใหญ่ที่ได้รับความสนใจจากสื่อในรอบหลายปีที่ผ่านมาสามารถสร้างได้โดยระบบ Autoencoder-based ที่มาจากโค้ดที่เผยแพร่ใน r/deepfakes subreddit ในปี 2017 – แม้ว่าจะถูกแบนก็ตาม แต่ก่อนที่จะถูกคัดลอกไปที่ GitHub ซึ่งปัจจุบันถูกคัดลอกไปแล้ว มากกว่า 1,000 ครั้ง ไม่น้อยไปกว่าใน DeepFaceLab และ FaceSwap

นอกจาก GAN และ NeRF แล้ว ระบบ Autoencoder ยังทดลองใช้ 3DMMs เป็น ‘แนวทาง’ สำหรับการสังเคราะห์ใบหน้าที่ดีขึ้น ตัวอย่างเช่น HifiFace project ในเดือนกรกฎาคม 2021 แต่ไม่มีวิธีการใดที่พัฒนามาจากแนวทางนี้จนถึงปัจจุบัน

ข้อมูลสำหรับ RigNeRF scenes จะได้มาจากการบันทึกวิดีโอสั้นๆ จากสมาร์ทโฟน สำหรับโครงการนี้ นักวิจัยของ RigNeRF ใช้ iPhone XR หรือ iPhone 12 สำหรับทุกๆ การทดลอง สำหรับครึ่งแรกของการบันทึก ผู้เข้าร่วมจะถูกขอให้แสดงน้ำเสียงและพูดคุยในขณะที่หัวไม่ขยับ และกล้องถูกย้ายไปรอบๆ

สำหรับครึ่งหลังของการบันทึก กล้องจะอยู่ในตำแหน่งคงที่ ในขณะที่ผู้เข้าร่วมต้องขยับหัวไปรอบๆ ในขณะที่แสดงน้ำเสียงต่างๆ ผลลัพธ์คือวิดีโอ 40-70 วินาที (ประมาณ 1200-2100 เฟรม) ซึ่งเป็นชุดข้อมูลทั้งหมดที่จะใช้ในการฝึกอบรมแบบจำลอง

Cutting Down on Data-Gathering

ในทางตรงกันข้าม ระบบ Autoencoder เช่น DeepFaceLab ต้องการการรวบรวมและคัดเลือกภาพถ่ายหลายพันภาพ ซึ่งมักจะถูกนำมาจากวิดีโอใน YouTube และช่องทางสื่อโซเชียลอื่นๆ รวมทั้งจากภาพยนตร์ (ในกรณีของ Deepfakes ของคนดัง)

แบบจำลอง Autoencoder ที่ได้รับการฝึกอบรมมักจะถูกใช้ในหลายๆ สถานการณ์ อย่างไรก็ตาม ‘นักสร้าง Deepfakes’ ที่ตั้งใจจริงอาจฝึกอบรมแบบจำลองใหม่สำหรับวิดีโอเดียว แม้ว่าการฝึกอบรมจะใช้เวลาหนึ่งสัปดาห์หรือมากกว่านั้นก็ตาม

尽管มีคำเตือนจากนักวิจัยของเอกสารใหม่ ชุดข้อมูลที่ประกอบกันและถูกนำมารวมกันที่ให้พลังงาน AI เพื่อนและ ‘การนำ Deepfakes มาใช้ใหม่’ ใน YouTube/TikTok ที่ได้รับความนิยมดูเหมือนจะไม่น่าจะให้ผลลัพธ์ที่ยอมรับได้และสม่ำเสมอในระบบ Deepfakes เช่น RigNeRF ซึ่งมีวิธีการเฉพาะสำหรับฉาก การจำกัดข้อมูลที่ให้ไว้ในงานใหม่นี้อาจเป็นการป้องกันการนำอัตลักษณ์ไปใช้ในทางที่ผิดโดยผู้กระทำผิด

Adapting NeRF to Deepfake Video

NeRF เป็นวิธีการ photogrammetry ที่ใช้ภาพหลายๆ ภาพที่ถูกถ่ายจากมุมมองที่แตกต่างกันเพื่อสร้างพื้นที่ประสาท 3 มิติที่สามารถสำรวจได้ วิธีการนี้ได้รับความสนใจเมื่อ NVIDIA เปิดตัว Instant NeRF ซึ่งสามารถลดเวลาในการฝึกอบรม NeRF ลงเหลือเพียงไม่กี่นาทีหรือแม้กระทั่งวินาที:

Instant NeRF. Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

ฉาก Neural Radiance Field ที่ได้รับเป็นเพียงสภาพแวดล้อมที่คงที่ซึ่งสามารถสำรวจได้ แต่ซึ่งยากต่อการแก้ไข

นักวิจัยระบุว่ามี 2 โครงการก่อนหน้านี้ – HyperNeRF + E/P และ NerFACE – ที่ได้พยายามสังเคราะห์ใบหน้าใน NeRF และ (ดูเหมือนจะเพื่อความสมบูรณ์และความพิถีพิถัน) ได้ตั้งค่า RigNeRF เพื่อแข่งขันกับ 2 โครงการนี้:

การเปรียบเทียบคุณภาพระหว่าง RigNeRF, HyperNeRF และ NerFACE ดูวิดีโอที่เชื่อมโยงและ PDF สำหรับเวอร์ชันที่มีคุณภาพสูงกว่า Static image source: https://arxiv.org/pdf/2012.03065.pdf

อย่างไรก็ตาม ผลลัพธ์ ซึ่งสนับสนุน RigNeRF นั้นไม่ปกติเนื่องจาก 2 เหตุผล: ประการแรก ผู้เขียนสังเกตว่า ‘ไม่มีการเปรียบเทียบที่เหมาะสม’; ประการที่สอง สิ่งนี้ทำให้จำเป็นต้องจำกัดความสามารถของ RigNeRF เพื่อให้ตรงกับฟังก์ชันการทำงานที่จำกัดของระบบก่อนหน้า

เนื่องจากผลลัพธ์ไม่ใช่การปรับปรุงที่ดีขึ้นของงานก่อนหน้า แต่เป็น ‘การผ่านทาง’ ในด้านการแก้ไขและความสามารถของ NeRF เราจะไม่พิจารณาการทดสอบรอบนี้ แต่จะดูว่า RigNeRF ทำอะไรที่แตกต่างจากโครงการก่อนหน้า

Combined Strengths

ข้อจำกัดหลักของ NerFACE ซึ่งสามารถควบคุมท่าทางและน้ำเสียงใน NeRF คือการ假设ว่าภาพถ่ายต้นฉบับจะถูกบันทึกด้วยกล้องที่คงที่ ซึ่งหมายความว่าไม่สามารถสร้างมุมมองที่ใหม่และไม่ซ้ำกันได้ ซึ่งทำให้ระบบไม่เหมาะสมสำหรับวิดีโอ Deepfakes

HyperNeRF ในทางกลับกัน สามารถสร้างมุมมองที่ใหม่และสมจริงได้ แต่ไม่มีเครื่องมือที่ช่วยให้สามารถเปลี่ยนท่าทางหรือน้ำเสียงได้ ซึ่งไม่ได้สร้างระบบที่สามารถแข่งขันกับ Deepfakes ที่ใช้ Autoencoder ได้

RigNeRF สามารถรวมฟังก์ชันการทำงานที่แยกจากกันเหล่านี้ได้โดยการสร้าง ‘canonical space’ ซึ่งเป็นพื้นฐานมาตรฐานที่สามารถเปลี่ยนแปลงและบิดเบือนได้ผ่านการนำเข้าจากโมดูล 3DMM

การสร้าง ‘canonical space’ (ไม่มีท่าทาง ไม่มีน้ำเสียง) ซึ่งการบิดเบือน (เช่น ท่าทางและน้ำเสียง) ที่สร้างโดย 3DMM สามารถกระทำได้

เนื่องจากระบบ 3DMM จะไม่ตรงกับวัตถุถูกจับมาอย่างสมบูรณ์ จึงจำเป็นต้องชดเชยในกระบวนการนี้ RigNeRF ประสานงานสิ่งนี้ด้วยฟิลด์การบิดเบือนที่คำนวณจาก Multilayer Perceptron (MLP) ที่ได้รับจากภาพถ่ายต้นฉบับ

พารามิเตอร์ของกล้องที่จำเป็นในการคำนวณการบิดเบือนจะได้มาจาก COLMAP ในขณะที่พารามิเตอร์ของน้ำเสียงและรูปร่างสำหรับแต่ละเฟรมจะได้มาจาก DECA

การวางตำแหน่งจะถูกปรับให้เหมาะสมโดยใช้ landmark fitting และพารามิเตอร์ของกล้อง COLMAP และเนื่องจากข้อจำกัดของทรัพยากรการคำนวณ ผลลัพธ์วิดีโอจะถูกย่อขนาดลงเหลือ 256×256 สำหรับการฝึกอบรม (กระบวนการย่อขนาดที่จำกัดด้วยฮาร์ดแวร์ซึ่งยังพบในระบบ Deepfakes ที่ใช้ Autoencoder)

หลังจากนั้น เครือข่ายการบิดเบือนจะถูกฝึกอบรมบน 4 V100s – ฮาร์ดแวร์ที่มีประสิทธิภาพสูงซึ่งไม่น่าจะอยู่ในความสามารถของนักสนใจทั่วไป (อย่างไรก็ตาม ในด้านการฝึกอบรม Machine Learning มักจะสามารถแลกเปลี่ยนระหว่างความเร็วและเวลา และสามารถยอมรับได้ว่าการฝึกอบรมแบบจำลองจะใช้เวลาเป็นวันหรือแม้กระทั่งสัปดาห์)

สรุป นักวิจัยระบุว่า:

‘ไม่เหมือนกับวิธีการอื่นๆ RigNeRF สามารถสร้างแบบจำลองท่าทางและน้ำเสียงและฉากภาพ 3 มิติได้ด้วยคุณภาพสูง ทำให้ได้การสร้างภาพที่มีรายละเอียดชัดเจน’

ดูวิดีโอที่ฝังตัวอยู่ด้านล่างสำหรับรายละเอียดเพิ่มเติมและผลลัพธ์ของการสร้างภาพ

เผยแพร่ครั้งแรกเมื่อวันที่ 15 มิถุนายน 2022.