การจัดแสงใหม่ของฟิลด์เรเดียนซ์ประสาทด้วยแมปสภาพแวดล้อมใดๆ

วิธีการใหม่จาก เอกสารวิจัย ของ Max Planck Institute และ MIT ได้เสนอเทคนิคในการแยกส่วนประกอบของเนื้อหาของ Neural Radiance Fields (NeRF) จากแสงสว่างที่มีอยู่เมื่อรวบรวมข้อมูล ทำให้สามารถเปลี่ยนแสงสว่างในฉาก NeRF ได้ด้วยแมปสภาพแวดล้อมใดๆ

เทคนิคใหม่ที่ใช้กับข้อมูลจริง มีผลกระทบอย่างมากต่อการควบคุมแสงสว่างที่สมจริง

วิธีการใหม่นี้ใช้โปรแกรมแอนิเมชัน 3 มิติแบบเปิด源 Blender เพื่อสร้าง ‘เวทีแสงเสมือน’ โดยมีการแสดงผลหลายๆ การจำลองสถานการณ์แสงสว่างและฝึกอบรมเข้ากับชั้นพิเศษในแบบจำลอง NeRF ที่สามารถรองรับแมปสภาพแวดล้อมใดๆ ที่ผู้ใช้ต้องการ

ภาพแสดงถึงส่วนหนึ่งของกระบวนการที่ใช้ Blender ในการสร้างมุมมองเวทีแสงเสมือน

วิธีการนี้ได้รับการทดสอบกับเฟรมเวิร์กการเรนเดอร์แบบผกผัน Mitsuba2 และผลงานก่อนหน้า PhySG, RNR, Neural-PIL และ NeRFactor โดยใช้แบบจำลองแสงสว่างโดยตรง และได้รับคะแนนสูงสุด

ผลลัพธ์ของเทคนิคใหม่เมื่อเปรียบเทียบกับวิธีการอื่นๆ

เอกสารวิจัยระบุว่า:

‘ผลลัพธ์ของเราแสดงให้เห็นถึงความก้าวหน้าอย่างชัดเจนเมื่อเปรียบเทียบกับสถานะปัจจุบันของสาขานี้ และงานในอนาคตอาจเกี่ยวข้องกับการปรับปรุงเวลาทำงานและการให้เหตุผลร่วมกันของเรขาคณิต วัสดุ และแสงสว่างในฉาก’

ความจำเป็นในการแก้ไข NeRF

การแยกส่วนประกอบนี้เป็นความท้าทายที่สำคัญสำหรับนักวิจัยในด้าน Neural Radiance Fields เนื่องจาก NeRF เป็นเทคนิคโฟโตแกรมมาทรีที่คำนวณค่าพิกเซลของเส้นทางที่เป็นไปได้หลายพันเส้นทางจากจุดมอง และสร้างเมทริกซ์ของค่าเหล่านี้เป็นรูปสามมิติ

ในความเป็นจริง NeRF มีความยืดหยุ่นน้อยและถูกกำหนดโดยแสงสว่าง

ดังนั้นชุมชนวิจัยจึงมุ่งเน้นไปที่การปรับปรุงความสามารถและความยืดหยุ่นของ NeRF ในด้านนี้ในช่วง 12-18 เดือนที่ผ่านมา

การคัดแยกองค์ประกอบ

นักวิจัยได้รับใช้ CGI เป็นกลไกควบคุมและผลิตที่ trung gian โดยใช้ Blender ในการสร้างเวทีแสงเสมือน

ความท้าทายหลักคือการคำนวณการกระจายแสงสว่างทั่วโลก (GI) ซึ่งไม่สามารถใช้ได้กับการเรนเดอร์แบบประสาท และแปลงเป็นการถ่ายโอนรัศมีแบบพรีคำนวณ (PRT) ซึ่งสามารถปรับให้เหมาะสมกับการเรนเดอร์แบบประสาท

GI เป็นเทคนิคการเรนเดอร์ CGI ที่มีอายุยาวนานซึ่งจำลองการกระจายแสงสว่างบนพื้นผิวและรวมแสงสะท้อนเข้ากับการเรนเดอร์

PRT ถูกใช้เป็นฟังก์ชันการให้แสงสว่าง trung gian ในวิธีการใหม่นี้ และการแยกส่วนประกอบนี้สามารถทำได้โดยการสร้างแบบจำลองวัสดุของวัตถุ NeRF ด้วย PRT ที่เรียนรู้

แสงสว่างในฉากที่แท้จริงถูกกู้คืนเป็นแมปสภาพแวดล้อมในกระบวนการนี้ และเรขาคณิตของฉากถูกถอดรหัสเป็นฟิลด์ระยะห่างที่มีลายเซ็น (SDF) ซึ่งจะให้เมชที่传统สำหรับ Blender ในเวทีแสงเสมือน

ภาพรวมของกระบวนการสำหรับเทคนิคใหม่

ขั้นตอนแรกในกระบวนการคือการถอดรหัสเรขาคณิตของฉากจากภาพหลายมุมผ่านการสร้างพื้นผิวโดยไม่ต้องมีการกำหนดรูปทรง

เพื่อพัฒนาฟิลด์การถ่ายโอนรัศมีประสาท (NRTF) ที่จะรองรับข้อมูลแสงสว่าง นักวิจัยได้ใช้เครื่องมือการเรนเดอร์แบบผกผัน Mitsuba 2

สิ่งนี้ช่วยให้สามารถปรับให้เหมาะสมกับการกระจายแสงสว่างสองทิศทาง (BSDF) และสร้างแมปสภาพแวดล้อมเริ่มต้น

NRTF ถูกฝึกอบรมด้วยการรวมกันของการเสียหายระหว่างผลกระทบวัสดุและข้อมูลสังเคราะห์ ซึ่งไม่ได้ถูกผูกไว้ด้วยกัน

การเปรียบเทียบกับ NeRFactor ในเรื่องของการสร้างมุมมองใหม่และแสงสว่าง

เส้นทางสู่การให้แสงสว่าง

ความต้องการในการฝึกอบรมสำหรับเทคนิคนี้ แม้ว่าจะน้อยกว่าเวลาฝึกอบรม NeRF เดิม แต่ก็ไม่เล็กน้อย เมื่อใช้การ์ดจอ NVIDIA (NVDA ) Quadro RTX 8000 ที่มี VRAM 48GB การฝึกอบรมเบื้องต้นสำหรับการประมาณค่าแสงสว่างและเนื้อหาสิ่งแวดล้อมใช้เวลา 30 นาที การฝึกอบรม OLAT (การฝึกอบรมเวทีแสงเสมือน) ใช้เวลา 8 ชั่วโมง และการปรับให้เหมาะสมร่วมกันระหว่างข้อมูลสังเคราะห์และข้อมูลจริงที่แยกออกจากกันใช้เวลา 16 ชั่วโมงเพื่อให้ได้คุณภาพสูงสุด

นอกจากนี้ การแสดงผลของการแสดงภาพประสาทไม่สามารถทำงานได้ในเวลาเรียลไทม์ โดยใช้เวลา ‘หลายวินาทีต่อเฟรม’ ตามที่นักวิจัยระบุ

นักวิจัยสรุปว่า:

‘ผลลัพธ์ของเราแสดงให้เห็นถึงความก้าวหน้าอย่างชัดเจนเมื่อเปรียบเทียบกับสถานะปัจจุบันของสาขานี้ และงานในอนาคตอาจเกี่ยวข้องกับการปรับปรุงเวลาทำงานและการให้เหตุผลร่วมกันของเรขาคณิต วัสดุ และแสงสว่างในฉาก’

เผยแพร่ครั้งแรกเมื่อวันที่ 28 กรกฎาคม 2022