Adobe: การจัดแสงใหม่ของโลกแห่งความเป็นจริงด้วยการเรนเดอร์แบบニューラル

นักวิจัยจาก Adobe ได้สร้างระบบการเรนเดอร์แบบニューラルสำหรับฉากในอาคารที่สามารถจัดแสงได้อย่างซับซ้อน มีอินเทอร์เฟซแบบเรียลไทม์ และจัดการพื้นผิวและแสงสะท้อนได้ – ซึ่งเป็นความท้าทายที่สำคัญสำหรับวิธีการสังเคราะห์ภาพอื่นๆ เช่น Neural Radiance Fields (NeRF)

ที่นี่ ฉากในโลกแห่งความเป็นจริงถูกสร้างขึ้นจากภาพถ่ายหลายรูป ทำให้ฉากนั้นสามารถนำทางได้ แสงสามารถเพิ่มและเปลี่ยนแปลงสีและคุณภาพได้ ในขณะที่แสงสะท้อนยังคงแม่นยำ และพื้นผิวที่มีลักษณะเงาแสดงถึงการเปลี่ยนแปลงของแหล่งกำเนิดแสงหรือรูปแบบของผู้ใช้ Source: https://www.youtube.com/watch?v=d3ma4opFpgM

ระบบใหม่นี้ช่วยให้สามารถควบคุมการปรับเปลี่ยนแสงได้อย่างง่ายดายผ่านอินเทอร์เฟซแบบ GUI สำหรับฉาก 3D ที่ถูกจับภาพเข้ามาในพื้นที่ニューラル รวมถึงเงาและแสงสะท้อน

อินเทอร์เฟซแบบ GUI ช่วยให้ผู้ใช้สามารถเพิ่มและปรับเปลี่ยนแหล่งกำเนิดแสงสำหรับฉากในโลกแห่งความเป็นจริงที่ถูกสร้างขึ้นจากภาพถ่ายหลายรูป และสามารถนำทางได้อย่างอิสระภายในฉากนั้น

บทความ นี้ ซึ่งถูกส่งไปยัง ACM Transactions on Graphics และมีชื่อเรื่องว่า Free-viewpoint Indoor Neural Relighting from Multi-view Stereo เป็นผลงานร่วมกันระหว่าง Adobe Research และนักวิจัยจาก Université Côte d’Azur

Source: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (คลิกเพื่อดูเวอร์ชันเต็ม)

เช่นเดียวกับ Neural Radiance Fields (NeRF) ระบบนี้ใช้ photogrammetry (ด้านซ้าย) โดยที่ความเข้าใจของฉากถูกอนุมานจากภาพถ่ายหลายรูป และมุมมองที่หายไปถูกฝึกฝนผ่านการเรียนรู้ของเครื่องจนกว่าจะได้รับแบบจำลองฉากที่สมบูรณ์และสามารถตีความได้

ระบบนี้ถูกฝึกฝนโดยใช้ข้อมูลสังเคราะห์ (CGI) แต่แบบจำลอง 3D ที่ใช้ถูกปฏิบัติตามเหมือนกับการที่บุคคลหนึ่งถ่ายภาพหลายรูปของฉากในโลกแห่งความเป็นจริงเพื่อการวิเคราะห์แบบニューラル ภาพด้านบนแสดงฉากสังเคราะห์ที่ถูกจัดแสงใหม่ แต่ฉาก “ห้องนอน” ในภาพเคลื่อนไหวด้านบนถูกสร้างขึ้นจากภาพถ่ายจริงที่ถูกถ่ายในห้องนอนจริง

การแสดงผลฉากที่ไม่ชัดเจนถูกได้รับจากข้อมูลต้นฉบับผ่าน Convolutional Neural Network (CNN) และแบ่งออกเป็นหลายชั้น รวมถึงการสะท้อน การแผ่รังสี (radiosity/การฉายแสงแบบทั่วไป) และ albedo

สถาปัตยกรรมของระบบจัดแสงใหม่ของ Adobe ข้อมูลหลายมุมถูกประมวลผลล่วงหน้า และเรขาคณิต 3D ถูกสร้างขึ้นจากข้อมูลเข้า เมื่อต้องเพิ่มแสงใหม่ การแผ่รังสีถูกคำนวณในเวลาจริง และมุมมองที่ถูกจัดแสงใหม่ถูกสังเคราะห์ (คลิกเพื่อดูเวอร์ชันเต็ม)

อัลกอริทึมรวมเอาองค์ประกอบของการเรนเดอร์แบบเรย์ (Monte Carlo) และ Image-Based Rendering (IBR, การเรนเดอร์แบบニューラル)

แม้ว่างานวิจัยล่าสุดเกี่ยวกับ Neural Radiance Fields จะมุ่งเน้นไปที่การถอดรหัสเรขาคณิต 3D จากภาพแบน แต่ระบบของ Adobe เป็นครั้งแรกที่แสดงให้เห็นถึงความสามารถในการจัดแสงใหม่ที่ซับซ้อนผ่านวิธีนี้

อัลกอริทึมยังแก้ไขข้อจำกัดอีกประการหนึ่งของ NeRF และวิธีการที่คล้ายคลึงกัน โดยการคำนวณแผนที่การสะท้อนแบบสมบูรณ์ โดยที่ทุกส่วนของภาพถูกกำหนดให้เป็นวัสดุที่สะท้อนได้ 100%

พื้นผิวสะท้อนแสดงถึงเส้นทางของแสง (คลิกเพื่อดูเวอร์ชันเต็ม)

ด้วยแผนที่การสะท้อนที่สมบูรณ์นี้ ทำให้สามารถลดความสะท้อนได้ตามต้องการเพื่อปรับให้เหมาะสมกับวัสดุต่างๆ เช่น ไม้ เหล็ก และหิน แผนที่การสะท้อน (ด้านบน) ยังให้แม่พิมพ์ที่สมบูรณ์สำหรับการทำแผนที่แสงแบบเรย์ ซึ่งสามารถนำกลับมาใช้ใหม่สำหรับการปรับเปลี่ยนแสงแบบกระจาย

ชั้นอื่นๆ ในระบบการเรนเดอร์แบบニューラล์ของ Adobe (คลิกเพื่อดูเวอร์ชันเต็ม)

การบันทึกฉากเริ่มต้นใช้ภาพถ่าย 250-350 รูปจาก RAW ซึ่งถูกสร้างเป็นเมชผ่าน Multi-View Stereo ข้อมูลถูกสรุปเป็นแผนที่คุณลักษณะ 2D ซึ่งถูกโพรเจ็กต์กลับเข้าไปในมุมมองที่ใหม่ การเปลี่ยนแปลงของแสงถูกคำนวณโดยการเฉลี่ยระหว่างชั้นกระจายและชั้นเงา

พื้นผิวสะท้อนถูกสร้างขึ้นผ่านการคำนวณแบบเรย์เดียว (หนึ่งการสะท้อน) ซึ่งประมาณค่าของแหล่งกำเนิดแสงเดิมและค่าของเป้าหมาย แผนที่ที่มีข้อมูลเกี่ยวกับการจัดแสงเดิมของฉากถูกเก็บไว้ในข้อมูลニューラล์ เช่นเดียวกับวิธีการจัดเก็บแผนที่รัศมีในข้อมูล CGI

การแก้ปัญหาเรื่องการสะท้อนของการเรนเดอร์แบบニューラล์

อาจเป็นความสำเร็จหลักของงานวิจัยนี้คือการแยกข้อมูลการสะท้อนออกจากชั้นกระจายและชั้นอื่นๆ ในข้อมูล เวลาในการคำนวณถูกลดลงโดยการทำให้แน่ใจว่ามุมมองที่มีการสะท้อนแบบเรียลไทม์ (เช่น พื้นผิวสะท้อน) ถูกคำนวณเฉพาะสำหรับมุมมองที่ผู้ใช้กำลังใช้งานเท่านั้น ไม่ใช่สำหรับฉากทั้งหมด

นักวิจัยอ้างว่างานวิจัยนี้เป็นครั้งแรกที่แสดงให้เห็นถึงความสามารถในการจัดแสงใหม่และนำทางมุมมองที่หลากหลายในระบบเดียวสำหรับฉากที่ต้องแสดงพื้นผิวสะท้อนได้อย่างสมจริง

มีการเสียสละบางอย่างเพื่อให้ได้ฟังก์ชันนี้ และนักวิจัยยอมรับว่าวิธีการก่อนหน้าที่ใช้เมชที่ซับซ้อนกว่านี้แสดงให้เห็นถึงเรขาคณิตที่ดีกว่าสำหรับวัตถุเล็กๆ ทิศทางในอนาคตสำหรับวิธีการของ Adobe จะรวมถึงการใช้เรขาคณิตแบบมุมมองเพื่อปรับปรุงด้านนี้