Adobe: เติมสีสันให้โลกแห่งความเป็นจริงด้วยการเรนเดอร์ประสาท

นักวิจัยจาก Adobe ได้สร้างระบบการเรนเดอร์ประสาทสำหรับฉากในอาคารในโลกแห่งความจริงที่สามารถให้แสงซ้ำที่ซับซ้อน นำเสนออินเทอร์เฟซแบบเรียลไทม์ และจัดการกับพื้นผิวมันวาวและแสงสะท้อน ซึ่งเป็นความท้าทายที่โดดเด่นสำหรับวิธีการสังเคราะห์ภาพที่แข่งขันกัน เช่น Neural Radiance Fields (NeRF) .

ที่นี่ ฉากในโลกแห่งความเป็นจริงถูกสร้างขึ้นใหม่จากภาพนิ่งจำนวนหนึ่ง ทำให้สามารถนำทางฉากต่างๆ ได้ สามารถเพิ่มและเปลี่ยนสีและคุณภาพแสงได้ ในขณะที่แสงสะท้อนยังคงแม่นยำ และพื้นผิวมันวาวจะแสดงการเปลี่ยนแปลงของแหล่งกำเนิดแสงและ/หรือสไตล์ของผู้ใช้ได้อย่างถูกต้อง ที่มา: https://www.youtube.com/watch?v=d3ma4opFpgM

ระบบใหม่นี้ช่วยให้สามารถควบคุมลักษณะแสงของฉาก 3 มิติจริงในรูปแบบ Photoshop ซึ่งขับเคลื่อนด้วย GUI ซึ่งถูกบันทึกลงในพื้นที่ประสาท รวมถึงเงาและแสงสะท้อน

GUI ช่วยให้ผู้ใช้สามารถเพิ่ม (และปรับ) แหล่งกำเนิดแสงให้กับฉากในโลกแห่งความจริงที่ถูกสร้างขึ้นใหม่จากภาพถ่ายจำนวนน้อย และนำทางได้อย่างอิสระราวกับว่ามันเป็นสถานการณ์แบบตาข่ายที่ใช้ CGI

พื้นที่ กระดาษส่งไปยังธุรกรรม ACM บนกราฟิกและมีสิทธิ์ จุดชมวิวในร่ม Neural Relighting จาก Multi-view Stereoเป็นความร่วมมือระหว่าง Adobe Research และนักวิจัยจาก Université Côte d'Azur

ที่มา: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (คลิกเพื่อดูเวอร์ชันเต็ม)

เช่นเดียวกับ Neural Radiance Fields (เนอาร์เอฟ) ระบบใช้โฟโตแกรมเมทรี (ซ้ายบน) โดยที่ความเข้าใจในฉากนั้นอนุมานได้จากภาพถ่ายจำนวนจำกัด และมุมมองที่ 'ขาดหายไป' ที่ได้รับการฝึกผ่านการเรียนรู้ของเครื่องจนกระทั่งโมเดลฉากที่สมบูรณ์และเป็นนามธรรมทั้งหมดพร้อมสำหรับการโฆษณา การตีความใหม่เฉพาะกิจ

ระบบได้รับการฝึกอบรมเกี่ยวกับข้อมูลสังเคราะห์ (CGI) ทั้งหมด แต่โมเดล 3 มิติที่ใช้นั้นได้รับการปฏิบัติเหมือนกับที่จะเกิดขึ้นหากบุคคลถ่ายภาพฉากจริงจำนวนจำกัดหลายๆ ภาพเพื่อตีความทางประสาท ภาพด้านบนแสดงฉากสังเคราะห์ที่มีการย้อนแสง แต่มุมมอง 'ห้องนอน' ในรูปภาพบนสุด (ภาพเคลื่อนไหว) ด้านบนนั้นมาจากภาพถ่ายจริงที่ถ่ายในห้องจริง

การแสดงฉากโดยนัยได้มาจากวัสดุต้นทางผ่านโครงข่ายประสาทเทียมแบบหมุนวน (CNN) และแบ่งออกเป็นหลายชั้น รวมถึงการสะท้อน การฉายรังสีจากแหล่งกำเนิด (ความแผ่รังสี/การส่องสว่างทั่วโลก) และอัลเบโด

สถาปัตยกรรมของระบบการปรับแสงของ Adobe ชุดข้อมูลหลายมุมมองได้รับการประมวลผลล่วงหน้า และเรขาคณิตแบบตาข่าย 3 มิติที่สร้างจากข้อมูลอินพุต เมื่อต้องเพิ่มแสงใหม่ การฉายรังสีจะถูกคำนวณแบบเรียลไทม์ และมุมมอง Relit จะสังเคราะห์ขึ้น. (คลิกเพื่อดูเวอร์ชันเต็มความละเอียด)

อัลกอริทึมรวมแง่มุมของ Ray Tracing แบบดั้งเดิม (Monte Carlo) และการแสดงผลตามรูปภาพ (IBR, การแสดงผลด้วยประสาท)

แม้ว่างานวิจัยล่าสุดจำนวนมากเกี่ยวกับ Neural Radiance Fields เกี่ยวข้องกับการแยกเรขาคณิต 3 มิติจากภาพแบนๆ แต่ข้อเสนอของ Adobe เป็นครั้งแรกที่มีการสาธิตการปรับแสงใหม่ที่มีความซับซ้อนสูงด้วยวิธีนี้

อัลกอริทึมยังจัดการกับข้อจำกัดแบบดั้งเดิมอีกประการของ NeRF และแนวทางที่คล้ายคลึงกัน โดยการคำนวณแผนที่การสะท้อนที่สมบูรณ์ โดยที่ทุกๆ ส่วนของภาพจะได้รับวัสดุสะท้อนแสง 100%

พื้นผิวแบบมิเรอร์ทำแผนที่เส้นทางแสง (คลิกเพื่อดูเวอร์ชันเต็มความละเอียด)

ด้วยแผนที่การสะท้อนแสงแบบรวมนี้ จึงเป็นไปได้ที่จะ 'ลดค่าการสะท้อนแสงลง' เพื่อรองรับการสะท้อนแสงในระดับต่างๆ ในวัสดุประเภทต่างๆ เช่น ไม้ โลหะ และหิน แผนที่การสะท้อนแสง (ด้านบน) ยังมีเทมเพลตที่สมบูรณ์สำหรับการทำแผนที่รังสี ซึ่งสามารถนำมาใช้ใหม่เพื่อวัตถุประสงค์ในการปรับแสงแบบกระจาย

เลเยอร์อื่นๆ ในระบบการเรนเดอร์ประสาทของ Adobe (คลิกเพื่อดูเวอร์ชันเต็มความละเอียด)

การจับภาพเริ่มต้นของฉากจะใช้ภาพถ่าย RAW 250-350 ซึ่งคำนวณตาข่ายผ่าน Multi-View Stereo ข้อมูลจะถูกสรุปเป็นแผนที่คุณลักษณะอินพุต 2 มิติ ซึ่งจะถูกฉายซ้ำในมุมมองใหม่ การเปลี่ยนแปลงของแสงคำนวณโดยค่าเฉลี่ยของเลเยอร์ที่กระจายและมันวาวของฉากที่ถ่าย

เลเยอร์ภาพสะท้อนถูกสร้างขึ้นผ่านการคำนวณมิเรอร์รังสีเอกซ์แบบรวดเร็ว (การตีกลับหนึ่งครั้ง) ซึ่งจะประมาณค่าแหล่งที่มาดั้งเดิมและค่าเป้าหมาย แผนที่ที่มีข้อมูลเกี่ยวกับแสงดั้งเดิมของฉากจะถูกจัดเก็บไว้ในข้อมูลประสาท คล้ายกับวิธีที่แผนที่คลื่นวิทยุมักถูกจัดเก็บด้วยข้อมูลฉาก CGI แบบดั้งเดิม

การแก้ปัญหาการสะท้อนการแสดงผลของระบบประสาท

บางทีความสำเร็จเบื้องต้นของงานคือการแยกข้อมูลการสะท้อนแสงออกจากชั้นกระจายและชั้นอื่นๆ ในข้อมูล เวลาในการคำนวณจะลดลงโดยทำให้แน่ใจว่ามุมมองที่เปิดใช้งาน 'การสะท้อนกลับ' แบบสด เช่น กระจก จะถูกคำนวณเฉพาะสำหรับมุมมองของผู้ใช้ที่ใช้งานอยู่ แทนที่จะคำนวณสำหรับฉากทั้งหมด

นักวิจัยอ้างว่างานนี้ถือเป็นครั้งแรกที่มีการจับคู่ความสามารถในการปรับแสงกับความสามารถในการนำทางแบบมุมมองอิสระในเฟรมเวิร์กเดียวสำหรับฉากที่ต้องสร้างพื้นผิวสะท้อนแสงให้เหมือนจริง

มีการเสียสละบางอย่างเพื่อให้ได้ฟังก์ชันนี้ และนักวิจัยยอมรับว่าวิธีการก่อนหน้านี้ที่ใช้ตาข่ายต่อมุมมองที่ซับซ้อนมากขึ้นแสดงให้เห็นถึงรูปทรงเรขาคณิตที่ดีขึ้นสำหรับวัตถุขนาดเล็ก ทิศทางในอนาคตสำหรับแนวทางของ Adobe จะรวมถึงการใช้รูปทรงเรขาคณิตสำหรับการดู เพื่อปรับปรุงด้านนี้