มุมมองของ Anderson
แอปเปิลสามารถใช้ HDR สิ่งแวดล้อมแบบ Augmented Reality เพื่อแก้ปัญหา Reflections สำหรับ Neural Rendering ได้หรือไม่?
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
การลงทุนระยะยาวของ Apple ในเทคโนโลยี Augmented Reality กำลังเร่งตัวขึ้นในปีนี้ โดยมีเครื่องมือสำหรับนักพัฒนาใหม่ๆ ที่จะ บันทึกและแปลง วัตถุในโลกแห่งความเป็นจริงให้เป็นหน้าจอ Augmented Reality และมีความเชื่อมั่นในอุตสาหกรรมที่ กำลังเติบโต ที่ว่าแว่นตา Augmented Reality จะมาเพื่อสนับสนุนประสบการณ์แบบจมจมที่การวิจัยและพัฒนานี้สามารถทำให้เกิดขึ้นได้
ในบรรดาข้อมูลใหม่ๆ เกี่ยวกับความพยายามของ Apple ในด้าน Augmented Reality มี เอกสารวิจัยใหม่ จากแผนกการวิจัยการมองเห็นของบริษัทที่เปิดเผยวิธีการใช้ภาพ 360 องศาแบบ High Dynamic Range (HDR) เพื่อให้ได้การสะท้อนแสงและแสงสำหรับวัตถุที่ถูกวางในฉาก Augmented Reality
ที่มีชื่อว่า HDR Environment Map Estimation for Real-Time Augmented Reality เอกสารวิจัยโดย Gowri Somanath และ Daniel Kurz จาก Apple Computer Vision Research Engineer และ Senior Machine Learning Manager เสนอวิธีการสร้างสภาพแวดล้อม HDR ในแบบเรียลไทม์โดยใช้เครือข่ายประสาทเทียม (CNN) ที่ทำงานใน môi trườngประมวลผลแบบมือถือ ผลลัพธ์ที่ได้คือวัตถุที่สะท้อนสามารถสะท้อนแสงจากสภาพแวดล้อมที่ไม่เคยเห็นมาก่อนได้
ในกระบวนการสร้างวัตถุ Augmented Reality ใหม่ของ Apple เครื่องทำความดันถูกสร้างขึ้นโดยใช้ photogrammetry พร้อมกับสภาพแวดล้อมโดยรอบ ทำให้ได้การสะท้อนแสงจากสภาพแวดล้อมโดยรอบ Source: https://docs-assets.developer.apple.com/
วิธีการนี้ถูกเปิดตัวที่ CVPR 2021 โดยการถ่ายภาพฉากทั้งหมดและใช้ EnvMapNet CNN เพื่อประมาณการภาพ HDR แบบพาโนรามาที่สมบูรณ์ ซึ่งเรียกว่า ‘light probe’
ผลลัพธ์ที่ได้จะระบุแหล่งกำเนิดแสงและคำนึงถึงมันในการแสดงวัตถุเสมือน
สถาปัตยกรรมของ EnvMapNet ซึ่งประมวลผลภาพที่จำกัดให้เป็นภาพ HDR แบบพาโนรามาที่สมบูรณ์ Source: https://arxiv.org/pdf/2011.10687.pdf
อัลกอริทึมสามารถทำงานได้ภายใน 9 มิลลิวินาทีบน iPhone XS และสามารถแสดงวัตถุที่สะท้อนแสงได้แบบเรียลไทม์ โดยมีข้อผิดพลาดทิศทางที่ลดลง 50% เมื่อเทียบกับวิธีการอื่นๆ
Light Probes
สภาพแวดล้อม HDR ได้กลายเป็นปัจจัยสำคัญในผลกระทบทางภาพตั้งแต่การถ่ายภาพ High Dynamic Range (HDR) กลายเป็นเทคนิคที่สำคัญผ่านความก้าวหน้าทางเทคโนโลยีในยุค 90 Anyone ที่ดูเบื้องหลังการถ่ายทำอาจสังเกตเห็นเทคนิเชียนที่ถือลูกบอลกระจกบนไม้เท้า – ภาพอ้างอิงที่จะถูกนำมาใช้เป็นตัวประกอบสภาพแวดล้อมเมื่อสร้างองค์ประกอบ CGI สำหรับฉาก
Source: https://beforesandafters.com/
However, การใช้ลูกบอลกระจกสำหรับการ reflection mapping เทคนิค predates ยุค 90 โดยการกลับไปสู่ปี 1983 SIGGRAPH เอกสาร Pyramidal Parametrics ซึ่งแสดงภาพวัตถุ CGI ที่สะท้อนแสงจากสภาพแวดล้อมโดยรอบ
HDR Environments In Neural Rendering?
การแสดงภาพแบบ Neural Rendering มีความเป็นไปได้ที่จะสร้างวิดีโอแบบ photorealistic จากข้อมูลที่มีอยู่อย่างจำกัด รวมถึงแผนที่การแบ่งส่วน
