มุมมองของ Anderson
แอปเปิลสามารถใช้ HDR สิ่งแวดล้อมแบบ Augmented Reality เพื่อแก้ปัญหา Reflections สำหรับ Neural Rendering ได้หรือไม่?
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
การลงทุนระยะยาวของ Apple (AAPL ) ในเทคโนโลยี Augmented Reality กำลังเร่งตัวขึ้นในปีนี้ โดยมีเครื่องมือสำหรับนักพัฒนาใหม่ๆ ที่จะ บันทึกและแปลง วัตถุในโลกแห่งความเป็นจริงให้เป็นหน้าจอ Augmented Reality และมีความเชื่อมั่นในอุตสาหกรรมที่ กำลังเติบโต ที่ว่าแว่นตา Augmented Reality จะมาเพื่อสนับสนุนประสบการณ์แบบจมจมที่การวิจัยและพัฒนานี้สามารถทำให้เกิดขึ้นได้
ในบรรดาข้อมูลใหม่ๆ เกี่ยวกับความพยายามของ Apple ในด้าน Augmented Reality มี เอกสารวิจัยใหม่ จากแผนกการวิจัยการมองเห็นของบริษัทที่เปิดเผยวิธีการใช้ภาพ 360 องศาแบบ High Dynamic Range (HDR) เพื่อให้ได้การสะท้อนแสงและแสงสำหรับวัตถุที่ถูกวางในฉาก Augmented Reality
ที่มีชื่อว่า HDR Environment Map Estimation for Real-Time Augmented Reality เอกสารวิจัยโดย Gowri Somanath และ Daniel Kurz จาก Apple Computer Vision Research Engineer และ Senior Machine Learning Manager เสนอวิธีการสร้างสภาพแวดล้อม HDR ในแบบเรียลไทม์โดยใช้เครือข่ายประสาทเทียม (CNN) ที่ทำงานใน môi trườngประมวลผลแบบมือถือ ผลลัพธ์ที่ได้คือวัตถุที่สะท้อนสามารถสะท้อนแสงจากสภาพแวดล้อมที่ไม่เคยเห็นมาก่อนได้
ในกระบวนการสร้างวัตถุ Augmented Reality ใหม่ของ Apple เครื่องทำความดันถูกสร้างขึ้นโดยใช้ photogrammetry พร้อมกับสภาพแวดล้อมโดยรอบ ทำให้ได้การสะท้อนแสงจากสภาพแวดล้อมโดยรอบ Source: https://docs-assets.developer.apple.com/
วิธีการนี้ถูกเปิดตัวที่ CVPR 2021 โดยการถ่ายภาพฉากทั้งหมดและใช้ EnvMapNet CNN เพื่อประมาณการภาพ HDR แบบพาโนรามาที่สมบูรณ์ ซึ่งเรียกว่า ‘light probe’
ผลลัพธ์ที่ได้จะระบุแหล่งกำเนิดแสงและคำนึงถึงมันในการแสดงวัตถุเสมือน
สถาปัตยกรรมของ EnvMapNet ซึ่งประมวลผลภาพที่จำกัดให้เป็นภาพ HDR แบบพาโนรามาที่สมบูรณ์ Source: https://arxiv.org/pdf/2011.10687.pdf
อัลกอริทึมสามารถทำงานได้ภายใน 9 มิลลิวินาทีบน iPhone XS และสามารถแสดงวัตถุที่สะท้อนแสงได้แบบเรียลไทม์ โดยมีข้อผิดพลาดทิศทางที่ลดลง 50% เมื่อเทียบกับวิธีการอื่นๆ
Light Probes
สภาพแวดล้อม HDR ได้กลายเป็นปัจจัยสำคัญในผลกระทบทางภาพตั้งแต่การถ่ายภาพ High Dynamic Range (HDR) กลายเป็นเทคนิคที่สำคัญผ่านความก้าวหน้าทางเทคโนโลยีในยุค 90 Anyone ที่ดูเบื้องหลังการถ่ายทำอาจสังเกตเห็นเทคนิเชียนที่ถือลูกบอลกระจกบนไม้เท้า – ภาพอ้างอิงที่จะถูกนำมาใช้เป็นตัวประกอบสภาพแวดล้อมเมื่อสร้างองค์ประกอบ CGI สำหรับฉาก
Source: https://beforesandafters.com/
However, การใช้ลูกบอลกระจกสำหรับการ reflection mapping เทคนิค predates ยุค 90 โดยการกลับไปสู่ปี 1983 SIGGRAPH เอกสาร Pyramidal Parametrics ซึ่งแสดงภาพวัตถุ CGI ที่สะท้อนแสงจากสภาพแวดล้อมโดยรอบ
HDR Environments In Neural Rendering?
การแสดงภาพแบบ Neural Rendering มีความเป็นไปได้ที่จะสร้างวิดีโอแบบ photorealistic จากข้อมูลที่มีอยู่อย่างจำกัด รวมถึงแผนที่การแบ่งส่วน
