NeRFocus: นำการควบคุมโฟกัสที่เบาและคล่องตัวมาให้กับ Neural Radiance Fields

การวิจัยใหม่จากประเทศจีนเสนอวิธีการในการควบคุมเอฟเฟกต์ความลึกของฟิลด์สำหรับ Neural Radiance Fields (NeRF) โดยให้ผู้ใช้สามารถปรับโฟกัสและเปลี่ยนการกำหนดค่าของเลนส์เสมือนจริงในพื้นที่การเรนเดอร์ได้อย่างมีประสิทธิภาพ

ที่เรียกว่า NeRFocus เทคนิคนี้ใช้แนวทาง ‘thin lens imaging’ ที่เป็นนวัตกรรมใหม่ในการควบคุมโฟกัส และพัฒนา P-training ซึ่งเป็นกลยุทธ์การฝึกอบรมแบบสุ่มที่ไม่ต้องการชุดข้อมูลที่เฉพาะเจาะจงสำหรับการควบคุมโฟกัส และทำให้กระบวนการฝึกอบรมที่มีการควบคุมโฟกัสง่ายขึ้น

เอกสารวิจัย paper ที่มีชื่อว่า NeRFocus: Neural Radiance Field for 3D Synthetic Defocus มาจากนักวิจัยสี่คนจากโรงเรียนสาขาวิชาวิศวกรรมศาสตร์แห่งปักกิ่ง และห้องปฏิบัติการเพ็งเฉิง ที่เมืองเซินเจิ้น ซึ่งเป็นสถาบันที่ได้รับการสนับสนุนจากจังหวัดกวางตุ้ง

การแก้ไขจุดโฟกัสที่มีการกระจายความสนใจใน NeRF

หาก NeRF จะต้องมีตำแหน่งที่ถูกต้องในฐานะเทคโนโลยีการขับเคลื่อนสำหรับโลกเสมือนและโลกเสริมความเป็นจริง มันจะต้องมีวิธีการควบคุมโฟกัสที่มีประสิทธิภาพและเบา ซึ่งเรียกว่า foveated rendering โดยที่ทรัพยากรการเรนเดอร์ส่วนใหญ่จะถูกกระจายไปที่จุดที่ผู้ใช้กำลังมองอยู่ ไม่ใช่การกระจายไปทั่วทั้งพื้นที่ที่มีความละเอียดต่ำ

จากเอกสารวิจัย Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality ในปี 2021 เราจะเห็นจุดโฟกัสที่มีการกระจายความสนใจในระบบการเรนเดอร์แบบ foveated สำหรับ NeRF Source: https://arxiv.org/pdf/2103.16365.pdf

สิ่งสำคัญของความสมจริงของการนำ NeRF ไปใช้ในอนาคตคือความสามารถของระบบในการสะท้อนความสามารถของดวงตาของมนุษย์ในการเปลี่ยนโฟกัสไปตามระนาบที่มีการลดลงของมุมมอง (ดูภาพด้านบน)

การเปลี่ยนแปลงของโฟกัสนี้ยังเป็นตัวบ่งชี้ของขนาดของฉากด้วย มุมมองจากเฮลิคอปเตอร์ที่บินอยู่เหนือเมืองจะมีจุดโฟกัสที่ไม่สามารถเข้าถึงได้ เนื่องจากฉากทั้งหมดอยู่นอกเหนือความสามารถในการโฟกัสของผู้ชม ในขณะที่การตรวจสอบฉากขนาดเล็กหรือ ‘ใกล้’ จะไม่เพียงแต่ทำให้สามารถ ‘รับโฟกัส’ ได้ แต่ยังต้องมีระยะโฟกัสที่แคบโดยอัตโนมัติเพื่อความสมจริง

ด้านล่างนี้คือวิดีโอที่แสดงความสามารถของ NeRFocus ในขั้นตอนแรก ซึ่งเราได้รับจากผู้เขียนเอกสารวิจัย:

ไปไกลกว่าระนาบโฟกัสที่ถูกจำกัด

ตระหนักถึงความต้องการในการควบคุมโฟกัส โครงการ NeRF หลายโครงการในหลายปีที่ผ่านมาได้เตรียมการสำหรับสิ่งนี้ แต่ทั้งหมดนี้เป็นวิธีการที่ไม่ตรงไปตรงมาหรือต้องมีการประมวลผลหลังการบันทึกที่สำคัญ ซึ่งทำให้ไม่น่าจะเป็นส่วนหนึ่งของสภาพแวดล้อมแบบเรียลไทม์ที่คาดหวังสำหรับเทคโนโลยี Neural Radiance Fields

การควบคุมโฟกัสแบบสังเคราะห์ในเฟรมเวิร์กการเรนเดอร์แบบประสาทได้ถูกพยายามโดยวิธีการต่างๆ ในช่วง 5-6 ปีที่ผ่านมา เช่น การใช้เครือข่ายการแบ่งส่วนเพื่อแยกข้อมูลหน้าและหลัง แล้วจึงทำให้หลังเบลอ – วิธีการที่ พบบ่อย สำหรับเอฟเฟกต์แบบโฟกัสสองระนาบ

จากเอกสารวิจัย ‘Automatic Portrait Segmentation for Image Stylization’ การแบ่งส่วนแบบแอนิเมชันของระนาบโฟกัส Source: https://jiaya.me/papers/portrait_eg16.pdf

การแสดงผลหลายระนาบเพิ่ม ‘เซลล์’ แอนิเมชันเสมือนบางส่วนให้กับพาราได้มนี้ โดยใช้การประมาณระยะทางเพื่อตัดฉากออกเป็นระนาบโฟกัสที่แตกต่างกัน แล้วจัดเรียงเคอร์เนลที่ขึ้นอยู่กับระยะทางเพื่อ สังเคราะห์เบลอ

นอกจากนี้และเกี่ยวข้องกับสภาพแวดล้อม AR/VR ที่อาจเกิดขึ้นได้ ความแตกต่างระหว่างมุมมองสองมุมของการกำหนดค่ากล้องสเตอริโอสามารถใช้เป็นตัวแทนของระยะทาง – วิธีการที่เสนอโดย Google Research ในปี 2015

จากเอกสารวิจัย Fast Bilateral-Space Stereo for Synthetic Defocus ความแตกต่างระหว่างมุมมองสองมุมให้แผนที่ระยะทางที่สามารถทำให้เบลอได้ Source

วิธีการเหล่านี้มักจะแสดงอาการผิดปกติของขอบ เนื่องจากพยายามแสดงสองโดเมนโฟกัสที่แตกต่างกันและจำกัดขอบเป็นเส้นโฟกัสที่ต่อเนื่องกัน

ในปี 2021 โครงการ RawNeRF เสนอการทำงานแบบ High Dynamic Range (HDR) พร้อมการควบคุมที่ดีขึ้นในสถานการณ์แสงอ่อน และความสามารถในการปรับโฟกัสที่น่าประทับใจ:

RawNeRF ปรับโฟกัสได้อย่างสวยงาม (ถ้าในกรณีนี้ไม่มีระนาบโฟกัสที่สมจริง) แต่ต้องใช้ค่าใช้จ่ายในการคำนวณสูง Source: https://bmild.github.io/rawnerf/

อย่างไรก็ตาม RawNeRF ต้องการการคำนวณล่วงหน้าที่ใช้เวลานานสำหรับการแสดงผลหลายระนาบของ NeRF ที่ได้รับการฝึกอบรม ซึ่งทำให้ไม่สามารถปรับให้เหมาะสมกับการใช้งาน NeRF ที่เบาหรือต่ำกว่าได้

การสร้างเลนส์เสมือน

NeRF เองนั้นขึ้นอยู่กับแบบจำลองการถ่ายภาพแบบ ‘pinhole’ ซึ่งแสดงฉากทั้งหมดอย่างชัดเจนในลักษณะที่คล้ายกับฉาก CGI ที่ไม่มีการเบลอ (ก่อนวิธีการต่างๆ ที่แสดงผลเบลอเป็นผลมาจากการประมวลผลหรือผลมาจากการแสดงผลตามระยะทาง)

NeRFocus สร้างเลนส์เสมือน ‘thin lens’ (ไม่ใช่ ‘glassless’ aperture) ซึ่งคำนวณเส้นทางของพิกเซลที่เข้ามาและแสดงผลโดยตรง โดยกลับกระบวนการถ่ายภาพแบบมาตรฐานซึ่งทำงาน หลังเหตุการณ์ กับแสงเข้าที่ได้รับผลกระทบจากคุณสมบัติการหักเหของเลนส์

แบบจำลองนี้แนะนำความเป็นไปได้หลายอย่างสำหรับการแสดงผลเนื้อหาภายใน frustum (วงกลมที่ใหญ่ที่สุดที่แสดงผลในภาพด้านบน)

การคำนวณสีและความหนาแน่นที่ถูกต้องสำหรับแต่ละตัวเลือกหลายชั้นในความเป็นไปได้ที่กว้างขึ้นนี้เป็นงานเพิ่มเติม ซึ่งได้รับการแก้ไขแล้ว ก่อนหน้านี้ โดยการนำการฝึกอบรมแบบกำกับมาใช้กับภาพ DLSR จำนวนมาก ซึ่งหมายถึงการสร้างชุดข้อมูลเพิ่มเติมสำหรับกระบวนการฝึกอบรมแบบสุ่ม – โดยพื้นฐานแล้วเกี่ยวข้องกับการเตรียมและจัดเก็บทรัพยากรที่คำนวณแล้วหลายอย่างที่อาจหรือไม่จำเป็นต้องใช้

NeRFocus แก้ไขปัญหานี้ด้วย P-training โดยที่ชุดข้อมูลการฝึกอบรมจะถูกสร้างขึ้นตามการดำเนินการเบลอขั้นพื้นฐาน ดังนั้นแบบจำลองจึงถูกสร้างขึ้นด้วยการดำเนินการเบลอที่เป็นไปได้และสามารถนำทางได้

เส้นผ่านศูนย์กลางของเลนส์ถูกตั้งค่าเป็นศูนย์ระหว่างการฝึกอบรม และใช้ความน่าจะเป็นที่กำหนดไว้ล่วงหน้าเพื่อเลือกเคอร์เนลเบลอแบบสุ่ม เส้นผ่านศูนย์กลางที่ได้รับนี้จะถูกใช้ในการปรับขนาดเส้นผ่านศูนย์กลางของโคนประกอบทั้งหมด ทำให้ MLP สามารถคาดการณ์สีและความหนาแน่นของ frustums (วงกลมกว้างในภาพด้านบน ซึ่งเป็นบริเวณการเปลี่ยนแปลงสำหรับพิกเซลแต่ละจุด) ได้อย่างแม่นยำ

ผู้เขียนเอกสารวิจัยใหม่สังเกตว่า NeRFocus มีความเข้ากันได้กับวิธีการที่ขับเคลื่อนด้วย HDR ของ RawNeRF ซึ่งอาจช่วยในการแสดงผลของส่วนบางส่วนที่ท้าทาย เช่น แสงสเปคูลาร์ที่เบลอ และเอฟเฟกต์อื่นๆ ที่ต้องใช้การประมวลผลสูงซึ่งได้ท้าทายการทำงานของ CGI มาเป็นเวลา 30 ปีหรือมากกว่านั้น

กระบวนการนี้ไม่ต้องมีการเพิ่มความต้องการเวลาหรือพารามิเตอร์เมื่อเทียบกับวิธีการก่อนหน้า เช่น NeRF และ Mip-NeRF (และ Mip-NeRF 360 แม้ว่าจะไม่ได้กล่าวถึงในเอกสาร) และสามารถใช้เป็นส่วนขยายทั่วไปสำหรับวิธีการหลักของ Neural Radiance Fields

เผยแพร่ครั้งแรกเมื่อวันที่ 12 มีนาคม 2022