NeRF: Facebook Co-Research พัฒนา Mixed Static/Dynamic Video Synthesis

การทำงานร่วมกันระหว่าง Virginia Polytechnic Institute and State University และ Facebook ได้แก้ปัญหาใหญ่หนึ่งใน NeRF video synthesis: การผสมภาพนิ่งและวิดีโอดินามิกใน Neural Radiance Fields (NeRF) ออกพุต

ระบบสามารถสร้างฉากที่สามารถนำทางได้ซึ่งมีองค์ประกอบวิดีโอแบบไดนามิกและภาพนิ่ง สิ่งเหล่านี้ถูกบันทึกที่ต้นทาง แต่แยกออกเป็นองค์ประกอบที่สามารถควบคุมได้ในสภาพแวดล้อมเสมือนจริง:

นอกจากนี้ ระบบยังสามารถทำได้จากมุมมองเดียว โดยไม่ต้องใช้กล้องหลายตัวที่สามารถยึดโครงการเช่นนี้ไว้ในสตูดิโอ

เอกสาร paper ที่มีชื่อว่า Dynamic View Synthesis from Dynamic Monocular Video ไม่ใช่เอกสารแรกที่พัฒนากระบวนการทำงาน NeRF แบบโมโนคูลาร์ แต่ดูเหมือนว่าจะเป็นเอกสารแรกที่ฝึกโมเดลแบบ time-varying และ time-static จากอินพุตเดียวกัน และสร้างเฟรมเวิร์กที่ช่วยให้วิดีโอดินามิกสามารถอยู่ภายใน ‘pre-mapped’ NeRF locale ได้ คล้ายกับสภาพแวดล้อมเสมือนจริงที่มักจะห่อหุ้ม 배우ในภาพยนตร์ SF ที่มีงบประมาณสูง

eyond D-NeRF

นักวิจัยต้องสร้างความสามารถของ Dynamic NeRF (D-NeRF) ใหม่ โดยใช้มุมมองเดียวเท่านั้น ไม่ใช่กล้องหลายตัวที่ D-NeRF ใช้ เพื่อแก้ปัญหานี้ พวกเขาได้คาดการณ์ scene flow ไปข้างหน้าและข้างหลัง และใช้ข้อมูลนี้เพื่อสร้าง radiance field ที่มีความสอดคล้องกันในแง่ของเวลา

ด้วยมุมมองเดียวเท่านั้น จึงจำเป็นต้องใช้การวิเคราะห์ optical flow 2D เพื่อให้ได้ 3D points ใน reference frames จุด 3D ที่คำนวณได้จะถูกส่งกลับเข้าไปในกล้องเสมือนเพื่อสร้าง ‘scene flow’ ที่ตรงกับ optical flow ที่คำนวณได้และ optical flow ที่ประมาณการ

ในระหว่างการฝึก องค์ประกอบแบบไดนามิกและแบบนิ่งจะถูกปรองดองเข้าด้วยกันเป็นโมเดลที่สมบูรณ์เป็นองค์ประกอบที่สามารถเข้าถึงได้แยกจากกัน

โดยการรวมการคำนวณ depth order loss และการปรับให้เหมาะสมอย่างเข้มงวดของ scene flow prediction ใน D-NeRF ปัญหาของ motion blur จะถูกลดลงอย่างมาก

แม้ว่าการวิจัยจะมีอะไรให้มากมายในแง่ของการปรับให้เหมาะสมของการคำนวณ NeRF และปรับปรุงความสามารถในการสำรวจผลลัพธ์จากมุมมองเดียว แต่สิ่งที่น่าสังเกตไม่แพ้กันคือการแยกและรวมองค์ประกอบแบบไดนามิกและแบบนิ่งของ NeRF ใหม่

NeRF – Static Or Video?

ไม่นานมานี้ เราได้พิจารณาการวิจัย NeRF ที่น่าประทับใจใหม่ๆ จากประเทศจีน ซึ่งสามารถแยกองค์ประกอบในฉาก NeRF แบบไดนามิกที่บันทึกด้วยกล้อง 16 ตัวได้

ST-NeRF (ด้านบน) ช่วยให้ผู้ชมสามารถย้ายองค์ประกอบในฉากที่บันทึกได้ และแม้แต่ขนาดของมัน การเล่นซ้ำ อัตราการเล่นซ้ำ การหยุดหรือเล่นย้อนกลับ นอกจากนี้ ST-NeRF ยังช่วยให้ผู้ใช้ ‘เลื่อน’ ผ่านส่วนใดๆ ของอาร์ก 180 องศาที่บันทึกด้วยกล้อง 16 ตัว

Highly Editable Static NeRF Environments

ฉาก Neural Radiance Field แบบนิ่ง ซึ่งแยกออกจากส่วนวิดีโอแบบไดนามิกแล้ว จะง่ายต่อการดูแลและเพิ่มเติมในหลายๆ ด้าน รวมถึงการเปลี่ยนแสงตามที่เสนอไว้เมื่อต้นปีนี้โดย NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis) ซึ่งเป็นขั้นตอนแรกในการเปลี่ยนแสงหรือการขีดเส้นใต้ของสภาพแวดล้อมหรือวัตถุ NeRF:

Relighting a NeRF object with NeRV. Source: https://www.youtube.com/watch?v=4XyDdvhhjVo

Retexturing in NeRV, even including photorealistic specular effects. Since the basis of the array of images is static, it is easier to process and augment a NeRF facet in this way than to encompass the effect across a range of video frames, making initial pre-processing and eventual training lighter and easier.