การเรนเดอร์แบบประสาท: NeRF ก้าวสู่บรรยากาศสดชื่น

ความร่วมมือระหว่าง Google Research และ Harvard University ได้พัฒนาวิธีใหม่เพื่อสร้างวิดีโอประสาท 360 องศาของฉากเต็มรูปแบบโดยใช้ Neural Radiance Fields (NeRF) วิธีการใหม่ทำให้ NeRF เข้าใกล้การใช้งานเชิงนามธรรมแบบสบาย ๆ ในสภาพแวดล้อมใด ๆ มากขึ้น โดยไม่จำกัดอยู่แค่โมเดลบนโต๊ะหรือสถานการณ์ภายในที่ปิดกัน​

ดูวิดีโอเต็มที่ส่วนท้ายของบทความ แหล่งที่มา: https://www.youtube.com/watch?v=zBSH-k9GbV4

Mip-NeRF 360 สามารถจัดการพื้นหลังที่ขยายออกและวัตถุ “ไม่มีที่สิ้นสุด” เช่น ท้องฟ้า เนื่องจากแตกต่างจากรุ่นก่อน ๆ มันกำหนดขีดจำกัดในการตีความรังสีแสงและสร้างขอบเขตของการให้ความสนใจที่ทำให้เวลาเทรนที่ยาวนานกลายเป็นเหตุผลที่สมเหตุสมผล ดูวิดีโอใหม่ที่แนบมาซึ่งฝังอยู่ที่ส่วนท้ายของบทความนี้เพื่อดูตัวอย่างเพิ่มเติมและทำความเข้าใจเชิงลึกเกี่ยวกับกระบวนการ

เอกสารใหม่ มีชื่อว่า Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields และนำโดย Senior Staff Research Scientist ที่ Google Research Jon Barron

เพื่อทำความเข้าใจความก้าวหน้า จำเป็นต้องมีความเข้าใจพื้นฐานเกี่ยวกับวิธีการทำงานของการสังเคราะห์ภาพโดยใช้ Neural Radiance Field

NeRF คืออะไร?

การอธิบายเครือข่าย NeRF ว่าเป็น “วิดีโอ” นั้นเป็นเรื่องยาก เพราะมันใกล้เคียงกับสภาพแวดล้อมเสมือนที่สร้างขึ้นแบบ 3 มิติเต็มรูปแบบโดยใช้ AI ซึ่งใช้มุมมองหลายมุมจากภาพเดียว (รวมถึงเฟรมวิดีโอ) มาประสานเป็นฉากที่มีอยู่จริงในพื้นที่แฝงของอัลกอริทึมการเรียนรู้ของเครื่อง – แต่จากฉากนั้นสามารถดึงมุมมองและวิดีโอจำนวนมหาศาลได้ตามต้องการ

การแสดงภาพจุดการจับภาพหลายกล้องที่ให้ข้อมูลที่ NeRF ประกอบเป็นฉากประสาท (ด้านขวา)

ข้อมูลที่ได้จากภาพที่มีส่วนร่วมจะถูกฝึกเข้าสู่เมทริกซ์ที่คล้ายกับ voxel grid แบบดั้งเดิมในกระบวนการ CGI โดยทุกจุดในพื้นที่ 3 มิติจะมีค่า ทำให้สามารถนำทางฉากได้

เมทริกซ์ voxel แบบดั้งเดิมจะใส่ข้อมูลพิกเซล (ซึ่งโดยปกติอยู่ในบริบท 2 มิติ เช่น ตารางพิกเซลของไฟล์ JPEG) ลงในพื้นที่สามมิติ Source: ResearchGate

หลังจากคำนวณพื้นที่ว่างระหว่างภาพ (หากจำเป็น) เส้นทางของพิกเซลแต่ละพิกเซลจากภาพที่มีส่วนร่วมจะถูก “ray‑traced” อย่างมีประสิทธิภาพและกำหนดค่าความสี รวมถึงค่าความโปร่งใส (หากไม่มีค่าความโปร่งใสเมทริกซ์ประสาทจะเป็นแบบทึบสนิทหรือว่างเปล่าอย่างสมบูรณ์)

เช่นเดียวกับ voxel grid แต่ ไม่เหมือน พื้นที่พิกัด 3 มิติแบบ CGI “ภายใน” ของวัตถุ “ปิด” ไม่มีอยู่ในเมทริกซ์ NeRF คุณสามารถเปิดกลอง CGI แล้วมองเข้าไปด้านในได้หากต้องการ; แต่ในมุมของ NeRF การมีอยู่ของกลองสิ้นสุดเมื่อค่าความทึบของพื้นผิวเท่ากับ “1”

มุมมองที่กว้างขึ้นของพิกเซล

Mip-NeRF 360 เป็นการต่อยอดจาก งานวิจัยจากเดือนมีนาคม 2021 ซึ่งได้แนะนำการทำ anti‑aliasing อย่างมีประสิทธิภาพให้กับ NeRF โดยไม่ต้องทำ supersampling อย่างครอบคลุม

NeRF โดยทั่วไปคำนวณเพียงเส้นทางพิกเซลเดียว ซึ่งมักทำให้เกิด “jaggies” ที่เป็นลักษณะของรูปแบบภาพอินเทอร์เน็ตยุคแรกและระบบเกมเก่า ขอบที่หยักเหล่านี้ได้รับการแก้ไขโดยวิธีต่าง ๆ ที่มักจะทำการสุ่มตัวอย่างพิกเซลใกล้เคียงและหาค่าเฉลี่ยของการแสดงผล

เนื่องจาก NeRF แบบดั้งเดิมสุ่มตัวอย่างเพียงเส้นทางพิกเซลเดียว Mip‑NeRF จึงได้แนะนำ “พื้นที่รับแสงแบบกรวย” คล้ายไฟฉายกว้างที่ให้ข้อมูลเพียงพอเกี่ยวกับพิกเซลใกล้เคียงเพื่อสร้างการ anti‑aliasing อย่างประหยัดพร้อมรายละเอียดที่ดีขึ้น

พื้นที่รับแสงแบบกรวยที่ Mip‑NeRF ใช้ถูกแบ่งเป็นส่วนกรวย (ภาพล่าง) ซึ่งต่อมาถูก ‘blurred’ เพื่อสร้างพื้นที่ Gaussian ที่คลุมเครือและใช้คำนวณความแม่นยำและ aliasing ของพิกเซล Source: https://www.youtube.com/watch?v=EpH175PY1A0

การปรับปรุงเหนือการใช้งาน NeRF มาตรฐานนั้นโดดเด่น​:

Mip‑NeRF (ขวา) ที่เปิดตัวในเดือนมีนาคม 2021 ให้รายละเอียดที่ดีขึ้นผ่านกระบวนการ anti‑aliasing ที่ครอบคลุมแต่ประหยัด มากกว่าการ ‘blur’ พิกเซลเพื่อหลีกเลี่ยงขอบหยัก Source: https://jonbarron.info/mipnerf/

NeRF ไม่จำกัดขอบเขต

เอกสารเดือนมีนาคมได้ทิ้งปัญหา 3 ประการที่ยังไม่ได้รับการแก้ไขเมื่อใช้ Mip‑NeRF ในสภาพแวดล้อมที่ไม่มีขอบเขตซึ่งอาจรวมถึงวัตถุที่อยู่ไกลมากรวมถึงท้องฟ้า เอกสารใหม่แก้ไขโดยการใช้การบิดแบบ Kalman‑style กับ Gaussian ของ Mip‑NeRF

ประการที่สอง ฉากขนาดใหญ่ต้องการกำลังประมวลผลสูงและเวลาเทรนที่ยาวนาน ซึ่ง Mip‑NeRF 360 แก้โดยการ “distill” เรขาคณิตของฉากด้วย multi‑layer perceptron (MLP) “proposal” ขนาดเล็ก ซึ่งทำการกำหนดขอบเขตล่วงหน้าสำหรับเรขาคณิตที่คาดการณ์โดย MLP NeRF มาตรฐานขนาดใหญ่ ทำให้การเทรนเร็วขึ้นสามเท่า

สุดท้าย ฉากขนาดใหญ่ทำให้การแยกส่วนของเรขาคณิตที่ตีความเป็นเรื่องคลุมเครือ ส่งผลให้เกิดอาร์ติแฟคท์แบบที่นักเล่นเกมคุ้นเคยเมื่อผลลัพธ์เกม “tear” เอกสารใหม่แก้ไขโดยการสร้าง regularizer ใหม่สำหรับช่วงรังสีของ Mip‑NeRF

ทางด้านขวา เราเห็นอาร์ติแฟคท์ที่ไม่ต้องการใน Mip‑NeRF เนื่องจากความยากในการกำหนดขอบเขตของฉากขนาดใหญ่ ทางด้านซ้าย เราเห็นว่า regularizer ใหม่ได้ปรับฉากให้ดีพอที่จะขจัดความรบกวนเหล่านี้

เพื่อศึกษาข้อมูลเพิ่มเติมเกี่ยวกับเอกสารใหม่ ให้ดูวิดีโอด้านล่าง และยังมี วิดีโอแนะนำเดือนมีนาคม 2021 ของ Mip‑NeRF คุณยังสามารถค้นคว้าการวิจัย NeRF เพิ่มเติมได้โดยดู การครอบคลุมของเราจนถึงตอนนี้

เผยแพร่ครั้งแรก 25 พฤศจิกายน 2021
21 ธันวาคม 2021, 12:25pm – แทนที่วิดีโอที่เสีย – MA