การเรนเดอร์แบบニューラル: NeRF เดินเล่นในอากาศบริสุทธิ์

การร่วมมือระหว่าง Google Research และ Harvard University ได้พัฒนา วิธีการใหม่ในการสร้างวิดีโอแบบ 360 องศาโดยใช้ Neural Radiance Fields (NeRF) ซึ่งเป็นแนวทางใหม่ที่นำ NeRF ไปสู่การใช้งานทั่วไปในบรรยากาศที่ไม่มีข้อจำกัด ไม่ว่าจะเป็นแบบ แบบจำลองบนโต๊ะ หรือ สภาพแวดล้อมภายในที่ปิด

ดูวิดีโอที่ปลายบทความสำหรับวิดีโอที่สมบูรณ์ แหล่งที่มา: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 สามารถจัดการพื้นหลังที่กว้างและวัตถุ “ไม่มีขอบเขต” เช่น ท้องฟ้า เนื่องจากไม่เหมือนกับเวอร์ชันก่อนหน้า มันกำหนดขอบเขตในการตีความแสงและสร้างขอบเขตความสนใจที่ทำให้เวลาในการฝึกอบรมสั้นลง ดูวิดีโอใหม่ที่แนบมาที่ปลายบทความสำหรับตัวอย่างเพิ่มเติมและข้อมูลเชิงลึกเกี่ยวกับกระบวนการ

บทความวิจัยใหม่ ใหม่ มีชื่อเรื่องว่า Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields และนำโดย Jon Barron นักวิจัยอาวุโสของ Google Research

เพื่อทำความเข้าใจการผ่านทาง มันจำเป็นต้องมีความเข้าใจพื้นฐานเกี่ยวกับวิธีการทำงานของการสร้างภาพโดยใช้ Neural Radiance Fields

NeRF คืออะไร?

มันเป็นเรื่องที่ยากที่จะอธิบายเครือข่าย NeRF ในรูปของ “วิดีโอ” เนื่องจากมันใกล้เคียงกับสภาพแวดล้อมเสมือนจริง 3 มิติที่สร้างขึ้นโดย AI ซึ่งใช้มุมมองหลายมุมจากภาพถ่ายเดียว (รวมถึงเฟรมวิดีโอ) เพื่อสร้างฉากที่อยู่ในพื้นที่ 潛ของอัลกอริทึมการเรียนรู้ของเครื่อง แต่จากนั้นสามารถถอดรูปและวิดีโอได้มากมายตามใจชอบ

ภาพแสดงจุดบันทึกหลายจุดจากกล้องที่ให้ข้อมูลที่ NeRF ใช้ในการสร้างฉากเสมือน (ด้านขวา)

ข้อมูลที่ได้รับจากภาพถ่ายจะถูกฝึกอบรมเข้าไปในเมทริกซ์ที่คล้ายกับ voxel grid ในการทำงานของ CGI โดยที่ทุกจุดในพื้นที่ 3 มิติจะมีค่า ทำให้ฉากสามารถนำทางได้

เมทริกซ์แบบ voxel แบบดั้งเดิมวางข้อมูลพิกเซล (ที่ปกติอยู่ในบริบท 2 มิติ เช่น พิกเซลกริดของไฟล์ JPEG) ลงในพื้นที่ 3 มิติ แหล่งที่มา: ResearchGate

หลังจากคำนวณพื้นที่ระหว่างภาพถ่าย (หากจำเป็น) เส้นทางของพิกเซลที่เป็นไปได้ทุกจุดของภาพถ่ายที่มีส่วนร่วมจะถูกติดตามและกำหนดค่าสี รวมถึงค่าความโปร่งใส (โดยไม่ต้องมีค่าความโปร่งใส เมทริกซ์แบบニューラล์จะไม่โปร่งใสหรือว่างเปล่า)

เช่นเดียวกับ voxel grid และ ไม่เหมือน พื้นที่ 3 มิติแบบ CGI “ภายใน” ของวัตถุ “ปิด” ไม่มีอยู่ในเมทริกซ์ NeRF คุณสามารถเปิดกลองและดูภายในได้ แต่สำหรับ NeRF แล้ว การมีอยู่ของกลองจะสิ้นสุดเมื่อค่าความโปร่งใสของพื้นผิวเท่ากับ ‘1’

มุมมองกว้างของพิกเซล

Mip-NeRF 360 เป็นขยายของ การวิจัยจากเดือนมีนาคม 2021 ซึ่งแนะนำการ การสร้างภาพแบบニューラล์ ที่มีประสิทธิภาพและไม่มีการตัวอย่างมากเกินไป

NeRF แบบดั้งเดิมคำนวณเส้นทางพิกเซลเพียงเส้นทางเดียว ซึ่งมีแนวโน้มที่จะสร้าง “jaggies” ที่พบในรูปแบบภาพอินเทอร์เน็ตในยุคแรกๆ เช่นเดียวกับ เกมระบบก่อนหน้า ขอบจ 割เหล่านี้ถูกแก้ไขโดยวิธีการต่างๆ โดยทั่วไปจะใช้การ取ตัวอย่างพิกเซลที่อยู่ใกล้เคียงและหาค่าเฉลี่ย

เนื่องจาก NeRF แบบดั้งเดิมตัวอย่างเส้นทางพิกเซลเพียงเส้นทางเดียว Mip-NeRF จึงแนะนำพื้นที่รับข้อมูล “รูปกรวย” ที่ให้ข้อมูลเพียงพอเกี่ยวกับพิกเซลที่อยู่ใกล้เคียงเพื่อสร้างการ การสร้างภาพแบบニューラล์ ที่มีรายละเอียดดีขึ้น

กรวยรับข้อมูลที่ Mip-NeRF ใช้ถูกตัดออกเป็นกรวย frustum (ด้านล่าง) ซึ่งถูก ‘เบลอ’ เพื่อแสดงพื้นที่ Gaussian ที่ไม่ชัดเจนซึ่งสามารถใช้ในการคำนวณความแม่นยำและอาลิอาซของพิกเซล แหล่งที่มา: https://www.youtube.com/watch?v=EpH175PY1A0

การปรับปรุงที่เห็นได้ชัดเจนเหนือการนำ NeRF มาใช้แบบดั้งเดิม:

Mip-NeRF (ด้านขวา) ที่ปล่อยออกมาในเดือนมีนาคม 2021 ให้รายละเอียดที่ดีขึ้นผ่านการสร้างภาพแบบニューラล์ที่มีประสิทธิภาพและไม่มีการตัวอย่างมากเกินไป แหล่งที่มา: https://jonbarron.info/mipnerf/

NeRF ที่ไม่มีขอบเขต

การวิจัยในเดือนมีนาคมที่ผ่านมาเหลือปัญหา 3 ข้อที่ไม่ได้รับการแก้ไขเกี่ยวกับการใช้ Mip-NeRF ในสภาพแวดล้อมที่ไม่มีขอบเขต ซึ่งอาจรวมถึงวัตถุที่อยู่ห่างไกล เช่น ท้องฟ้า บทความวิจัยใหม่นี้แก้ไขปัญหานี้โดยการนำ การแปลง Kalman มาใช้กับ Mip-NeRF Gaussians

ประเด็นที่สอง คือ สภาพแวดล้อมที่ใหญ่ขึ้นต้องการพลังการประมวลผลที่มากขึ้นและเวลาการฝึกอบรมที่ยาวขึ้น ซึ่ง Mip-NeRF 360 แก้ไขโดยการ “กลั่น” จีโอเมทรีของฉากด้วย เครือข่ายประสาทเทียมขนาดเล็ก (MLP) ที่เสนอแนะ ซึ่งกำหนดขอบเขตของจีโอเมทรีที่คาดการณ์โดย NeRF MLP แบบดั้งเดิม สิ่งนี้ช่วยลดเวลาในการฝึกอบรมลงได้ 3 เท่า

ประเด็นที่สาม คือ สภาพแวดล้อมที่ใหญ่ขึ้นมักจะทำให้การแบ่งจีโอเมทรีไม่ชัดเจน ซึ่งนำไปสู่อาร์ติแฟคต์ที่ผู้เล่นเกมอาจคุ้นเคยเมื่อเอาต์พุตของเกม “ฉีก” บทความวิจัยใหม่นี้แก้ไขปัญหานี้โดยการสร้างตัวบำบัดใหม่สำหรับ Mip-NeRF ray intervals

ด้านขวา เราจะเห็นอาร์ติแฟคต์ที่ไม่พึงประสงค์ใน Mip-NeRF เนื่องจากความยากในการกำหนดขอบเขตของฉากขนาดใหญ่ ด้านซ้าย เราจะเห็นว่าตัวบำบัดใหม่ได้ปรับแต่งฉากให้เหมาะสมพอที่จะลบสิ่งรบกวนนี้

หากต้องการทราบข้อมูลเพิ่มเติมเกี่ยวกับบทความวิจัยใหม่นี้ ดูวิดีโอด้านล่าง และวิดีโอแนะนำ Mip-NeRF ในเดือนมีนาคม 2021 นอกจากนี้คุณยังสามารถค้นหาข้อมูลเพิ่มเติมเกี่ยวกับการวิจัย NeRF ได้โดยดู การรายงานของเรา จนถึงตอนนี้

ตีพิมพ์ครั้งแรกเมื่อวันที่ 25 พฤศจิกายน 2021
21 ธันวาคม 2021 12:25 น. – แทนวิดีโอที่เสีย – MA