มุมมองของ Anderson
NeRF: ความท้าทายในการแก้ไขเนื้อหาของ Neural Radiance Fields

ประเด็นสำคัญInstantNeRF ของ NVIDIA สร้างฉากประสาทที่สำรวจได้ภายในไม่กี่วินาที…
ดูเพิ่มเติม
- InstantNeRF ของ NVIDIA สร้างฉากประสาทที่สำรวจได้ภายในไม่กี่วินาที แต่ล็อกเรขาคณิตไว้ในพอยต์คลาวด์ที่ไม่สามารถแก้ไขได้
- NeRF-Editing ดึงพร็อกซีเมชจาก NeRF และบิดรูปทรงโดยใช้เทคนิค As-Rigid-As-Possible
- เรขาคณิตที่ถูกบิดรูปใน NeRF-Editing ไม่สามารถอัปเดตเอฟเฟกต์ทุติยภูมิ เช่น เงาบนวัตถุที่ถูกแก้ไข
เมื่อต้นปีนี้ NVIDIA (NVDA ) ได้พัฒนา Neural Radiance Fields (NeRF) อย่างมีนัยสำคัญด้วย InstantNeRF ซึ่งสามารถสร้างฉากที่สามารถสำรวจได้ภายในไม่กี่วินาที – จากเทคนิคที่เมื่อ เกิดขึ้น ในปี 2020 ซึ่งมักจะใช้เวลาหลายชั่วโมงหรือแม้กระทั่งหลายวันในการฝึกอบรม

NVIDIA’s InstantNeRF ให้ผลลัพธ์ที่น่าประทับใจและรวดเร็ว ที่มา: https://www.youtube.com/watch?v=DJ2hcC1orc4
แม้ว่าการประมาณค่าแทรกแบบนี้จะสร้างฉากที่คงที่ NeRF ยังสามารถแสดงการเคลื่อนไหว และการแก้ไขแบบ ‘คัดลอกและวาง’ พื้นฐาน โดยที่ NeRF แต่ละตัวสามารถรวมเข้ากับ ฉากที่ประกอบกัน หรือ แทรก เข้ากับฉากที่มีอยู่แล้ว

Nested NeRFs ซึ่งได้รับการวิจัยในปี 2021 จาก Shanghai Tech University และ DGene Digital Technology ที่มา: https://www.youtube.com/watch?v=Wp4HfOwFGP4
อย่างไรก็ตาม หากคุณต้องการแก้ไข NeRF ที่คำนวณแล้วและเปลี่ยนแปลงสิ่งที่เกิดขึ้นภายในมัน (ในลักษณะเดียวกับที่คุณสามารถเปลี่ยนแปลงองค์ประกอบในฉาก CGI แบบดั้งเดิม) ความสนใจในภาคส่วนนี้ได้พัฒนา วิธีแก้ปัญหา เพียงไม่กี่ แนวทาง และไม่มีวิธีใดที่สามารถเทียบเท่ากับความสามารถของกระบวนการทำงาน CGI
แม้ว่าการประมาณการเรขาคณิตจะมีความสำคัญต่อการสร้างฉาก NeRF แต่ผลลัพธ์สุดท้ายประกอบด้วยค่าที่ ‘ล็อค’ ค่อนข้างมาก ในขณะที่มีการ ความก้าวหน้า ในการเปลี่ยนแปลงค่าพื้นผิวใน NeRF แต่วัตถุในฉาก NeRF ไม่ใช่เมชแบบพาราเมตริกที่สามารถแก้ไขและเล่นได้ แต่มากกว่าคล้ายกับเมฆจุดที่เปราะและแข็งตัว
ในสถานการณ์นี้ บุคคลที่แสดงใน NeRF เป็นเหมือนรูปปั้น (หรือชุดรูปปั้นใน NeRF วิดีโอ) เงาที่ทอดลงบนตัวเองและวัตถุอื่นเป็นพื้นผิวแทนที่จะเป็นการคำนวณที่ยืดหยุ่นตามแหล่งกำเนิดแสง และความสามารถในการแก้ไขเนื้อหาของ NeRF มีจำกัดอยู่ที่ตัวเลือกที่ทำโดยช่างภาพที่ถ่ายรูปต้นทางจำนวนไม่มากที่ใช้สร้าง NeRF พารามิเตอร์อย่างเงาและท่าทางจึงยังไม่สามารถแก้ไขได้อย่างสร้างสรรค์
การแก้ไข NeRF
การวิจัยร่วมระหว่างจีนและสหราชอาณาจักรได้กล่าวถึงความท้าทายนี้ด้วย การแก้ไข NeRF โดยที่เมช CGI สไตล์พร็อกซี่ถูกถอดออกจาก NeRF ถูกบิดเบือนตามใจชอบโดยผู้ใช้ และการบิดเบือนถูกส่งกลับเข้าไปในกระบวนการคำนวณของ NeRF

การแก้ไข NeRF โดยที่การบิดเบือนจากฟุตเทจถูกนำไปใช้กับจุดภายในการแสดง NeRF ที่มา: http://geometrylearning.com/NeRFEditing/
วิธีการนี้ใช้เทคนิค NeuS ของสหรัฐฯ และจีนจากปี 2021 ซึ่งเป็นการถอดออก ฟังก์ชันระยะห่างที่มีเครื่องหมาย (SDF ซึ่งเป็นวิธีสร้างแบบจำลองปริมาตรที่มีมานานกว่านี้มาก) ที่สามารถเรียนรู้เรขาคณิตที่แสดงภายใน NeRF
วัตถุ SDF นี้กลายเป็นพื้นฐานสำหรับการแก้ไขของผู้ใช้ โดยมีการดัดและขึ้นรูปที่จัดให้โดยเทคนิค As-Rigid-As-Possible (ARAP)

ARAP ช่วยให้ผู้ใช้เปลี่ยนรูปเมช SDF ที่สกัดออกมาได้ โดยวิธีอื่น เช่น การใช้โครงกระดูกหรือกรงควบคุม (เช่น NURBs) ก็น่าจะทำงานได้ดีเช่นกัน ที่มา: https://arxiv.org/pdf/2205.04978.pdf
เมื่อมีการบิดเบือนแล้ว ก็จำเป็นต้องแปลข้อมูลนี้จากเวกเตอร์ไปเป็นระดับ RGB/พิกเซลที่เป็นของ NeRF ซึ่งเป็นการเดินทางที่ยาวกว่าเล็กน้อย
จุดยอดของสามเหลี่ยมในเมชที่ผู้ใช้เปลี่ยนรูปจะถูกแปลงเป็นเมชทรงสี่หน้า ซึ่งห่อหุ้มเมชของผู้ใช้ จากเมชเพิ่มเติมนี้จะสกัดสนามการเปลี่ยนรูปแบบไม่ต่อเนื่องเชิงพื้นที่ และสุดท้ายได้สนามการเปลี่ยนรูปแบบต่อเนื่องที่เข้ากันได้กับ NeRF สนามนี้ถูกส่งกลับสู่สภาพแวดล้อมรังสีเชิงประสาท เพื่อสะท้อนการแก้ไขของผู้ใช้และส่งผลโดยตรงต่อรังสีที่ตีความใน NeRF เป้าหมาย

วัตถุที่บิดเบือนและเคลื่อนไหวโดยวิธีการใหม่
เอกสารวิจัยระบุว่า:
“หลังจากถ่ายโอนการเปลี่ยนรูปของพื้นผิวไปยังเมชทรงสี่หน้า เราจะได้สนามการเปลี่ยนรูปแบบไม่ต่อเนื่องของพื้นที่ที่มีผล จากนั้นใช้การแปลงแบบไม่ต่อเนื่องเหล่านี้เพื่อดัดรังสีที่ฉายออกไป ในการสร้างภาพของสนามรังสีที่เปลี่ยนรูป เราฉายรังสีเข้าไปในพื้นที่ที่มีเมชทรงสี่หน้าที่เปลี่ยนรูปแล้ว”
เอกสารวิจัยนี้มีชื่อว่า การแก้ไข NeRF: การแก้ไขเรขาคณิตของ Neural Radiance Fields และมาจากนักวิจัยจากสามมหาวิทยาลัยจีนและสถาบัน รวมทั้งผู้วิจัยจาก School of Computer Science & Informatics ของ Cardiff University และนักวิจัยอีกสองคนจาก Alibaba Group
ข้อจำกัด
ตามที่กล่าวไว้ก่อนหน้านี้ การบิดเบือนเรขาคณิตจะไม่ ‘อัปเดต’ ด้านอื่นๆ ใน NeRF ที่ไม่ได้ถูกแก้ไข และไม่ได้สะท้อนถึงผลที่ตามมาของการบิดเบือน เช่น เงา ผู้วิจัยแสดงให้เห็นว่าเงาบนตัวบุคคลยังคงเดิม แม้การเปลี่ยนรูปควรทำให้แสงเปลี่ยนไป

จากเอกสารวิจัย: เงาแนวนอนบนแขนของตัวแบบยังคงอยู่ที่เดิม แม้แขนจะยกสูงขึ้น
การทดลอง
ผู้วิจัยสังเกตว่าในปัจจุบันไม่มีวิธีการที่เทียบเท่ากับการแทรกแซงโดยตรงเข้าไปในเรขาคณิตของ NeRF ดังนั้นการทดลองที่ทำในงานวิจัยจึงเป็นการสำรวจมากกว่าการเปรียบเทียบ
ผู้วิจัยได้ทดสอบการแก้ไข NeRF บนตัวชุดข้อมูลสาธารณะหลายตัว รวมทั้งตัวละครจาก Mixamo และรถบูลโดเซอร์ Lego และเก้าอี้จากงาน NeRF ต้นฉบับ พวกเขายังทดสอบกับรูปปั้นม้าจริงที่บันทึกภาพไว้จากชุดข้อมูล FVS และการบันทึกของตนเอง

หัวของม้าที่บิดเบือน
สำหรับการทำงานในอนาคต ผู้วิจัยตั้งใจที่จะพัฒนาระบบของตนในเฟรมเวิร์กการเรียนรู้ของเครื่องที่คอมไพล์แบบ Just-In-Time (JIT) คือ Jittor
เผยแพร่ครั้งแรกเมื่อวันที่ 16 พฤษภาคม 2022












