มุมมองของ Anderson

NeRF: ความท้าทายในการแก้ไขเนื้อหาของ Neural Radiance Fields

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญInstantNeRF ของ NVIDIA สร้างฉากประสาทที่สำรวจได้ภายในไม่กี่วินาที…
ดูเพิ่มเติม
  • InstantNeRF ของ NVIDIA สร้างฉากประสาทที่สำรวจได้ภายในไม่กี่วินาที แต่ล็อกเรขาคณิตไว้ในพอยต์คลาวด์ที่ไม่สามารถแก้ไขได้
  • NeRF-Editing ดึงพร็อกซีเมชจาก NeRF และบิดรูปทรงโดยใช้เทคนิค As-Rigid-As-Possible
  • เรขาคณิตที่ถูกบิดรูปใน NeRF-Editing ไม่สามารถอัปเดตเอฟเฟกต์ทุติยภูมิ เช่น เงาบนวัตถุที่ถูกแก้ไข

เมื่อต้นปีนี้ NVIDIA (NVDA ) ได้พัฒนา Neural Radiance Fields (NeRF) อย่างมีนัยสำคัญด้วย InstantNeRF ซึ่งสามารถสร้างฉากที่สามารถสำรวจได้ภายในไม่กี่วินาที – จากเทคนิคที่เมื่อ เกิดขึ้น ในปี 2020 ซึ่งมักจะใช้เวลาหลายชั่วโมงหรือแม้กระทั่งหลายวันในการฝึกอบรม

NVIDIA's InstantNeRF ให้ผลลัพธ์ที่น่าประทับใจและรวดเร็ว

NVIDIA’s InstantNeRF ให้ผลลัพธ์ที่น่าประทับใจและรวดเร็ว ที่มา: https://www.youtube.com/watch?v=DJ2hcC1orc4

แม้ว่าการประมาณค่าแทรกแบบนี้จะสร้างฉากที่คงที่ NeRF ยังสามารถแสดงการเคลื่อนไหว และการแก้ไขแบบ ‘คัดลอกและวาง’ พื้นฐาน โดยที่ NeRF แต่ละตัวสามารถรวมเข้ากับ ฉากที่ประกอบกัน หรือ แทรก เข้ากับฉากที่มีอยู่แล้ว

Nested NeRFs ซึ่งได้รับการวิจัยในปี 2021 จาก Shanghai Tech University และ DGene Digital Technology

Nested NeRFs ซึ่งได้รับการวิจัยในปี 2021 จาก Shanghai Tech University และ DGene Digital Technology ที่มา: https://www.youtube.com/watch?v=Wp4HfOwFGP4

อย่างไรก็ตาม หากคุณต้องการแก้ไข NeRF ที่คำนวณแล้วและเปลี่ยนแปลงสิ่งที่เกิดขึ้นภายในมัน (ในลักษณะเดียวกับที่คุณสามารถเปลี่ยนแปลงองค์ประกอบในฉาก CGI แบบดั้งเดิม) ความสนใจในภาคส่วนนี้ได้พัฒนา วิธีแก้ปัญหา เพียงไม่กี่ แนวทาง และไม่มีวิธีใดที่สามารถเทียบเท่ากับความสามารถของกระบวนการทำงาน CGI

แม้ว่าการประมาณการเรขาคณิตจะมีความสำคัญต่อการสร้างฉาก NeRF แต่ผลลัพธ์สุดท้ายประกอบด้วยค่าที่ ‘ล็อค’ ค่อนข้างมาก ในขณะที่มีการ ความก้าวหน้า ในการเปลี่ยนแปลงค่าพื้นผิวใน NeRF แต่วัตถุในฉาก NeRF ไม่ใช่เมชแบบพาราเมตริกที่สามารถแก้ไขและเล่นได้ แต่มากกว่าคล้ายกับเมฆจุดที่เปราะและแข็งตัว

ในสถานการณ์นี้ บุคคลที่แสดงใน NeRF เป็นเหมือนรูปปั้น (หรือชุดรูปปั้นใน NeRF วิดีโอ) เงาที่ทอดลงบนตัวเองและวัตถุอื่นเป็นพื้นผิวแทนที่จะเป็นการคำนวณที่ยืดหยุ่นตามแหล่งกำเนิดแสง และความสามารถในการแก้ไขเนื้อหาของ NeRF มีจำกัดอยู่ที่ตัวเลือกที่ทำโดยช่างภาพที่ถ่ายรูปต้นทางจำนวนไม่มากที่ใช้สร้าง NeRF พารามิเตอร์อย่างเงาและท่าทางจึงยังไม่สามารถแก้ไขได้อย่างสร้างสรรค์

การแก้ไข NeRF

การวิจัยร่วมระหว่างจีนและสหราชอาณาจักรได้กล่าวถึงความท้าทายนี้ด้วย การแก้ไข NeRF โดยที่เมช CGI สไตล์พร็อกซี่ถูกถอดออกจาก NeRF ถูกบิดเบือนตามใจชอบโดยผู้ใช้ และการบิดเบือนถูกส่งกลับเข้าไปในกระบวนการคำนวณของ NeRF

การแก้ไข NeRF โดยที่การบิดเบือนจากฟุตเทจถูกนำไปใช้กับจุดภายในการแสดง NeRF

การแก้ไข NeRF โดยที่การบิดเบือนจากฟุตเทจถูกนำไปใช้กับจุดภายในการแสดง NeRF ที่มา: http://geometrylearning.com/NeRFEditing/

วิธีการนี้ใช้เทคนิค NeuS ของสหรัฐฯ และจีนจากปี 2021 ซึ่งเป็นการถอดออก ฟังก์ชันระยะห่างที่มีเครื่องหมาย (SDF ซึ่งเป็นวิธีสร้างแบบจำลองปริมาตรที่มีมานานกว่านี้มาก) ที่สามารถเรียนรู้เรขาคณิตที่แสดงภายใน NeRF

วัตถุ SDF นี้กลายเป็นพื้นฐานสำหรับการแก้ไขของผู้ใช้ โดยมีการดัดและขึ้นรูปที่จัดให้โดยเทคนิค As-Rigid-As-Possible (ARAP)

ARAP ช่วยให้ผู้ใช้เปลี่ยนรูปเมช SDF ที่สกัดออกมาได้ โดยวิธีอื่น เช่น การใช้โครงกระดูกหรือกรงควบคุม (เช่น NURBs) ก็น่าจะทำงานได้ดีเช่นกัน

ARAP ช่วยให้ผู้ใช้เปลี่ยนรูปเมช SDF ที่สกัดออกมาได้ โดยวิธีอื่น เช่น การใช้โครงกระดูกหรือกรงควบคุม (เช่น NURBs) ก็น่าจะทำงานได้ดีเช่นกัน ที่มา: https://arxiv.org/pdf/2205.04978.pdf

เมื่อมีการบิดเบือนแล้ว ก็จำเป็นต้องแปลข้อมูลนี้จากเวกเตอร์ไปเป็นระดับ RGB/พิกเซลที่เป็นของ NeRF ซึ่งเป็นการเดินทางที่ยาวกว่าเล็กน้อย

จุดยอดของสามเหลี่ยมในเมชที่ผู้ใช้เปลี่ยนรูปจะถูกแปลงเป็นเมชทรงสี่หน้า ซึ่งห่อหุ้มเมชของผู้ใช้ จากเมชเพิ่มเติมนี้จะสกัดสนามการเปลี่ยนรูปแบบไม่ต่อเนื่องเชิงพื้นที่ และสุดท้ายได้สนามการเปลี่ยนรูปแบบต่อเนื่องที่เข้ากันได้กับ NeRF สนามนี้ถูกส่งกลับสู่สภาพแวดล้อมรังสีเชิงประสาท เพื่อสะท้อนการแก้ไขของผู้ใช้และส่งผลโดยตรงต่อรังสีที่ตีความใน NeRF เป้าหมาย

วัตถุที่บิดเบือนและเคลื่อนไหวโดยวิธีการใหม่

วัตถุที่บิดเบือนและเคลื่อนไหวโดยวิธีการใหม่

เอกสารวิจัยระบุว่า:

“หลังจากถ่ายโอนการเปลี่ยนรูปของพื้นผิวไปยังเมชทรงสี่หน้า เราจะได้สนามการเปลี่ยนรูปแบบไม่ต่อเนื่องของพื้นที่ที่มีผล จากนั้นใช้การแปลงแบบไม่ต่อเนื่องเหล่านี้เพื่อดัดรังสีที่ฉายออกไป ในการสร้างภาพของสนามรังสีที่เปลี่ยนรูป เราฉายรังสีเข้าไปในพื้นที่ที่มีเมชทรงสี่หน้าที่เปลี่ยนรูปแล้ว”

เอกสารวิจัยนี้มีชื่อว่า การแก้ไข NeRF: การแก้ไขเรขาคณิตของ Neural Radiance Fields และมาจากนักวิจัยจากสามมหาวิทยาลัยจีนและสถาบัน รวมทั้งผู้วิจัยจาก School of Computer Science & Informatics ของ Cardiff University และนักวิจัยอีกสองคนจาก Alibaba Group

ข้อจำกัด

ตามที่กล่าวไว้ก่อนหน้านี้ การบิดเบือนเรขาคณิตจะไม่ ‘อัปเดต’ ด้านอื่นๆ ใน NeRF ที่ไม่ได้ถูกแก้ไข และไม่ได้สะท้อนถึงผลที่ตามมาของการบิดเบือน เช่น เงา ผู้วิจัยแสดงให้เห็นว่าเงาบนตัวบุคคลยังคงเดิม แม้การเปลี่ยนรูปควรทำให้แสงเปลี่ยนไป

จากเอกสารวิจัย: เงาแนวนอนบนแขนของตัวแบบยังคงอยู่ที่เดิม แม้แขนจะยกสูงขึ้น

จากเอกสารวิจัย: เงาแนวนอนบนแขนของตัวแบบยังคงอยู่ที่เดิม แม้แขนจะยกสูงขึ้น

การทดลอง

ผู้วิจัยสังเกตว่าในปัจจุบันไม่มีวิธีการที่เทียบเท่ากับการแทรกแซงโดยตรงเข้าไปในเรขาคณิตของ NeRF ดังนั้นการทดลองที่ทำในงานวิจัยจึงเป็นการสำรวจมากกว่าการเปรียบเทียบ

ผู้วิจัยได้ทดสอบการแก้ไข NeRF บนตัวชุดข้อมูลสาธารณะหลายตัว รวมทั้งตัวละครจาก Mixamo และรถบูลโดเซอร์ Lego และเก้าอี้จากงาน NeRF ต้นฉบับ พวกเขายังทดสอบกับรูปปั้นม้าจริงที่บันทึกภาพไว้จากชุดข้อมูล FVS และการบันทึกของตนเอง

หัวของม้าที่บิดเบือน

หัวของม้าที่บิดเบือน

สำหรับการทำงานในอนาคต ผู้วิจัยตั้งใจที่จะพัฒนาระบบของตนในเฟรมเวิร์กการเรียนรู้ของเครื่องที่คอมไพล์แบบ Just-In-Time (JIT) คือ Jittor

 

เผยแพร่ครั้งแรกเมื่อวันที่ 16 พฤษภาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai