มุมมองของ Anderson
NeRF: ความท้าทายในการแก้ไขเนื้อหาของ Neural Radiance Fields
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
เมื่อต้นปีนี้ NVIDIA ได้พัฒนา Neural Radiance Fields (NeRF) อย่างมีนัยสำคัญด้วย InstantNeRF ซึ่งสามารถสร้างฉากที่สามารถสำรวจได้ภายในไม่กี่วินาที – จากเทคนิคที่เมื่อ เกิดขึ้น ในปี 2020 ซึ่งมักจะใช้เวลาหลายชั่วโมงหรือแม้กระทั่งหลายวันในการฝึกอบรม
NVIDIA’s InstantNeRF ให้ผลลัพธ์ที่น่าประทับใจและรวดเร็ว Source: https://www.youtube.com/watch?v=DJ2hcC1orc4
แม้ว่าการทำการบ่งชี้นี้จะสร้างฉากที่คงที่ NeRF ยังสามารถแสดงการเคลื่อนไหว และการแก้ไขแบบ ‘คัดลอกและวาง’ พื้นฐาน โดยที่ NeRF แต่ละตัวสามารถรวมเข้ากับ ฉากที่ประกอบกัน หรือ แทรก เข้ากับฉากที่มีอยู่แล้ว
Nested NeRFs ซึ่งได้รับการวิจัยในปี 2021 จาก Shanghai Tech University และ DGene Digital Technology Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4
อย่างไรก็ตาม หากคุณต้องการแก้ไข NeRF ที่คำนวณแล้วและเปลี่ยนแปลงสิ่งที่เกิดขึ้นภายในมัน (ในลักษณะเดียวกับที่คุณสามารถเปลี่ยนแปลงองค์ประกอบในฉาก CGI แบบดั้งเดิม) ความสนใจในภาคส่วนนี้ได้พัฒนา วิธีแก้ปัญหา มาไม่มากนัก และไม่มีวิธีใดที่สามารถเทียบเท่ากับความสามารถของกระบวนการทำงาน CGI
แม้ว่าการประมาณการเรขาคณิตจะมีความสำคัญต่อการสร้างฉาก NeRF แต่ผลลัพธ์สุดท้ายประกอบด้วยค่าที่ ‘ล็อค’ ค่อนข้างมาก ในขณะที่มีการ ความก้าวหน้า ในการเปลี่ยนแปลงค่าเนื้อใน NeRF แต่วัตถุในฉาก NeRF ไม่ใช่เมชที่สามารถแก้ไขและเล่นได้ แต่มากกว่าคล้ายกับเมฆจุดที่เปราะและแข็งตัว
ในสถานการณ์นี้ บุคคลที่แสดงใน NeRF เป็นเหมือนรูปปั้น (หรือชุดรูปปั้นใน NeRF วิดีโอ) แสงที่พวกเขาทับบนตนเองและวัตถุอื่นเป็นเนื้อแทนที่จะเป็นการคำนวณที่ยืดหยุ่นตามแหล่งกำเนิดแสง และความสามารถในการแก้ไขเนื้อหาของ NeRF มีจำกัดอยู่ที่ตัวเลือกที่ทำโดยช่างภาพที่ถ่ายรูปที่มีจุดเริ่มต้นจาก NeRF
การแก้ไข NeRF
การวิจัยร่วมระหว่างจีนและสหราชอาณาจักรได้กล่าวถึงความท้าทายนี้ด้วย การแก้ไข NeRF โดยที่เมช CGI สไตล์พร็อกซี่ถูกถอดออกจาก NeRF ถูกบิดเบือนตามใจชอบโดยผู้ใช้ และการบิดเบือนถูกส่งกลับเข้าไปในกระบวนการคำนวณของ NeRF
การแก้ไข NeRF โดยที่การบิดเบือนจากฟุตเทจถูกนำไปใช้กับจุดภายในการแสดง NeRF Source: http://geometrylearning.com/NeRFEditing/
วิธีการนี้ใช้เทคนิค NeuS จากปี 2021 ซึ่งเป็นการถอดออก ฟังก์ชันระยะห่างที่มีเครื่องหมาย (SDF) ที่สามารถเรียนรู้เรขาคณิตที่แสดงภายใน NeRF
วัตถุ SDF นี้กลายเป็นพื้นฐานสำหรับการแก้ไขของผู้ใช้ โดยมีการบิดเบือนและหลอมรวมที่จัดให้โดยเทคนิค As-Rigid-As-Possible (ARAP)
ARAP ช่วยให้ผู้ใช้สามารถบิดเบือนเมช SDF ที่ถอดออกมา Source: https://arxiv.org/pdf/2205.04978.pdf
เมื่อมีการบิดเบือนแล้ว ก็จำเป็นต้องแปลข้อมูลนี้จากเวกเตอร์ไปเป็นระดับ RGB/พิกเซลที่เป็นของ NeRF ซึ่งเป็นการเดินทางที่ยาวกว่าเล็กน้อย
จุดยอดสามเหลี่ยมของเมชที่ผู้ใช้บิดเบือนจะถูกแปลเป็นเมชที่มีหน้าจั่ว ซึ่งจะสร้าง “ผิว” รอบเมชของผู้ใช้ จากนั้นจะถูกถอดออกเป็นสนามการบิดเบือนที่แยกจากกันในพื้นที่ และสุดท้ายจะได้สนามการบิดเบือนที่ต่อเนื่องกันซึ่งสามารถส่งกลับเข้าไปในกระบวนการคำนวณของ NeRF
วัตถุที่บิดเบือนและเคลื่อนไหวโดยวิธีการใหม่
เอกสารวิจัยระบุว่า:
‘หลังจากที่เราได้สนามการบิดเบือนที่แยกจากกันใน “พื้นที่ที่มีประสิทธิภาพ” แล้ว เราสามารถใช้การแปลงรูปนี้เพื่อสร้างรูปที่บิดเบือนได้’
เอกสารวิจัยนี้มีชื่อว่า การแก้ไข NeRF: การแก้ไขเรขาคณิตของ Neural Radiance Fields และมาจากนักวิจัยจากสามมหาวิทยาลัยจีนและสถาบัน รวมทั้งผู้วิจัยจาก School of Computer Science & Informatics ของ Cardiff University และนักวิจัยอีกสองคนจาก Alibaba Group
ข้อจำกัด
ตามที่กล่าวไว้ก่อนหน้านี้ การบิดเบือนเรขาคณิตจะไม่ ‘อัปเดต’ ด้านอื่นๆ ใน NeRF ที่ไม่ได้ถูกแก้ไข และไม่ได้สะท้อนถึงผลที่ตามมาของการบิดเบือน เช่น แสงที่ทับบนพื้นผิว
จากเอกสารวิจัย: แสงที่ทับบนแขนของตัวแบบยังคงอยู่แม้ว่าจะมีการบิดเบือน
การทดลอง
ผู้วิจัยสังเกตว่าในปัจจุบันไม่มีวิธีการที่เทียบเท่ากับการแทรกแซงโดยตรงเข้าไปในเรขาคณิตของ NeRF ดังนั้นการทดลองที่ทำในงานวิจัยจึงเป็นการสำรวจมากกว่าการเปรียบเทียบ
ผู้วิจัยได้ทดสอบการแก้ไข NeRF บนตัวชุดข้อมูลสาธารณะหลายตัว รวมทั้งตัวละครจาก Mixamo และรถบูลโดเซอร์และเก้าอี้จากตัวชุดข้อมูล NeRF ต้นฉบับ พวกเขายังทดสอบกับพระจากชุดข้อมูล FVS และการบันทึกของตนเอง
หัวของม้าที่บิดเบือน
สำหรับการทำงานในอนาคต ผู้วิจัยตั้งใจที่จะพัฒนาระบบของตนในเฟรมเวิร์กการเรียนรู้ของเครื่องจิตที่คอมไพล์แบบ Just-In-Time (JIT) คือ Jittor
เผยแพร่ครั้งแรกเมื่อวันที่ 16 พฤษภาคม 2022
