ปัญญาประดิษฐ์

NeRF: ความท้าทายในการแก้ไขเนื้อหาของ Neural Radiance Fields

Published May 16, 2022

Updated April 28, 2026

Martin Anderson

ในช่วงต้นปีนี้ NVIDIA ได้พัฒนา Neural Radiance Fields (NeRF) อย่างมีนัยสำคัญด้วย InstantNeRF ซึ่งดูเหมือนว่าจะสามารถสร้างฉากที่สามารถสำรวจได้ในเวลาเพียงไม่กี่วินาที – จากเทคนิคที่เมื่อ เกิดขึ้น ในปี 2020 มักจะใช้เวลาหลายชั่วโมงหรือแม้กระทั่งหลายวันในการฝึกอบรม

NVIDIA’s InstantNeRF ให้ผลลัพธ์ที่น่าประทับใจและรวดเร็ว Source: https://www.youtube.com/watch?v=DJ2hcC1orc4

แม้ว่าการแทรกแซงประเภทนี้จะสร้างฉากที่คงที่ NeRF ยังสามารถ แสดงการเคลื่อนไหว และการแก้ไข ‘คัดลอกและวาง’ พื้นฐาน โดยที่ NeRF แต่ละตัวสามารถรวมเข้ากับ ฉากที่ประกอบกัน หรือ แทรก เข้าไปในฉากที่มีอยู่แล้ว

Nested NeRFs ซึ่งถูกนำเสนอในงานวิจัยปี 2021 จาก Shanghai Tech University และ DGene Digital Technology Source: https://www.youtube.com/watch?v=Wp4HfOwFGP4

อย่างไรก็ตาม หากคุณต้องการเข้าแทรกแซง NeRF ที่คำนวณแล้วและเปลี่ยนแปลงบางสิ่งที่เกิดขึ้นภายใน (ในลักษณะเดียวกับที่คุณสามารถเปลี่ยนแปลงองค์ประกอบในฉาก CGI ทั่วไป) ความเร็วของความสนใจในภาคส่วนได้นำไปสู่ วิธีแก้ปัญหา ที่ มีจำนวนมาก จนถึงตอนนี้ และไม่มีวิธีใดที่สามารถเทียบเท่ากับความสามารถของกระบวนการทำงาน CGI

แม้ว่าการประมาณการเรขาคณิตจะมีความสำคัญต่อการสร้างฉาก NeRF แต่ผลลัพธ์สุดท้ายประกอบด้วยค่าที่ ‘ล็อก’ อย่างแน่นหนา ในขณะที่มีการ ความก้าวหน้า ในการเปลี่ยนแปลงค่าเท็กซ์เชอร์ใน NeRF วัตถุจริงในฉาก NeRF ไม่ใช่เมชที่สามารถแก้ไขและเล่นได้ แต่เหมือนกับเมฆคงที่และแข็ง

ในสถานการณ์นี้ บุคคลที่แสดงใน NeRF โดยพื้นฐานแล้วเป็นรูปปั้น (หรือชุดรูปปั้น ในวิดีโอ NeRFs) เงาที่พวกเขาทับลงบนตนเองและวัตถุอื่น ๆ เป็นเท็กซ์เชอร์ มากกว่าการคำนวณที่ยืดหยุ่นตามแหล่งกำเนิดแสง และความสามารถในการแก้ไขเนื้อหาของ NeRF มีจำกัดอยู่ที่ตัวเลือกที่ทำโดยช่างภาพที่ถ่ายรูปที่มีจุดกำเนิดที่เจาะจงซึ่ง NeRF ถูกสร้างขึ้น พารามิเตอร์ เช่น เงาและท่าทาง ยังคงไม่สามารถแก้ไขได้ ในความหมายที่สร้างสรรค์ใดๆ

NeRF-Editing

การทำงานวิจัยร่วมกันใหม่ระหว่างจีนและสหราชอาณาจักรจัดการกับความท้าทายนี้ด้วย NeRF-Editing โดยที่เมช CGI-Proxy ถูกถอดออกจาก NeRF ถูกบิดเบือนตามใจชอบโดยผู้ใช้ และการบิดเบือนถูกส่งกลับไปยังการคำนวณของ NeRF:

การบิดเบือน NeRF ด้วย NeRF-Editing เมื่อการบิดเบือนที่คำนวณจากฟุตเทจถูกใช้กับจุดภายในแทนเจนของ NeRF Source: http://geometrylearning.com/NeRFEditing/

วิธีการนี้ปรับใช้ NeuS เทคนิคการสร้างใหม่ในปี 2021 ของสหรัฐฯ/จีน ซึ่งถอดรูป Signed Distance Function (SDF วิธีการสร้างแบบจำลองสามมิติที่มีอายุยาวนาน) ที่สามารถเรียนรู้เรขาคณิตที่แสดงภายใน NeRF

วัตถุ SDF นี้กลายเป็นพื้นฐานในการแกะสลักของผู้ใช้ โดยมีความสามารถในการบิดเบือนและหล่อหลอมที่ได้รับจากเทคนิค As-Rigid-As-Possible (ARAP) ที่มีชื่อเสียง

ARAP ช่วยให้ผู้ใช้สามารถบิดเบือนเมช SDF ที่ถอดออกมาได้ แม้ว่าวิธีอื่น ๆ เช่น วิธีการที่ใช้โครงกระดูกและวิธีการที่ใช้กรอบ (เช่น NURBs) ก็สามารถใช้ได้ดี Source: https://arxiv.org/pdf/2205.04978.pdf

เมื่อการบิดเบือนถูกใช้แล้ว จะจำเป็นต้องแปลข้อมูลนี้จากเวกเตอร์ไปยังระดับ RGB/พิกเซลที่เป็นเจ้าของ NeRF ซึ่งเป็นการเดินทางที่ยาวกว่าเล็กน้อย

จุดยอดสามเหลี่ยมของเมชที่ผู้ใช้บิดเบือนจะถูกแปลเป็นเมชที่มีหน้าจั่ว ซึ่งจะสร้าง “ผิว” รอบเมชของผู้ใช้ สนามการบิดเบือนที่แยกจากกันจะถูกถอดออกจากเมชเพิ่มเติมนี้ และสุดท้ายสนามการบิดเบือนที่ต่อเนื่องกันในรูปแบบที่เป็นมิตรกับ NeRF จะถูกได้รับ ซึ่งสามารถส่งกลับเข้าไปในสภาพแวดล้อมเรขาคณิตของ NeRF ได้ โดยสะท้อนการเปลี่ยนแปลงและแก้ไขของผู้ใช้ และส่งผลกระทบโดยตรงต่อการวาดเส้นที่ตีความใน NeRF เป้าหมาย

วัตถุที่บิดเบือนและเคลื่อนไหวโดยวิธีการใหม่

ในเอกสารระบุว่า:

‘หลังจากที่เราได้รับการเปลี่ยนแปลงพื้นผิวไปยังเมชที่มีหน้าจั่วแล้ว เราสามารถรับฟิลด์การเปลี่ยนแปลงที่แยกจากกันของ “พื้นที่ที่มีประสิทธิภาพ” ได้ เราใช้การเปลี่ยนแปลงที่แยกจากกันเหล่านี้เพื่อเปลี่ยนแปลงการวาดเส้น’

เอกสาร นี้ มีชื่อเรื่องว่า NeRF-Editing: การแก้ไขเรขาคณิตของ Neural Radiance Fields และมาจากนักวิจัยจากสามมหาวิทยาลัยจีนและสถาบัน รวมทั้งผู้วิจัยจาก School of Computer Science & Informatics ที่ Cardiff University และผู้วิจัยสองคนจาก Alibaba Group

ข้อจำกัด

ตามที่กล่าวไว้ก่อนหน้านี้ จอมเรขาคณิตที่เปลี่ยนแปลงจะไม่ “อัปเดต” ด้านที่เกี่ยวข้องใดๆ ใน NeRF ที่ไม่ได้ถูกแก้ไข หรือสะท้อนผลที่ตามมาขององค์ประกอบที่เปลี่ยนแปลง เช่น เงา นักวิจัยให้ตัวอย่างที่ที่เงาใต้ของตัวคนใน NeRF ยังคงอยู่แม้ว่าการบิดเบือนจะเปลี่ยนการให้แสง:

จากเอกสาร: เราจะเห็นว่าเงาแนวตั้งบนแขนของตัวคนยังคงอยู่แม้ว่าแขนจะถูกย้ายขึ้น

การทดลอง

ผู้เขียนสังเกตว่าปัจจุบันไม่มีวิธีการที่เทียบเท่ากับการแทรกแซงโดยตรงเข้าไปในเรขาคณิตของ NeRF ดังนั้นการทดลองที่ทำเพื่อการวิจัยจึงเป็นการสำรวจมากกว่าการเปรียบเทียบ

นักวิจัยได้แสดง NeRF-Editing บนชุดข้อมูลสาธารณะหลายชุด รวมถึงตัวละครจาก Mixamo และรถบูลโดเซอร์เลโก้และเก้าอี้ที่มีชื่อเสียงจาก การนำไปใช้ NeRF ต้นฉบับ พวกเขายังทดลองกับพระที่ถ่ายจริงจากชุดข้อมูล FVS เช่นเดียวกับการจับภาพของตนเอง