ปัญญาประดิษฐ์
NeRF: ความท้าทายในการแก้ไขเนื้อหาของ Neural Radiance Fields
เมื่อต้นปีที่ผ่านมา NVIDIA ขั้นสูง Neural Radiance Fields (เนอาร์เอฟ) วิจัยสะดุดตากับ ทันที NeRFเห็นได้ชัดว่าสามารถสร้างฉากประสาทที่สำรวจได้ในเวลาไม่กี่วินาที - จากเทคนิคที่เมื่อ โผล่ออกมา ในปี 2020 มักใช้เวลาหลายชั่วโมงหรือหลายวันในการฝึกอบรม
InstantNeRF ของ NVIDIA ให้ผลลัพธ์ที่น่าประทับใจและรวดเร็ว ที่มา: https://www.youtube.com/watch?v=DJ2hcC1orc4
แม้ว่าการแก้ไขแบบนี้จะสร้างฉากที่นิ่ง แต่ NeRF ก็สามารถทำได้เช่นกัน แสดงถึงการเคลื่อนไหวและการแก้ไขแบบ 'คัดลอกและวาง' ขั้นพื้นฐาน ซึ่ง NeRF แต่ละรายการสามารถเรียงต่อกันเป็น ฉากประกอบ or แทรก ในฉากที่มีอยู่
NeRF ที่ซ้อนกันซึ่งนำเสนอในงานวิจัยปี 2021 จาก Shanghai Tech University และ DGene Digital Technology ที่มา: https://www.youtube.com/watch?v=Wp4HfOwFGP4
อย่างไรก็ตาม หากคุณต้องการเข้าไปแทรกแซง NeRF ที่คำนวณแล้วและเปลี่ยนแปลงบางอย่างที่เกิดขึ้นภายในนั้นจริงๆ (ในลักษณะเดียวกับที่คุณเปลี่ยนองค์ประกอบในฉาก CGI แบบดั้งเดิม) ความสนใจของภาคส่วนที่เพิ่มขึ้นอย่างรวดเร็วก็เกิดขึ้นพร้อมกับ มาก สองสาม โซลูชั่น จนถึงปัจจุบัน และไม่มีสิ่งใดที่เริ่มเทียบได้กับความสามารถของเวิร์กโฟลว์ CGI
แม้ว่าการประมาณรูปทรงเรขาคณิตจะมีความสำคัญต่อการสร้างฉาก NeRF แต่ผลลัพธ์สุดท้ายจะประกอบด้วยค่าที่ 'ล็อก' ไว้พอสมควร ในขณะที่มี ความคืบหน้าบางอย่าง ถูกสร้างขึ้นเพื่อเปลี่ยนค่าพื้นผิวใน NeRF วัตถุจริงในฉาก NeRF ไม่ใช่ตาข่ายพาราเมตริกที่สามารถแก้ไขและเล่นได้ แต่คล้ายกับเมฆจุดเปราะและเยือกแข็งมากกว่า
ในสถานการณ์นี้ บุคคลที่เรนเดอร์ใน NeRF นั้นโดยพื้นฐานแล้วจะเป็นรูปปั้น (หรือชุดรูปปั้นในวิดีโอ NeRF) เงาที่พวกเขาโยนลงบนตัวมันเองและวัตถุอื่นๆ เป็นพื้นผิว แทนที่จะเป็นการคำนวณที่ยืดหยุ่นตามแหล่งกำเนิดแสง และความสามารถในการแก้ไขเนื้อหาของ NeRF นั้นจำกัดอยู่ที่ตัวเลือกของช่างภาพที่ถ่ายภาพต้นฉบับจำนวนน้อยซึ่งสร้าง NeRF ขึ้นมา พารามิเตอร์ต่างๆ เช่น เงาและท่าทางยังคงไม่สามารถแก้ไขได้ ในแง่ที่สร้างสรรค์
การแก้ไข NeRF
ความร่วมมือด้านการวิจัยทางวิชาการใหม่ระหว่างจีนและสหราชอาณาจักรจัดการกับความท้าทายนี้ด้วย การแก้ไข NeRFโดยที่เมชสไตล์พร็อกซี CGI ถูกดึงออกมาจาก NeRF ซึ่งเปลี่ยนรูปตามที่ผู้ใช้ต้องการ และการเปลี่ยนรูปจะถูกส่งกลับไปยังการคำนวณทางประสาทของ NeRF:
หุ่นกระบอก NeRF พร้อมการตัดต่อ NeRF เนื่องจากความผิดปกติที่คำนวณจากฟุตเทจจะถูกนำไปใช้กับจุดที่เทียบเท่ากันภายในการแทนค่า NeRF ที่มา: http://geometrylearning.com/NeRFEditing/
วิธีการปรับ นอยส์ เทคนิคเชิงสร้างสรรค์ของสหรัฐฯ/จีน ประจำปี 2021 ซึ่งดึงเอา ฟังก์ชันระยะทางที่ลงนาม (SDF ซึ่งเป็นวิธีการสร้างใหม่เชิงปริมาตรที่เก่ากว่ามาก) ที่สามารถเรียนรู้รูปทรงเรขาคณิตที่แสดงอยู่ภายใน NeRF
วัตถุ SDF นี้กลายเป็นฐานการแกะสลักของผู้ใช้ด้วยความสามารถในการบิดงอและการขึ้นรูปโดย As-Rigid-As-Possible (อาภา) เทคนิค
ARAP อนุญาตให้ผู้ใช้เปลี่ยนรูปร่างตาข่าย SDF ที่แยกออกมา แม้ว่าวิธีอื่นๆ เช่น วิธีการแบบใช้โครงกระดูกและแบบกรง (เช่น NURB) ก็จะทำงานได้ดีเช่นกัน ที่มา: https://arxiv.org/pdf/2205.04978.pdf
เมื่อใช้การเปลี่ยนรูป จำเป็นต้องแปลข้อมูลนี้จากเวกเตอร์เป็นระดับ RGB/พิกเซลที่มาจาก NeRF ซึ่งเป็นการเดินทางที่นานขึ้นเล็กน้อย
จุดยอดสามเหลี่ยมของเมชที่ผู้ใช้เปลี่ยนรูปจะถูกแปลงเป็นตาข่ายเตตระฮีดรัลก่อน ซึ่งสร้างผิวหนังรอบๆ เมชผู้ใช้ ฟิลด์การเปลี่ยนรูปแบบไม่ต่อเนื่องเชิงพื้นที่ถูกดึงออกมาจากตาข่ายเพิ่มเติมนี้ และสุดท้ายจะได้ฟิลด์การเปลี่ยนรูปต่อเนื่องที่เป็นมิตรต่อ NeRF ซึ่งสามารถส่งกลับเข้าไปในสภาพแวดล้อมการแผ่รังสีของระบบประสาท สะท้อนถึงการเปลี่ยนแปลงและการแก้ไขของผู้ใช้ และส่งผลโดยตรงต่อรังสีที่ตีความในเป้าหมาย เนอาร์เอฟ.
วัตถุเปลี่ยนรูปและเคลื่อนไหวได้ด้วยวิธีการใหม่
กระดาษระบุ:
'หลังจากถ่ายโอนการเสียรูปพื้นผิวไปยังตาข่าย tetrahedral เราสามารถรับฟิลด์การเปลี่ยนรูปที่ไม่ต่อเนื่องของ "พื้นที่ที่มีประสิทธิภาพ" ตอนนี้เราใช้การแปลงแบบไม่ต่อเนื่องเหล่านี้เพื่อทำให้รังสีการหล่อโค้งงอ เพื่อสร้างภาพสนามแสงที่ผิดรูป เราฉายรังสีไปยังพื้นที่ที่มีตาข่ายรูปทรงสี่หน้าผิดรูป'
พื้นที่ กระดาษ มีบรรดาศักดิ์ NeRF-Editing: การแก้ไขรูปทรงเรขาคณิตของ Neural Radiance Fieldsและมาจากนักวิจัยในมหาวิทยาลัยและสถาบันต่างๆ ของจีน XNUMX แห่ง ร่วมกับนักวิจัยจาก School of Computer Science & Informatics แห่งมหาวิทยาลัยคาร์ดิฟฟ์ และนักวิจัยอีก XNUMX คนจากกลุ่มอาลีบาบา
ข้อ จำกัด
ดังที่ได้กล่าวไว้ก่อนหน้านี้ รูปทรงเรขาคณิตที่แปลงแล้วจะไม่ 'อัปเดต' ลักษณะใดๆ ที่เกี่ยวข้องใน NeRF ที่ยังไม่ได้แก้ไข และไม่สะท้อนผลลัพธ์รองขององค์ประกอบที่ผิดรูป เช่น เงา นักวิจัยได้แสดงตัวอย่าง ที่ซึ่งเงาใต้เงาบนร่างมนุษย์ใน NeRF ยังคงไม่เปลี่ยนแปลง แม้ว่าการเปลี่ยนรูปควรเปลี่ยนแสง:
จากกระดาษ: เราเห็นว่าเงาแนวนอนบนแขนของร่างนั้นยังคงอยู่แม้ในขณะที่แขนขยับขึ้น
การทดลอง
ผู้เขียนสังเกตว่าขณะนี้ยังไม่มีวิธีการใดที่เทียบเคียงได้สำหรับการแทรกแซงโดยตรงในรูปทรงเรขาคณิตของ NeRF ดังนั้นการทดลองในการวิจัยจึงเป็นเชิงสำรวจมากกว่าเชิงเปรียบเทียบ
นักวิจัยได้สาธิตการแก้ไข NeRF บนชุดข้อมูลสาธารณะจำนวนหนึ่ง รวมถึงตัวละครจาก Mixamo และรถปราบดินเลโก้และเก้าอี้จาก NeRF ดั้งเดิม การดำเนินงาน. พวกเขายังได้ทดลองกับรูปปั้นม้าของจริงที่จับได้จาก ชุดข้อมูล FVSเช่นเดียวกับการจับดั้งเดิมของพวกเขาเอง
หัวม้าเอียง
สำหรับงานในอนาคต ผู้เขียนตั้งใจที่จะพัฒนาระบบของตนใน Jittor เฟรมเวิร์กการเรียนรู้ของเครื่องที่คอมไพล์แบบ just-in-time (JIT)
เผยแพร่ครั้งแรก 16 พฤษภาคม 2022
