NeRF: ნერვული გამოსხივების ველების შინაარსის რედაქტირების გამოწვევა

ამ წლის დასაწყისში NVIDIA-მ გააუმჯობესა ნერვული გამოსხივების ველები (NeRF) კვლევა განსაკუთრებით InstantNeRF, როგორც ჩანს, შეუძლია შექმნას საკვლევი ნერვული სცენები წამებში - ტექნიკიდან, რომელიც გაჩნდა 2020 წელს ვარჯიშს ხშირად საათები ან დღეებიც სჭირდებოდა.

NVIDIA-ს InstantNeRF უზრუნველყოფს შთამბეჭდავ და სწრაფ შედეგებს. წყარო: https://www.youtube.com/watch?v=DJ2hcC1orc4

მიუხედავად იმისა, რომ ამ ტიპის ინტერპოლაცია აწარმოებს სტატიკურ სცენას, NeRF-საც შეუძლია მოძრაობის ამსახველიდა ძირითადი „კოპირება და ჩასმა“ რედაქტირება, სადაც ცალკეული NeRF-ები შეიძლება დაჯგუფდეს კომპოზიტური სცენები or ჩასმული არსებულ სცენებში.

ჩადგმული NeRF-ები, რომლებიც წარმოდგენილია შანხაის ტექნიკური უნივერსიტეტისა და DGene ციფრული ტექნოლოგიების 2021 წლის კვლევაში. წყარო: https://www.youtube.com/watch?v=Wp4HfOwFGP4

თუმცა, თუ თქვენ ცდილობთ ჩაერიოთ გამოთვლილ NeRF-ში და რეალურად შეცვალოთ რაღაც, რაც ხდება მის შიგნით (იგივე გზით შეგიძლიათ შეცვალოთ ელემენტები ტრადიციულ CGI სცენაზე), სექტორის ინტერესის სწრაფი ტემპი დადგა. ძალიან რამდენიმე გადაწყვეტილებები დღემდე და არცერთი მათგანი არ ემთხვევა CGI სამუშაო პროცესების შესაძლებლობებს.

მიუხედავად იმისა, რომ გეომეტრიის შეფასება აუცილებელია NeRF სცენის შესაქმნელად, საბოლოო შედეგი შედგება საკმაოდ „ჩაკეტილი“ მნიშვნელობებისგან. სანამ არსებობს გარკვეული პროგრესი NeRF-ში ტექსტურის მნიშვნელობების შესაცვლელად, NeRF სცენის ფაქტობრივი ობიექტები არ არის პარამეტრული ბადეები, რომელთა რედაქტირება და თამაში შესაძლებელია, არამედ უფრო მყიფე და გაყინული წერტილოვანი ღრუბლების მსგავსია.

ამ სცენარში, NeRF-ში გადაცემული პირი არსებითად არის ქანდაკება (ან ქანდაკებების სერია, ვიდეო NeRF-ებში); ჩრდილები, რომლებსაც ისინი აყენებენ საკუთარ თავს და სხვა ობიექტებს, უფრო ტექსტურებია, ვიდრე მოქნილი გამოთვლები სინათლის წყაროებზე დაყრდნობით; და NeRF შინაარსის რედაქტირება შემოიფარგლება ფოტოგრაფის მიერ გაკეთებული არჩევანით, რომელიც იღებს იშვიათ წყაროს ფოტოებს, საიდანაც წარმოიქმნება NeRF. პარამეტრები, როგორიცაა ჩრდილები და პოზა, რჩება არარედაქტირებადი, ნებისმიერი შემოქმედებითი გაგებით.

NeRF-რედაქტირება

ჩინეთსა და გაერთიანებულ სამეფოს შორის ახალი აკადემიური კვლევითი თანამშრომლობა ამ გამოწვევას ეხმაურება NeRF-რედაქტირება, სადაც პროქსი CGI-ის სტილის ბადეები ამოღებულია NeRF-დან, დეფორმირებულია მომხმარებლის სურვილისამებრ და დეფორმაციები გადაეცემა NeRF-ის ნერვულ გამოთვლებს:

NeRF თოჯინები NeRF რედაქტირებით, რადგან კადრებიდან გამოთვლილი დეფორმაციები გამოიყენება NeRF წარმოდგენის ეკვივალენტურ წერტილებზე. წყარო: http://geometrylearning.com/NeRFEditing/

მეთოდი ადაპტირებს NeuS 2021 აშშ/ჩინეთის რეკონსტრუქციული ტექნიკა, რომელიც ამოიღებს ა ხელმოწერილი დისტანციის ფუნქცია (SDF, მოცულობითი რეკონსტრუქციის ბევრად უფრო ძველი მეთოდი), რომელსაც შეუძლია ისწავლოს NeRF-ის შიგნით წარმოდგენილი გეომეტრია.

ეს SDF ობიექტი ხდება მომხმარებლის სკულპტურული ბაზა, დახრილი და ჩამოსხმის შესაძლებლობებით, რომელსაც უზრუნველყოფს პატივცემული As-Rigid-As-Possible (ARAP) ტექნიკა.

ARAP მომხმარებლებს საშუალებას აძლევს დეფორმირება მოახდინოს მოპოვებული SDF ბადისგან, თუმცა სხვა მეთოდები, როგორიცაა ჩონჩხზე დაფუძნებული და გალიაში დაფუძნებული მიდგომები (ანუ NURB), ასევე კარგად იმუშავებს. წყარო: https://arxiv.org/pdf/2205.04978.pdf

გამოყენებული დეფორმაციებით, აუცილებელია ამ ინფორმაციის გადათარგმნა ვექტორიდან RGB/პიქსელის დონეზე, რომელიც მშობლიურია NeRF, რაც ოდნავ გრძელი მოგზაურობაა.

ბადის სამკუთხა წვეროები, რომლებიც მომხმარებელმა დეფორმირდა, პირველად ითარგმნება ტეტრაედრულ ბადეში, რომელიც ქმნის კანს მომხმარებლის ბადის გარშემო. ამ დამატებითი ბადისგან ამოღებულია სივრცითი დისკრეტული დეფორმაციის ველი და საბოლოოდ მიიღება NeRF-ის მომგებიანი უწყვეტი დეფორმაციის ველი, რომელიც შეიძლება გადავიდეს ნერვულ გამოსხივების გარემოში, რომელიც ასახავს მომხმარებლის ცვლილებებს და რედაქტირებებს და პირდაპირ გავლენას ახდენს სამიზნის ინტერპრეტებულ სხივებზე. NeRF.

ახალი მეთოდით დეფორმირებული და ანიმაციური ობიექტები.

ნაშრომში ნათქვამია:

ზედაპირის დეფორმაციის ტეტრაედრულ ბადეზე გადატანის შემდეგ ჩვენ შეგვიძლია მივიღოთ „ეფექტური სივრცის“ დისკრეტული დეფორმაციის ველი. ჩვენ ახლა ვიყენებთ ამ დისკრეტულ გარდაქმნებს ჩამოსხმის სხივების მოსახვევად. დეფორმირებული სიკაშკაშის ველის გამოსახულების შესაქმნელად, ჩვენ სხივებს ვუშვებთ სივრცეში, რომელიც შეიცავს დეფორმირებულ ტეტრაედრულ ბადეს.'

ის ქაღალდი სახელდება NeRF-რედაქტირება: ნერვული გამოსხივების ველების გეომეტრიის რედაქტირებადა მოდის სამი ჩინური უნივერსიტეტისა და ინსტიტუტის მკვლევარებისგან, კარდიფის უნივერსიტეტის კომპიუტერული მეცნიერებისა და ინფორმატიკის სკოლის მკვლევართან და Alibaba ჯგუფის კიდევ ორ მკვლევართან ერთად.

შეზღუდვები

როგორც უკვე აღვნიშნეთ, ტრანსფორმირებული გეომეტრია არ „განახლებს“ რაიმე დაკავშირებულ ასპექტს NeRF-ში, რომელიც არ არის რედაქტირებული და არც ასახავს დეფორმირებული ელემენტის მეორად შედეგებს, როგორიცაა ჩრდილები. მკვლევარები აძლევენ მაგალითს, როდესაც ადამიანის ფიგურის ქვეშ ჩრდილები NeRF-ში რჩება უცვლელი, მიუხედავად იმისა, რომ დეფორმაციამ უნდა შეცვალოს განათება:

ქაღალდიდან: ჩვენ ვხედავთ, რომ ფიგურის მკლავზე ჰორიზონტალური ჩრდილი რჩება ადგილზე მაშინაც კი, როდესაც მკლავი მაღლა მოძრაობს.

ექსპერიმენტები

ავტორები აღნიშნავენ, რომ ამჟამად არ არსებობს NeRF გეომეტრიაში პირდაპირი ჩარევის შესადარებელი მეთოდები. ამიტომ კვლევისთვის ჩატარებული ექსპერიმენტები უფრო საძიებო იყო, ვიდრე შედარებითი.

მკვლევარებმა აჩვენეს NeRF-რედაქტირება უამრავ საჯარო მონაცემთა ნაკრებზე, მათ შორის Mixamo-ს გმირები და Lego ბულდოზერი და სკამი ორიგინალური NeRF-დან. შესრულების. მათ ასევე ჩაატარეს ექსპერიმენტები ცხენის ნამდვილ ქანდაკებაზე FVS მონაცემთა ნაკრები, ისევე როგორც საკუთარი ორიგინალური გადაღებები.

ცხენის თავი დახარა.

მომავალი მუშაობისთვის, ავტორები აპირებენ განავითარონ თავიანთი სისტემა Just-in-time (JIT) შედგენილი მანქანური სწავლების ჩარჩოში Jittor.

პირველად გამოქვეყნდა 16 წლის 2022 მაისს.