NeRF: Facebook Co-Search ავითარებს შერეულ სტატიკურ/დინამიურ ვიდეო სინთეზს

ვირჯინიის პოლიტექნიკურ ინსტიტუტსა და სახელმწიფო უნივერსიტეტსა და Facebook-ს შორის თანამშრომლობამ გადაჭრა NeRF ვიდეოს სინთეზის ერთ-ერთი მთავარი გამოწვევა: სტატიკური და დინამიური გამოსახულების და ვიდეოს თავისუფლად შერევა ნერვული გამოსხივების ველებში (NeRF) გამოსავალში.

სისტემას შეუძლია შექმნას სანავიგაციო სცენები, რომლებიც შეიცავს როგორც დინამიურ ვიდეო ელემენტებს, ასევე სტატიკური გარემოს, თითოეული ჩაწერილი ადგილზე, მაგრამ გამოყოფილია ვირტუალური გარემოს კონტროლირებად ასპექტებად:

გარდა ამისა, იგი აღწევს ამას ერთი კუთხით, ისეთი მრავალკამერიანი მასივის საჭიროების გარეშე, რომელსაც შეუძლია მსგავსი ინიციატივების დაკავშირება სტუდიის გარემოსთან.

ის ქაღალდიუფლება დინამიური ხედვის სინთეზი დინამიური მონოკულარული ვიდეოდან, არ არის პირველი, ვინც მონოკულარი შეიმუშავა NeRF სამუშაო პროცესი, მაგრამ, როგორც ჩანს, პირველია, ვინც ერთდროულად ავარჯიშებს დროში ცვალებადი და დროში სტატიკური მოდელის ერთი და იმავე შეყვანისგან, და ქმნის ჩარჩოს, რომელიც საშუალებას აძლევს მოძრაობის ვიდეოს არსებობდეს „წინასწარ შედგენილი“ NeRF ლოკალის შიგნით, მსგავსი ერთგვარი ვირტუალური გარემო, რომელიც ხშირად აერთიანებს მსახიობებს მაღალბიუჯეტიან SF გასვლებში.

D-NeRF-ს მიღმა

მკვლევარებს არსებითად მოუწიათ ხელახლა შეექმნათ Dynamic NeRF-ის მრავალფეროვნება (D-NeRF) მხოლოდ ერთი თვალსაზრისით და არა კამერების სიმრავლით, რომელსაც D-NeRF იყენებს. ამის გადასაჭრელად, მათ იწინასწარმეტყველეს სცენის წინ და უკან ნაკადი და გამოიყენეს ეს ინფორმაცია, რათა განავითარონ დეფორმირებული გამოსხივების ველი, რომელიც დროებით თანმიმდევრულია.

მხოლოდ ერთი POV-ით, საჭირო იყო 2D ოპტიკური ნაკადის ანალიზის გამოყენება საცნობარო ჩარჩოებში 3D წერტილების მისაღებად. შემდეგ გამოთვლილი 3D წერტილი ისევ იკვებება ვირტუალურ კამერაში, რათა დადგინდეს „სცენის ნაკადი“, რომელიც ემთხვევა გამოთვლილ ოპტიკურ ნაკადს სავარაუდო ოპტიკურ ნაკადს.

ვარჯიშის დროს, დინამიური ელემენტები და სტატიკური ელემენტები შეჯერებულია სრულ მოდელში, როგორც ცალკე ხელმისაწვდომი ასპექტები.

სიღრმის დაკარგვის გაანგარიშების, მოდელის და სცენის ნაკადის პროგნოზირების მკაცრი რეგულაციის გამოყენებით D-NeRF-ში, მოძრაობის დაბინდვის პრობლემა მნიშვნელოვნად შერბილებულია.

მიუხედავად იმისა, რომ კვლევას ბევრი რამ შესთავაზა NeRF გაანგარიშების რეგულაციის თვალსაზრისით და მნიშვნელოვნად აუმჯობესებს ერთი POV-დან გამომავალი გამოკვლევის სისწრაფესა და შესაძლებლობას, მინიმუმ თანაბარია დინამიური და სტატიკური NeRF ელემენტების ახალი გამოყოფა და ხელახალი ინტეგრაცია. .

ერთპიროვნულ კამერაზე დაყრდნობით, ასეთ სისტემას არ შეუძლია მრავალკამერიანი NeRF დაყენების პანოპტიკონის ხედის გამეორება, მაგრამ მას შეუძლია ყველგან წავიდეს და სატვირთო მანქანის გარეშე.

NeRF - სტატიკური თუ ვიდეო?

ცოტა ხნის წინ გადავხედეთ ზოგიერთს შთამბეჭდავი ახალი NeRF კვლევა ჩინეთიდან, რომელსაც შეუძლია ელემენტების გამოყოფა დინამიურ NeRF სცენაში, რომელიც გადაღებულია 16 კამერით.

ST-NeRF (ზემოთ) საშუალებას აძლევს მაყურებელს გადაანაწილოს ცალკეული ელემენტები გადაღებულ სცენაზე და თუნდაც შეცვალოს მათი ზომა, შეცვალოს მათი დაკვრის სიჩქარე, გაყინოს ან გაუშვას ისინი უკან. გარდა ამისა, ST-NeRF მომხმარებელს საშუალებას აძლევს „გადაიცვა“ 180 გრადუსიანი რკალის ნებისმიერ ნაწილში, რომელიც დაფიქსირებულია 16 კამერით.

თუმცა, ST-NeRF-ის მკვლევარები ქაღალდი ვაღიაროთ, რომ დრო ყოველთვის გადის ამ სისტემის ქვეშ ამა თუ იმ მიმართულებით, და რომ ძნელია განათების შეცვლა და ეფექტების გამოყენება რეალურად ვიდეო გარემოზე და არა „სტატიკურად შედგენილ“ NeRF გარემოში, რომელიც თავისთავად არ შეიცავს მოძრავი კომპონენტები და არ არის საჭირო ვიდეოს სახით გადაღება.

მაღალი რედაქტირებადი სტატიკური NeRF გარემო

სტატიკური ნერვული გამოსხივების ველის სცენა, რომელიც ახლა იზოლირებულია ნებისმიერი მოძრაობის ვიდეო სეგმენტისგან, უფრო ადვილია დამუშავება და გაზრდა მრავალი გზით, მათ შორის განათების ჩათვლით, როგორც ამ წლის დასაწყისში შემოთავაზებული NeRV-მა (ნერვული ასახვა და ხილვადობის ველები განათებისა და ნახვის სინთეზისთვის). რომელიც გვთავაზობს საწყის ნაბიჯს NeRF გარემოს ან ობიექტის განათების და/ან ტექსტურის შეცვლაში:

NeRF ობიექტის განათება NeRV-ით. წყარო: https://www.youtube.com/watch?v=4XyDdvhhjVo

Retexturing in NeRV, თუნდაც ფოტორეალისტური სპეკულარული ეფექტების ჩათვლით. იმის გამო, რომ სურათების მასივის საფუძველი სტატიკურია, უფრო ადვილია ამ გზით NeRF ასპექტის დამუშავება და გაზრდა, ვიდრე ეფექტის გაშუქება ვიდეო კადრების დიაპაზონში, რაც საწყის წინასწარ დამუშავებას და საბოლოო ვარჯიშს უფრო მსუბუქს და მარტივს ხდის.