NeRF: სავარჯიშო თვითმფრინავები ნერვული გასხივოსნების გარემოში

სტენფორდის უნივერსიტეტის მკვლევარებმა შეიმუშავეს დრონების მომზადების ახალი გზა ფოტორეალისტურ და უაღრესად ზუსტი გარემოში ნავიგაციისთვის, ბოლოდროინდელი ეფექტების გამოყენებით. ინტერესის ზვავი ნერვული გამოსხივების ველებში (NeRF).

დრონები შეიძლება ივარჯიშონ ვირტუალურ გარემოში, რომელიც შედგენილია უშუალოდ რეალური მდებარეობიდან, სპეციალიზებული 3D სცენის რეკონსტრუქციის საჭიროების გარეშე. პროექტის ამ სურათზე ქარის არეულობა დაემატა, როგორც დრონის პოტენციური დაბრკოლება, და ჩვენ ვხედავთ, რომ დრონი მომენტალურად გადახრილია თავისი ტრაექტორიიდან და ანაზღაურებს ბოლო მომენტში, რათა თავიდან აიცილოს პოტენციური დაბრკოლება. წყარო: https://mikh3x4.github.io/nerf-navigation/

მეთოდი გთავაზობთ დრონების (ან სხვა ტიპის ობიექტების) ინტერაქტიული ვარჯიშის შესაძლებლობას ვირტუალურ სცენარებში, რომლებიც ავტომატურად მოიცავს მოცულობის ინფორმაციას (შეჯახების თავიდან აცილების გამოსათვლელად), ტექსტურირებას, რომელიც შედგენილია პირდაპირ რეალური ფოტოებიდან (დრონების გამოსახულების ამოცნობის ქსელების მომზადებაში დასახმარებლად. უფრო რეალისტური მოდა) და რეალური სამყაროს განათება (რათა უზრუნველყოფილ იქნას განათების სხვადასხვა სცენარის გაწვრთნა ქსელში, თავიდან აიცილოთ ზედმეტად მორგება ან ზედმეტად ოპტიმიზაცია სცენის ორიგინალურ კადრზე).

დივან-ობიექტი ნავიგაციას უწევს რთულ ვირტუალურ გარემოს, რომლის რუკების დახატვა ძალიან რთული იქნებოდა გეომეტრიის აღბეჭდვისა და რეტექსტურირების გამოყენებით ტრადიციულ AR/VR სამუშაო პროცესებში, მაგრამ რომელიც ავტომატურად ხელახლა შეიქმნა NeRF-ში შეზღუდული რაოდენობის ფოტოებიდან. წყარო: https://www.youtube.com/watch?v=5JjWpv9BaaE

ტიპიური NeRF დანერგვა არ შეიცავს ტრაექტორიის მექანიზმებს, ვინაიდან ბოლო 18 თვის განმავლობაში NeRF პროექტების უმეტესობა კონცენტრირებული იყო სხვა გამოწვევებზე, როგორიცაა სცენის განათება, ასახვა, კომპოზიცია მდე განლაგება დაჭერილი ელემენტების. ამიტომ, ახალი ნაშრომის პირველადი ინოვაციაა NeRF გარემოს, როგორც ნავიგაციური სივრცის დანერგვა, ფართო აღჭურვილობისა და შრომატევადი პროცედურების გარეშე, რაც საჭირო იქნებოდა მისი მოდელირებისთვის, როგორც 3D გარემო სენსორის დაჭერასა და CGI რეკონსტრუქციაზე დაფუძნებული.

NeRF როგორც VR/AR

ახალი ქაღალდი სახელდება მხოლოდ ხედვის რობოტი ნავიგაცია ნეირონული გასხივოსნების სამყაროში, და არის თანამშრომლობა სტენფორდის სამ დეპარტამენტს შორის: აერონავტიკა და ასტრონავტიკა, მექანიკური ინჟინერია და კომპიუტერული მეცნიერება.

ნამუშევარი გვთავაზობს ნავიგაციის ჩარჩოს, რომელიც უზრუნველყოფს რობოტს წინასწარ გაწვრთნილ NeRF გარემოს, რომლის მოცულობის სიმკვრივე ზღუდავს მოწყობილობის შესაძლო ბილიკებს. იგი ასევე შეიცავს ფილტრს, რათა შეფასდეს, თუ სად იმყოფება რობოტი ვირტუალურ გარემოში, რობოტის შიდა RGB კამერის გამოსახულების ამოცნობის საფუძველზე. ამგვარად, დრონს ან რობოტს შეუძლია უფრო ზუსტად „ჰალუცინაცია“ მოახდინოს, რისი დანახვაც შეიძლება მოცემულ გარემოში.

პროექტის ტრაექტორიის ოპტიმიზატორი ნავიგაციას უწევს სტოუნჰენჯის NeRF მოდელს, რომელიც შეიქმნა ფოტოგრამეტრიისა და გამოსახულების ინტერპრეტაციით (ამ შემთხვევაში, ბადის მოდელების) ნეირონული გასხივოსნების გარემოში. ტრაექტორიის დამგეგმავი ითვლის რამდენიმე შესაძლო ბილიკს თაღზე ოპტიმალური ტრაექტორიის დადგენამდე.

იმის გამო, რომ NeRF გარემოს აქვს სრულად მოდელირებული ოკლუზიები, დრონს შეუძლია ისწავლოს დაბრკოლებების გამოთვლა უფრო მარტივად, ვინაიდან NeRF-ის უკან არსებულ ნერვულ ქსელს შეუძლია ასახოს კავშირი ოკლუზიებს შორის და როგორ აღიქვამს დრონის ბორტ ხედვაზე დაფუძნებული სანავიგაციო სისტემები გარემოს. ავტომატური NeRF თაობის მილსადენი გთავაზობთ შედარებით ტრივიალურ მეთოდს ჰიპერ-რეალური სავარჯიშო სივრცის შესაქმნელად მხოლოდ რამდენიმე ფოტოთი.

სტენფორდის პროექტისთვის შემუშავებული ონლაინ ხელახალი დაგეგმვის ჩარჩო ხელს უწყობს გამძლე და მთლიანად ხედვაზე დაფუძნებულ სანავიგაციო მილსადენს.

სტენფორდის ინიციატივა ერთ-ერთი პირველია, ვინც განიხილავს NeRF სივრცის შესწავლის შესაძლებლობებს ნავიგაციური და ჩაძირული VR სტილის გარემოში. ნერვული გამოსხივების ველები არის განვითარებადი ტექნოლოგია და ამჟამად ექვემდებარება მრავალ აკადემიურ ძალისხმევას, რათა მოხდეს მათი მაღალი გამოთვლითი რესურსების მოთხოვნების ოპტიმიზაცია, ასევე დაჭერილი ელემენტების განცალკევება.

Nerf არ არის (ნამდვილად) CGI

იმის გამო, რომ NeRF გარემო არის ნავიგაციური 3D სცენა, ის გახდა გაუგებარი ტექნოლოგია 2020 წელს მისი გაჩენის დღიდან, რომელიც ხშირად ფართოდ აღიქმება, როგორც ბადეების და ტექსტურების შექმნის ავტომატიზაციის მეთოდი, ვიდრე ჰოლივუდის VFX დეპარტამენტების მაყურებლისთვის ნაცნობი 3D გარემოს ჩანაცვლება. გაძლიერებული რეალობისა და ვირტუალური რეალობის გარემოს ფანტასტიკური სცენები.

NeRF ამოიღებს გეომეტრიისა და ტექსტურის ინფორმაციას გამოსახულების ძალიან შეზღუდული რაოდენობის კუთხიდან, გამოთვლის განსხვავებას სურათებს შორის მოცულობითი ინფორმაციის სახით. წყარო: https://www.matthewtancik.com/nerf

სინამდვილეში, NeRF გარემო უფრო ჰგავს "ცოცხალ" რენდერის სივრცეს, სადაც პიქსელებისა და განათების ინფორმაციის გაერთიანება ინახება და ნავიგაცია ხდება აქტიურ და გაშვებულ ნერვულ ქსელში.

NeRF-ის პოტენციალის გასაღები არის ის, რომ მას სჭირდება მხოლოდ სურათების შეზღუდული რაოდენობა გარემოს ხელახლა შესაქმნელად, და რომ გენერირებული გარემო შეიცავს ყველა საჭირო ინფორმაციას მაღალი სიზუსტის რეკონსტრუქციისთვის, მოდელირების, ტექსტურის შემსრულებლების, განათების მომსახურების გარეშე. სპეციალისტები და "ტრადიციული" CGI-ის სხვა მონაწილეთა ურდოები.

სემანტიკური სეგმენტაცია

მაშინაც კი, თუ NeRF ეფექტურად წარმოადგენს „კომპიუტერის მიერ გენერირებულ გამოსახულებას“ (CGI), ის გთავაზობთ სრულიად განსხვავებულ მეთოდოლოგიას და მაღალ ავტომატიზირებულ მილსადენს. გარდა ამისა, NeRF-ს შეუძლია სცენის მოძრავი ნაწილების იზოლირება და „ინკაფსულაცია“ ისე, რომ მათი დამატება, ამოღება, დაჩქარება და, ზოგადად, ვირტუალურ გარემოში დისკრეტულ ასპექტებად ფუნქციონირება შესაძლებელი იყოს – შესაძლებლობა, რომელიც ბევრად აღემატება ამჟამინდელ მდგომარეობას. ხელოვნება „ჰოლივუდის“ ინტერპრეტაციაში, თუ რა არის CGI.

A თანამშრომლობა შანხაის ტექნიკური უნივერსიტეტიდან, რომელიც გამოვიდა 2021 წლის ზაფხულში, გვთავაზობს მეთოდს სცენაზე NeRF ელემენტების გადაადგილების "პასტად" ასპექტებად. წყარო: https://www.youtube.com/watch?v=Wp4HfOwFGP4

ნეგატიურად, NeRF-ის არქიტექტურა ცოტათი "შავი ყუთია"; ამჟამად შეუძლებელია ობიექტის ამოღება NeRF გარემოდან და უშუალოდ მისი მანიპულირება ტრადიციული ბადეზე დაფუძნებული და გამოსახულებაზე დაფუძნებული ხელსაწყოებით, თუმცა მრავალი კვლევის მცდელობა იწყებს გარღვევას NeRF-ის ნერვული ქსელის ცოცხალი რენდერის გარემოს უკან მატრიცის დეკონსტრუქციაში.