ახალი CGI: ნერვული მეზობლების შექმნა Block-NeRF-ით

ნერვული გამოსხივების ველები (NeRF) საშუალებას აძლევს ობიექტების ხელახლა შექმნას და გამოკვლეულ იქნას ნერვულ ქსელებში მხოლოდ რამდენიმე ხედვის ფოტოსურათის გამოყენებით, როგორც შეყვანის სახით, ტრადიციული CGI მეთოდების სირთულისა და ხარჯების გარეშე.

თუმცა, პროცესი გამოთვლით ძვირია, რაც თავდაპირველად ზღუდავდა NeRF გარემოს მაგიდის მოდელი სცენარები. მიუხედავად ამისა, NeRF მიღებულ იქნა ერთგული, თუნდაც გაბრაზებული კვლევითი საზოგადოების მიერ, რაც გასული წლის განმავლობაში ჩართულია გარე რეკონსტრუქცია ისევე როგორც რედაქტირებადი ნერვული ადამიანები, გარდა მრავალი სხვა ინოვაციისა.

ახლა ახალი კვლევითი ინიციატივა, რომელიც მოიცავს Google Research-ის მონაწილეობას, ცნობს NeRF-ის ოპტიმიზაციის შესაძლო მძიმე საზღვრებს და ამის ნაცვლად კონცენტრირდება NeRF გარემოს ერთმანეთთან შეკერვაზე, რათა შექმნას მოთხოვნილ უბნები, რომლებიც მოიცავს მრავალ კოორდინირებულ NeRF ინსტანციას.

ხედვა დაკავშირებული NeRF-ების Block-NeRF ქსელიდან. იხილეთ ჩაშენებული ვიდეო სტატიის ბოლოს და ასევე წყაროს ბმული მაღალი გარჩევადობის სრულმეტრაჟიანი დამატებითი ვიდეოებისთვის. წყარო: https://waymo.com/research/block-nerf/

დაკავშირებული NeRF-ების ქსელში ნავიგაცია ეფექტურად ხდის NeRF-ს მასშტაბირებადს და მოდულურს, უზრუნველყოფს ნავიგაციურ გარემოს, რომელიც იტვირთება სამეზობლოს დამატებით ნაწილებს საჭიროებისამებრ, ვიდეო თამაშების რესურსების ოპტიმიზაციის მეთოდების მსგავსად, სადაც ის, რაც კუთხეშია, იშვიათად იტვირთება მანამ. ცხადი ხდება, რომ გარემო საჭირო იქნება.

ძირითადი დისკზე განლაგება ცალკეული ასპექტები, როგორიცაა ამინდი და საათი, Block-NeRF ასევე შემოაქვს „გარეგნობის კოდებს“, რაც შესაძლებელს გახდის დღის დროის დინამიურად შეცვლას:

დღის დროის შეცვლა Block-NeRF-ით. იხილეთ ჩაშენებული ვიდეო სტატიის ბოლოს და ასევე წყაროს ბმული მაღალი გარჩევადობის სრულმეტრაჟიანი დამატებითი ვიდეოებისთვის. წყარო: https://waymo.com/research/block-nerf/

ახალი ნაშრომი ვარაუდობს, რომ NeRF ოპტიმიზაცია უახლოვდება საკუთარ თერმულ ზღვარს და რომ ნეირონული გამოსხივების გარემოს მომავალი განლაგება ვირტუალურ რეალობაში, სხვა ტიპის ინტერაქტიული სფეროები და VFX მუშაობა, სავარაუდოდ დამოკიდებული იქნება პარალელურ ოპერაციებზე, ისევე როგორც მურის კანონმა საბოლოოდ ადგილი დაუთმო მრავალბირთვიან არქიტექტურას, პარალელურ ოპტიმიზაციებსა და ქეშირების ახალ მიდგომებს.

ავტორები ქაღალდი (სათაურით Block-NeRF: მასშტაბირებადი დიდი სცენის ნერვული ხედვის სინთეზი) გამოიყენა 2.8 მილიონი სურათი, რათა შეექმნა ყველაზე დიდი ნერვული სცენა, რომელიც ოდესმე ყოფილა მცდელობა - უბნების სერია სან-ფრანცისკოში.

Block-NeRF ნავიგაციას უწევს სან-ფრანცისკოს მადლის ტაძარში. იხილეთ ჩაშენებული ვიდეო სტატიის ბოლოს და ასევე წყაროს ბმული მაღალი გარჩევადობის სრულმეტრაჟიანი დამატებითი ვიდეოებისთვის. წყარო: https://waymo.com/research/block-nerf/

ქაღალდის წამყვანი ავტორი, რომელიც წარმოადგენს UC Berkley-ს, არის მეთიუ ტანციკი ნერვული გამოსხივების ველების თანაგამომგონებელი, რომელმაც მუშაობა დაიწყო ავტონომიური მართვის ტექნოლოგიების განვითარების კომპანია Waymo-ში სტაჟირების დროს, მასპინძელი პროექტის გვერდი. ინიციატივა ასევე გთავაზობთ ვიდეო მიმოხილვას YouTube-ზე, რომელიც ჩაშენებულია ამ სტატიის ბოლოს, გარდა მრავალი დამხმარე და დამატებითი ვიდეო მაგალითის პროექტის გვერდზე.

ნაშრომი არის NeRF-ის რამდენიმე სხვა შემქმნელის თანაავტორი, მათ შორის Ben Mildenhall (Google Research), Pratul P. Srinivasan (Google Research) და Jonathan T. Barron (Google Research). სხვა მონაწილეები არიან ვინსენტ კასერი, სინჩენ იანი, საბეკ პრადჰანი, ჰენრიკ კრეცშმარი და ვინსენტ კასერი, ყველა Waymo-დან.

Block-NeRF შეიქმნა ძირითადად, როგორც ვირტუალური გარემოს კვლევა ავტონომიური სატრანსპორტო სისტემებისთვის, მათ შორის თვითმართვადი მანქანები და დრონები.

ემბარკადეროს გზა 180 გრადუსიანი ხედიდან Block-NeRF-ში. იხილეთ ჩაშენებული ვიდეო სტატიის ბოლოს და ასევე წყაროს ბმული მაღალი გარჩევადობის სრულმეტრაჟიანი დამატებითი ვიდეოებისთვის. წყარო: https://waymo.com/research/block-nerf/

სხვა ფაქტორები, რომლებიც შეიძლება დინამიურად შეიცვალოს Block-NeRF-ში, არის ლინზის დიაფრაგმა (იხ. სურათი ზემოთ), ამინდი და სეზონები.

თუმცა, სეზონის შეცვლამ შეიძლება გამოიწვიოს დაკავშირებული ცვლილებები გარემოში, როგორიცაა ხეები ფოთლების გარეშე, რაც მოითხოვს კიდევ უფრო ვრცელ შეყვანის მონაცემთა ბაზას, ვიდრე აშენდა Block-NeRF-ისთვის. ნაშრომში ნათქვამია:

[ფოთლები] იცვლება სეზონურად და მოძრაობს ქარში; ეს იწვევს ხეების და მცენარეების ბუნდოვან წარმოდგენებს. ანალოგიურად, დროებითი შეუსაბამობები სასწავლო მონაცემებში, როგორიცაა სამშენებლო სამუშაოები, ავტომატურად არ განიხილება და მოითხოვს დაზარალებული ბლოკების ხელით გადამზადებას.'

აპოკალიფსური რენდერი

ბოლოს ჩაშენებულ ვიდეოს თუ დააკვირდებით, შეამჩნევთ ა გასეირნება მკვდარი- სტილის სიმცირე ქსელურ Block-NeRF გარემოში. სხვადასხვა მიზეზის გამო, რობოტული სისტემებისთვის სიმულაციური დამწყებ გარემოს უზრუნველსაყოფად, მანქანები, ფეხით მოსიარულეები და სხვა გარდამავალი ობიექტები განზრახ იქნა ამოღებული საწყისი მასალისგან, მაგრამ ამან დატოვა გარკვეული არტეფაქტები, როგორიცაა "წაშლილი" გაჩერებული მანქანების ჩრდილები. :

წაშლილი მანქანის ფანტომური ჩრდილი. წყარო: https://waymo.com/research/block-nerf/

განათების მთელი რიგი გარემოს მოსაწყობად, როგორიცაა დღე ან ღამე, ქსელები გაწვრთნილი იქნა მონაცემთა დაშორებული ნაკადების შესაერთებლად, რომლებიც დაკავშირებულია თითოეულ სასურველ მდგომარეობასთან. ქვემოთ მოცემულ სურათზე, ჩვენ ვხედავთ ავტომაგისტრალის Block-NeRF კადრებს დღის და ღამით:

მოთხოვნილი ასპექტები აშკარად „გამომცხვარი“ Block-NeRF რენდერის უკან, რაც მომხმარებელს საშუალებას აძლევს, საჭიროებისამებრ ჩართოს ღამე. წყარო: https://waymo.com/research/block-nerf/

გარემოსდაცვითი და ეთიკური მოსაზრებები

ბოლო რამდენიმე წლის განმავლობაში, კვლევის წარდგენა დაიწყო შეიცავდეს გაფრთხილებებს და პასუხისმგებლობის უარყოფას შემოთავაზებული სამუშაოს შესაძლო ეთიკურ და გარემოსდაცვითი შედეგების შესახებ. Block-NeRF-ის შემთხვევაში, ავტორები აღნიშნავენ, რომ ენერგეტიკული მოთხოვნები მაღალია და რომ მოკლევადიანი და გრძელვადიანი გარდამავალი ობიექტების აღრიცხვა (როგორიცაა ხეებზე ფოთლები და სამშენებლო სამუშაოები, შესაბამისად) საჭიროებს რეგულარულ ხელახლა სკანირებას. წყაროს მონაცემები, რაც იწვევს ურბანულ რაიონებში „თვალთვალის“ გაზრდას, რომელთა ნეირონული მოდელების განახლება საჭიროებს.

ავტორები აცხადებენ:

„ამ სამუშაოს მასშტაბიდან გამომდინარე, მისმა გამოთვლებმა შეიძლება გამოიწვიოს ან გააუარესოს გარემოს ზიანი, თუ გამოთვლებისთვის გამოყენებული ენერგია გამოიწვევს ნახშირბადის ემისიების გაზრდას. როგორც ნაშრომშია აღნიშნული, ჩვენ ვგეგმავთ შემდგომ მუშაობას, როგორიცაა ქეშირების მეთოდები, რამაც შეიძლება შეამციროს გამოთვლების მოთხოვნები და ამით შეამსუბუქოს გარემოსდაცვითი ზიანი.'

რაც შეეხება მეთვალყურეობას, ისინი აგრძელებენ:

„ამ სამუშაოს მომავალი აპლიკაციები შესაძლოა მოიცავდეს მონაცემთა შეგროვების უფრო დიდ ძალისხმევას, რაც კიდევ უფრო აჩენს კონფიდენციალურობის შეშფოთებას. მიუხედავად იმისა, რომ საჯარო გზების დეტალური გამოსახულებები უკვე შეგიძლიათ ნახოთ ისეთ სერვისებში, როგორიცაა Google Street View, ჩვენს მეთოდოლოგიას შეუძლია ხელი შეუწყოს გარემოს განმეორებით და უფრო რეგულარულ სკანირებას. რამდენიმე კომპანია ავტონომიურ სატრანსპორტო საშუალებებში ასევე ცნობილია, რომ ახორციელებს ტერიტორიის რეგულარულ სკანირებას მათი ავტოპარკის გამოყენებით; თუმცა ზოგიერთმა შეიძლება გამოიყენოს მხოლოდ LiDAR სკანირება, რომელიც შეიძლება იყოს ნაკლებად მგრძნობიარე, ვიდრე კამერის სურათების შეგროვება.'

მეთოდები და გადაწყვეტილებები

ინდივიდუალური NeRF გარემო შეიძლება შემცირდეს, თეორიულად, ნებისმიერ ზომამდე Block-NeRF მასივში აწყობამდე. ეს გზას უხსნის კონტენტის მარცვლოვან ჩართვას, რომელიც აუცილებლად ექვემდებარება ცვლილებას, როგორიცაა ხეები, და სამშენებლო სამუშაოების იდენტიფიკაციასა და მართვას, რომელიც შეიძლება დროში გაგრძელდეს ხელახლა აღების შემდეგაც კი, მაგრამ შესაძლოა განვითარდეს და განვითარდეს. საბოლოოდ გახდებიან თანმიმდევრული პირები.

თუმცა ამ საწყის კვლევაში, დისკრეტული NeRF ბლოკები შემოიფარგლება თითოეული გამოსახული გარემოს ფაქტობრივი ქალაქის ბლოკებით, ერთმანეთთან შეკერილი, 50%-იანი გადახურვით, რაც უზრუნველყოფს მუდმივ გადასვლას ერთი ბლოკიდან მეორეზე, როდესაც მომხმარებელი მოძრაობს ქსელში.

თითოეული ბლოკი შემოიფარგლება გეოგრაფიული ფილტრით. ავტორები აღნიშნავენ, რომ ჩარჩოს ეს ნაწილი ღიაა ავტომატიზაციისთვის და, გასაკვირია, რომ მათი განხორციელება ეყრდნობა OpenStreetMap-ს და არა Google Maps-ს.

გადაკვეთის რადიუსი Block-NeRF 'აქტიური' რენდერის სივრცისთვის. წყარო: ვეიო

ბლოკები ივარჯიშება პარალელურად, საჭირო ბლოკებით მოთხოვნის შემთხვევაში. გარეგნობის ინოვაციური კოდები ასევე ორკესტრირებულია ბლოკ-კომპლექტში, რაც უზრუნველყოფს, რომ ადამიანი მოულოდნელად არ იმოგზაუროს სხვადასხვა ამინდში, დღის დროს ან თუნდაც სხვადასხვა სეზონში.

Block-NeRF სეგმენტები განპირობებულია ექსპოზიციით მაღალი დინამიური დიაპაზონის (HDR) ანალოგიურად ფოტოგრაფიული წყაროს მასალაში. წყარო: ვეიო

განათების და სხვა გარემოს ცვლადების გადართვის შესაძლებლობა მიღებულია გენერაციული ლატენტური ოპტიმიზაციისგან, რომელიც შემოღებულ იქნა NeRF ველურში (NeRF-W), რომელმაც თავად მიიღო მეთოდი 2019 წლის Facebook AI-დან კვლევა გენერაციული ქსელების ფარული სივრცის ოპტიმიზაცია.

სემანტიკური სეგმენტაციის მოდელი წარმოიშვა Panoptic-DeepLab 2020 წელს გამოიყენება არასასურველი ელემენტების დასაბლოკად (როგორიცაა ადამიანები და მანქანები)

თარიღი

პოვნა, რომ საერთო ურბანული მონაცემთა ნაკრები, როგორიცაა CityScapes არ იყო შესაფერისი ისეთი ინტენსიური დეტალური მუშაობისთვის, როგორსაც Block-NeRF გულისხმობს, მკვლევარებმა შექმნეს საკუთარი მონაცემთა ბაზა. სურათის მონაცემები გადაღებულია 12 კამერიდან, რომელიც მოიცავს 360 გრადუსიან ხედს, კადრები გადაღებულია 10 ჰც სიხშირით სკალარული ექსპოზიციის მნიშვნელობით.

სან-ფრანცისკოს უბნები დაფარული იყო ალამოს მოედანი და მისიის ბეი. ალამოს მოედნის გადაღებისთვის, დაფარული იყო დაახლოებით 960 მ x 570 მ ფართობი, დაყოფილი იყო 35 Block-NeRF ეგზემპლარად, თითოეული მომზადებული იყო 38-დან 48 სხვადასხვა მონაცემთა შეგროვების მონაცემებზე, საერთო ტარების დრო 18-28 წუთი.

თითოეული Block-NeRF-ისთვის ხელშემწყობი სურათების რაოდენობა 64,575-დან 108,216-მდე იყო და ამ ზონისთვის წარმოდგენილი მგზავრობის საერთო დრო იყო 13.4 საათი 1,330 სხვადასხვა მონაცემთა შეგროვების მანძილზე. ამან გამოიწვია 2,818,745 სასწავლო სურათი მხოლოდ ალამოს მოედანზე. იხილეთ ნაშრომი დამატებითი დეტალებისთვის Mission Bay-ის მონაცემთა შეგროვების შესახებ.

პირველად გამოქვეყნდა 11 წლის 2022 თებერვალს.