ხელოვნური ინტელექტი
ნერვული რენდერი: NeRF სეირნობს სუფთა ჰაერზე
Google Research-ისა და ჰარვარდის უნივერსიტეტის თანამშრომლობით შეიმუშავეს ახალი მეთოდი სრული სცენების 360 გრადუსიანი ნერვული ვიდეოს შესაქმნელად. ნერვული გამოსხივების ველები (NeRF). ახალი მიდგომა NeRF-ს ერთი ნაბიჯით უახლოვდება შემთხვევით აბსტრაქტულ გამოყენებას ნებისმიერ გარემოში, შეზღუდვის გარეშე. მაგიდის მოდელები or ინტერიერის დახურული სცენარები.
სრული ვიდეოსთვის იხილეთ სტატიის ბოლოს. წყარო: https://www.youtube.com/watch?v=YStDS2-Ln1s
Mip-NeRF 360-ს შეუძლია გაუმკლავდეს გაფართოებულ ფონს და „უსასრულო“ ობიექტებს, როგორიცაა ცა, რადგან, წინა გამეორებებისგან განსხვავებით, ის ადგენს საზღვრებს სინათლის სხივების ინტერპრეტაციაზე და ქმნის ყურადღების საზღვრებს, რაც რაციონალიზაციას უკეთებს ვარჯიშის ხანგრძლივ დროს. იხილეთ ახალი თანმხლები ვიდეო, რომელიც ჩაშენებულია ამ სტატიის ბოლოს მეტი მაგალითებისთვის და პროცესის გაფართოებული ხედვისთვის.
ის ახალი ქაღალდი სახელდება Mip-NeRF 360: შეუზღუდავი ანტი-ალიასირებული ნერვული გამოსხივების ველები, და მას ხელმძღვანელობს Google Research-ის უფროსი პერსონალის მკვლევარი ჯონ ბარონი.
გარღვევის გასაგებად, აუცილებელია გქონდეთ ძირითადი გაგება, თუ როგორ ფუნქციონირებს ნერვული გამოსხივების ველზე დაფუძნებული გამოსახულების სინთეზი.
რა არის NeRF?
პრობლემურია NeRF ქსელის აღწერა „ვიდეოს“ თვალსაზრისით, რადგან ის უფრო ახლოსაა სრულად 3D-რეალიზებულთან, მაგრამ AI- ზე დაფუძნებული ვირტუალური გარემო, სადაც მრავალი ხედვა ერთი ფოტოდან (მათ შორის, ვიდეო ჩარჩოებიდან) გამოიყენება სცენის დასაკავშირებლად, რომელიც ტექნიკურად არსებობს მხოლოდ მანქანათმცოდნეობის ალგორითმის ფარულ სივრცეში – მაგრამ საიდანაც შესაძლებელია ნებისყოფისამებრ გამოიტანოს არაჩვეულებრივი რაოდენობის ხედვა და ვიდეო. .
მრავალჯერადი კამერის გადაღების წერტილების გამოსახვა, რომელიც უზრუნველყოფს მონაცემებს, რომლებსაც NeRF აგროვებს ნერვულ სცენაზე (სურათი მარჯვნივ).
ხელშემწყობი ფოტოებიდან მიღებული ინფორმაცია მომზადებულია მატრიცაში, რომელიც ტრადიციულის მსგავსია ვოქსელის ბადე CGI სამუშაო პროცესებში, რადგან 3D სივრცის ყველა წერტილი მთავრდება მნიშვნელობით, რაც სცენას ნავიგაციურს ხდის.
ტრადიციული ვოქსელის მატრიცა ათავსებს პიქსელ ინფორმაციას (რომელიც ჩვეულებრივ არსებობს 2D კონტექსტში, როგორიცაა JPEG ფაილის პიქსელის ბადე) სამგანზომილებიან სივრცეში. წყარო: ResearchGate
ფოტოებს შორის ინტერსტიციული სივრცის გამოთვლის შემდეგ (საჭიროების შემთხვევაში), თითოეული ხელშემწყობი ფოტოს თითოეული შესაძლო პიქსელის ბილიკი ეფექტურად არის „სხივური მიკვლევა“ და ენიჭება ფერის მნიშვნელობა, გამჭვირვალობის მნიშვნელობის ჩათვლით (რომლის გარეშეც ნერვული მატრიცა სრულიად გაუმჭვირვალე იქნება, ან სრულიად ცარიელი).
ვოქსელის ბადეების მსგავსად და განსხვავებით CGI-ზე დაფუძნებული 3D კოორდინატთა სივრცე, „დახურული“ ობიექტის „ინტერიერი“ არ არსებობს NeRF მატრიცაში. შეგიძლიათ გაყოთ CGI დრამის ნაკრები და შეხედოთ შიგნით, თუ გნებავთ; მაგრამ რაც შეეხება NeRF-ს, ბარაბნის ნაკრების არსებობა მთავრდება, როდესაც მისი ზედაპირის გამჭვირვალობის მნიშვნელობა უდრის '1'-ს.
პიქსელის უფრო ფართო ხედი
Mip-NeRF 360 არის გაფართოება კვლევა 2021 წლის მარტიდან, რამაც ეფექტურად შემოიტანა ეფექტური ანტი-ალიასინგი NeRF-ში ამომწურავი სუპერსემფლინგის გარეშე.
NeRF ტრადიციულად ითვლის მხოლოდ ერთ პიქსელის ბილიკს, რომელიც მიდრეკილია ამ სახის წარმოებისთვის "ჯუჯები" რომელიც ახასიათებდა ადრეულ ინტერნეტ გამოსახულების ფორმატებს, ასევე ადრეული თამაშების სისტემები. ეს დაკბილული კიდეები წყდებოდა სხვადასხვა მეთოდით, ჩვეულებრივ მოიცავდა მიმდებარე პიქსელების შერჩევას და საშუალო გამოსახულების პოვნას.
იმის გამო, რომ ტრადიციული NeRF იკვლევს მხოლოდ ერთი პიქსელის ბილიკს, Mip-NeRF-მ შემოიტანა „კონუსური“ წყალშემკრები არე, ფართოსხივიანი ჩირაღდნის მსგავსად, რომელიც იძლევა საკმარის ინფორმაციას ამის შესახებ. მიმდებარე პიქსელები ეკონომიური ანტიალიზაციისთვის გაუმჯობესებული დეტალებით.
კონუსური კონუსის წყალშემკრები, რომელსაც Mip-NeRF იყენებს, დაყოფილია კონუსურ ფრუსტუმებად (ქვედა სურათი), რომლებიც შემდგომში „ბუნდოვანი“ ხდება ბუნდოვანი გაუსური სივრცის შესაქმნელად, რომელიც შეიძლება გამოყენებულ იქნას პიქსელის სიზუსტისა და ალიასის გამოსათვლელად. წყარო: https://www.youtube.com/watch?v=EpH175PY1A0
შესამჩნევი იყო გაუმჯობესება სტანდარტული NeRF განხორციელების მიმართ:
Mip-NeRF (მარჯვნივ), გამოშვებული 2021 წლის მარტში, უზრუნველყოფს გაუმჯობესებულ დეტალებს უფრო ყოვლისმომცველი, მაგრამ ეკონომიური ალიასინგის მილსადენის მეშვეობით, ვიდრე უბრალოდ პიქსელების „დაბუნდოვნების“ თავიდან აცილების მიზნით დაკბილული კიდეები. წყარო: https://jonbarron.info/mipnerf/
NeRF შეუზღუდავი
მარტის ნაშრომმა გადაუჭრელი დატოვა სამი პრობლემა Mip-NeRF-ის გამოყენებასთან დაკავშირებით შეუზღუდავ გარემოში, რომელიც შეიძლება მოიცავდეს ძალიან შორეულ ობიექტებს, მათ შორის ცას. ახალი ნაშრომი ამას აგვარებს ა-ს გამოყენებით კალმანის სტილში გადახვევა Mip-NeRF გაუსელებს.
მეორეც, უფრო დიდი სცენები მოითხოვს უფრო დიდ დამუშავების ძალას და ვარჯიშის გაფართოებულ დროს, რასაც Mip-NeRF 360 ხსნის სცენის გეომეტრიის „გამოხდით“ მცირე „წინადადებით“ მრავალშრიანი პერცეტრონი (MLP), რომელიც წინასწარ ზღუდავს დიდი სტანდარტის NeRF MLP-ით ნაწინასწარმეტყველებულ გეომეტრიას. ეს აჩქარებს ვარჯიშს სამჯერ.
დაბოლოს, უფრო დიდი სცენები ინტერპრეტირებული გეომეტრიის დისკრეტიზაციას ორაზროვანს ხდის, რაც იწვევს იმ არტეფაქტებს, რომლებსაც მოთამაშეები შეიძლება იცნობდნენ, როდესაც თამაში გამოდის "ცრემლები". ახალი ნაშრომი ამას ეხება Mip-NeRF სხივების ინტერვალებისთვის ახალი რეგულატორის შექმნით.
მარჯვნივ, ჩვენ ვხედავთ არასასურველ არტეფაქტებს Mip-NeRF-ში ასეთი დიდი სცენის შეზღუდვის სირთულის გამო. მარცხნივ, ჩვენ ვხედავთ, რომ ახალმა რეგულაზატორმა საკმარისად კარგად მოახდინა სცენის ოპტიმიზაცია ამ დარღვევების მოსაშორებლად.
ახალი ნაშრომის შესახებ მეტის გასაგებად, იხილეთ ქვემოთ მოცემული ვიდეო და ასევე 2021 წლის მარტის ვიდეო შესავალი Mip-NeRF-მდე. თქვენ ასევე შეგიძლიათ გაიგოთ მეტი NeRF კვლევის შესახებ შემოწმებით ჩვენი გაშუქება ჯერჯერობით.
თავდაპირველად გამოქვეყნდა 25 წლის 2021 ნოემბერს
21 წლის 2021 დეკემბერი, 12:25 საათი - შეიცვალა მკვდარი ვიდეო. - MA
