ვექტორული რუკებიდან სატელიტური გამოსახულების შექმნა

დიდ ბრიტანეთში მკვლევარებმა შეიმუშავეს AI-ზე დაფუძნებული გამოსახულების სინთეზის სისტემა, რომელსაც შეუძლია ვექტორზე დაფუძნებული რუქების გადაყვანა სატელიტური სტილის გამოსახულებებად.

ნერვული არქიტექტურა ე.წ უწყვეტი სატელიტური გამოსახულების სინთეზი (SSS) და გთავაზობთ რეალისტური ვირტუალური გარემოს და სანავიგაციო გადაწყვეტილებების პერსპექტივას, რომლებსაც აქვთ უკეთესი გარჩევადობა, ვიდრე სატელიტური გამოსახულება გვთავაზობს; უფრო განახლებულია (რადგან კარტოგრაფიული რუქების სისტემები შეიძლება განახლდეს პირდაპირ რეჟიმში); და შეუძლია გააადვილოს ორბიტალური სტილის რეალისტური ხედები იმ ადგილებში, სადაც სატელიტური სენსორის გარჩევადობა შეზღუდულია ან სხვაგვარად მიუწვდომელია.

გარჩევადობის გარეშე ვექტორული მონაცემები შეიძლება ითარგმნოს ბევრად უფრო მაღალ ზომებზე, ვიდრე ხშირად ხელმისაწვდომია რეალური სატელიტური სურათებიდან და შეიძლება სწრაფად ასახავდეს განახლებებს ქსელზე დაფუძნებულ კარტოგრაფიულ რუქებში, როგორიცაა ახალი დაბრკოლებები ან ცვლილებები საგზაო ქსელის ინფრასტრუქტურაში. წყარო: https://arxiv.org/pdf/2111.03384.pdf

სისტემის სიმძლავრის დემონსტრირებისთვის, მკვლევარებმა შექმნეს ინტერაქტიული, Google Earth-ის სტილის გარემო, სადაც მაყურებელს შეუძლია გაადიდოს და დააკვირდეს გენერირებულ სატელიტურ სურათებს სხვადასხვა მასშტაბებითა და დეტალებით, ხოლო ფილები განახლდება თითქმის იგივე რეჟიმში. სატელიტური გამოსახულების ჩვეულებრივი ინტერაქტიული სისტემების სახით:

შექმნილი გარემოს მასშტაბირება, კარტოგრაფიული რუკის საფუძველზე. იხილეთ ვიდეო სტატიის ბოლოს უკეთესი გარჩევადობისთვის და პროცესის შესახებ უფრო დეტალურად. წყარო: https://www.youtube.com/watch?v=PqFySVpkZzg

გარდა ამისა, ვინაიდან სისტემას შეუძლია სატელიტური გამოსახულების გენერირება ნებისმიერი ვექტორზე დაფუძნებული რუქიდან, ის თეორიულად შეიძლება გამოყენებულ იქნას ისტორიული, პროგნოზირებული ან ფიქტიური სამყაროების ასაშენებლად, ფრენის სიმულატორებსა და ვირტუალურ გარემოში ჩართვისთვის. გარდა ამისა, მკვლევარები ვარაუდობენ, რომ სრულად 3D ვირტუალური გარემოს სინთეზირება კარტოგრაფიული მონაცემებიდან ტრანსფორმატორების გამოყენებით.

უახლოეს პერსპექტივაში, ავტორებს მიაჩნიათ, რომ მათი ჩარჩო შეიძლება გამოყენებულ იქნას რეალურ სამყაროში მრავალი აპლიკაციისთვის, მათ შორის ინტერაქტიული ქალაქის დაგეგმარება და პროცედურული მოდელირება, ითვალისწინებს სცენარს, სადაც დაინტერესებულ მხარეებს შეუძლიათ ინტერაქტიულად დაარედაქტირონ რუკა და ნახონ ჩიტების ხედის გამოსახულება. დაპროექტებული რელიეფი წამებში.

ახალი ქაღალდი მომდინარეობს ლიდსის უნივერსიტეტის ორი მკვლევარისგან და ე.წ უწყვეტი სატელიტური გამოსახულების სინთეზი.

SSS არქიტექტურა ხელახლა ქმნის ლონდონს, ნახვით ფუძემდებლური ვექტორული სტრუქტურა, რომელიც კვებავს რეკონსტრუქციას. ჩასმული ზედა მარცხნივ, მთელი სურათი, ხელმისაწვდომია დამატებით მასალებში 8k გარჩევადობით.

არქიტექტურა და წყარო ტრენინგის მონაცემები

ახალი სისტემა იყენებს UCL Berkeley-ის 2017 წ Pix2Pix და NVIDIA-ს SWORDS გამოსახულების სინთეზის არქიტექტურა. ჩარჩო შეიცავს ორ ახალ კონვოლუციურ ნერვულ ქსელს - map2sat, რომელიც ახორციელებს გადაქცევას ვექტორიდან პიქსელზე დაფუძნებულ გამოსახულებაზე; და seam2cont, რომელიც არა მხოლოდ ითვლის უწყვეტ მეთოდს 256×256 ფილების შეგროვების მიზნით, არამედ უზრუნველყოფს ინტერაქტიულ საძიებო გარემოს.

SSS-ის არქიტექტურა.

სისტემა სწავლობს სატელიტური ხედების სინთეზს ვექტორულ ხედებზე და მათ რეალურ ცხოვრებაში თანამგზავრების ეკვივალენტებზე სწავლების გზით, აყალიბებს განზოგადებულ გაგებას იმის შესახებ, თუ როგორ უნდა ინტერპრეტაცია ვექტორული ასპექტები ფოტო-რეალურ ინტერპრეტაციებად.

მონაცემთა ნაკრებში გამოყენებული ვექტორზე დაფუძნებული სურათები რასტერიზებულია GeoPackage (.geo) ფაილებიდან, რომლებიც შეიცავს 13-მდე კლასის ეტიკეტს, მაგ. აკონტროლოთ, ბუნებრივი გარემოს, შენობა მდე გზა, რომლებიც გამოიყენება სატელიტის ხედში გამოსახულების სახეობის გადაწყვეტისას.

რასტერიზებული .geo სატელიტური გამოსახულებები ასევე ინახავს ადგილობრივ კოორდინატთა საცნობარო სისტემის მეტამონაცემებს, რომლებიც გამოიყენება მათი ინტერპრეტაციისთვის კონტექსტში უფრო ფართო რუქის ჩარჩოში და საშუალებას აძლევს მომხმარებელს ინტერაქტიულად ნავიგაცია მოახდინოს შექმნილ რუკებზე.

Seamless ფილები ქვეშ მყარი შეზღუდვები

საკვლევი რუქის გარემოს შექმნა გამოწვევაა, რადგან ტექნიკის შეზღუდვები პროექტში ზღუდავს ფილებს მხოლოდ 256 x 256 პიქსელის ზომით. ამიტომ მნიშვნელოვანია, რომ რენდერინგის ან კომპოზიციის პროცესმა გაითვალისწინოს „დიდი სურათი“, ნაცვლად იმისა, რომ კონცენტრირდეს ექსკლუზიურად ხელთ არსებულ ფილაზე, რაც გამოიწვევს არასწორ პოზიციებს ფილების დალაგებისას, გზების უეცრად იცვლის ფერს და სხვა არა. - რეალისტური გადაცემის არტეფაქტები.

ამიტომ SSS იყენებს გენერატორის ქსელების მასშტაბურ-სივრცის იერარქიას შინაარსის ვარიაციის გენერირებისთვის სხვადასხვა მასშტაბით და სისტემას შეუძლია თვითნებურად შეაფასოს ფილები ნებისმიერი შუალედური მასშტაბით, რაც შეიძლება დასჭირდეს მაყურებელს.

არქიტექტურის seam2cont განყოფილება იყენებს map2sat გამომავალი ორ გადახურულ და დამოუკიდებელ ფენას და ითვლის შესაბამის საზღვარს უფრო ფართო გამოსახულების კონტექსტში, რომელიც უნდა იყოს წარმოდგენილი:

seam2cont მოდული იყენებს ერთ სურათს კრამიტიანი ნაკერით და ერთი ნაკერის გარეშე map2sat ქსელიდან, რათა გამოთვალოს უწყვეტი საზღვრები 256×256 პიქსელი გენერირებული ფილებს შორის.

map2sat ქსელი არის სრულფასოვანი SPADE ქსელის ოპტიმიზებული ადაპტაცია, ექსკლუზიურად მომზადებული 256×256 პიქსელზე. ავტორები აღნიშნავენ, რომ ეს არის მსუბუქი და მბრუნავი განხორციელება, რაც იწვევს მხოლოდ 31.5 მბ-ს 436.9 მბ-ის წინააღმდეგ სრულ SPADE ქსელში.

3000 რეალური სატელიტური გამოსახულება გამოიყენეს ორი ქვექსელის სავარჯიშო დროის 70 ეპოქის განმავლობაში; ყველა სურათი შეიცავს ეკვივალენტურ სემანტიკურ ინფორმაციას (ანუ გამოსახული ობიექტების დაბალი დონის კონცეპტუალური გაგება, როგორიცაა „გზები“) და გეო-ზე დაფუძნებული პოზიციონირების მეტამონაცემებს.

დამატებითი მასალები ხელმისაწვდომია პროექტის გვერდზე, ასევე თანდართული ვიდეო (ჩართული ქვემოთ).