Δημιουργία Δορυφορικής Εικόνας από Διανυσματικά Χάρτες

Ερευνητές στο Ηνωμένο Βασίλειο έχουν αναπτύξει ένα σύστημα σύνθεσης εικόνας με βάση τον τεχνητό νοημοσύνη που μπορεί να μετατρέψει διανυσματικούς χάρτες σε εικόνες δορυφορικού στυλ σε πραγματικό χρόνο.

Η νευρωνική αρχιτεκτονική ονομάζεται Σύνθεση Δορυφορικής Εικόνας (SSS) και προσφέρει την προοπτική πραγματικών εικονικών περιβαλλόντων και λύσεων πλοήγησης που έχουν καλύτερη ανάλυση από τις δορυφορικές εικόνες που μπορούν να προσφέρουν· είναι πιο ενημερωμένες (καθώς τα συστήματα χαρτογράφησης μπορούν να ενημερωθούν σε πραγματικό χρόνο) και μπορούν να διευκολύνουν πραγματικές οπτικές απόψεις σε περιοχές όπου η ανάλυση των αισθητήρων δορυφόρου είναι περιορισμένη ή αλλιώς μη διαθέσιμη.

Δεδομένα διανυσματικού χάρτη χωρίς περιορισμούς ανάλυσης μπορούν να μεταφραστούν σε πολύ μεγαλύτερες διαστάσεις εικόνας από αυτές που είναι συχνά διαθέσιμες από πραγματικές δορυφορικές εικόνες και μπορούν να αντανακλούν γρήγορα τις ενημερώσεις στα δίκτυα των χαρτογράφων, όπως νέες εμποδισμένες περιοχές ή αλλαγές στην υποδομή του οδικού δικτύου. Πηγή: https://arxiv.org/pdf/2111.03384.pdf

Για να δείξουν τη δύναμη του συστήματος, οι ερευνητές έχουν δημιουργήσει ένα διαδραστικό περιβάλλον τύπου Google Earth, όπου ο χρήστης μπορεί να ζουμάρει και να παρατηρήσει τις δημιουργημένες δορυφορικές εικόνες σε διάφορες κλίμακες και λεπτομέρεια, με τις πλακίδες να ενημερώνονται σε πραγματικό χρόνο με παρόμοιο τρόπο με τα συμβατικά διαδραστικά συστήματα για δορυφορικές εικόνες:

Ζουμ στο δημιουργημένο περιβάλλον, με βάση τον διανυσματικό χάρτη. Δείτε το βίντεο στο τέλος του άρθρου για καλύτερη ανάλυση και περισσότερες λεπτομέρειες για τη διαδικασία. Πηγή: https://www.youtube.com/watch?v=PqFySVpkZzg

Επιπλέον,既然 το σύστημα μπορεί να δημιουργήσει δορυφορικές εικόνες από οποιοδήποτε διανυσματικό χάρτη, θα μπορούσε θεωρητικά να χρησιμοποιηθεί για την κατασκευή ιστορικών, προβλεπόμενων ή φανταστικών κόσμων, για ενσωμάτωση σε προσομοιωτές πτήσεων και εικονικά περιβάλλοντα. Επιπλέον, οι ερευνητές προβλέπουν τη σύνθεση πλήρως τρισδιάστατων εικονικών περιβαλλόντων από χαρτογραφικά δεδομένα χρησιμοποιώντας μετασχηματιστές.

Στο κοντινό μέλλον, οι συγγραφείς πιστεύουν ότι το πλαίσιο τους θα μπορούσε να χρησιμοποιηθεί για eine σειρά πραγματικών εφαρμογών, συμπεριλαμβανομένης της διαδραστικής πολεοδομίας και της διαδικασίας μοντελοποίησης, φανταζόμενοι ένα σενάριο όπου οι ενδιαφερόμενοι μπορούν να επεξεργαστούν έναν χάρτη διαδραστικά και να δουν εικόνες από ψηλά του προτεινόμενου εδάφους μέσα σε δευτερόλεπτα.

Η νέα έκθεση προέρχεται από δύο ερευνητές στο Πανεπιστήμιο του Λιντς και έχει τον τίτλο Σύνθεση Δορυφορικής Εικόνας.

Η αρχιτεκτονική SSS αναδημιουργεί το Λονδίνο, με μια ματιά στην υποκείμενη διανυσματική δομή που τροφοδοτεί την ανακατασκευή. Στο επάνω αριστερό μέρος, η ολόκληρη εικόνα, διαθέσιμη στα συμπληρωματικά υλικά σε ανάλυση 8k.

Αρχιτεκτονική και Πηγή Εκπαίδευσης

Το νέο σύστημα χρησιμοποιεί την αρχιτεκτονική Pix2Pix του UCL Berkeley από το 2017 και την αρχιτεκτονική SPADE της NVIDIA. Το πλαίσιο περιλαμβάνει δύο νέα συστήματα νευρωνικών δικτύων – map2sat, το οποίο εκτελεί τη μετατροπή από διανυσματική σε pixel-εικόνα· και seam2cont, το οποίο όχι μόνο υπολογίζει ένα αδιάλειπτο τρόπο για τη συλλογή των πλακιδίων 256×256, αλλά επίσης παρέχει ένα διαδραστικό περιβάλλον εξερεύνησης.

Η αρχιτεκτονική του SSS.

Το σύστημα μαθαίνει να συνθέτει δορυφορικές εικόνες με την εκπαίδευση σε διανυσματικές εικόνες και τις αντίστοιχες πραγματικές δορυφορικές εικόνες, σχηματίζοντας μια γενικευμένη κατανόηση για το πώς να ερμηνεύσει διανυσματικές πτυχές σε φωτο-πραγματικές ερμηνείες.

Οι διανυσματικές εικόνες που χρησιμοποιούνται στη βάση δεδομένων είναι ραστερισμένες από αρχεία GeoPackage (.geo) που περιέχουν μέχρι 13 ετικέτες κατηγοριών, όπως δρομός, φυσικό περιβάλλον, κτίριο και οδός, οι οποίες χρησιμοποιούνται για την απόφαση του είδους της εικόνας που θα τοποθετηθεί στη δορυφορική εικόνα.

Οι ραστερισμένες εικόνες.geo επίσης διατηρούν τοπικά μεταδεδομένα συστήματος συντεταγμένων, τα οποία χρησιμοποιούνται για την ερμηνεία τους στο ευρύτερο πλαίσιο του χάρτη και για να επιτρέψουν στον χρήστη να εξερευνήσει διαδραστικά τους δημιουργημένους χάρτες.

Αδιάλειπτες Πλακίδες υπό Σκληρές Πιέσεις

Η δημιουργία εξερεύνησιμων περιβαλλόντων χαρτών είναι μια πρόκληση, поскольку οι περιορισμοί του υλικού στο πρότζεκτ περιορίζουν τα πλακίδια σε μέγεθος μόνο 256 x 256 pixel. Έτσι, είναι σημαντικό ότι είτε η διαδικασία απόδοσης είτε η σύνθεση λαμβάνει υπόψη το “μεγαλύτερο πλάνο”, αντί να επικεντρώνεται αποκλειστικά στο πλακίδιο που έχει στην κατοχή του, το οποίο θα οδηγούσε σε αδιάλειπτες αντιθέσεις όταν τα πλακίδια συλλέγονται, με δρόμους που αλλάζουν ξαφνικά χρώμα και άλλα μη πραγματικά γραφικά εφέ.

Γι’ αυτό το SSS χρησιμοποιεί μια ιεραρχία γενераторικών δικτύων για τη δημιουργία ποικιλίας περιεχομένου σε διάφορες κλίμακες και το σύστημα είναι σε θέση να αξιολογηθεί αυθαίρετα σε οποιαδήποτε ενδιάμεση κλίμακα που ο χρήστης μπορεί να χρειαστεί.

Το τμήμα seam2cont της αρχιτεκτονικής χρησιμοποιεί δύο перекrýοντας και ανεξάρτητες στρώσεις της έξοδου του map2sat και υπολογίζει einen κατάλληλο όριο στο πλαίσιο της ευρύτερης εικόνας που θα αναπαρασταθεί:

Το模块 seam2cont χρησιμοποιεί μια εικόνα με πλακίδια και μια χωρίς ραφές από το δίκτυο map2sat, για να υπολογίσει αδιάλειπτα όρια μεταξύ των πλακιδίων 256×256 pixel.

Το δίκτυο map2sat είναι μια βελτιωμένη προσαρμογή ενός πλήρους δικτύου SPADE, αποκλειστικά εκπαιδευμένου σε 256×256 pixel. Οι συγγραφείς σημειώνουν ότι αυτό είναι một ελαφρύ και ευέλικτο implementation, οδηγώντας σε βάρη μόνο 31,5mb έναντι 436,9mb σε ένα πλήρες δίκτυο SPADE.

Χρησιμοποιήθηκαν 3000 πραγματικές δορυφορικές εικόνες για την εκπαίδευση των δύο υπο-δικτύων πάνω από 70 εποχές εκπαίδευσης: όλες οι εικόνες περιέχουν ισοδύναμη σεμαντική πληροφορία (δηλ. μια χαμηλού επιπέδου концептуαλική κατανόηση των απεικονιζόμενων αντικειμένων όπως ‘δρόμοι’), και γεω-βασισμένα μεταδεδομένα θέσης.

Επιπλέον υλικά είναι διαθέσιμα στη σελίδα του προτζεκτ, καθώς και ένα συνοδευτικό βίντεο (εμφανίζεται παρακάτω).