Tạo Hình Ảnh Vệ Tinh Từ Bản Đồ Vector

Những nhà nghiên cứu tại Anh đã phát triển một hệ thống tổng hợp hình ảnh dựa trên trí tuệ nhân tạo có thể chuyển đổi bản đồ vector thành hình ảnh vệ tinh theo thời gian thực.

Kiến trúc thần kinh được gọi là Seamless Satellite-image Synthesis (SSS), và mang lại khả năng tạo ra môi trường ảo và giải pháp điều hướng có độ phân giải cao hơn so với hình ảnh vệ tinh; được cập nhật thường xuyên (vì hệ thống bản đồ có thể được cập nhật liên tục); và có thể tạo ra tầm nhìn theo phong cách quỹ đạo trong các khu vực mà độ phân giải của cảm biến vệ tinh bị hạn chế hoặc không có sẵn.

Dữ liệu vector không giới hạn độ phân giải có thể được dịch sang kích thước hình ảnh lớn hơn nhiều so với hình ảnh vệ tinh thực tế, và có thể phản ánh nhanh chóng các cập nhật trong bản đồ mạng dựa trên dữ liệu vector, chẳng hạn như các chướng ngại vật mới hoặc thay đổi trong cơ sở hạ tầng mạng đường bộ. Nguồn: https://arxiv.org/pdf/2111.03384.pdf

Để chứng minh sức mạnh của hệ thống, các nhà nghiên cứu đã tạo ra một môi trường tương tác theo phong cách Google Earth, nơi người xem có thể thu phóng và quan sát hình ảnh vệ tinh được tạo ra ở nhiều mức độ phân giải và chi tiết khác nhau, với các ô được cập nhật trực tiếp theo cách tương tự như các hệ thống tương tác thông thường cho hình ảnh vệ tinh:

Thu phóng vào môi trường được tạo ra, dựa trên bản đồ vector. Xem video ở cuối bài viết để có độ phân giải tốt hơn và chi tiết hơn về quá trình. Nguồn: https://www.youtube.com/watch?v=PqFySVpkZzg

Hơn nữa, vì hệ thống có thể tạo ra hình ảnh vệ tinh từ bất kỳ bản đồ vector nào, nó có thể được sử dụng để xây dựng các thế giới lịch sử, dự đoán hoặc hư cấu, để tích hợp vào các trình mô phỏng chuyến bay và môi trường ảo. Ngoài ra, các nhà nghiên cứu dự đoán sẽ tổng hợp các môi trường ảo 3D hoàn chỉnh từ dữ liệu vector bằng cách sử dụng các bộ chuyển đổi.

Trong thời gian tới, các tác giả tin rằng khuôn khổ của họ có thể được sử dụng cho nhiều ứng dụng thực tế, bao gồm lập kế hoạch thành phố tương tác và mô hình hóa thủ tục, hình dung một kịch bản mà các bên liên quan có thể chỉnh sửa bản đồ một cách tương tác và xem hình ảnh từ trên cao của khu vực dự kiến trong vài giây.

Bài báo mới này đến từ hai nhà nghiên cứu tại Đại học Leeds, và có tiêu đề Seamless Satellite-image Synthesis.

Kiến trúc SSS tái tạo lại London, với một cái nhìn về cấu trúc vector cơ bản đang cho ăn vào quá trình tái tạo. Ở góc trên bên trái, toàn bộ hình ảnh, có sẵn trong tài liệu bổ sung ở độ phân giải 8k.

Kiến Trúc và Dữ Liệu Huấn Luyện Nguồn

Hệ thống mới này sử dụng kiến trúc tổng hợp hình ảnh Pix2Pix của UCL Berkeley năm 2017 và kiến trúc SPADE của NVIDIA. Khung này chứa hai mạng nơ-ron tích chập mới – map2sat, thực hiện việc chuyển đổi từ vector sang hình ảnh dựa trên pixel; và seam2cont, không chỉ tính toán một phương pháp liền mạch để thu thập các ô 256×256, mà còn cung cấp một môi trường khám phá tương tác.

Kiến trúc của SSS.

Hệ thống học cách tổng hợp hình ảnh vệ tinh bằng cách huấn luyện trên các hình ảnh vector và các hình ảnh vệ tinh thực tế tương ứng, tạo thành một sự hiểu biết chung về cách diễn giải các mặt vector thành hình ảnh thực tế.

Các hình ảnh vector được sử dụng trong tập dữ liệu được chuyển đổi từ tệp GeoPackage (.geo) chứa tới 13 nhãn lớp, chẳng hạn như đường, môi trường tự nhiên, toà nhà và đường, được sử dụng để quyết định loại hình ảnh sẽ được đưa vào hình ảnh vệ tinh.

Các hình ảnh vệ tinh được chuyển đổi từ tệp.geo cũng giữ lại siêu dữ liệu hệ quy chiếu tọa độ địa phương, được sử dụng để diễn giải chúng trong khuôn khổ bản đồ rộng lớn hơn, và cho phép người dùng điều hướng các bản đồ được tạo ra một cách tương tác.

Ô Liền Mạch Dưới Các Giới Hạn Khắt Khe

Tạo ra các môi trường bản đồ có thể khám phá là một thách thức, vì các hạn chế về phần cứng trong dự án hạn chế kích thước ô chỉ 256 x 256 pixel. Do đó, quá trình kết xuất hoặc tổng hợp phải tính đến “bức tranh lớn” hơn, thay vì chỉ tập trung vào ô hiện tại, điều này sẽ dẫn đến sự kết hợp không thực tế khi các ô được ghép lại, với các con đường thay đổi màu sắc và các hiện tượng kết xuất không thực tế khác.

Do đó, SSS sử dụng một hệ thống phân cấp không gian của các mạng sinh để tạo ra sự thay đổi của nội dung ở nhiều mức độ khác nhau, và hệ thống có thể đánh giá các ô ở bất kỳ mức độ nào mà người xem cần.

Phần seam2cont của kiến trúc sử dụng hai lớp chồng chéo và độc lập của đầu ra map2sat, và tính toán một biên giới phù hợp trong khuôn khổ của hình ảnh rộng lớn hơn cần được đại diện:

Mô-đun Seam2Cont sử dụng một hình ảnh có ô liền mạch và một hình ảnh không có ô từ mạng map2sat, để tính toán các biên giới liền mạch giữa các ô 256×256 pixel được tạo ra.

Mạng map2sat là một phiên bản tối ưu hóa của mạng SPADE đầy đủ, được đào tạo độc quyền ở 256×256 pixel. Các tác giả lưu ý rằng đây là một triển khai nhẹ và linh hoạt, dẫn đến trọng lượng chỉ 31,5mb so với 436,9mb trong mạng SPADE đầy đủ.

3000 hình ảnh vệ tinh thực tế đã được sử dụng để đào tạo hai mạng con trong 70 kỷ đào tạo; tất cả hình ảnh chứa thông tin ngữ nghĩa tương đương (tức là một sự hiểu biết khái niệm cấp thấp về các đối tượng được mô tả như ‘đường’), và siêu dữ liệu định vị địa lý.

Để biết thêm thông tin, vui lòng truy cập trang dự án, cũng như video kèm theo (đính kèm dưới đây).