ベクターマップから衛星画像を作成する

英国の研究者は、ベクターベースのマップを衛星スタイルの画像に変換できるAIベースの画像合成システムを開発しました。

ニューラルアーキテクチャは、シームレスサテライト画像合成(SSS)と呼ばれ、よりリアルな仮想環境とナビゲーションソリューションを提供する可能性があります。これらの環境とソリューションは、衛星画像よりも高解像度で提供でき、カートグラフィックマップシステムがリアルタイムで更新できるため、より最新の情報を提供できます。また、衛星センサーの解像度が限られている、または利用できない地域でも、リアルな軌道スタイルのビューを提供できます。

解像度のないベクターデータをより高解像度の画像サイズに変換でき、ネットワークベースのカートグラフィックマップの更新、たとえば新しい障害物や道路ネットワークインフラストラクチャの変更を迅速に反映できます。 ソース：https://arxiv.org/pdf/2111.03384.pdf

システムの能力を示すために、研究者は、Google Earthスタイルのインタラクティブ環境を作成しました。ここでは、ビューアーがさまざまなレンダリングスケールと詳細で生成された衛星画像をズームインして観察できます。タイルは、従来の衛星画像のインタラクティブシステムと同様に、リアルタイムで更新されます。

カートグラフィックマップに基づいて作成された環境にズームインしています。ビデオを参照してください。 ソース：https://www.youtube.com/watch?v=PqFySVpkZzg

さらに、システムは任意のベクターベースマップから衛星スタイルの画像を生成できるため、歴史的、予測、または架空の世界を構築するために使用できます。さらに、研究者は、トランスフォーマーを使用してカートグラフィックデータから完全に3Dの仮想環境を合成することを予測しています。

近い将来、著者は、インタラクティブな都市計画や手続き的モデリングなどの実際のアプリケーションでフレームワークを使用できることを信じています。たとえば、利害関係者はマップをインタラクティブに編集し、数秒以内に予測された地形の鳥瞰図を表示できます。

新しい論文は、リーズ大学の2人の研究者によって作成され、シームレスサテライト画像合成と題されています。

SSSアーキテクチャはロンドンを再現し、下部に示されるベクタ構造が再構築に使用されています。上部左側の画像は、8K解像度で補足資料として利用できます。

アーキテクチャとソーストレーニングデータ

新しいシステムは、UCL Berkeleyの2017年のPix2PixとNVIDIAのSPADE画像合成アーキテクチャを使用しています。フレームワークには、2つの新しい畳み込みニューラルネットワーク、map2satとseam2contが含まれています。map2satは、ベクタからピクセルベースの画像への変換を実行し、seam2contは、256×256ピクセルのタイルをシームレスに組み合わせる方法を計算し、インタラクティブな探索環境も提供します。

SSSのアーキテクチャ

システムは、ベクタービューとその実際の衛星画像のペアを使用してトレーニングし、ベクターファセットを写真のように解釈する方法について一般化された理解を形成します。

データセットに使用されるベクターベースの画像は、GeoPackage (.geo) ファイルからラスター化され、最大13のクラスラベル（たとえば、トラック、自然環境、ビルディング、道路）を含みます。これらのラベルは、衛星画像に含める画像の種類を決定するために使用されます。

ラスター化された.geo衛星画像は、ローカル座標参照システムのメタデータも保持しており、これは、画像をより広いマップフレームワークのコンテキストで解釈し、ユーザーが作成されたマップをインタラクティブにナビゲートできるようにするために使用されます。

厳しい制約の下でのシームレスタイル

探索可能なマップ環境を作成することは、ハードウェアの制限によりタイルを256 x 256ピクセルに制限するため、課題です。したがって、レンダリングまたは組み立てプロセスがタイル単独ではなく、より広い画像を考慮する必要があります。そうでない場合、タイルを組み合わせると、道路の色が突然変化したり、他の非リアルなレンダリングのアーティファクトが発生したりします。

したがって、SSSは、さまざまなスケールでのコンテンツのバリエーションを生成するためのスケール空間階層のジェネレーターネットワークを使用し、システムは、ビューアーが必要とする任意の中間スケールでタイルを評価できます。

seam2contセクションのアーキテクチャは、map2sat出力の2つの重なり合う独立したレイヤーを使用し、より広い画像のコンテキスト内で適切な境界を計算します。

Seam2Contモジュールは、シームのある画像とシームのない画像の両方をmap2satネットワークから使用して、256×256ピクセルの生成タイル間のシームレスな境界を計算します。

map2satネットワークは、256×256ピクセルで専門的にトレーニングされた、フルフェッチドSPADEネットワークの最適化されたアダプテーションです。著者は、これが軽量でスピードのある実装であり、重量が31.5MB（フルSPADEネットワークの436.9MB）であることを指摘しています。

3000の実際の衛星画像を使用して、2つのサブネットワークを70エポックのトレーニング時間でトレーニングしました。すべての画像には、同じ意味の情報（たとえば、道路などの表現されたオブジェクトの低レベルの概念的な理解）と、地理ベースの位置情報メタデータが含まれています。

さらに、プロジェクトページと以下に埋め込まれたビデオで、追加の資料が利用できます。