Andersonの視点
UrbanScene3D：セマンティックラベル付きの都市景観を備えた自律車研究用シミュレーター
Unite.AI を Google の優先ソースに追加
深圳大学のVisual Computing Research Centerは、世界中の主要都市を模した多様な、完全にセマンティックラベル付けされたシミュレーションを提供する大規模な都市シーンデータセットを開発しました。これは、ドライブ、ドローン、その他の種類のマシンラーニング環境シミュレーション研究イニシアチブのためのリソースとして利用されます。
UrbanScene3Dと呼ばれるこのシミュレーターは、リアルなテクスチャーを備えた、さまざまな密度のある詳細な都市の再構築を特徴としています。シナリオの多くは、プロのモデル作成者によって作成され、公開されている空中データから作成されており、現在、プログラムによる画像合成やRGB-Dキャプチャーシステムに基づくNeural Radiance Fields（NeRF）などのシステムでは、シミュレートするのが難しいまたは高価な人間主導の最適化レベルを備えています。
このプロジェクトは、コンピュータービジョン研究における大きな不均衡を解決することを目的としています。つまり、インテリアシーンに関するものと比較して、高品質のモデル構造とセマンティックラベル付けを備えた都市環境データセットの欠如です。
UrbanScene3Dで実行されるシミュレーションは、自律車やドローンなどのプロジェクト固有のデータセットの生成に必要な基準事実を提供できます。
UrbanScene3DでAirSimを実行し、深度マップを生成しています。 ソース：https://arxiv.org/pdf/2107.04286.pdf
プロジェクトのソースファイル（約70GB）は、研究および教育目的で無料で公開されています。実装はC++環境またはPythonで実行できますが、Unreal Engine 4（4.24が推奨）が必要です。空中プロジェクト（ドローンのトレーニングやシミュレーションなど）の場合、プロジェクトはMicrosoftのAirSimもサポートしています。
UrbanScene3Dには、プロのアーティストによって作成された6つのCAD環境と、5つの再構築された実世界の環境が含まれています。CADシーンには、ニューヨーク、シカゴ、サンフランシスコ、深圳、蘇州、上海の都市の再構築が含まれています。画像から派生したデータは、これらの都市の5つの特定のシーン、病院、大学キャンパスを中心に展開されています。
UrbanScene3Dに含まれる都市。
UrbanScene3Dの生データも公開されており、6000×4000ピクセルの高解像度空中画像や4K空中ビデオ、姿勢、再構築された3Dモデルが含まれています。
このプロジェクトは、既存の都市シーンデータセットの限界を解決することを目的としています。これは、CADレベルの詳細とセマンティックラベル付け、および深度マップ情報を備えた最初のデータセットです。以前の努力には以下が含まれます：
COCO
2014年にリリースされたMicrosoftのCommon Objects in Context（COCO）データセットには、80個のカテゴリにわたる150万個のオブジェクトインスタンスと、オブジェクト認識、5つのキャプションが含まれています。COCOには、GTメッシュ、姿勢、深度情報は含まれていません。
COCOエクスプローラーのアイコンセット。 ソース：https://arxiv.org/pdf/1405.0312.pdf
The KITTI Vision Benchmark Suite
カールスルーエ工科大学とシカゴのトヨタ技術研究所によって制作されたKITTIには、深度情報が含まれていますが、インスタンスマスクはありません。
CityScape
2016年にリリースされたCityscapes Dataset for Semantic Urban Scene Understanding（別名CityScape）は、密なセマンティックセグメンテーションと、人物や車両のインスタンスセグメンテーションを特徴としています。主な目的は、自律走行システムや都市モニタリングの開発を支援することです。
8つのクラス、平坦、人間、車両、建設、物体、自然、空、空白を特徴とし、5000枚の画像にわたる詳細なアノテーションを提供しています。
CityScapeは2020年にリリースされ、UrbanScene3Dと同様の機能を備えていますが、CADモデリングはありません。
ApolloCar3D
2018年にリリースされたApolloCar3Dは、バイドゥ研究によってリードされたもので、アメリカやアジアの各研究機関との共同プロジェクトです。
ApolloCar3Dは、地面レベルの自律車研究を目的としており、5,277枚のドライブ画像と60,000以上の車両インスタンスを特徴とし、詳細な3D CADモデルが絶対的なサイズでレンダリングされ、セマンティックキーポイントでラベル付けされています。このデータセットはKITTIよりも20倍以上大きいですが、UrbanScene3Dとは異なり、部分的な深度情報のみを備えています。
ApolloCar3Dデータセットの各CAD拡張車両に66個のキーポイントが定義されています。 ソース：https://arxiv.org/pdf/1811.12222.pdf
HoliCity
HoliCityは、2021年のUCバークレー、スタンフォード、USC、バイトダンスリサーチのパロアルトによる共同プロジェクトで、都市規模の3Dデータセットを提供し、高いレベルの構造的な詳細を備えています。20平方キロメートルを超えるエリアをカバーする6,300のリアルワールドパノラマシーンを提供しています。
このプロジェクトは、ローカリゼーション、拡張現実、地図作成、都市規模の再構築などの現実世界のアプリケーションを目的としています。CADモデリングを備えていますが、UrbanScene3Dのレベル以下の詳細度です。
ソース：https://github.com/zhou13/holicity
