มุมมองของ Anderson
UrbanScene3D: เมืองจำลอง 3 มิติสำหรับการวิจัยยานพาหนะอัตโนมัติ
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ศูนย์วิจัยการคำนวณภาพที่มหาวิทยาลัยเซินเจิ้นในประเทศจีนได้พัฒนาเซตข้อมูลเมืองขนาดใหญ่ที่มีการจำลองเมืองที่มีหลากหลายและเต็มรูปแบบ โดยมีการทำเครื่องหมายเชิงความหมายสำหรับการวิจัยและพัฒนาในด้านการขับขี่ ยานพาหนะอัตโนมัติ และการจำลองสภาพแวดล้อมอื่นๆ
ที่เรียกว่า UrbanScene3D นี้มีการจำลองเมืองที่มีรายละเอียดและสามารถนำทางได้จริง โดยมีการสร้างแบบจำลองจากข้อมูลทางอากาศที่มีอยู่แล้ว และมีการเพิ่มรายละเอียดโดยนักออกแบบมืออาชีพ ซึ่งยากหรือมีค่าใช้จ่ายสูงในการสร้างแบบจำลองในระบบสังเคราะห์ภาพและระบบการบันทึกข้อมูล RGB-D ที่ใช้เทคนิคโฟโต้แกรมมิทรี
โครงการนี้มีจุดมุ่งหมายเพื่อแก้ไขปัญหาการไม่สมดุลในด้านการวิจัยการมองเห็นของคอมพิวเตอร์ ซึ่งมีข้อมูลเมืองที่มีการทำเครื่องหมายเชิงความหมายและรายละเอียดที่ไม่เพียงพอ เมื่อเทียบกับข้อมูลภายในอาคารที่มีคุณภาพสูง
การจำลองใน UrbanScene3D สามารถให้ข้อมูลที่ถูกต้องสำหรับการสร้างเซตข้อมูลอื่นๆ ที่เกี่ยวข้องกับยานพาหนะอัตโนมัติและโดรน
UrbanScene3D running AirSim, and producing depth maps. Source: https://arxiv.org/pdf/2107.04286.pdf
ไฟล์แหล่งที่มาของโครงการนี้มีขนาดประมาณ 70gb และได้รับการเผยแพร่ฟรีสำหรับการใช้งานในด้านการวิจัยและการศึกษา การใช้งานสามารถทำงานในภาษา C++ หรือ Python และต้องใช้ Unreal Engine 4 (แนะนำรุ่น 4.24) สำหรับโครงการที่เกี่ยวข้องกับการบิน เช่น การฝึกอบรมและจำลองโดรน โครงการนี้ยังรองรับ AirSim ของ Microsoft
UrbanScene3D มีแบบจำลอง CAD สáuแบบที่สร้างโดยนักออกแบบมืออาชีพจากภาพหรือแผนที่ดาวเทียม และมีแบบจำลองที่สร้างขึ้นจากโลกจริงห้าแบบ แบบจำลอง CAD มีการสร้างแบบจำลองของเมืองใหญ่ๆ เช่น นิวยอร์ก ชิคาโก้ ซานฟรานซิสโก เซินเจิ้น ซูโจว และเซี่ยงไฮ้
Cities represented in UrbanScene3D.
ข้อมูลดิบสำหรับ UrbanScene3D ยังได้รับการเผยแพร่ ซึ่งรวมถึงภาพทางอากาศที่มีความละเอียดสูง 6000×4000 พิกเซล และวิดีโอทางอากาศ 4K พร้อมกับข้อมูลที่เกี่ยวข้องและแบบจำลอง 3 มิติที่สร้างขึ้น
COCO
发布于 2014 年的微软的 COCO（Common Objects in Context）数据集包含 1.5 百万个对象实例，跨越 80 个类别，以及对象识别和上下文，并且每个图像有五个标题。COCO 不包含 GT 网格、位姿或深度信息。
The COCO explorer icon set. Source: https://arxiv.org/pdf/1405.0312.pdf
The KITTI Vision Benchmark Suite
由卡尔斯鲁厄理工学院和芝加哥托约达技术研究所联合制作的 KITTI 数据集提供了深度信息，但不包含实例掩码。
CityScape
发布于 2016 年的 Cityscapes 数据集用于语义城市场景理解（也称为 CityScape），其主要目标是支持自动驾驶系统和城市监测的开发。
它包含八个类别，包括 flat、human、vehicle、construction、object、nature、sky 和 void，并提供了 5000 张图像的细致注释。
Source: https://www.cityscapes-dataset.com/examples/#fine-annotations
CityScape 于 2020 年发布，其功能与 UrbanScene3D 相似，但缺乏 CAD 建模。
ApolloCar3D
于 2018 年发布的 ApolloCar3D 是百度研究院与多个学术研究单位之间的合作，包括加利福尼亚大学圣地亚哥分校、澳大利亚国立大学和中国西安的西北工业大学。
ApolloCar3D 专注于地面自动驾驶车辆研究，包含 5,277 张驾驶图像和超过 60,000 个车辆实例，使用详细的 3D CAD 模型渲染绝对大小，并标记了语义关键点。该数据集比 KITTI 大 20 多倍，但与 UrbanScene3D 不同，只提供部分深度信息。
66 key-points are defined for each CAD-augmented vehicle in the ApolloCar3D dataset. Source: https://arxiv.org/pdf/1811.12222.pdf
HoliCity
HoliCity 是 2021 年由伯克利加州大学、斯坦福大学、南加州大学和 Bytedance 研究院在帕洛阿尔托合作的项目，称为“整体 3D 结构学习的城市规模数据平台”。它包含一个具有高细节水平的城市规模 3D 数据集，涵盖超过 20 平方公里的区域，包含 6,300 个真实世界全景场景。
该项目旨在支持诸如定位、增强现实、映射和城市规模重建等实际应用。虽然它具有 CAD 建模，但细节水平低于 UrbanScene3D。
Source: https://github.com/zhou13/holicity
