UrbanScene3D: Семантично позначені міські ландшафти для досліджень автономних транспортних засобів

Дослідницький центр візуальних обчислень університету Шеньчженя в Китаї розробив великомасштабний набір даних міської сцени, який пропонує різноманітні, повністю семантично позначені симуляції кількох великих міст світу, як ресурс для досліджень середовища навчання з використанням машинного навчання.

Названий UrbanScene3D, симулятор пропонує різноманітні густі та деталізовані, навігаційні міські реконструкції з реалістичними текстурами. Багато сценаріїв створені професійними модельерами, які працюють з публічно доступними аерофотознімками, і мають рівень людської оптимізації, який зараз важко або дорого симулювати в цілком програмних системах синтезу зображень і захоплення RGB-D на основі фотограмметрії, таких як Neural Radiance Fields (NeRF).

Проект вирішує одну з основних проблем у дослідженні комп’ютерного зору – відсутність багатих, семантично позначених міських середовищ даних з високоякісною моделлю структури, порівняно з дуже високим рівнем доступності подібних семантичних і моделючих даних, пов’язаних з внутрішніми сценами.

Симуляції, що працюють в UrbanScene3D, можуть надавати основу для генерації наступних наборів даних проекту, пов’язаних з автономними транспортними засобами і безпілотними літальними апаратами, серед інших можливостей.

UrbanScene3D запускає AirSim і генерує глибинні карти. Джерело: https://arxiv.org/pdf/2107.04286.pdf

Джерельні файли проекту, близько 70 ГБ, були опубліковані безкоштовно для цілей досліджень і освітньої діяльності. Реалізація може працювати в середовищі C++ або Python і вимагає Unreal Engine 4 (з рекомендацією 4.24). Для аерофотознімків, таких як навчання безпілотних літальних апаратів і симуляція, проект також підтримує AirSim від Microsoft.

UrbanScene3D пропонує шість професійно змодельованих CAD-окружень, згенерованих професійними художниками з зображень або супутникових карт, разом з п’ятьма реконструйованими реальними середовищами. CAD-сцени пропонують реконструкції Нью-Йорка, Чикаго, Сан-Франциско, Шеньчженя, Сучжоу і Шанхая. Зображення, отримані з даних, зосереджені на п’яти конкретних сценах цих міст, включаючи лікарню і університетський кампус.

Міста, представлені в UrbanScene3D.

Сирові дані для отримання UrbanScene3D також будуть опубліковані, включаючи високороздільні аерофотознімки розміром 6000×4000 пікселів, і 4K-аерофотознімки, разом з позами і реконструйованими 3D-моделями.

Проект спрямований на вирішення обмежень існуючих міських середовищ даних і є першим, який пропонує високоякісні CAD-деталі разом з семантичним позначенням і інформацією про глибину. Попередні зусилля включають:

COCO

Опублікований у 2014 році, набір даних Common Objects in Context (COCO) компанії Microsoft набір даних пропонує 1,5 мільйона об’єктів у 80 категоріях, разом з розпізнаванням об’єктів у контексті, і п’ятьма підписами до зображення. COCO не пропонує GT-ґратку з позою або інформацією про глибину.

Іконка набору даних COCO. Джерело: https://arxiv.org/pdf/1405.0312.pdf

The KITTI Vision Benchmark Suite

Створений Інститутом технологій Карлсруе і Технологічним інститутом Тойоти в Чикаго, KITTI пропонує інформацію про глибину, але не екземпляри масок.

CityScape

Набір даних Cityscapes Dataset для семантичного розуміння міських сцен (також відомий як CityScape) був опублікований у 2016 році і пропонує густе семантичне сегментування, і сегментування екземплярів людей і транспортних засобів. Його основною метою є допомога у розвитку систем автономного руху і суміжних секторів міської моніторингу.

Він пропонує вісім класів, включаючи плоский, людина, транспортний засіб, будівництво, об’єкт, природа, небо і пустота, і пропонує тонкі анотації по 5000 зображень.

Джерело: https://www.cityscapes-dataset.com/examples/#fine-annotations

CityScape був опублікований у 2020 році і є подібним до UrbanScene3D, за винятком того, що він не пропонує CAD-моделювання.

ApolloCar3D

Запущений у 2018 році і очолюваний дослідженнями Baidu, ApolloCar3D є співробітництвом між кількома академічними дослідницькими одиницями на Заході і в Азії, включаючи університет Каліфорнії у Сан-Дієго, Національний університет Австралії і Північно-Західний політехнічний університет у Сіані, Китай.

ApolloCar3D конкретно спрямований на дослідження автономних транспортних засобів на рівні землі і пропонує 5 277 зображень з водіння, і понад 60 000 екземплярів транспортних засобів, що працюють на основі детальних 3D-CAD-моделей, відтворених у абсолютних розмірах, і позначених для семантичних ключових точок. Набір даних у понад 20 разів більший, ніж KITTI, але, на відміну від UrbanScene3D, пропонує тільки часткову інформацію про глибину.

66 ключових точок визначені для кожного транспортного засобу у наборі даних ApolloCar3D. Джерело: https://arxiv.org/pdf/1811.12222.pdf

HoliCity

HoliCity, описаний як “Платформа даних міського масштабу для навчання голістичних 3D-структур”, є співробітництвом 2021 року між UC Berkeley, Стенфордом, USC і Bytedance Research у Пало-Альто. Він складається з набору даних міського масштабу з високим рівнем деталізації структури, і пропонує 6 300 реальних панорамних сцен, що охоплюють площу понад 20 квадратних кілометрів.

Проект спрямований на реальні застосування, такі як локалізація, доповнена реальність, картографування і реконструкція міста. Хоча він пропонує CAD-моделювання, рівень деталізації нижчий, ніж у UrbanScene3D.

Джерело: https://github.com/zhou13/holicity