УрбанСцене3Д: семантички означени градски пејзажи за истраживање аутономних возила

Центар за истраживање визуелног рачунарства на Универзитету Шенжен у Кини развио је велики скуп података о урбаној сцени који нуди различите, потпуно семантички означене симулације бројних великих градова широм света, као ресурс за вожњу, беспилотне летелице и друге врсте машина истраживачке иницијативе које симулирају окружење за учење.

право УрбанСцене3Д, симулатор карактерише низ густих и детаљних, пловних урбаних реконструкција са реалистичним текстурама. Многи од сценарија креирани су од стране професионалних моделара који раде на јавно доступним ваздушним подацима и садрже ниво оптимизације вођене људима који је тренутно тешко или скупо симулирати у потпуно програмској синтези слике и РГБ-Д системима за снимање заснованим на фотограметрија, као што су поља неуронског зрачења (НеРФ).

Пројекат се бави једном од највећих неравнотежа у истраживању компјутерског вида – недостатком богатих, семантички означених скупова података о урбаној средини са висококвалитетном структуром модела, у поређењу са веома високим нивоом доступности сличних семантичких података и података о моделирању који се односе на унутрашње сцене.

Симулације које се изводе у УрбанСцене3Д могу да обезбеде основну истину за генерисање накнадних скупова података специфичних за пројекат који се односе на аутономна возила и дронове, између осталих могућности.

УрбанСцене3Д покреће АирСим и производи мапе дубине. Извор: хттпс://аркив.орг/пдф/2107.04286.пдф

Изворни фајлови пројекта, око 70 ГБ, били су ослобођен бесплатно за потребе истраживања и образовања. Имплементација може да се изводи у Ц++ окружењу или у Питхон-у и захтева Унреал Енгине 4 (са препорученим 4.24). За пројекте из ваздуха, као што су обука дронова и симулација, пројекат такође подржава Мицрософтове АирСим.

УрбанСцене3Д садржи шест професионално моделованих ЦАД окружења које су професионални уметници генерисали са слика или са сателитских мапа, заједно са пет реконструисаних окружења из стварног света. ЦАД сцене представљају реконструкције Њујорка, Чикага, Сан Франциска, Шенжена, Суџоуа и Шангаја. Подаци добијени са слике су концентрисани на пет специфичних сцена из ових градова, укључујући болницу и универзитетски кампус.

Градови представљени у УрбанСцене3Д.

Необрађени подаци о аквизицији за УрбанСцене3Д такође су доступни, са сликама из ваздуха високе резолуције од 6000×4000 пиксела и 4К видео записима из ваздуха, заједно са позама и реконструисаним 3Д моделима.

Пројекат има за циљ да се позабави ограничењима постојећих скупова података урбане сцене, и први је који пружа висококвалитетне детаље на нивоу ЦАД-а заједно са семантичким означавањем и информацијама о мапи дубине. Претходни напори укључују:

Цоцо

Објављен 2014. године, Мицрософтови заједнички објекти у контексту (ЦОЦО) скуп података садржи 1.5 милиона инстанци објеката у 80 категорија, заједно са препознавањем објеката у контексту и пет наслова по слици. ЦОЦО не садржи ГТ мрежу са информацијама о пози или дубини.

Скуп икона ЦОЦО истраживача. Извор: хттпс://аркив.орг/пдф/1405.0312.пдф

КИТТИ Висион Бенцхмарк Суите

Произведен од Технолошког института Карлсруе и Технолошког института Тојота у Чикагу, КИТТИ пружа информације о дубини, али не и маске инстанце.

ЦитиСцапе

Цитисцапес Датасет за семантичко разумевање урбане сцене (ака ЦитиСцапе) је објављен 2016. и садржи густу семантичку сегментацију и сегментацију инстанце људи и возила. Као такав, његов примарни циљ је да помогне у развоју система аутономне вожње и суседних сектора урбаног надзора.

Садржи осам класа, укључујући раван, људски, возило, изградња, објекат, природи, небо воид, и нуди добро напомене преко 5000 слика.

Извор: хттпс://ввв.цитисцапес-датасет.цом/екамплес/#фине-аннотатионс

ЦитиСцапе је објављен 2020. године и по карактеристикама је сличан УрбанСцене3Д, осим што му недостаје ЦАД моделирање.

АполлоЦар3Д

Покренут 2018. године и вођен од стране Баиду Ресеарцх-а, АполлоЦар3Д је сарадња између бројних академских истраживачких јединица широм запада и Азије, укључујући Универзитет Калифорније у Сан Дијегу, Аустралијски национални универзитет и Северозападни политехнички универзитет у Ксијану, Кина.

АполлоЦар3Д је посебно усмерен на истраживање аутономних возила на нивоу земље и садржи 5,277 слика вожње и преко 60,000 инстанци возила које покреће детаљни 3Д ЦАД модели приказани у апсолутним величинама и означени за семантичке кључне тачке. Скуп података је више од 20 пута већи од КИТТИ, али, за разлику од УрбанСцене3Д, садржи само делимичну информацију о дубини.

Дефинисано је 66 кључних тачака за свако ЦАД-аугментирано возило у скупу података АполлоЦар3Д. Извор: хттпс://аркив.орг/пдф/1811.12222.пдф

ХолиЦити

ХолиЦити, описан као 'Платформа података градске скале за учење холистичких 3Д структура', је 2021. сарадња између УЦ Беркелеи, Станфорд, УСЦ и Битеданце Ресеарцх у Пало Алту. Састоји се од градског 3Д скупа података са високим нивоом структуралних детаља и нуди 6,300 панорамских сцена из стварног света које покривају површину већу од 20 квадратних километара.

Пројекат је усмерен на примене у стварном свету као што су локализација, проширена стварност, мапирање и реконструкција града. Иако садржи ЦАД моделирање, ниво детаља је испод нивоа УрбанСцене3Д.

Извор: хттпс://гитхуб.цом/зхоу13/холицити