Преобразование LiDAR в фотореалистичные изображения с помощью генеративной состязательной сети

Ранее на этой неделе кадры были освобожден показывает, как система автопилота Tesla врезалась прямо в бок заглохшего автомобиля на автомагистрали в июне 2021 года. Тот факт, что машина была темной и ее было трудно различить, побудил обсуждение об ограничениях использования компьютерного зрения в сценариях автономного вождения.

На кадрах, выпущенных в декабре 2021 года, запечатлен момент удара. Источник: https://twitter.com/greentheonly/status/1473307236952940548

Хотя сжатие видео в широко распространенных кадрах дает слегка преувеличенное впечатление о том, как быстро обездвиженный грузовик «подкрался» к водителю в данном случае, более качественная видеозапись того же события показывает, что даже полностью внимательный водитель вряд ли смог бы отреагировать чем-либо, кроме запоздалого маневра или недостаточно эффективного торможения.

Эти кадры усиливают споры вокруг Tesla. решение об удалении радарных датчиков для автопилота, объявленный в мае 2021 года, и его позиция в отношении предпочтение системам на основе зрения по сравнению с другими технологиями эхолокации, такими как LiDAR.

По совпадению, новая исследовательская работа из Израиля на этой неделе предлагает подход к объединению областей LiDAR и компьютерного зрения путем преобразования облаков точек LiDAR в фотореалистичные изображения с использованием генеративно-состязательной сети (GAN).

В новом проекте из Израиля черные автомобили, идентифицированные на кадрах LiDAR, преобразуются в сценарий «дневного света» для анализа на основе компьютерного зрения, аналогичного подходу, которого придерживается Tesla при разработке своей системы автопилота. Источник: https://arxiv.org/pdf/2112.11245.pdf

Авторы заявляют:

«Наши модели научились предсказывать реалистично выглядящие изображения только по данным облака точек, даже изображения с черными автомобилями.

«Черные автомобили сложно обнаружить непосредственно по облакам точек из-за их низкой отражательной способности. Этот подход может быть использован в будущем для визуального распознавания объектов на фотореалистичных изображениях, полученных из облаков точек лидара».

Фотореалистичные потоки изображений на основе LiDAR

The Новый документ называется Генерация фотореалистичных изображений из облаков точек LiDAR с помощью генеративных состязательных сетей, и исходит от семи исследователей на трех израильских академических факультетах вместе с шестью исследователями из израильской компании Innoviz Technologies.

Исследователи намеревались выяснить, можно ли создавать синтетические изображения на основе GAN с подходящей скоростью из облаков точек, генерируемых системами LiDAR, чтобы последующий поток изображений можно было использовать в рабочих процессах распознавания объектов и семантической сегментации.

Цены

Центральная идея, как и во многих новые проекты транслитерации изображений [x]>[x], заключается в обучении алгоритма на парных данных, где изображения облака точек LiDAR (которые полагаются на свет, излучаемый устройством) обучаются совпадающему кадру с фронтальной камеры.

Поскольку кадры были сделаны в дневное время, когда система компьютерного зрения может легче идентифицировать в противном случае неуловимый полностью черный автомобиль (например, тот, в который Tesla врезалась в июне), эта тренировка должна предоставить центральную истину, более устойчивую к условиям темноты.

Данные были собраны с помощью датчика InnovizOne LiDAR, который обеспечивает скорость захвата 10 кадров в секунду или 15 кадров в секунду, в зависимости от модели.

Данные LiDAR, полученные устройством Innoviz. Источник: https://www.youtube.com/watch?v=wmcaf_VpsQI

Полученный набор данных содержал около 30,000 200,000 изображений и 3 XNUMX собранных XNUMXD-точек. Исследователи провели два теста: один, в котором данные облака точек содержали только информацию об отражательной способности; и второй, в котором данные облака точек имели два канала, по одному для отражательной способности и расстояния.

Для первого эксперимента GAN была обучена до 50 эпох, за пределами которых переобучение считалось проблемой.

Созданные GAN изображения из первого эксперимента. Слева данные облака точек; посередине реальные кадры из отснятого материала, использованного в качестве наземной правды; правильно, синтетические представления, созданные генеративно-состязательной сетью.

Авторы комментируют:

«Тестовый набор — это совершенно новая запись, которую GAN никогда не видели до теста. Это было предсказано с использованием только информации об отражательной способности из облака точек.

«Мы решили показать кадры с чёрными автомобилями, потому что чёрные автомобили обычно сложно обнаружить с помощью лидара. Мы видим, что генератор научился генерировать чёрные автомобили, вероятно, на основе контекстной информации, поскольку цвета и точные формы объектов на прогнозируемых изображениях не идентичны цветам и формам на реальных изображениях».

Во втором эксперименте авторы обучили GAN на 40 эпохах с размером партии 1, что привело к аналогичному представлению «репрезентативных» чёрных автомобилей, полученных в основном из контекста. Эта конфигурация также использовалась для генерации XNUMX году на котором показаны кадры, сгенерированные GAN (на фото вверху, на образце изображения ниже) вместе с кадрами с правдой.

Оценка

Обычный процесс оценки и сравнения с существующим уровнем развития техники был невозможен в этом проекте из-за его уникального характера. Вместо этого исследователи разработали специальную метрику, определяющую, в какой степени автомобили (незначительные и мимолетные части исходного кадра) представлены в выходном материале.

Они выбрали 100 пар изображений LiDAR/сгенерированных из каждого набора и эффективно разделили количество изображений автомобилей, присутствующих в исходных кадрах, на число, присутствующее в полученных синтетических данных, получив метрическую шкалу от 0 до 1.

Авторы заявляют:

«Оценка в обоих экспериментах составила от 0.7 до 0.8. Учитывая, что общее качество прогнозируемых изображений ниже, чем реальных (на изображениях низкого качества, как правило, сложнее обнаружить объекты), эта оценка указывает на то, что подавляющее большинство автомобилей, представленных на реальных изображениях, присутствуют и на прогнозируемых изображениях».

Исследователи пришли к выводу, что обнаружение черных транспортных средств, что является проблемой как для систем на основе компьютерного зрения, так и для LiDAR, может быть осуществлено путем идентификации отсутствие данных для участков изображения:

«Тот факт, что в предсказанных изображениях информация о цвете и точные формы не идентичны наземной истине, предполагает, что предсказание черных автомобилей в основном основано на контекстной информации, а не на отражательной способности самих точек LiDAR.

«Мы предлагаем, чтобы в дополнение к традиционной системе LiDAR параллельно работала вторая система, генерирующая фотореалистичные изображения из облаков точек LiDAR, для визуального распознавания объектов в реальном времени».

Исследователи намерены развивать работу в будущем с большими наборами данных.

Задержка и переполненный стек обработки SDV

Один из комментаторов популярного поста в Twitter об аварии с автопилотом подсчитал, что при движении со скоростью около 75 миль в час (110 футов в секунду) видеотрансляция с частотой 20 кадров в секунду охватит всего 5.5 футов на кадр. Однако, если бы автомобиль работал на новейшем оборудовании и программном обеспечении Tesla, частота кадров составила бы 36 кадров в секунду (для основной камеры), что устанавливает частоту обработки данных на уровне 110 футов в секунду (три фута на кадр).

Помимо стоимости и эргономики, проблемой использования лидара в качестве дополнительного источника данных является огромный объём информационного «затора» входящих данных датчиков, поступающих в систему обработки SDV. В сочетании с критическим характером задачи это, по-видимому, привело к исключению радаров и лидаров из стека автопилота в пользу методов оценки на основе изображений.

Поэтому представляется маловероятным, что система, использующая LiDAR (что само по себе может стать узким местом в обработке данных автопилота), для получения фотореалистичных изображений осуществима с точки зрения Tesla.

Основатель Tesla Илон Маск не является категоричным критиком LiDAR, который он указывает SpaceX использует эту технологию для стыковки, но считает её «бессмысленной» для беспилотных аппаратов. Маск предполагает, что более полезной была бы длина волны, проникающая сквозь преграды, например, ~4 мм, как у прецизионного радара.

Однако по состоянию на июнь 2021 года автомобили Tesla тоже не оборудован радаром. Похоже, что в настоящее время существует не так много проектов, предназначенных для создания потоков изображений с радаров таким же образом, как нынешние попытки израильского проекта (хотя Министерство энергетики США авторами одна попытка получения изображений GAN, полученных с помощью радара, в 2018 г.).

Впервые опубликовано 23 декабря 2021 г.