Исследователи разрабатывают автономные системы, способные обнаруживать изменения теней

Инженеры в MIT разработали новую систему, которая крайне важна для автономных транспортных средств и их безопасности. Система способна обнаруживать небольшие изменения теней на земле и определять, есть ли движущиеся объекты за углом.

Одной из основных целей для любой компании, стремящейся создать автономные транспортные средства, является повышение безопасности. Инженеры постоянно работают над улучшением транспортных средств для избежания столкновений с другими автомобилями или пешеходами, особенно теми, которые подходят к углу здания.

Новая система также имеет потенциал быть использованной на будущих роботах, которые будут навигировать по больницам. Эти роботы смогут доставлять лекарства или припасы по всей больнице, и система поможет им избежать столкновений с людьми.

На следующей неделе на Международной конференции по интеллектуальным роботам и системам (IROS) будет представлена статья, в которой описаны успешные эксперименты, проведенные исследователями, включая автономный автомобиль, маневрирующий вокруг парковки и останавливающийся при приближении к другому транспортному средству.

Текущая система часто использует LIDAR, который может обнаруживать видимые объекты за более чем половину секунды. Согласно исследователям, доли секунды могут иметь огромное значение для быстро движущихся автономных транспортных средств.

«Для приложений, где роботы движутся в средах с другими движущимися объектами или людьми, наш метод может дать роботу раннее предупреждение о том, что кто-то приближается к углу, поэтому транспортное средство может замедлить движение, изменить траекторию и подготовиться заранее, чтобы избежать столкновения», – добавляет соавтор Даниэла Рус, директор лаборатории компьютерных наук и искусственного интеллекта (CSAIL) и профессор электротехники и компьютерных наук Эндрю и Эрны Витерби. «Большая мечта – предоставить «рентгеновское зрение» транспортным средствам, движущимся быстро по улицам».

Новая автономная система была протестирована только в помещении. В этих условиях освещение более низкое, а скорость роботов ниже. Автономная система может проанализировать и обнаружить тени намного легче в этой среде.

Статья была составлена Даниэлой Рус, первым автором Феликсом Насером, бывшим исследователем CSAIL; Александром Амини, аспирантом CSAIL; Игорем Гиличенским, постдоком CSAIL; аспирантом Кристиной Лиао; Гаем Розманом из Toyota Research Institute; и Сертаком Карманом, доцентом аэронавтики и астронавтики в MIT.

Система ShadowCam

До новых разработок исследователи уже имели систему под названием «ShadowCam». Система способна идентифицировать и классифицировать изменения теней на земле с помощью компьютерных методов зрения. Ранние версии системы были разработаны профессорами MIT Уильямом Фриманом и Антонио Торральбой. Два профессора не были соавторами статьи IROS, и их работа была представлена в 2017 и 2018 годах.

ShadowCam использует кадры видео с целевой камеры и может обнаружить любые изменения яркости света во времени. Это говорит системе о том, что что-то движется дальше или ближе, и затем анализирует информацию и классифицирует каждое изображение как неподвижный объект или движущийся. Это позволяет системе действовать наилучшим возможным образом.

ShadowCam была доработана и изменена для использования на автономных транспортных средствах. Первоначально она использовала метки дополненной реальности, называемые «AprilTags», которые были подобны QR-кодам. ShadowCam использовала эти метки для фокусировки на определенных кластерах пикселей, чтобы определить, есть ли тени. Однако эта система оказалась невозможной для использования в реальных сценариях.

В связи с этим исследователи создали новый процесс, который использует регистрацию изображений и технику визуальной одометрии вместе. Регистрация изображений накладывает несколько изображений, чтобы выявить любые вариации.

Техника визуальной одометрии, используемая исследователями, называется «Прямая скудная одометрия» (DSO), и она работает аналогично AprilTags. DSO использует 3D-печатный облако и строит различные особенности окружающей среды на нем. Затем компьютерная система зрения находит область интереса, например, пол.

ShadowCam использует DSO-регистрацию изображений и накладывает все изображения из одной точки зрения робота. Робот, движущийся или неподвижный, может затем сосредоточиться на одном и том же участке пикселей, где есть тень.

Что дальше

Исследователи продолжат работать над этой системой и будут сосредоточены на различиях между внутренними и внешними условиями освещения. В конечном итоге команда хочет увеличить скорость системы, а также автоматизировать процесс.