Новый метод помогает самоходным автомобилям создавать «воспоминания»

Команда исследователей из Корнелльского университета разработала новый метод, позволяющий автономным транспортным средствам создавать «воспоминания» о предыдущих опытах, которые могут быть использованы в будущей навигации. Это будет особенно полезно, когда эти самоходные автомобили не могут полагаться на датчики в плохих погодных условиях.

Учеба на прошлом

Текущие самоходные автомобили, использующие искусственные нейронные сети, не имеют памяти о прошлом, что означает, что они постоянно «видят» вещи впервые. И это верно, независимо от того, сколько раз они проехали по одной и той же дороге.

Киллиан Вайнбергер является старшим автором исследования и профессором компьютерных наук.

«Фундаментальный вопрос заключается в том, можем ли мы учиться на повторяющихся прохождениях?» сказал Вайнбергер. «Например, автомобиль может принять странно выглядящее дерево за пешехода в первый раз, когда его лазерный сканер воспринимает его издалека, но как только он достаточно близко, категория объекта станет ясной. Итак, во второй раз, когда вы проедете мимо одного и того же дерева, даже в тумане или снегу, вы надеетесь, что автомобиль теперь научился распознавать его правильно».

Под руководством аспиранта Карлоса Диас-Руиса группа создала набор данных, проехав автомобиль, оснащенный датчиками LiDAR, по 15-километровой петле в общей сложности 40 раз за 18-месячный период. Различные тестовые поездки захватили различные среды, погодные условия и время суток. Все это создало набор данных с более чем 600 000 сцен.

«Это намеренно подчеркивает один из ключевых проблем в самоходных автомобилях: плохие погодные условия», сказал Диас-Руис. «Если улица покрыта снегом, люди могут полагаться на воспоминания, но без воспоминаний нейронная сеть сильно недооценена».

HINDSIGHT и MODEST

Один из подходов, называемый HINDSIGHT, использует нейронные сети для вычисления описателей объектов, когда автомобиль проходит мимо них. Эти описания, называемые SQuaSH, затем сжимаются и хранятся на виртуальной карте, создавая своего рода «память», подобную тому, как мы храним свои собственные воспоминания в мозге.

Когда самоходный автомобиль проходит через одно и то же место в будущем, он запрашивает локальную базу данных SQuaSH для каждого пункта LiDAR по маршруту, «вспоминая», что он научился. Постоянно обновляемая база данных共享на между транспортными средствами, помогая улучшить распознавание, предоставляя больше информации.

Юронг Ю является аспирантом.

«Эта информация может быть добавлена в качестве функций к любому детектору 3D-объектов на основе LiDAR», сказал Ю. «И детектор, и представление SQuaSH могут быть обучены совместно без дополнительного надзора или человеческой аннотации, что является трудоемким и требует много времени».

HINDSIGHT поможет команде с дополнительными исследованиями, которые они проводят, называемыми MODEST (Mobile Object Detection with Ephemerality and Self-Training). MODEST продвинет этот процесс и позволит автомобилю научиться всей цепочке восприятия.

HINDSIGHT предполагает, что искусственная нейронная сеть уже обучена обнаруживать объекты и дополняется возможностью создавать воспоминания, в то время как MODEST предполагает, что искусственная нейронная сеть никогда не была подвергнута воздействию объектов или улиц. После нескольких прохождений по одному и тому же маршруту он учится, какие части окружающей среды являются стационарными или движущимися объектами. Этот процесс позволяет системе научиться тому, на что она должна обращать внимание как на других участников движения.

Алгоритм продемонстрировал способность надежно обнаруживать объекты даже на дорогах, которые не входили в состав первоначальных прохождений.

Команда считает, что эти новые подходы могут сократить стоимость разработки автономных транспортных средств, а также сделать их более эффективными.