Технология самоходных транспортных средств Waymo становится умнее, распознает миллиарды объектов благодаря поиску контента

Самоходные транспортные средства, разработанные компанией Waymo, используют методы компьютерного зрения и искусственного интеллекта для восприятия окружающей среды и принятия решений в режиме реального времени о том, как транспортное средство должно реагировать и двигаться. Когда объекты воспринимаются камерой и датчиками внутри транспортного средства, они сопоставляются с большой базой данных, составленной компанией Alphabet (GOOG ) (GOOGL ), для их распознавания.

Массивные наборы данных имеют большое значение для обучения самоходных транспортных средств, поскольку они позволяют искусственному интеллекту внутри транспортных средств улучшать свою производительность. Однако инженерам необходимо найти способ эффективно сопоставлять элементы в наборе данных с запросами, чтобы они могли изучить, как искусственный интеллект работает с конкретными типами изображений. Для решения этой проблемы, как сообщает VentureBeat, компания Waymo недавно разработала инструмент под названием “Поиск контента”, который работает подобно поиску Google Image и Google Photos. Эти системы сопоставляют запросы с семантическим содержанием изображений, генерируя представления объектов, что делает извлечение изображений на основе естественных языковых запросов проще.

До появления инструмента “Поиск контента” исследователи Waymo, если они хотели получить определенные образцы из журналов, должны были описать объект, используя эвристику. Журналы Waymo должны были быть найдены с помощью команд, которые искали объекты на основе правил, что означало выполнение поиска объектов, которые были “ниже X высоты” или объектов, которые “двигались со скоростью Y миль в час”. Результаты этих правил-ориентированных поисков могли быть довольно широкими, и исследователям затем необходимо было просмотреть возвращенные результаты вручную.

Инструмент “Поиск контента” решает эту проблему, создавая каталоги данных и проводя поиски сходства в различных каталогах для нахождения наиболее схожих категорий при представлении объекта. Если инструменту “Поиск контента” представлен грузовик или дерево, он вернет другие грузовики или деревья, с которыми самоходные транспортные средства Waymo столкнулись. Когда транспортное средство Waymo едет, оно записывает изображения объектов вокруг себя, а затем хранит эти объекты как вложения/математические представления. Это означает, что инструмент может сравнить категории объектов и ранжировать ответы по степени сходства между представленным объектом и хранимыми объектами. Это похоже на то, как работает сервис сопоставления сходства вложений, эксплуатируемый Google.

Объекты, с которыми столкнулись транспортные средства Waymo, могут иметь разные формы и размеры, но все они должны быть сведены к их основным компонентам и категоризированы, чтобы инструмент “Поиск контента” работал. Для этого Waymo использует несколько моделей искусственного интеллекта, обученных на широком спектре объектов. Различные модели учатся распознавать различные объекты, и они поддерживаются инструментом “Поиск контента”, который позволяет моделям понимать, находятся ли элементы конкретной категории внутри данного изображения. Дополнительно используется модель оптического распознавания символов, которая позволяет транспортным средствам Waymo добавлять дополнительную идентифицирующую информацию к объектам в изображениях на основе любого текста, найденного в изображении. Например, грузовик, оснащенный знаками, будет иметь текст знака включенным в его описание инструмента “Поиск контента”.

Благодаря работе этих моделей в совокупности, исследователи и инженеры Waymo могут искать в журналах изображений очень конкретные объекты, такие как определенные виды деревьев и марки автомобилей.

По словам Waymo, как цитирует VentureBeat:

«С помощью инструмента “Поиск контента” мы можем автоматически аннотировать объекты в нашей истории вождения, что в свою очередь экспоненциально увеличивает скорость и качество данных, которые мы отправляем для маркировки. Способность ускорить маркировку способствовала многим улучшениям в нашей системе, от обнаружения школьных автобусов с детьми, готовыми выйти на тротуар, или людей, едущих на электроскутерах, до кошки или собаки, пересекающей улицу. Когда Waymo расширяется до более городов, мы продолжим сталкиваться с новыми объектами и сценариями».

Это не первый раз, когда Waymo использует несколько моделей машинного обучения для повышения надежности и точности своих транспортных средств. Waymo сотрудничала с Alphabet/Google в прошлом, помогая разработать технику искусственного интеллекта вместе с DeepMind. Система искусственного интеллекта черпает вдохновение из эволюционной биологии. Сначала создаются несколько моделей машинного обучения, и после их обучения модели, которые показали худшие результаты, отбрасываются и заменяются моделями-потомками. Эта техника, как сообщается, смогла существенно сократить количество ложных положительных результатов, а также уменьшить необходимые вычислительные ресурсы и время обучения.

https://venturebeat.com/2020/02/06/waymos-ai-content-search-tool-lets-engineers-find-objects-within-its-driving-records/