Инновационный биоинспирированный датчик обнаруживает движение и предсказывает траектории для различных применений

Исследователи из Университета Аалто разработали инновационный биоинспирированный датчик, который может обнаруживать движущиеся объекты в одном кадре видео и точно предсказывать их будущее движение. Описанный в статье Nature Communications, этот передовой датчик имеет многочисленные потенциальные применения в таких областях, как динамическое зрительное восприятие, автоматический контроль, контроль промышленных процессов, робототехника и технология автономного вождения.

Традиционные системы обнаружения движения требуют множества компонентов и сложных алгоритмов, которые выполняют анализ кадр за кадром, что приводит к неэффективности и высокому энергопотреблению. Чтобы устранить эти ограничения, команда Университета Аалто обратилась к человеческой системе зрения за вдохновением и создала нейроморфную технологию зрения, которая объединяет датчик, память и обработку в одном устройстве, способном обнаруживать движение и предсказывать траектории.

Фотомемристоры: ядро новой технологии

Технология исследователей основана на массиве фотомемристоров, электрических устройствах, которые генерируют электрический ток в ответ на свет. Фотомемристоры обладают уникальной характеристикой: ток не прекращается сразу после выключения света, а постепенно затухает. Эта особенность позволяет фотомемристорам эффективно “запоминать” свое недавнее воздействие света, что позволяет датчику, состоящему из массива этих устройств, не только захватить мгновенную информацию о сцене, но и динамическую память о предыдущих моментах.

“Уникальная особенность нашей технологии заключается в ее способности интегрировать ряд оптических изображений в один кадр”, – объясняет Хонгвей Тан, руководитель исследования. “Информация каждого изображения встроена в последующие изображения как скрытая информация. Другими словами, последний кадр в видео также содержит информацию о всех предыдущих кадрах. Это позволяет нам обнаруживать движение раньше в видео, анализируя только последний кадр с помощью простой искусственной нейронной сети. Результатом является компактный и эффективный датчик.”

Демонстрация возможностей технологии

Чтобы продемонстрировать свою технологию, исследователи использовали видео, на которых отображались буквы слова одна за другой. Хотя все слова заканчивались буквой “Е”, традиционные датчики зрения не могли определить, была ли буква “Е” на экране после других букв в слове “ЯБЛОКО” или “ВИНОГРАД”. Однако массив фотомемристоров смог использовать скрытую информацию в последнем кадре, чтобы определить, какие буквы предшествовали ей, и предсказать слово с почти 100% точностью.

В другом эксперименте команда показала датчику видео симулированного человека, движущегося с тремя разными скоростями. Система не только могла распознавать движение, анализируя один кадр, но и точно предсказывала последующие кадры.

Последствия для автономных транспортных средств и интеллектуальных транспортных систем

Точное обнаружение движения и предсказание траектории имеют решающее значение для технологии автономного вождения и интеллектуальных транспортных систем. Автономные транспортные средства полагаются на точные предсказания того, как будут двигаться машины, велосипеды, пешеходы и другие объекты, чтобы принимать обоснованные решения. Включая систему машинного обучения в массив фотомемристоров, исследователи продемонстрировали, что их интегрированная система может предсказывать будущее движение на основе обработки информации в одном кадре.

“Распознавание движения и предсказание нашим компактным решением для памяти и вычислений в датчике открывает новые возможности в автономной робототехнике и взаимодействии человека и машины”, – говорит профессор Себастьян ван Дийкен. “Информация в кадре, которую мы получаем в нашей системе с помощью фотомемристоров, избегает избыточных потоков данных, что позволяет принимать энергосберегающие решения в реальном времени.”