Інноваційний біоінспірований сенсор виявляє рух і передбачає траєкторії для різних застосувань

Дослідники з Університету Аалто розробили інноваційний біоінспірований сенсор, який може виявляти рухомі об’єкти в одному кадрі відео та точно передбачати їх майбутні рухи. Про цей передовий сенсор розповідається у статті Nature Communications, і він має численні потенційні застосування в таких галузях, як динамічне сприйняття зору, автоматичний контроль, промисловий процес-контроль, керівництво роботами та технологія автономного руху.

Традиційні системи виявлення руху вимагають багатьох компонентів і складних алгоритмів, які виконують аналіз кадр за кадром, що призводить до неефективності та високого споживання енергії. Щоб подолати ці обмеження, команда Університету Аалто звернулася до людської візуальної системи за натхненням і створила нейроморфну технологію зору, яка об’єднує чуття, пам’ять і обробку в одному пристрої, здатному виявляти рух і передбачати траєкторії.

Фотомемрістори: Ядро нової технології

Технологія дослідників побудована на основі масиву фотомемрісторів, електричних пристроїв, які генерують електричний струм у відповідь на світло. Фотомемрістори володіють унікальною властивістю: струм не зупиняється одразу, коли світло вимикається, а поступово затухає. Ця особливість дозволяє фотомемрісторам ефективно “пам’ятати” їхнє недавнє освітлення, що дозволяє сенсору, складеному з масиву цих пристроїв, не тільки захоплювати миттєву інформацію про сцену, але й динамічну пам’ять попередніх моментів.

“Унікальна властивість нашої технології полягає в її здатності інтегрувати серію оптичних зображень в одному кадрі,” пояснює Хонгвей Тан, дослідник, який очолював дослідження. “Інформація кожного зображення вбудована в наступні зображення як прихована інформація. Інакше кажучи, останній кадр у відео також містить інформацію про всі попередні кадри. Це дозволяє нам виявляти рух раніше у відео, аналізуючи лише останній кадр з простою штучною нейронною мережею. Результатом є компактний і ефективний сенсорний блок.”

Демонстрація можливостей технології

Щоб продемонструвати свою технологію, дослідники використали відео, які відображали букви слова один за одним. Хоча всі слова закінчувалися буквою “Е”, традиційні сенсори зору не могли розібрати, чи буква “Е” на екрані слідувала за іншими буквами в слові “ЯБЛУКО” чи “ВИНОГРАД”. Однак масив фотомемрісторів міг використовувати приховану інформацію в останньому кадрі, щоб вивести, які букви передували їй, і передбачити слово майже з 100% точністю.

У іншому експерименті команда показала сенсору відео людини, що рухалася з трьома різними швидкостями. Система могла не тільки розпізнавати рух, аналізуючи один кадр, але й точно передбачати наступні кадри.

Вплив на автономні транспортні засоби та інтелектуальний транспорт

Точне виявлення руху та передбачення траєкторій мають важливе значення для технології автономного руху та інтелектуальних транспортних систем. Автономні транспортні засоби залежать від точних передбачень того, як рухатимуться автомобілі, велосипеди, пішоходи та інші об’єкти, щоб приймати обґрунтовані рішення. Включивши систему машинного навчання в масив фотомемрісторів, дослідники продемонстрували, що їхня інтегрована система могла передбачати майбутній рух на основі обробки всінформативного кадру.

“Розпізнавання руху та передбачення нашим компактним сенсорним рішенням пам’яті та обчислень відкривають нові можливості в автономній робототехніці та взаємодії людини з машиною,” говорить професор Себастіян ван Дейкен. “Інформація в кадрі, яку ми отримуємо в нашій системі за допомогою фотомемрісторів, уникає зайвих потоків даних, що дозволяє приймати енергоефективні рішення в режимі реального часу.”