«Умная» трость для слепых помогает с покупками в магазине

Команда инженеров из Университета Колорадо в Боулдере использует искусственный интеллект (ИИ) для разработки «умной» трости для слепых или людей с нарушенным зрением.

Исследование было опубликовано в IEEE.

По словам команды, «умная» трость может в конечном итоге помочь слепым людям ориентироваться в различных задачах, таких как покупки в магазине или поиск места для сидения.

Шивендра Агравал – докторант кафедры компьютерных наук.

«Мне действительно нравится ходить по магазинам и проводить там значительное количество времени», – сказал Агравал. «Многие люди не могут этого сделать, и это может быть очень ограничительно. Мы считаем, что это решаемая проблема».

Разработка «умной» трости

Трость напоминает трость, но она немного отличается. Во-первых, у нее есть камера и используется технология компьютерного зрения, которая помогает ей картографировать и каталогизировать окружающую среду. Затем она может направлять пользователей с помощью вибраций в рукоятке и голосовых указаний.

Команда говорит, что устройство не является заменой создания более доступных мест, но прототип может помочь миллионам людей стать более независимыми.

«ИИ и компьютерное зрение улучшаются, и люди используют их для создания самоходных автомобилей и подобных изобретений», – сказал Агравал. «Но эти технологии также имеют потенциал улучшить качество жизни многих людей».

«Представьте, что вы в кафе», – продолжил Агравал. «Вы не хотите сидеть где угодно. Вы обычно садитесь рядом со стенами, чтобы сохранить свою приватность, и вы обычно не хотите сидеть лицом к лицу с незнакомцем».

Экспериментальное кафе и магазин

Чтобы лучше понять потребности людей с нарушенным зрением или слепотой, исследователи создали экспериментальное кафе в своей лаборатории. Изучая, как «умная» трость может быть использована для облегчения навигации среди препятствий и мебели, посетителям было предложено пройти через лабиринтную среду и рассказать о своем опыте.

Испытуемым, оснащенным ноутбуком и современной тростью, было предложено просканировать комнату с помощью прикрепленной камеры. Продвинутые алгоритмы внутри их ноутбуков оценивали особенности окружающей среды, а затем составляли оптимальный маршрут для выбора места – как системы навигации самоходных автомобилей.

Исследование показало успешные и обнадеживающие результаты, продемонстрировав, что испытуемые смогли найти стул с точной точностью в 10 случаях из 12 попыток. Участники эксперимента имели закрытое зрение на протяжении всего эксперимента. Теперь команда стремится развить свои находки, привлекая людей с пониженным зрением или слепотой.

Агравал и его команда затем разработали инструмент для решения проблемы поиска предмета среди идентичных вариантов на полках магазина. Устройство может помочь людям легко определить желаемый продукт из огромного ассортимента.

В своей лаборатории команда создала реалистичную полку магазина – заполненную различными марками хлопьев. Они создали обширную базу данных фотографий продуктов, чтобы подать ее в специальное программное обеспечение, позволяющее испытуемым сканировать и выбирать продукты, используя только трость.

«Оно присваивает оценку объектам, присутствующим в поле зрения, и выбирает наиболее вероятный продукт», – сказал Агравал. «Затем система выдает команды, такие как «переместиться немного влево»».

Агравал говорит, что еще пройдет некоторое время, прежде чем трость будет использоваться в реальном мире. Команда хочет сначала сделать ее более компактной, спроектировав ее так, чтобы она работала с стандартным смартфоном, прикрепленным к трости.

«Наша цель – сделать эту технологию зрелой, но также привлечь других исследователей в эту область вспомогательной робототехники», – сказал Агравал. «Мы считаем, что вспомогательная робототехника имеет потенциал изменить мир».