«Розумна» тростина допомагає людям із порушеннями зору купувати продукти

Група інженерів з Університету Колорадо в Боулдері використовує штучний інтелект (ШІ) для розробки «розумної» тростини для сліпих або людей з порушеним зором.

Дослідження було опубліковано в IEEE.

За словами команди, розумна тростина могла б допомогти сліпим людям орієнтуватися в різних завданнях, таких як покупки в магазині або пошук місця для сидіння.

Шівендра Агравал – докторант кафедри комп’ютерних наук.

“Мені дуже подобається купувати продукти і я проводжу багато часу в магазині”, – сказав Агравал. “Багато людей не можуть цього зробити, і це може бути дуже обмежувально. Ми вважаємо, що це розв’язувана проблема.”

Розробка розумної тростини

Тростина схожа на традиційну, але вона трохи відрізняється. По-перше, вона має камеру і використовує технологію комп’ютерного зору, щоб створювати карту й каталог своє оточення. Потім вона може направляти користувачів за допомогою вібрацій в ручці і голосових інструкцій.

Команда вважає, що пристрій не є заміною для створення більш доступних місць, але прототип може допомогти мільйонам людей стати більш незалежними.

“Штучний інтелект і комп’ютерний зір поліпшуються, і люди використовують їх для створення самоходних автомобілів і подібних винаходів”, – сказав Агравал. “Але ці технології також мають потенціал для поліпшення якості життя багатьох людей.”

“Представіть собі, що ви в кафе”, – продовжував Агравал. “Ви не хочете сидіти просто будь-де. Ви зазвичай сидите біля стін, щоб зберегти свою приватність, і ви зазвичай не хочете сидіти обличчям до обличчя з незнайомцем.”

Експериментальне кафе і магазин

Щоб краще зрозуміти потреби людей з порушеним зором, дослідники створили експериментальне кафе в своїй лабораторії. Досліджуючи, як розумна тростина могла б бути використана для полегшення навігації серед перешкод і меблів, клієнтів просили пройти через лабіринтоподібне середовище і повідомити про свій досвід.

Учасники експерименту, оснащені рюкзаком із ноутбуком і сучасною тростиною, сканували кімнату за допомогою прикріпленої камери. Розширені алгоритми всередині їхніх ноутбуків оцінювали особливості середовища, а потім створювали оптимальний маршрут до вибраного місця – подібно до систем навігації самоходних автомобілів.

Дослідження показало успішні і заохочуючі результати, показавши, що учасники експерименту змогли точно знайти стілець в 10 випадках з 12 спроб. Очі учасників були закриті протягом усього експерименту. Команда тепер спрямована на розвиток своїх висновків, залучаючи людей зі зниженим зором або незрячих людей.

Агравал і його команда потім розробили інструмент для подолання завдання пошуку предмета серед багатьох подібних варіантів на полицях магазину. Пристрій може допомогти людям легко ідентифікувати бажаний продукт з великої кількості доступних.

У своїй лабораторії команда створила реалістичну поличку магазину – заповнену різними марками сухих сніданків. Вони створили велику базу даних фотографій продуктів, щоб надати її в спеціальне програмне забезпечення, дозволяючи учасникам дослідження сканувати і вибирати продукти, використовуючи тільки тростину.

“Він присвоює оцінку об’єктам, що присутні, і вибирає найбільш імовірний продукт”, – сказав Агравал. “Потім система видає команди, такі як ‘перемістіться трохи вліво’.”

Агравал каже, що ще буде тривати деякий час, поки тростина не буде використовуватися в реальному світі. Команда хоче спочатку зробити її більш компактною, розробивши її так, щоб вона працювала зі стандартним смартфоном, прикріпленим до тростини.

“Наша мета – зробити цю технологію зрілою, а також привабити інших дослідників в цю область допоміжної робототехніки”, – сказав Агравал. “Ми вважаємо, що допоміжна робототехніка має потенціал змінити світ.”