Un bâton de marche « intelligent » aide les épiceries malvoyantes

Une équipe d'ingénieurs de l'Université du Colorado à Boulder utilise l'intelligence artificielle (IA) pour développer une canne « intelligente » pour les aveugles ou les malvoyants.

La recherche a été publiée dans IEEE.

Selon l'équipe, la canne intelligente pourrait éventuellement aider les personnes aveugles à effectuer diverses tâches, telles que faire les courses à l'épicerie ou trouver une place pour s'asseoir.

Shivendra Agrawal est doctorante au Département d'informatique.

"J'aime vraiment faire les courses et passer beaucoup de temps dans le magasin", a déclaré Agrawal. "Beaucoup de gens ne peuvent pas le faire, cependant, et cela peut être très restrictif. Nous pensons que c'est un problème qui peut être résolu.

Conception du bâton de marche intelligent

La canne ressemble à une canne, mais elle est un peu différente. D’une part, il dispose d’une caméra et utilise la technologie de vision par ordinateur, ce qui l’aide à cartographier et cataloguer son environnement. Il peut ensuite guider les utilisateurs en utilisant des vibrations dans la poignée et des instructions vocales.

L'équipe affirme que l'appareil ne remplace pas l'accessibilité des lieux, mais le prototype peut aider des millions de personnes à devenir plus indépendantes.

"L'IA et la vision par ordinateur s'améliorent, et les gens les utilisent pour construire des voitures autonomes et des inventions similaires", a déclaré Agrawal. "Mais ces technologies ont également le potentiel d'améliorer la qualité de vie de nombreuses personnes."

"Imaginez que vous êtes dans un café", a poursuivi Agrawal. « Vous ne voulez pas vous asseoir n'importe où. Vous vous asseyez généralement près des murs pour préserver votre intimité, et vous n'aimez généralement pas vous asseoir face à face avec un étranger.

Café expérimental et Épicerie

Pour mieux comprendre les besoins décisionnels des personnes aveugles ou malvoyantes, les chercheurs ont créé un café expérimental dans leur laboratoire. Examinant comment une canne intelligente pourrait être utilisée pour faciliter la navigation au milieu des obstacles et des meubles, les clients ont été invités à traverser l'environnement semblable à un labyrinthe et à faire le point sur leur expérience.

Les sujets équipés d'un sac à dos chargé d'ordinateur portable et d'une canne à la pointe de la technologie ont scanné la pièce à l'aide d'une caméra attachée. Des algorithmes avancés à l'intérieur de leurs ordinateurs portables ont évalué les caractéristiques de l'environnement, puis ont tracé l'itinéraire optimal pour sélectionner les sièges, un peu comme les systèmes de navigation automatisés des véhicules.

L'étude a démontré des résultats positifs et encourageants, révélant que les sujets expérimentaux ont pu localiser une chaise avec une précision précise à 10 reprises sur 12 essais. Les participants au test avaient la vue obscurcie pendant toute la durée de l'expérience. L'équipe vise maintenant à s'appuyer sur ses conclusions en engageant des personnes ayant une vision réduite ou la cécité.

Agrawal et son équipe ont ensuite développé l'outil pour relever le défi de trouver un article parmi des options apparemment identiques dans les rayons des magasins. L'appareil peut aider les gens à identifier facilement le produit souhaité parmi la vaste gamme disponible.

Dans leur laboratoire, l'équipe a conçu une étagère d'épicerie réaliste, remplie de différentes marques de céréales. Ils ont produit une vaste base de données de photos de produits à alimenter dans un logiciel dédié, permettant aux sujets de l'étude de numériser et de sélectionner des produits en utilisant uniquement une canne.

"Il attribue un score aux objets présents, en sélectionnant le produit le plus probable", a déclaré Agrawal. "Ensuite, le système émet des commandes telles que" déplacez-vous un peu vers la gauche".

Agrawal dit qu'il faudra encore un certain temps avant que la canne ne soit utilisée dans le monde réel. L'équipe souhaite d'abord la rendre plus compacte, en la concevant de manière à fonctionner avec un smartphone standard attaché à la canne.

"Notre objectif est de faire mûrir cette technologie mais aussi d'attirer d'autres chercheurs dans ce domaine de la robotique d'assistance", a déclaré Agrawal. "Nous pensons que la robotique d'assistance a le potentiel de changer le monde."