Tongkat Pintar Membantu Orang dengan Keterbatasan Penglihatan Berbelanja

Sebuah tim insinyur di University of Colorado Boulder menggunakan kecerdasan buatan (AI) untuk mengembangkan tongkat pintar untuk orang buta atau dengan keterbatasan penglihatan.

Penelitian ini dipublikasikan di IEEE.

Menurut tim, tongkat pintar ini dapat membantu orang buta melakukan berbagai tugas, seperti berbelanja di toko kelontong atau menemukan tempat duduk.

Shivendra Agrawal adalah seorang mahasiswa doktoral di Departemen Ilmu Komputer.

“Saya sangat menikmati berbelanja dan menghabiskan banyak waktu di toko,” kata Agrawal. “Banyak orang tidak bisa melakukan itu, dan itu sangat membatasi. Kami pikir ini adalah masalah yang dapat dipecahkan.”

Mendesain Tongkat Pintar

Tongkat ini mirip dengan tongkat biasa, tetapi sedikit berbeda. Salah satunya, tongkat ini memiliki kamera dan menggunakan teknologi penglihatan komputer, membantu memetakan dan mengkatalogkan lingkungannya. Kemudian, tongkat ini dapat membimbing pengguna dengan getaran di pegangan dan dengan petunjuk lisan.

Tim ini mengatakan bahwa perangkat ini tidak dapat menggantikan membuat tempat lebih mudah diakses, tetapi prototipe ini dapat membantu jutaan orang menjadi lebih mandiri.

“AI dan penglihatan komputer semakin baik, dan orang-orang menggunakan teknologi ini untuk membangun mobil self-driving dan penemuan lainnya,” kata Agrawal. “Tapi teknologi ini juga memiliki potensi untuk meningkatkan kualitas hidup bagi banyak orang.”

“Bayangkan Anda berada di sebuah kafe,” lanjut Agrawal. “Anda tidak ingin duduk di mana saja. Anda biasanya memilih tempat duduk dekat dinding untuk menjaga privasi, dan Anda biasanya tidak suka duduk berhadapan dengan orang asing.”

Kafe dan Toko Kelontong Eksperimental

Untuk memahami kebutuhan pengambilan keputusan orang dengan keterbatasan penglihatan, para peneliti membuat sebuah kafe eksperimental di laboratorium mereka. Mereka mempelajari bagaimana tongkat pintar dapat digunakan untuk memfasilitasi navigasi di antara hambatan dan perabotan, dan meminta para peserta untuk menavigasi lingkungan yang seperti labirin dan memberikan umpan balik tentang pengalaman mereka.

Para subyek yang dilengkapi dengan ransel laptop dan tongkat pintar canggih memindai ruangan menggunakan kamera yang terpasang. Algoritma canggih di dalam laptop mereka menilai fitur-fitur di lingkungan, kemudian memetakan rute optimal untuk memilih tempat duduk–mirip dengan sistem navigasi kendaraan otomatis.

Studi ini menunjukkan hasil yang sukses dan menggembirakan, menunjukkan bahwa subyek eksperimental dapat menemukan sebuah kursi dengan presisi akurat pada 10 kesempatan dari 12 percobaan. Para peserta memiliki penglihatan yang terhalang selama eksperimen. Tim ini sekarang berencana untuk membangun temuan mereka dengan melibatkan individu yang memiliki penglihatan terbatas atau buta.

Agrawal dan timnya kemudian mengembangkan alat ini untuk mengatasi tantangan menemukan sebuah item di antara pilihan yang identik di rak toko. Perangkat ini dapat membantu orang dengan mudah mengidentifikasi produk yang diinginkan dari berbagai pilihan yang tersedia.

Di laboratorium mereka, tim ini merancang rak toko yang mirip dengan yang ada di toko, dan mengisi rak dengan merek-merek sereal yang berbeda. Mereka membuat database foto produk yang luas untuk dimasukkan ke dalam perangkat lunak khusus, memungkinkan subyek studi untuk memindai dan memilih produk menggunakan hanya tongkat pintar.

“Perangkat ini memberikan skor pada objek yang ada, memilih apa yang paling mungkin menjadi produk yang diinginkan,” kata Agrawal. “Kemudian sistem memberikan perintah seperti ‘bergerak sedikit ke kiri.’”

Agrawal mengatakan bahwa masih akan memakan waktu sebelum tongkat ini digunakan di dunia nyata. Tim ini ingin membuat perangkat ini lebih kompak, merancangnya agar dapat bekerja dengan smartphone standar yang dipasang pada tongkat.

“Tujuan kami adalah membuat teknologi ini matang tetapi juga menarik peneliti lain ke bidang robotika asistif ini,” kata Agrawal. “Kami pikir robotika asistif memiliki potensi untuk mengubah dunia.”