Інженери розробили систему розпізнавання жестів рук на основі штучного інтелекту

Інженери з Університету Каліфорнії, Берклі, розробили пристрій, який може розпізнавати жести рук на основі електричних сигналів, виявлених у передпліччі. Ця нова система є результатом носимих біосенсорів та штучного інтелекту (ШІ), і вона може привести до кращого контролю протезів та взаємодії людини з комп’ютером.

Алі Мойн був частиною дизайн-команди та є докторантом кафедри електротехніки та комп’ютерних наук Університету Каліфорнії, Берклі. Мойн також є співавтором статті, опублікованої онлайн 21 грудня в журналі Nature Electronics.

“Протези – це одне з важливих застосувань цієї технології, але окрім цього, вона також пропонує дуже інтуїтивний спосіб спілкування з комп’ютерами”, – сказав Мойн. “Читання жестів рук – це один із способів покращення взаємодії людини з комп’ютером. І, хоча існують інші способи зробити це, наприклад, за допомогою камер та комп’ютерного зору, це хороше рішення, яке також зберігає приватність особи.”

Система розпізнавання жестів рук

Команда працювала з Аною Аріас, професором електротехніки в Університеті Каліфорнії, Берклі, під час розробки системи. Разом вони створили гнучку манжету, здатну читати електричні сигнали в 64 різних точках передпліччі. Ці електричні сигнали потім були подані в електричний чіп, запрограмований алгоритмом ШІ. Цей алгоритм може ідентифікувати сигнальні закономірності в передпліччі, які походять від конкретних жестів рук.

Алгоритм був здатний ідентифікувати 21 окремий жест рук.

“Коли ви хочете, щоб ваші м’язи рук скорочувалися, ваш мозок посилає електричні сигнали через нейрони в шиї та плечах до м’язових волокон у руках”, – сказав Мойн. “По суті, те, що електроди в манжеті відчувають, – це це електричне поле. Воно не так точне, у тому сенсі, що ми не можемо точно вказати, які саме волокна були спровоковані, але з високою щільністю електродів воно все одно може навчиться розпізнавати певні закономірності.”

Алгоритм ШІ спочатку вчиться ідентифікувати електричні сигнали в руці та відповідні їм жести рук, що вимагає від користувача носити пристрій під час виконання цих жестів. Підходячи далі, система використовує алгоритм гіперрозмірного обчислення, який є розширеним ШІ, що постійно оновлює себе. Ця розширена технологія дозволяє системі виправляти себе з новою інформацією, такою як рухи рук або пот.

“При розпізнаванні жестів ваші сигнали будуть змінюватися з часом, і це може вплинути на продуктивність вашої моделі”, – сказав Мойн. “Ми змогли суттєво покращити точність класифікації, оновивши модель на пристрої.”

https://www.youtube.com/watch?v=z3D9WBfUKsQ&feature=emb_title

Обчислення на чіпі

Іншою вражаючою особливістю пристрою є те, що всі обчислення відбуваються на чіпі, що означає, що жодні особисті дані не передаються на інші пристрої. Це призводить до швидшого часу обчислення та захисту біологічних даних.

Ян Рабаей – професор електротехніки Університету Каліфорнії, Берклі, та старший автор статті.

“Коли Amazon (AMZN ) або Apple (AAPL ) створюють свої алгоритми, вони запускають програмне забезпечення в хмарі, яке створює модель, а потім модель завантажується на ваш пристрій”, – сказав Ян Рабаей. “Проблема полягає в тому, що потім ви залишаєтеся з тією конкретною моделлю. У нашому підході ми реалізували процес, за допомогою якого навчання відбувається на самому пристрої. І це дуже швидко: вам потрібно зробити це тільки один раз, і воно починає виконувати свою роботу. Але якщо ви зробите це кілька разів, воно може стати ще краще. Тому воно постійно вчиться, як це роблять люди.”

За словами Рабаея, пристрій може бути комерціалізований після кількох незначних змін.

“Більшість цих технологій вже існують в інших місцях, але те, що унікальне в цьому пристрої, – це те, що воно інтегрує біочутливі, сигнальні обробки та інтерпретації, а також штучний інтелект у одну систему, яка відносно мала, гнучка та має низький енергетичний бюджет”, – сказав Рабаей.