Инженери разработват базирана на AI система за разпознаване на жестове с ръце

Инженери от Калифорнийския университет в Бъркли са разработили устройство, което може да разпознава жестове с ръце въз основа на електрически сигнали, открити в предмишницата. Тази новоразработена система е резултат от носими биосензори и изкуствен интелект (AI) и може да доведе до по-добър контрол на протезите и взаимодействието човек-компютър.

Али Мойн беше част от дизайнерския екип и е докторант в Катедрата по електротехника и компютърни науки на UC Berkeley. Moin също е съавтор на изследователската статия, публикувана онлайн на 21 декември в списанието Природна електроника.

„Протезирането е едно важно приложение на тази технология, но освен това тя предлага и много интуитивен начин за комуникация с компютри.“ каза Мойн. „Четенето на жестове с ръце е един от начините за подобряване на взаимодействието между човек и компютър. И въпреки че има други начини да се направи това, например чрез използване на камери и компютърно зрение, това е добро решение, което също така поддържа поверителността на индивида.

Система за разпознаване на жестове с ръце

Екипът работи с Ана Ариас, професор по електроинженерство в UC Berkeley, по време на разработването на системата. Заедно те проектираха и създадоха гъвкава лента за ръка, способна да чете електрически сигнали в 64 различни точки на предмишницата. След това тези електрически сигнали се подават в електрически чип, програмиран с AI алгоритъм. Този алгоритъм може да идентифицира сигнални модели в предмишницата, които идват от специфични жестове с ръце.

Алгоритъмът успя да идентифицира 21 отделни жеста с ръце.

„Когато искате мускулите на ръцете ви да се свият, мозъкът ви изпраща електрически сигнали през неврони във врата и раменете до мускулните влакна в ръцете и ръцете ви“, каза Мойн. „По същество това, което електродите в маншета усещат, е това електрическо поле. Не е толкова прецизен, в смисъл, че не можем да определим кои точно влакна са били задействани, но с високата плътност на електродите, той все пак може да се научи да разпознава определени модели.

AI алгоритъмът първо се научава да идентифицира електрически сигнали в ръката и съответните им жестове с ръце, което изисква потребителят да носи устройството, докато прави тези жестове. Вземайки нещата още една крачка напред, системата разчита на хиперизмерен изчислителен алгоритъм, който е усъвършенстван AI, който непрекъснато се актуализира. Тази усъвършенствана технология позволява на системата да се коригира с нова информация, като движения на ръцете или пот.

„При разпознаването на жестове вашите сигнали ще се променят с времето и това може да повлияе на производителността на вашия модел“, каза Мойн. „Успяхме значително да подобрим точността на класификацията чрез актуализиране на модела на устройството.“

Локално изчисление на чипа

Друга впечатляваща характеристика на устройството е, че всички изчисления се извършват върху чипа, което означава, че лични данни не се предават на други устройства. Това води до по-бързо изчислително време и защитени биологични данни.

Ян Рабай е изтъкнат професор по електроинженерство на Доналд О. Педерсен в Калифорнийския университет в Бъркли и старши автор на статията.

„Когато Amazon или Apple създават своите алгоритми, те изпълняват куп софтуер в облака, който създава модела, а след това моделът се изтегля на вашето устройство“, каза Ян Рабаей. „Проблемът е, че тогава оставате с този конкретен модел. В нашия подход внедрихме процес, при който обучението се извършва на самото устройство. И е изключително бързо: трябва да го направите само веднъж и то започва да върши работата. Но ако го направите повече пъти, може да стане по-добре. Така че непрекъснато се учи, което е начинът, по който хората го правят.

Според Rabaey, устройството може да се комерсиализира само след няколко леки промени.

„Повечето от тези технологии вече съществуват другаде, но това, което е уникално за това устройство, е, че то интегрира биочувствителност, обработка и интерпретация на сигнали и изкуствен интелект в една система, която е сравнително малка и гъвкава и има нисък енергиен бюджет“, каза Рабаей.