Inżynierowie opracowali system rozpoznawania gestów rąk oparty na sztucznej inteligencji

Inżynierowie z Uniwersytetu Kalifornijskiego w Berkeley opracowali urządzenie, które może rozpoznawać gesty rąk na podstawie sygnałów elektrycznych wykrywanych w przedramieniu. Ten nowo opracowany system jest wynikiem wearable biosensorów i sztucznej inteligencji (AI) i może prowadzić do lepszej kontroli protez i interakcji człowiek-komputer.

Ali Moin był częścią zespołu projektowego i jest doktorantem w Departamencie Inżynierii Elektrycznej i Nauk Komputerowych na Uniwersytecie Kalifornijskim w Berkeley. Moin jest również współautorem pierwszego artykułu badawczego opublikowanego online 21 grudnia w czasopiśmie Nature Electronics.

“Protezy są jednym z ważnych zastosowań tej technologii, ale poza tym oferuje także bardzo intuicyjny sposób komunikowania się z komputerami” – powiedział Moin. “Czytanie gestów rąk jest jednym ze sposobów poprawy interakcji człowiek-komputer. I chociaż istnieją inne sposoby robienia tego, na przykład za pomocą kamer i widzenia komputerowego, to jest dobre rozwiązanie, które również zachowuje prywatność osoby.”

System Rozpoznawania Gestów Rąk

Zespół pracował z Aną Arias, profesorem inżynierii elektrycznej na Uniwersytecie Kalifornijskim w Berkeley, podczas opracowywania systemu. Razem zaprojektowali i stworzyli elastyczną opaskę na przedramię, która może odczytywać sygnały elektryczne w 64 różnych punktach na przedramieniu. Te sygnały elektryczne były następnie wprowadzane do chipu elektrycznego zaprogramowanego algorytmem AI. Ten algorytm może identyfikować wzorce sygnałów w przedramieniu, które pochodzą z konkretnych gestów rąk.

Algorytm był w stanie zidentyfikować 21 indywidualnych gestów rąk.

“Gdy chcesz, aby twoje mięśnie rąk skurczyły się, twoja głowa wysyła sygnały elektryczne przez neurony w twoim szyi i barkach do włókien mięśniowych w twoich rękach” – powiedział Moin. “Podstawowo, co elektrody w opasce czują, to jest to pole elektryczne. Nie jest to zbyt precyzyjne, w tym sensie, że nie możemy wskazać, które dokładnie włókna zostały uruchomione, ale dzięki wysokiej gęstości elektrod może się nauczyć rozpoznawać pewne wzorce.”

Algorytm AI najpierw uczy się identyfikować sygnały elektryczne w ramieniu i ich odpowiadające gesty rąk, co wymaga od użytkownika noszenia urządzenia podczas wykonywania tych gestów. Idąc dalej, system opiera się na algorytmie hyperdimensionalnego przetwarzania, który jest zaawansowaną sztuczną inteligencją, która ciągle aktualizuje się. Ta zaawansowana technologia pozwala systemowi na poprawę swojej dokładności z nowymi informacjami, takimi jak ruchy ramienia lub pot.

“W rozpoznawaniu gestów twoje sygnały będą się zmieniać w czasie, i to może wpłynąć na wydajność twojego modelu” – powiedział Moin. “Zdołaliśmy znacznie poprawić dokładność klasyfikacji, aktualizując model na urządzeniu.”

https://www.youtube.com/watch?v=z3D9WBfUKsQ&feature=emb_title

Przetwarzanie Lokalne na Chipie

Inną imponującą cechą urządzenia jest to, że całe przetwarzanie odbywa się na chipie, co oznacza, że nie są przesyłane żadne dane osobowe do innych urządzeń. To skutkuje szybszym czasem przetwarzania i chronionymi danymi biologicznymi.

Jan Rabaey jest profesorem inżynierii elektrycznej na Uniwersytecie Kalifornijskim w Berkeley i seniorem autorem artykułu.

“Gdy Amazon (AMZN ) lub Apple (AAPL ) tworzą swoje algorytmy, uruchamiają oprogramowanie w chmurze, które tworzy model, a następnie model jest pobierany na twoje urządzenie” – powiedział Jan Rabaey. “Problem polega na tym, że wtedy jesteś ograniczony do tego konkretnego modelu. W naszym podejściu zaimplementowaliśmy proces, w którym uczenie się odbywa się na urządzeniu. I jest to niezwykle szybkie: musisz to zrobić tylko raz, a zacznie działać. Ale jeśli to zrobisz więcej razy, może się poprawić. Więc jest to ciągle uczące się, tak jak ludzie.”

Zdaniem Rabaeya urządzenie może zostać skomercjalizowane po kilku niewielkich zmianach.

“Większość tych technologii już istnieje gdzie indziej, ale to, co jest unikalne w tym urządzeniu, to to, że łączy ono biosensory, przetwarzanie sygnałów i interpretację, oraz sztuczną inteligencję w jeden system, który jest względnie mały i elastyczny i ma niski budżet mocy” – powiedział Rabaey.