System AI, który rozpoznaje gesty rąk z wysoką dokładnością

Naukowcy z Nanyang Technological University w Singapurze (NTU Singapore) opracowali nowy system sztucznej inteligencji (AI), który potrafi rozpoznawać gesty rąk. Technologia ta łączy elektroniczne skórę z widzeniem komputerowym.

Rozwój systemów AI do rozpoznawania gestów rąk trwa od około 10 lat i jest obecnie stosowany w robotach chirurgicznych, sprzęcie do monitorowania zdrowia i w systemach gier.

Początkowe systemy AI do rozpoznawania gestów były oparte wyłącznie na widzeniu, a dane z czujników noszonych zostały zintegrowane, aby je poprawić. Nazywa się to “fuzją danych”. Jedną z możliwości czujników jest “somatosensoryczna”, a czujniki noszone mogą ją odtworzyć.

Dokładność rozpoznawania gestów jest nadal trudna do osiągnięcia ze względu na niską jakość danych pochodzących z czujników noszonych. Wynika to z ich objętości i słabego kontaktu z użytkownikiem, a także z efektów zakrytych obiektów i słabego oświetlenia.

Kolejne wyzwania pochodzą z integracji danych wizualnych i sensorycznych, ponieważ niepasujące do siebie zestawy danych muszą być przetwarzane oddzielnie, a następnie łączone na końcu. Ten proces jest niewydajny i prowadzi do wolniejszych czasów reakcji.

Zespół NTU znalazł kilka sposobów, aby pokonać te wyzwania, w tym stworzenie “bioinspirowanego” systemu fuzji danych, który opiera się na rozciągliwych czujnikach odkształcenia ze skórą, wykonanych z nanorurek węglowych. Zespół również wykorzystał AI, aby oddać, jak skóra i wzrok są przetwarzane razem w mózgu.

Trzy podejścia sieci neuronowych zostały połączone w jeden system, aby opracować system AI. Trzy rodzaje sieci neuronowych to: sieć neuronowa zwana, sieć neuronowa rzadka i sieć neuronowa wielowarstwowa.

Łącząc te trzy, zespół mógł opracować system, który może bardziej dokładnie rozpoznawać ludzkie gesty w porównaniu z innymi metodami.

Profesor Chen Xiaodon jest głównym autorem badania. Pochodzi ze Szkoły Nauk o Materiałach i Inżynierii na NTU.

“Nasza architektura fuzji danych ma unikalne cechy bioinspirowane, które obejmują system stworzony przez człowieka, podobny do hierarchii fuzji somatosensoryczno-wizualnej w mózgu. Wierzymy, że takie cechy sprawiają, że nasza architektura jest unikalna w stosunku do istniejących podejść.”

Chen jest również dyrektorem Innovative Centre for Flexible Devices (iFLEX) na NTU.

“W porównaniu z sztywnymi czujnikami noszonymi, które nie tworzą wystarczająco bliskiego kontaktu z użytkownikiem do dokładnego zbierania danych, nasz wynalazek wykorzystuje rozciągliwe czujniki odkształcenia, które komfortowo przyklejają się do ludzkiej skóry. To pozwala na wysokiej jakości zbieranie sygnałów, które jest niezbędne do zadań rozpoznawania o wysokiej precyzji,” powiedział Chen.

Wyniki zespołu składającego się z naukowców z NTU Singapore i University of Technology Sydney (UTS) zostały opublikowane w czerwcu w naukowym czasopiśmie Nature Electronics.

Testowanie systemu

Zespół przetestował bioinspirowany system AI z robotem sterowanym za pomocą gestów rąk. Robot został poprowadzony przez labirynt, a wyniki pokazały, że system AI do rozpoznawania gestów rąk mógł poprowadzić robota przez labirynt bez błędów. To w porównaniu z systemem rozpoznawania opartym na widzeniu, który popełnił sześć błędów w tym samym labiryncie.

Testowanie w złych warunkach, takich jak hałas i słabe oświetlenie, system AI nadal utrzymywał wysoką dokładność. Współczynnik dokładności rozpoznawania przekroczył 96,7%.

Dr Wang Ming ze Szkoły Nauk o Materiałach i Inżynierii na NTU Singapore był pierwszym autorem badania.

“Sekret wysokiej dokładności w naszej architekturze leży w tym, że informacje wizualne i somatosensoryczne mogą wzajemnie się uzupełniać na wczesnym etapie, zanim zostaną poddane złożonej interpretacji”, powiedział Ming. “W rezultacie system może racjonalnie zbierać spójne informacje z mniej zbędnymi danymi i mniej niejasnościami percepcyjnymi, co prowadzi do lepszej dokładności.”

Zgodnie z niezależną opinią profesora Markusa Antoniettiego, dyrektora Max Planck Institute of Colloids and Interfaces w Niemczech, “Wyniki z tego artykułu przybliżają nas o krok do bardziej inteligentnego i wspieranego przez maszyny świata. Podobnie jak wynalazek smartphone’a, który rewolucjonizował społeczeństwo, ta praca daje nam nadzieję, że kiedyś będziemy mogli kontrolować cały nasz otoczenie z wielką niezawodnością i precyzją za pomocą gestu.”

“Istnieje po prostu niezliczona ilość zastosowań takiej technologii na rynku, aby wesprzeć tę przyszłość. Na przykład, od zdalnego sterowania robotami przez inteligentne miejsca pracy do egzoszkieletów dla osób starszych.”

Zespół badawczy będzie teraz pracował nad systemem VR i AR opartym na bioinspirowanym systemie AI.