Naukowcy opracowali nowy algorytm rozpoznawania gestów rąk

Zespół naukowców pod kierownictwem Zhiyi Yu z Uniwersytetu Sun Yat-sena opracował nowy algorytm rozpoznawania gestów rąk, który jest złożony, dokładny i stosowalny.

Gesty rąk są coraz częściej stosowane w interakcjach człowiek-komputer, a ostatnie postępy w systemach kamer, analizie obrazu i uczeniu maszynowym znacznie poprawiły rozpoznawanie gestów oparte na optyce. Jednakże, obecne metody napotykają wiele wyzwań ze względu na ograniczenia w wysokiej złożoności obliczeniowej, niskiej szybkości, niskiej dokładności i niskiej liczbie rozpoznawalnych gestów.

Nowy algorytm opracowany przez zespół próbuje pokonać te ograniczenia, a został opisany w artykule opublikowanym w Journal of Electronic Imaging. Jednym z głównych celów zespołu było stworzenie algorytmu, który nie tylko pokonuje te wyzwania, ale także może być łatwo stosowany w urządzeniach konsumenckich.

Adaptacja do różnych typów rąk

Jednym z najbardziej imponujących aspektów algorytmu jest jego adaptacja do różnych typów rąk. Najpierw próbuje sklasyfikować typ ręki użytkownika jako szczupły, normalny lub szeroki. Robi to na podstawie trzech pomiarów uwzględniających relacje między szerokością dłoni, długością dłoni i długością palców.

Po pomyślnej klasyfikacji, proces rozpoznawania gestów rąk porównuje wprowadzony gest z przechowywanymi próbkami tego samego typu ręki.

“Tradycyjne proste algorytmy mają tendencję do cierpienia z powodu niskich wskaźników rozpoznawania, ponieważ nie mogą radzić sobie z różnymi typami rąk. Poprzez klasyfikację wprowadzonego gestu według typu ręki, a następnie korzystanie z bibliotek próbek, które odpowiadają temu typowi, możemy poprawić ogólny wskaźnik rozpoznawania z prawie znikomym zużyciem zasobów”, mówi Yu.

Krok prerecognition

Metoda zespołu opiera się również na wykorzystaniu “cechy skrótu”, aby wykonać krok prerecognition. Algorytm rozpoznawania jest w stanie rozpoznać gest wejściowy spośród dziewięciu możliwych gestów, ale jest to bardzo czasochłonne, aby porównać wszystkie cechy gestu wejściowego z tymi przechowywanymi próbkami dla wszystkich możliwych gestów.

Aby pokonać to, krok prerecognition algorytmu oblicza stosunek powierzchni dłoni, aby wybrać trzy najbardziej prawdopodobne gesty spośród dziewięciu możliwych. To redukuje liczbę kandydujących gestów do trzech, a ostateczny gest jest decydujący przez bardziej złożoną i precyzyjną ekstrakcję cech opartą na “Hu niezmiennych momentach”.

“Krok prerecognition nie tylko redukuje liczbę obliczeń i wymagań sprzętowych, ale także poprawia szybkość rozpoznawania bez kompromisowania dokładności”, mówi Yu.

Algorytm został przetestowany na komercyjnym procesorze PC i platformie FPGA przy użyciu kamery USB. Zespół poprosił 40 wolontariuszy, aby wykonali dziewięć gestów rąk wiele razy, a 40 innych zostało użytych do określenia dokładności systemu.

System wykazał, że może rozpoznać gesty rąk w czasie rzeczywistym z dokładnością powyżej 93%. To miało miejsce nawet wtedy, gdy obrazy gestów wejściowych były obracane, tłumaczone lub skalowane.

Naukowcy mówią, że teraz będą się koncentrować na poprawie wydajności algorytmu w różnych warunkach oświetleniowych, a także zwiększą liczbę możliwych gestów.