Systém AI dokáže přesně rozpoznat gesta rukou

Nový systém umělé inteligence (AI) schopný rozpoznat gesta rukou byl vyvinut vědci z Nanyang Technological University, Singapuru (NTU Singapore). Tato technologie funguje kombinací elektroniky podobné kůži s počítačovým viděním.

Vývoj systémů AI pro rozpoznávání lidských gestů probíhá již asi 10 let a v současné době se používá v chirurgických robotech, zdravotnickém monitorovacím zařízení a v herních systémech.

Počáteční systémy AI pro rozpoznávání gest byly založeny pouze na vidění a byly vylepšeny integrací vstupů z nositelných senzorů. To se nazývá „fúze dat“. Jednou z možností snímání je „somatosenzorický“ a nositelné senzory jej mohou replikovat.

Přesnost rozpoznávání gest je stále obtížná kvůli nízké kvalitě dat pocházejících z nositelných senzorů. To se děje kvůli objemnosti a špatnému kontaktu s uživatelem, stejně jako vlivu vizuálně blokování objektů a špatného osvětlení.

Další výzvy pocházejí z integrace vizuálních a senzorických dat, protože nesouhlasné datové sady musí být zpracovány samostatně a nakonec spojeny na konci. Tento proces je neefektivní a vede k pomalejším reakčním časům.

Tým NTU přišel s několika způsoby, jak tyto výzvy překonat, včetně vytvoření „bioinspirovaného“ systému fúze dat, který spoléhá na stretchable strain senzory vyrobené z jednovrstevnatých uhlíkových nanotrubic. Tým také spoléhal na AI jako způsob, jak reprezentovat, jak kůže a vidění jsou zpracovány společně v mozku.

Tři přístupy neuronových sítí byly kombinovány do jednoho systému pro vývoj systému AI. Tři typy neuronových sítí byly: konvoluční neuronová síť, sparse neuronová síť a multilayer neuronová síť.

Kombinací těchto tří mohl tým vyvinout systém schopný přesněji rozpoznat lidská gesta ve srovnání s jinými metodami.

Profesor Chen Xiaodon je hlavní autor studie. Je ze School of Materials Science and Engineering na NTU.

„Naše architektura fúze dat má své vlastní jedinečné bio-inspirované funkce, které zahrnují člověkem vytvořený systém připomínající somatosenzoricko-vidění hierarchii v mozku. Věříme, že tyto funkce dělají naši architekturu jedinečnou oproti stávajícím přístupům.“

Chen je také ředitel Innovative Centre for Flexible Devices (iFLEX) na NTU.

“Ve srovnání s rigidními nositelnými senzory, které netvoří dostatečně intimitní kontakt s uživatelem pro přesnou sběr dat, naše inovace používá stretchable strain senzory, které se pohodlně připevňují na lidskou kůži. To umožňuje získat vysoké kvalitní signály, které jsou nezbytné pro úkoly s vysokou přesností,” řekl Chen.

Závěry týmu složeného z vědců z NTU Singapuru a University of Technology Sydney (UTS) byly publikovány v červnu v odborném časopise Nature Electronics.

Testování systému

Tým otestoval bio-inspirovaný systém AI s robotem ovládaným gesty rukou. Robot byl veden skrz bludiště a výsledky ukázaly, že systém AI pro rozpoznávání gest rukou byl schopen vést robota skrz bludiště bez chyb. To se porovnalo s vizuálním systémem rozpoznávání, který udělal šest chyb ve stejném bludišti.

Testování za špatných podmínek, jako je hluk a špatné osvětlení, systém AI stále udržoval vysokou přesnost. Přesnost rozpoznávání dosáhla více než 96,7%.

Dr. Wang Ming ze School of Materials Science & Engineering na NTU Singapuru byl prvním autorem studie.

“Tajemství vysoké přesnosti naší architektury spočívá v tom, že vizuální a somatosenzorické informace mohou interagovat a doplňovat se na rané fázi, než se provede složitá interpretace,” řekl Ming. „Jako výsledek, systém může racionálně shromažďovat koherentní informace s méně redundantními daty a méně percepčními ambiguitami, což vede k lepší přesnosti.”

Podle nezávislého názoru profesora Markuse Antoniettiho, ředitele Max Planck Institute of Colloids and Interfaces v Německu, “Závěry z tohoto článku nás posunují o krok blíže k chytřejšímu a více strojově podporovanému světu. Stejně jako vynález smartphone, který revolucionizoval společnost, tato práce nám dává naději, že bychom mohli jednoho dne fyzicky ovládat celý okolní svět s velkou spolehlivostí a přesností prostřednictvím gesta.”

“Existuje prostě nekonečné množství aplikací pro takovou technologii na trhu, aby podpořila tuto budoucnost. Například od vzdáleného ovládání robotů přes chytrá pracoviště až po exoskelety pro seniory.”

Výzkumný tým nyní bude pracovat na systému VR a AR založeném na bio-inspirovaném systému AI.