Systém umělé inteligence může rozpoznat gesta rukou přesně

Nový systém umělé inteligence (AI) schopný rozpoznat gesta rukou byl vyvinut vědci z Nanyang Technological University, Singapuru (NTU Singapuru). Technologie funguje kombinací elektroniky podobné kůži s počítačovým viděním.

Vývoj systémů AI pro rozpoznání lidských gest began před asi 10 lety a v současné době se používá v chirurgických robotech, zařízeních pro monitorování zdraví a v herních systémech.

Počáteční systémy AI pro rozpoznání gest byly založeny pouze na vidění a později byly integrovány vstupy z nositelných senzorů, aby je vylepšily. To se nazývá “fúze dat”. Jednou z možností senzorů je “somatosenzorika” a nositelné senzory mohou tuto schopnost napodobit.

Preciznost rozpoznání gest je stále obtížná kvůli nízké kvalitě dat z nositelných senzorů. To je způsobeno jejich objemností a špatným kontaktem s uživatelem, stejně jako účinky vizuálně blokování objektů a špatného osvětlení.

Další výzvy přicházejí z integrace vizuálních a senzorických dat, protože nesouhlasící datové sady je třeba zpracovat samostatně a nakonec spojit na konci. Tento proces je neefektivní a vede k pomalejším reakčním časům.

Tým NTU přišel s několika způsoby, jak tyto výzvy překonat, včetně vytvoření “bioinspirovaného” systému fúze dat, který spoléhá na stretchable strain senzory vyrobené z jednovrstevnatých uhlíkových nanotrubic. Tým také spoléhal na AI jako způsob, jak reprezentovat, jak kůže a vidění jsou zpracovány společně v mozku.

Tři přístupy neuronových sítí byly kombinovány do jednoho systému, aby se vyvinul systém AI. Tři typy neuronových sítí byly: konvoluční neuronová síť, sparse neuronová síť a multilayer neuronová síť.

Kombinací těchto tří, tým mohl vyvinout systém, který je schopen přesněji rozpoznat lidská gesta ve srovnání s jinými metodami.

Profesor Chen Xiaodon je hlavní autor studie. Je z School of Materials Science and Engineering na NTU.

“Naše architektura fúze dat má své vlastní unikátní bioinspirované rysy, které zahrnují lidsky vytvořený systém, který připomíná somatosenzoricko-vidovou hierarchii v mozku. Věříme, že tyto rysy dělají naši architekturu unikátní ve srovnání s existujícími přístupy.”

Chen je také ředitel Innovative Centre for Flexible Devices (iFLEX) na NTU.

“Ve srovnání s rigidními nositelnými senzory, které netvoří dostatečně úzký kontakt s uživatelem pro přesnou sběr dat, naše inovace používá stretchable strain senzory, které se pohodlně připevňují na lidskou kůži. To umožňuje získat kvalitní signál, který je nezbytný pro úkoly s vysokou přesností,” řekl Chen.

Zjištění týmu složeného z vědců z NTU Singapuru a University of Technology Sydney (UTS) byla zveřejněna v červnu v odborném časopise Nature Electronics.

Testování systému

Tým otestoval bioinspirovaný systém AI s robotem ovládaným gesty rukou. Robot byl veden через labyrint a výsledky ukázaly, že systém AI pro rozpoznání gest rukou byl schopen vést robota labyrintem bez chyb. To ve srovnání s vizuálně založeným systémem rozpoznání, který udělal šest chyb ve stejném labyrintu.

Testování za špatných podmínek, jako je hluk a špatné osvětlení, systém AI stále udržoval vysokou přesnost. Přesnost rozpoznání gest dosáhla více než 96,7%.

Dr. Wang Ming ze School of Materials Science & Engineering na NTU Singapuru byl prvním autorem studie.

“Tajemství naší architektury spočívá v tom, že vizuální a somatosenzorické informace mohou interagovat a doplňovat se v rané fázi, než se provede komplexní interpretace,” řekl Ming. “Jako výsledek, systém může racionálně shromažďovat koherentní informace s méně redundantními daty a méně percepčními ambiguitami, což vede k lepší přesnosti.”

Podle nezávislého názoru profesora Markuse Antoniettiho, ředitele Max Planck Institute of Colloids and Interfaces v Německu, “Zjištění z tohoto článku nás přivádějí o krok blíže k chytřejšímu a více strojově podporovanému světu. Stejně jako vynález smartphone, který revolucionalizoval společnost, tato práce nám dává naději, že bychom mohli jednoho dne fyzicky ovládat celý okolní svět s velkou spolehlivostí a přesností prostřednictvím gesta.”

“Existuje jednoduše nekonečné množství aplikací pro takovou technologii na trhu, aby podpořila tuto budoucnost. Například od vzdáleného ovládání robota přes chytrá pracovní místa až po exoskelety pro seniory.”

Výzkumný tým bude nyní pracovat na systému VR a AR založeném na bioinspirovaném systému AI.