AI sustav može točno prepoznati pokrete ruku

Znanstvenici sa Tehnološkog sveučilišta Nanyang u Singapuru (NTU Singapore) razvili su novi sustav umjetne inteligencije (AI) koji može prepoznati geste rukama. Tehnologija funkcionira kombinirajući elektroniku nalik koži s računalnim vidom.

Razvoj AI sustava za prepoznavanje ljudskih gestikulacija rukama odvija se oko 10 godina, a trenutno se koristi u kirurškim robotima, opremi za praćenje zdravlja i u sustavima za igre. 

Početni sustavi za prepoznavanje pokreta pomoću umjetne inteligencije bili su samo vizualni, a unosi s nosivih senzora integrirani su kako bi se poboljšali. To se zove "fuzija podataka". Jedna od osjetilnih sposobnosti naziva se 'somatosenzorna', a nosivi senzori je mogu rekreirati. 

Preciznost prepoznavanja pokreta još je uvijek teško postići zbog niske kvalitete podataka koji dolaze od nosivih senzora. To se događa zbog glomaznosti i lošeg kontakta s korisnikom, kao i učinaka vizualno blokiranih objekata i lošeg osvjetljenja. 

Dodatni izazovi dolaze iz integracije vizualnih i osjetilnih podataka, budući da se skupovi podataka koji se ne podudaraju moraju zasebno obrađivati ​​i na kraju spojiti. Ovaj proces je neučinkovit i dovodi do sporijeg vremena odgovora. 

Tim NTU-a osmislio je nekoliko načina za prevladavanje ovih izazova, uključujući stvaranje "bioinspiriranog" sustava fuzije podataka koji se oslanja na rastezljive senzore naprezanja poput kože izrađene od ugljikovih nanocijevi s jednom stijenkom. Tim se također oslanjao na umjetnu inteligenciju kao način da predstavi kako se osjetila kože i vid obrađuju zajedno u mozgu.

Tri pristupa neuronske mreže kombinirana su u jedan sustav kako bi se razvio AI sustav. Tri vrste neuronskih mreža bile su: konvolucijska neuronska mreža, rijetka neuronska mreža i višeslojna neuronska mreža.

Kombinirajući ovo troje, tim bi mogao razviti sustav koji bi mogao točnije prepoznati ljudske geste u usporedbi s drugim metodama.

Profesor Chen Xiaodon glavni je autor studije. On je sa Fakulteta za znanost i inženjerstvo materijala na NTU-u. 

„Naša arhitektura fuzije podataka ima vlastite jedinstvene značajke inspirirane biološkim procesima koje uključuju sustav koji je napravio čovjek nalik hijerarhiji somatosenzorno-vizualne fuzije u mozgu. Vjerujemo da takve značajke čine našu arhitekturu jedinstvenom za postojeće pristupe.”

Chen je također direktor Inovativnog centra za fleksibilne uređaje (iFLEX) na NTU-u. 

“U usporedbi s krutim nosivim senzorima koji ne ostvaruju dovoljno intiman kontakt s korisnikom za precizno prikupljanje podataka, naša inovacija koristi rastezljive senzore naprezanja koji se udobno pričvršćuju na ljudsku kožu. To omogućuje visokokvalitetno prikupljanje signala, što je od vitalnog značaja za zadatke visokopreciznog prepoznavanja,” rekao je Chen.

Nalazi tima sastavljenog od znanstvenika s NTU Singapore i Sveučilišta tehnologije Sydney (UTS) objavljeni su u lipnju u znanstvenom časopisu Elektronika prirode.

Testiranje sustava

Tim je testirao biološki inspiriran AI sustav s robotom kojim se upravlja gestama ruku. Robot je vođen kroz labirint, a rezultati su pokazali da je AI sustav za prepoznavanje gesta rukom mogao voditi robota kroz labirint bez greške. To je u usporedbi sa sustavom vizualnog prepoznavanja, koji je napravio šest pogrešaka u istom labirintu.

Testiranjem u lošim uvjetima, kao što su buka i loši uvjeti osvjetljenja, AI sustav je i dalje zadržao visoku točnost. Stopa točnosti prepoznavanja dosegla je preko 96.7%.

Dr. Wang Ming sa Fakulteta za znanost i inženjerstvo materijala na NTU Singapore bio je prvi autor studije. 

"Tajna iza visoke točnosti u našoj arhitekturi leži u činjenici da vizualne i somatosenzorne informacije mogu međusobno komunicirati i nadopunjavati se u ranoj fazi prije provođenja složene interpretacije", rekao je Ming. "Kao rezultat toga, sustav može racionalno prikupljati koherentne informacije s manje suvišnih podataka i manje perceptivne dvosmislenosti, što rezultira boljom preciznošću."

Prema neovisnom stajalištu profesora Markusa Antoniettija, direktora Instituta Max Planck za koloide i sučelja u Njemačkoj, “Rezultati iz ovog rada donose nam još jedan korak naprijed prema pametnijem svijetu koji više podržava stroj. Slično kao i izum pametnog telefona koji je revolucionirao društvo, ovaj nam rad daje nadu da bismo jednog dana mogli fizički kontrolirati cijeli svijet koji nas okružuje s velikom pouzdanošću i preciznošću putem geste.”

“Postoje jednostavno beskonačne aplikacije za takvu tehnologiju na tržištu koje podržavaju ovu budućnost. Na primjer, od daljinske kontrole robota nad pametnim radnim mjestima do egzoskeleta za starije osobe.”

Istraživački tim sada će raditi na VR i AR sustavu koji se temelji na bioinspiriranom AI sustavu.