Sistemul AI poate recunoaște gesturile mâinii cu acuratețe

Un nou sistem de inteligență artificială (AI) capabil să recunoască gesturile mâinii a fost dezvoltat de către oameni de știință de la Universitatea Tehnică Nanyang, Singapore (NTU Singapore). Tehnologia funcționează prin combinarea electronicilor similari cu pielea cu viziunea computerizată.

Dezvoltarea sistemelor AI pentru recunoașterea gesturilor mâinii umane are loc de aproximativ 10 ani și este utilizată în prezent în roboți chirurgicali, echipamente de monitorizare a sănătății și în sisteme de jocuri.

Primele sisteme AI de recunoaștere a gesturilor erau doar vizuale, iar intrările de la senzorii purtabili au fost integrate pentru a le îmbunătăți. Acest lucru se numește “fuziune de date”. Una dintre capacitățile de detectare se numește “somatosensorie”, iar senzorii purtabili pot recrea aceasta.

Precizia recunoașterii gesturilor este încă dificil de atins din cauza calității scăzute a datelor provenite de la senzorii purtabili. Acest lucru se întâmplă din cauza volumului și contactului slab cu utilizatorul, precum și a efectelor obiectelor vizual blocate și a iluminării slabe.

Mai multe provocări vin din integrarea datelor vizuale și senzoriale, deoarece seturile de date neconcordante trebuie procesate separat și eventual combinate la final. Acest proces este ineficient și duce la timp de răspuns mai lent.

Echipa NTU a găsit câteva modalități de a depăși aceste provocări, inclusiv crearea unui sistem de fuziune de date “bioinspirat” care se bazează pe senzori de întindere stretchabili similari cu pielea, fabricați din nanotuburi de carbon cu perete simplu. Echipa s-a bazat, de asemenea, pe AI ca o modalitate de a reprezenta modul în care pielea și viziunea sunt procesate împreună în creier.

Trei abordări de rețele neuronale au fost combinate într-un singur sistem pentru a dezvolta sistemul AI. Cele trei tipuri de rețele neuronale au fost: o rețea neuronală convoluțională, o rețea neuronală rară și o rețea neuronală multistrat.

Prin combinarea acestor trei, echipa a putut dezvolta un sistem capabil să recunoască gesturile umane cu mai multă acuratețe în comparație cu alte metode.

Profesorul Chen Xiaodon este autorul principal al studiului. El este de la Școala de Științe și Inginerie a Materialelor de la NTU.

“Arhitectura noastră de fuziune de date are caracteristici unice bio-inspirate, care includ un sistem creat de om care semănă cu ierarhia de fuziune somatosensorie-vizuală din creier. Credem că aceste caracteristici fac arhitectura noastră unică față de abordările existente.”

Chen este, de asemenea, directorul Centrului Inovativ pentru Dispozitive Flexibile (iFLEX) de la NTU.

“În comparație cu senzorii purtabili rigizi care nu formează un contact suficient de strâns cu utilizatorul pentru colectarea precisă a datelor, inovația noastră utilizează senzori de întindere stretchabili care se atașează confortabil pe pielea umană. Acest lucru permite achiziționarea de semnale de înaltă calitate, care este esențială pentru sarcinile de recunoaștere de înaltă precizie”, a spus Chen.

Rezultatele echipei formate din oameni de știință de la NTU Singapore și Universitatea de Tehnologie din Sydney (UTS) au fost publicate în luna iunie în revista științifică Nature Electronics.

Testarea sistemului

Echipa a testat sistemul bio-inspirat AI cu un robot controlat prin gesturi ale mâinii. Robotul a fost condus printr-un labirint, iar rezultatele au demonstrat că sistemul de recunoaștere a gesturilor mâinii AI a fost capabil să conducă robotul prin labirint fără erori. Acest lucru s-a comparat cu un sistem de recunoaștere vizuală, care a făcut șase erori în același labirint.

La testarea în condiții slabe, cum ar fi zgomot și condiții de iluminare slabă, sistemul AI a menținut o acuratețe ridicată. Rata de acuratețe a recunoașterii a atins peste 96,7%.

Dr. Wang Ming de la Școala de Științe și Inginerie a Materialelor de la NTU Singapore a fost autorul principal al studiului.

“Secretul din spatele acurateței ridicate în arhitectura noastră se datorează faptului că informațiile vizuale și somatosensoriale pot interacționa și se pot completa reciproc la o etapă timpurie, înainte de a efectua o interpretare complexă”, a spus Ming. “Ca urmare, sistemul poate colecta informații coerente cu mai puține date redundante și mai puține ambiguități perceptive, ceea ce duce la o acuratețe mai bună.”

Conform unei perspective independente de la profesorul Markus Antonietti, directorul Institutului Max Planck de Coloid și Interfețe din Germania, “Rezultatele din acest articol ne aduc un pas mai departe spre un world mai inteligent și mai susținut de mașini. La fel ca și invenția smartphone-ului, care a revoluționat societatea, această lucrare ne dă speranța că putem controla într-o zi întreaga lume din jurul nostru cu o gestură, cu mare fiabilitate și precizie”.

“Există aplicații simple și nelimitate pentru o astfel de tehnologie pe piață pentru a susține acest viitor. De exemplu, de la controlul robotic la distanță peste locuri de muncă inteligente până la exoschelete pentru vârstnici.”

Echipa de cercetare va lucra acum la un sistem VR și AR bazat pe sistemul bio-inspirat AI.