Sistemul de inteligență artificială poate recunoaște gesturile mâinii cu acuratețe

Un nou sistem de inteligență artificială (IA) capabil să recunoască gesturile mâinii a fost dezvoltat de către oamenii de știință de la Universitatea Tehnică Nanyang din Singapore (NTU Singapore). Tehnologia funcționează prin combinarea electronicilor de tip piele cu viziunea computerizată.

Dezvoltarea sistemelor de IA pentru recunoașterea gesturilor mâinii umane a început acum aproximativ 10 ani și este utilizată în prezent în roboți chirurgicale, echipamente de monitorizare a sănătății și în sisteme de jocuri.

Primele sisteme de recunoaștere a gesturilor IA au fost doar vizuale, iar intrările de la senzorii purtabili au fost integrate pentru a le îmbunătăți. Acest lucru se numește “fuziune de date”. Una dintre capacitățile de detectare se numește “somatosensorie”, iar senzorii purtabili pot recrea aceasta.

Precizia recunoașterii gesturilor este încă dificil de atins din cauza calității scăzute a datelor provenite de la senzorii purtabili. Acest lucru se datorează volumului și contactului slab cu utilizatorul, precum și efectelor obiectelor vizual blocate și a iluminării slabe.

Mai multe provocări vin din integrarea datelor vizuale și senzoriale, deoarece seturile de date neconcordante trebuie procesate separat și eventual unite la sfârșit. Acest proces este ineficient și duce la timpuri de răspuns mai lente.

Echipa de la NTU a găsit câteva modalități de a depăși aceste provocări, inclusiv crearea unui sistem de fuziune de date “bio-inspirat” care se bazează pe senzori de întindere stretchabili din nanotuburi de carbon cu pereți simpli. Echipa s-a bazat, de asemenea, pe IA ca modalitate de reprezentare a modului în care pielea și viziunea sunt procesate împreună în creier.

Trei abordări de rețele neuronale au fost combinate într-un singur sistem pentru a dezvolta sistemul de IA. Cele trei tipuri de rețele neuronale au fost: o rețea neuronală convoluțională, o rețea neuronală rară și o rețea neuronală multistrat.

Prin combinarea acestor trei, echipa a putut dezvolta un sistem capabil să recunoască gesturile umane cu mai multă acuratețe în comparație cu alte metode.

Profesorul Chen Xiaodon este autorul principal al studiului. El este de la Școala de Științe și Inginerie a Materialelor de la NTU.

“Arhitectura noastră de fuziune de date are caracteristici bio-inspirate unice, care includ un sistem creat de om asemănător cu ierarhia de fuziune somatosensorie-vizuală din creier. Credem că aceste caracteristici fac arhitectura noastră unică față de abordările existente.”

Chen este, de asemenea, directorul Centrului Inovativ pentru Dispozitive Flexibile (iFLEX) de la NTU.

“În comparație cu senzorii purtabili rigizi care nu formează un contact suficient de strâns cu utilizatorul pentru colectarea precisă a datelor, inovația noastră utilizează senzori de întindere stretchabili care se atașează confortabil pe pielea umană. Acest lucru permite achiziționarea de semnale de înaltă calitate, care este esențială pentru sarcinile de recunoaștere de înaltă precizie”, a spus Chen.

Rezultatele echipei formate din oameni de știință de la NTU Singapore și Universitatea Tehnologică din Sydney (UTS) au fost publicate în luna iunie în revista științifică Nature Electronics.

Testarea sistemului

Echipa a testat sistemul de IA bio-inspirat cu un robot controlat prin gesturi ale mâinii. Robotul a fost condus printr-un labirint, iar rezultatele au demonstrat că sistemul de IA de recunoaștere a gesturilor mâinii a putut conduce robotul printr-un labirint fără erori. Acest lucru s-a comparat cu un sistem de recunoaștere vizuală, care a făcut șase erori în același labirint.

La testarea în condiții slabe, cum ar fi zgomot și condiții de iluminare slabă, sistemul de IA a menținut o acuratețe ridicată. Rata de recunoaștere a atins peste 96,7%.

Dr. Wang Ming de la Școala de Științe și Inginerie a Materialelor de la NTU Singapore a fost autorul principal al studiului.

“Secretul din spatele acurateței ridicate în arhitectura noastră se datorează faptului că informațiile vizuale și somatosensoriale pot interacționa și se pot completa reciproc la un stadiu incipient, înainte de a efectua interpretări complexe”, a spus Ming. “Ca urmare, sistemul poate colecta informații coerente cu mai puține date redundante și mai puțină ambiguitate perceptuală, ceea ce duce la o acuratețe mai bună.”

Conform unei perspective independente de la profesorul Markus Antonietti, directorul Institutului Max Planck de Coloid și Interfețe din Germania, “Rezultatele din acest studiu ne aduc un pas mai departe spre un world mai inteligent și mai susținut de mașini. Asemenea invenției smartphone-ului, care a revoluționat societatea, această lucrare ne dă speranța că am putea controla fizic toată lumea noastră înconjurătoare cu mare fiabilitate și precizie prin gesturi.”

“Există aplicații practic nelimitate pentru o astfel de tehnologie pe piață, pentru a susține acest viitor. De exemplu, de la controlul robotic la distanță peste locuri de muncă inteligente până la exoschelete pentru vârstnici.”

Echipa de cercetare va lucra acum la un sistem de realitate virtuală și augmentată bazat pe sistemul de IA bio-inspirat.