Il sistema AI è in grado di riconoscere accuratamente i gesti delle mani

Un nuovo sistema di intelligenza artificiale (AI) in grado di riconoscere i gesti delle mani è stato sviluppato dagli scienziati della Nanyang Technological University di Singapore (NTU Singapore). La tecnologia funziona combinando l’elettronica simile alla pelle con la visione artificiale.

Lo sviluppo di sistemi di intelligenza artificiale per riconoscere i gesti delle mani umane è in atto da circa 10 anni ed è attualmente utilizzato nei robot chirurgici, nelle apparecchiature di monitoraggio sanitario e nei sistemi di gioco. 

I primi sistemi di riconoscimento dei gesti AI erano solo visivi e gli input dei sensori indossabili sono stati integrati per migliorarli. Questo si chiama "fusione dei dati". Una delle capacità sensoriali è chiamata "somatosensoriale" e i sensori indossabili possono ricrearla. 

La precisione del riconoscimento dei gesti è ancora difficile da ottenere a causa della scarsa qualità dei dati provenienti dai sensori indossabili. Ciò accade a causa dell'ingombro e dello scarso contatto con l'utente, nonché degli effetti di oggetti visivamente bloccati e scarsa illuminazione. 

Altre sfide derivano dall'integrazione di dati visivi e sensoriali, poiché i set di dati non corrispondenti devono essere elaborati separatamente e infine uniti alla fine. Questo processo è inefficiente e porta a tempi di risposta più lenti. 

Il team NTU ha escogitato alcuni modi per superare queste sfide, inclusa la creazione di un sistema di fusione dati "bioispirato" che si basa su sensori di deformazione estensibili simili alla pelle realizzati con nanotubi di carbonio a parete singola. Il team si è anche affidato all'intelligenza artificiale come un modo per rappresentare il modo in cui i sensi della pelle e la vista vengono elaborati insieme nel cervello.

Tre approcci di rete neurale sono stati combinati in un unico sistema per sviluppare il sistema di intelligenza artificiale. I tre tipi di reti neurali erano: una rete neurale convoluzionale, una rete neurale sparsa e una rete neurale multistrato.

Combinando questi tre, il team potrebbe sviluppare un sistema in grado di riconoscere i gesti umani in modo più accurato rispetto ad altri metodi.

Il professor Chen Xiaodon è l'autore principale dello studio. Viene dalla School of Materials Science and Engineering della NTU. 

“La nostra architettura di fusione dei dati ha le sue caratteristiche bio-ispirate uniche che includono un sistema creato dall'uomo che assomiglia alla gerarchia di fusione somatosensoriale-visiva nel cervello. Riteniamo che tali caratteristiche rendano la nostra architettura unica rispetto agli approcci esistenti”.

Chen è anche direttore dell'Innovative Center for Flexible Devices (iFLEX) presso NTU. 

“Rispetto ai sensori indossabili rigidi che non formano un contatto abbastanza intimo con l'utente per una raccolta dati accurata, la nostra innovazione utilizza sensori di deformazione estensibili che si attaccano comodamente alla pelle umana. Ciò consente un'acquisizione del segnale di alta qualità, che è vitale per le attività di riconoscimento ad alta precisione", ha affermato Chen.

I risultati del team composto da scienziati della NTU Singapore e della University of Technology Sydney (UTS) sono stati pubblicati a giugno sulla rivista scientifica Elettronica per la natura.

Test del sistema

Il team ha testato il sistema AI bio-ispirato con un robot controllato attraverso i gesti delle mani. Il robot è stato guidato attraverso un labirinto e i risultati hanno dimostrato che il sistema di riconoscimento dei gesti delle mani AI è stato in grado di guidare il robot attraverso il labirinto senza errori. Questo rispetto a un sistema di riconoscimento visivo, che ha commesso sei errori nello stesso labirinto.

Testando in condizioni sfavorevoli, come rumore e cattive condizioni di illuminazione, il sistema AI ha comunque mantenuto un'elevata precisione. Il tasso di accuratezza del riconoscimento ha raggiunto oltre il 96.7%.

Il dottor Wang Ming della School of Materials Science & Engineering della NTU Singapore è stato il primo autore dello studio. 

"Il segreto dietro l'elevata precisione della nostra architettura risiede nel fatto che le informazioni visive e somatosensoriali possono interagire e completarsi a vicenda in una fase iniziale prima di eseguire interpretazioni complesse", ha affermato Ming. "Di conseguenza, il sistema può raccogliere razionalmente informazioni coerenti con dati meno ridondanti e meno ambiguità percettiva, con conseguente migliore accuratezza."

Secondo un punto di vista indipendente del professor Markus Antonietti, direttore del Max Planck Institute of Colloids and Interfaces in Germania, “I risultati di questo documento ci portano un altro passo avanti verso un mondo più intelligente e più supportato dalle macchine. Proprio come l'invenzione dello smartphone che ha rivoluzionato la società, questo lavoro ci fa sperare che un giorno potremo controllare fisicamente tutto il nostro mondo circostante con grande affidabilità e precisione attraverso un gesto.

“Ci sono semplicemente infinite applicazioni per tale tecnologia sul mercato per supportare questo futuro. Ad esempio, dal controllo remoto di un robot sui luoghi di lavoro intelligenti agli esoscheletri per gli anziani”.

Il team di ricerca lavorerà ora su un sistema VR e AR basato sul sistema AI bioispirato.