Sistema AI in grado di riconoscere i gesti delle mani con precisione

Un nuovo sistema di intelligenza artificiale (AI) in grado di riconoscere i gesti delle mani è stato sviluppato da scienziati dell’Università Tecnologica di Nanyang, Singapore (NTU Singapore). La tecnologia funziona combinando elettronica simile alla pelle con visione computerizzata.

Lo sviluppo di sistemi AI per riconoscere i gesti delle mani umane è in corso da circa 10 anni e attualmente viene utilizzato in robot chirurgici, attrezzature di monitoraggio della salute e in sistemi di gioco.

I primi sistemi di riconoscimento dei gesti AI erano basati solo sulla visione e sono stati integrati con input da sensori indossabili per migliorarli. Ciò si chiama “fusione dei dati”. Una delle capacità di rilevamento si chiama “somatosensoriale” e i sensori indossabili possono ricrearla.

La precisione del riconoscimento dei gesti è ancora difficile da raggiungere a causa della bassa qualità dei dati provenienti dai sensori indossabili. Ciò accade a causa della loro ingombranza e del cattivo contatto con l’utente, nonché degli effetti di oggetti visivamente bloccati e di scarsa illuminazione.

Ulteriori sfide derivano dall’integrazione dei dati visivi e sensoriali, poiché i set di dati non corrispondenti devono essere elaborati separatamente e infine fusi alla fine. Questo processo è inefficiente e porta a tempi di risposta più lenti.

Il team di NTU ha trovato alcuni modi per superare queste sfide, tra cui la creazione di un sistema di fusione dei dati “bioispirato” che si basa su sensori di stiramento simili alla pelle realizzati con nanotubi di carbonio a parete singola. Il team si è anche affidato all’AI come modo per rappresentare come la pelle e la visione vengono elaborate insieme nel cervello.

Tre approcci di reti neurali sono stati combinati in un unico sistema per sviluppare il sistema AI. I tre tipi di reti neurali erano: una rete neurale convoluzionale, una rete neurale sparsa e una rete neurale multistrato.

Combinando questi tre, il team ha potuto sviluppare un sistema in grado di riconoscere i gesti umani con maggiore precisione rispetto ad altri metodi.

Il professor Chen Xiaodon è l’autore principale dello studio. È della School of Materials Science and Engineering di NTU.

“La nostra architettura di fusione dei dati ha caratteristiche uniche bioispirate che includono un sistema creato dall’uomo che somiglia alla gerarchia di fusione somatosensoriale-visiva nel cervello. Crediamo che tali caratteristiche rendano la nostra architettura unica rispetto agli approcci esistenti.”

Chen è anche direttore del Centro Innovativo per Dispositivi Flessibili (iFLEX) di NTU.

“Rispetto ai sensori indossabili rigidi che non formano un contatto abbastanza intimo con l’utente per la raccolta di dati precisa, la nostra innovazione utilizza sensori di stiramento simili alla pelle che si attaccano comodamente alla pelle umana. Ciò consente l’acquisizione di segnali di alta qualità, essenziale per compiti di riconoscimento ad alta precisione”, ha detto Chen.

I risultati del team composto da scienziati di NTU Singapore e dell’Università di Tecnologia di Sydney (UTS) sono stati pubblicati a giugno sulla rivista scientifica Nature Electronics.

Test del sistema

Il team ha testato il sistema AI bioispirato con un robot controllato attraverso gesti delle mani. Il robot è stato guidato attraverso un labirinto e i risultati hanno dimostrato che il sistema di riconoscimento dei gesti AI è stato in grado di guidare il robot attraverso il labirinto senza errori. Ciò in confronto a un sistema di riconoscimento basato sulla visione, che ha fatto sei errori nello stesso labirinto.

Testato in condizioni di scarsa qualità, come rumore e cattiva illuminazione, il sistema AI ha mantenuto un’elevata precisione. Il tasso di precisione del riconoscimento ha raggiunto oltre il 96,7%.

Il dottor Wang Ming della School of Materials Science & Engineering di NTU Singapore è l’autore principale dello studio.

“Il segreto dietro la precisione elevata nella nostra architettura risiede nel fatto che le informazioni visive e somatosensoriali possono interagire e complementarsi in una fase precoce prima di eseguire un’interpretazione complessa”, ha detto Ming. “Di conseguenza, il sistema può raccogliere razionalmente informazioni coerenti con meno dati ridondanti e meno ambiguità percettiva, risultando in una maggiore precisione.”

Secondo una visione indipendente del professor Markus Antonietti, direttore dell’Istituto Max Planck di Colloidi e Interfasi in Germania, “I risultati di questo articolo ci portano un altro passo avanti verso un mondo più intelligente e supportato dalle macchine. Allo stesso modo dell’invenzione dello smartphone che ha rivoluzionato la società, questo lavoro ci dà speranza che un giorno potremmo controllare fisicamente tutto il nostro mondo circostante con grande affidabilità e precisione attraverso un gesto.”

“Ci sono semplicemente infinite applicazioni per questa tecnologia nel mercato per supportare questo futuro. Ad esempio, dal controllo remoto di robot in luoghi di lavoro intelligenti a esoscheletri per gli anziani.”

Il team di ricerca lavorerà ora su un sistema di realtà virtuale e aumentata basato sul sistema AI bioispirato.