Come l’IA sta rendendo il riconoscimento della lingua dei segni più preciso che mai

Quando pensiamo a superare le barriere della comunicazione, spesso ci concentriamo su app di traduzione linguistica o assistenti vocali. Ma per milioni di persone che utilizzano la lingua dei segni, questi strumenti non hanno ancora colmato il divario. La lingua dei segni non è solo questione di movimenti delle mani – è una forma di comunicazione ricca e complessa che include espressioni facciali e linguaggio del corpo, ogni elemento porta un significato cruciale.

Ecco cosa rende particolarmente impegnativo: a differenza delle lingue parlate, che variano principalmente nel vocabolario e nella grammatica, le lingue dei segni in tutto il mondo differiscono fondamentalmente nel modo in cui trasmettono il significato. La Lingua dei Segni Americana (ASL), ad esempio, ha una propria grammatica e sintassi uniche che non corrispondono all’inglese parlato.

Questa complessità significa che creare tecnologia per riconoscere e tradurre la lingua dei segni in tempo reale richiede la comprensione di un intero sistema linguistico in movimento.

Un nuovo approccio al riconoscimento

È qui che un team alla Florida Atlantic University’s (FAU) College of Engineering and Computer Science ha deciso di adottare un approccio fresco. Invece di cercare di affrontare l’intera complessità della lingua dei segni in una volta, si sono concentrati sul padroneggiare un passaggio cruciale: riconoscere i gesti dell’alfabeto ASL con un’accuratezza senza precedenti attraverso l’IA.

Pensateci come insegnare a un computer a leggere la scrittura a mano, ma in tre dimensioni e in movimento. Il team ha costruito qualcosa di notevole: un set di dati di 29.820 immagini statiche che mostrano gesti manuali ASL. Ma non hanno solo raccolto immagini. Hanno contrassegnato ogni immagine con 21 punti chiave sulla mano, creando una mappa dettagliata di come le mani si muovono e formano segni diversi.

Il dottor Bader Alsharif, che ha guidato questa ricerca come candidato al dottorato, spiega: “Questo metodo non è stato esplorato in precedenti ricerche, rendendolo una nuova e promettente direzione per future innovazioni.”

Scomporre la tecnologia

Scendiamo nel dettaglio della combinazione di tecnologie che rende funzionante il sistema di riconoscimento della lingua dei segni.

MediaPipe e YOLOv8

La magia avviene attraverso l’integrazione senza soluzione di continuità di due potenti strumenti: MediaPipe e YOLOv8. Pensate a MediaPipe come un esperto osservatore delle mani – un abile interprete della lingua dei segni che può tracciare ogni movimento sottile delle dita e la posizione della mano. Il team di ricerca ha scelto MediaPipe specificamente per la sua eccezionale capacità di fornire un tracciamento preciso dei punti di riferimento della mano, identificando 21 punti precisi su ogni mano, come abbiamo menzionato sopra.

Ma il tracciamento non è sufficiente – dobbiamo capire cosa significano questi movimenti. Ed è qui che entra in gioco YOLOv8. YOLOv8 è un esperto di riconoscimento di pattern, che prende tutti quei punti tracciati e determina quale lettera o gesto rappresentano. La ricerca mostra che quando YOLOv8 elabora un’immagine, la divide in una griglia S × S, con ogni cella della griglia responsabile della rilevazione di oggetti (in questo caso, gesti manuali) all’interno dei suoi confini.

Alsharif et al., Franklin Open (2024)

Come funziona il sistema

Il processo è più sofisticato di quanto potrebbe sembrare a prima vista.

Ecco cosa succede dietro le quinte:

Fase di rilevamento della mano

Quando si fa un segno, MediaPipe identifica prima la mano nel frame e mappa i 21 punti chiave. Questi non sono solo punti casuali – corrispondono a specifici giunti e punti di riferimento sulla mano, dalle dita alla base del palmo.

Analisi spaziale

YOLOv8 prende poi queste informazioni e le analizza in tempo reale. Per ogni cella della griglia nell’immagine, prevede:

• La probabilità che ci sia un gesto manuale presente
• Le coordinate precise della posizione del gesto
• Il punteggio di confidenza della sua previsione

Classificazione

Il sistema utilizza qualcosa chiamato “previsione del rettangolo di delimitazione” – immaginate di disegnare un rettangolo perfetto attorno al vostro gesto manuale. YOLOv8 calcola cinque valori cruciali per ogni rettangolo: coordinate x e y per il centro, larghezza, altezza e un punteggio di confidenza.

Alsharif et al., Franklin Open (2024)

Perché questa combinazione funziona così bene

Il team di ricerca ha scoperto che combinando queste tecnologie, hanno creato qualcosa di più grande della somma delle sue parti. Il tracciamento preciso di MediaPipe combinato con il riconoscimento di oggetti avanzato di YOLOv8 ha prodotto risultati notevolmente precisi – parliamo di un tasso di precisione del 98% e un punteggio F1 del 99%.

Cosa rende questo particolarmente impressionante è il modo in cui il sistema gestisce la complessità della lingua dei segni. Alcuni segni potrebbero sembrare molto simili a occhi non addestrati, ma il sistema può notare differenze sottili.

Risultati record

Quando i ricercatori sviluppano nuova tecnologia, la grande domanda è sempre: “Quanto funziona bene?” Per questo sistema di riconoscimento della lingua dei segni, i risultati sono impressionanti.

Il team alla FAU ha sottoposto il loro sistema a test rigorosi, e questo è ciò che hanno trovato:

• Il sistema identifica correttamente i segni nel 98% dei casi
• Cattura il 98% di tutti i segni fatti davanti a lui
• Il punteggio di prestazione complessivo raggiunge un impressionante 99%

“I risultati della nostra ricerca dimostrano la capacità del nostro modello di rilevare e classificare gesti della Lingua dei Segni Americana con pochissimi errori”, spiega Alsharif.

Il sistema funziona bene in situazioni quotidiane – diverse luci, varie posizioni della mano e anche con diverse persone che fanno segni.

Questa innovazione spinge i confini di ciò che è possibile nel riconoscimento della lingua dei segni. I sistemi precedenti hanno lottato con la precisione, ma combinando il tracciamento delle mani di MediaPipe con le capacità di rilevamento di YOLOv8, il team di ricerca ha creato qualcosa di speciale.

“Il successo di questo modello è in gran parte dovuto all’integrazione attenta dell’apprendimento trasferito, alla creazione meticolosa del set di dati e alla regolazione precisa”, afferma Mohammad Ilyas, uno degli autori dello studio. Questa attenzione ai dettagli ha pagato in termini di prestazioni del sistema.

Cosa significa per la comunicazione

Il successo di questo sistema apre possibilità emozionanti per rendere la comunicazione più accessibile e inclusiva.

Il team non si ferma al riconoscimento delle lettere. La prossima grande sfida è insegnare al sistema a comprendere un’ampia gamma di forme e gesti manuali. Pensate a quei momenti in cui i segni sembrano quasi identici – come le lettere ‘M’ e ‘N’ nella lingua dei segni. I ricercatori stanno lavorando per aiutare il loro sistema a cogliere queste differenze sottili ancora meglio. Come dice il dottor Alsharif: “In particolare, i risultati di questo studio enfatizzano non solo la robustezza del sistema, ma anche il suo potenziale per essere utilizzato in applicazioni pratiche e in tempo reale”.

Il team si concentra ora su:

• Far funzionare il sistema su dispositivi regolari
• Renderlo abbastanza veloce per conversazioni nel mondo reale
• Assicurarsi che funzioni in modo affidabile in qualsiasi ambiente

Il decano Stella Batalama della FAU’s College of Engineering and Computer Science condivide la visione più ampia: “Migliorando il riconoscimento della Lingua dei Segni Americana, questo lavoro contribuisce a creare strumenti che possono migliorare la comunicazione per la comunità sorda e ipoacusa.”

Immaginate di entrare in uno studio medico o di partecipare a una lezione dove questa tecnologia colma i gap di comunicazione all’istante. Quello è l’obiettivo reale qui – rendere le interazioni quotidiane più lisce e naturali per tutti. Sta creando tecnologia che aiuta veramente le persone a connettersi. Sia nell’istruzione, nell’assistenza sanitaria o nelle conversazioni quotidiane, questo sistema rappresenta un passo verso un mondo in cui le barriere della comunicazione continuano a ridursi.