Google DeepMind porta la traduzione della lingua dei segni ai telefoni con SL2T

Google DeepMind ha lanciato un modello di traduzione della lingua dei segni, SL2T, all’interno di due prodotti Android per consumatori, la prima volta che la tecnologia di intelligenza artificiale per la lingua dei segni è stata integrata in una funzionalità di un telefono. Il modello consente la dittatura da segni a testo in Gboard e Live Transcribe su telefoni Pixel 11, lanciato con la traduzione da American Sign Language all’inglese il 12 agosto 2026.

La funzionalità funziona ovunque un utente normalmente digiti. Un segnalatore sordo può dettare una ricerca web, redigere un messaggio o un documento, o chiedere a Gemini firmando alla telecamera del telefono invece di digitare. In Live Transcribe, i segnalatori possono rispondere in conversazione segnata invece di digitare avanti e indietro. Google afferma che i tester hanno trovato la firma in ASL più veloce e più naturale della digitazione in inglese.

SL2T è il primo modello che Google descrive come una svolta in termini di qualità e generalità per la traduzione della lingua dei segni. È stato addestrato su oltre 100.000 ore di dati di segnalazione che coprono oltre 50 lingue dei segni, con circa un quarto dei dati in ASL. L’addestramento congiunto attraverso lingue, dialetti e livelli di competenza ha prodotto un modello che supera i sistemi a lingua singola negli esperimenti della società, secondo l’annuncio.

Cosa vede il modello e come traduce

Il sistema non elabora il video grezzo del segnalatore. Un modello sul dispositivo, MediaPipe Holistic, traccia 130 punti chiave sul viso, corpo e mani frame per frame, e solo quelle coordinate geometriche lasciano il dispositivo per la traduzione. Il feed della telecamera originale viene scartato immediatamente, una progettazione che Google definisce come una salvaguardia per la privacy.

Da quel flusso di coordinate, SL2T genera testo inglese direttamente, saltando lo strato di annotazione intermedio noto come glosse su cui si basavano la maggior parte dei sistemi di traduzione della lingua dei segni precedenti. Le glosse assegnano etichette fisse a segni individuali, il che limita il vocabolario e perde i marcatori non manuali e le costruzioni spaziali che portano significato grammaticale nelle lingue dei segni. Rimuovere quel collo di bottiglia consente alla qualità della traduzione di scalare con i dati di addestramento piuttosto che con un set di etichette costruito a mano.

Le lingue dei segni sono lingue naturali indipendenti con le loro grammatiche, non versioni segnate dell’inglese parlato. Ciò rende il compito una traduzione automatica tra due lingue, più un difficile problema di visione artificiale: il modello deve tracciare il movimento simultaneo delle mani, braccia, torso, testa e viso a elevate frequenze di frame. I precedenti tentativi di tecnologia della lingua dei segni, come i guanti sensoriali, non potevano affrontare nessuno di questi requisiti.

Risultati dei benchmark e modelli di errore residui

Sul benchmark FLEURS-ASL, che misura la traduzione da ASL all’inglese di linguaggio complesso e astratto registrato in condizioni di studio da interpreti sordi certificati, SL2T ottiene 70 BLEURT zero-shot, ben al di sopra dei risultati precedentemente segnalati, secondo Google. La società segnala anche 74 BLEURT su una variante di firma a una mano del benchmark e 85 BLEURT su PRESTO-ASL, un set di dati di frasi di assistenza firmate a un tablet agganciato. Su FSboard, un set di dati di fingerspelling raccolto da segnalatori sordi su dispositivi mobili, il modello raggiunge il 64% di accuratezza di corrispondenza esatta. Questi sono dati riportati dal fornitore; non è stata pubblicata alcuna valutazione indipendente.

Google ha pubblicato esempi affiancati da FLEURS-ASL che mostrano output fluente accanto a modelli di errore identificabili. Il modello sostituisce occasionalmente segni rari e fingerspelling rapido, elimina costruzioni passive e rappresentazioni di classificatori, e perde il tempo quando il contesto è mancante. Un esempio traduce “Questo uccello completamente piumato, a sangue caldo” come “Questa creatura è a sangue caldo, mangia grigio”, un errore di fingerspelling che sostituisce “grigio” con “preda”.

Il modello mostra anche un comportamento di allucinazione residuale, generando testo quando nessuno sta firmando, come quando una seconda persona entra nel frame o il segnalatore si ferma. Google afferma che la versione di rilascio ha ridotto notevolmente questi errori rispetto alle build pre-rilascio che gli utenti sordi hanno testato nel luglio 2026, ma non li ha eliminati.

Dove Google dice che lo strumento non deve essere utilizzato

Il rilascio porta uno strato insolito di governance. Google DeepMind ha convocato un comitato consultivo, il Comitato consultivo AI per la lingua dei segni, riunendo organizzazioni sordi tra cui l’Associazione nazionale dei sordi, la Federazione mondiale dei sordi, la Rete professionale d’arte sordi e l’Istituto tecnico nazionale per i sordi del Rochester Institute of Technology. Il comitato ha co-scritto un rapporto di impatto congiunto che specifica cosa è la tecnologia e dove si ferma.

Il rapporto definisce SL2T 1.0 come uno strumento di generazione di bozza assistita per ambienti informali a basso livello: messaggistica, ricerca, navigazione, presa di appunti e conversazioni casuali uno-a-uno. Esclude esplicitamente consultazioni mediche, procedimenti legali, interazioni con la polizia, istruzione in classe, colloqui di lavoro e determinazioni dei benefici governativi. Afferma anche che lo strumento non soddisfa gli obblighi legali per le accomodazioni ragionevoli ai sensi della legge sugli americani con disabilità o quadri equivalenti, e che non deve essere utilizzato da istituzioni per sostituire interpreti umani certificati.

Il segnalatore rimane nel loop in tutto il processo. Entrambe le app mostrano un’anteprima del testo che l’utente può revisionare e modificare prima di inviarlo, e in Live Transcribe l’utente sordo controlla quando il testo tradotto viene mostrato a un partner di conversazione. Il rapporto nota che questa salvaguardia presuppone una competenza funzionale in inglese per cogliere gli errori.

Come SL2T si esegue nei limiti del modello

Il rapporto di impatto cataloga i confini tecnici del modello in dettaglio. L’accuratezza si deteriora nella luce bassa, nell’illuminazione posteriore dura o quando i vestiti riducono il contrasto con le mani e il viso. Il tracker di pose segue solo il soggetto più grande nel frame e non può gestire più segnalatori. Le prestazioni calano in angoli di camera estremi o quando il segnalatore si sdraia. I clip di input sono limitati a 60 secondi, e ogni clip viene tradotta in modo indipendente, senza memoria di turni di conversazione precedenti. Il modello non è stato addestrato o valutato su segnalatori sotto i 18 anni. Non supporta elenchi di parole personalizzati, firme di nome o preferenze di dialetto.

Aggiornamenti a breve termine già sulla roadmap includono la dittatura di punteggiatura, a capo, emoji e comandi di editing di base, più la memoria della conversazione attraverso clip sequenziali in Live Transcribe. Obiettivi di ricerca a lungo termine includono una maggiore sensibilità ai marcatori non manuali come espressioni facciali e posizione delle sopracciglia, supporto per più segnalatori e raccolta di dati estesa attraverso dialetti regionali ASL e ASL nera.

Il progetto è iniziato con Sam Sepah, un Googler sordo, e le prospettive sordi sono state incorporate nella raccolta dei dati, negli studi degli utenti e nella valutazione. Google descrive il lancio di SL2T come l’inizio di uno sforzo più lungo: lingue dei segni aggiuntive, generazione della lingua dei segni e capacità di frontiera più ampie sono tutte elencate come lavoro attivo. La funzionalità viene consegnata su Pixel 11 senza costi aggiuntivi, con più dispositivi da seguire, in data collection, studi degli utenti e valutazione. Google descrive il lancio di SL2T come l’inizio di uno sforzo più lungo: lingue dei segni aggiuntive, generazione della lingua dei segni e capacità di frontiera più ampie sono tutte elencate come lavoro attivo. La funzionalità viene consegnata su Pixel 11 senza costi aggiuntivi, con più dispositivi da seguire, in data collection, user studies, and evaluation. Google describes SL2T’s launch as the beginning of a longer effort: additional sign languages, sign language generation, and broader frontier capabilities are all listed as active work. The feature ships on Pixel 11 at no additional cost, with more devices to follow into data collection, user studies, and evaluation. Google describes SL2T’s launch as the beginning of a longer effort: additional sign languages, sign language generation, and broader frontier capabilities are all listed as active work. The feature ships on Pixel 11 at no additional cost, with more devices to follow.