Google DeepMind bringt Gebärdensprachübersetzung auf Smartphones mit SL2T

Google DeepMind hat ein Modell für die Übersetzung von Gebärdensprache in Text, SL2T, in zwei Consumer-Android-Produkten veröffentlicht, was das erste Mal ist, dass eine Gebärdensprach-KI eine ausgelieferte Smartphone-Funktion erreicht hat. Das Modell ermöglicht die Übersetzung von Gebärdensprache in Text in Gboard und Live Transcribe auf Pixel 11-Smartphones, die am 12. August 2026 mit der Übersetzung von American Sign Language (ASL) in Englisch starten.

Die Funktion funktioniert überall, wo normalerweise getippt wird. Ein gehörloser Benutzer kann eine Web-Suche starten, eine Nachricht oder ein Dokument verfassen oder Gemini durch Zeichen in die Kamera des Telefons anstelle des Tippens aufrufen. In Live Transcribe können Zeichner auf eine Unterhaltung in Gebärdensprache antworten, anstatt hin und her zu tippen. Google sagt, dass Tester festgestellt haben, dass das Zeichen in ASL schneller und natürlicher ist als das Tippen in Englisch.

SL2T ist das erste Modell, das Google als Durchbruch in Qualität und Allgemeingültigkeit für die Gebärdensprachübersetzung bezeichnet. Es wurde mit über 100.000 Stunden Zeichendaten aus über 50 Gebärdensprachen trainiert, wobei etwa ein Viertel der Daten in ASL waren. Durch das gemeinsame Training über Sprachen, Dialekte und Kompetenzniveaus entstand ein Modell, das die Leistung von Einzelsprachensystemen in den Experimenten des Unternehmens übertrifft, wie in der Bekanntmachung angegeben.

Was das Modell sieht und wie es übersetzt

Das System verarbeitet nicht das rohe Video des Zeichners. Ein On-Device-Modell, MediaPipe Holistic, verfolgt 130 Schlüsselpunkte auf dem Gesicht, Körper und Händen frame für frame, und nur diese geometrischen Koordinaten verlassen das Gerät für die Übersetzung. Die ursprüngliche Kamera-Aufnahme wird sofort verworfen, was Google als Datenschutzsicherheitsmaßnahme bezeichnet.

Aus diesem Koordinatenstrom generiert SL2T direkt Englischer Text, ohne die Zwischenannotationsschicht, die als Glossen bezeichnet wird und auf die sich die meisten vorherigen Gebärdensprachübersetzungssysteme verließen. Glossen ordnen festen Labels einzelnen Zeichen zu, was die Vokabularbegrenzung und den Verlust der nicht-manuellen Marker und räumlichen Konstruktionen, die grammatische Bedeutung in Gebärdensprachen tragen, einschränkt. Durch die Entfernung dieser Flaschenhals kann die Übersetzungsqualität mit den Trainingsdaten skaliert werden und nicht mit einem handgefertigten Label-Set.

Gebärdensprachen sind unabhängige natürliche Sprachen mit eigenen Grammatiken, nicht Zeichenversionen von gesprochenem Englisch. Das macht die Aufgabe der maschinellen Übersetzung zwischen zwei Sprachen plus ein hartes Computer-Vision-Problem: Das Modell muss die gleichzeitige Bewegung der Hände, Arme, des Rumpfes, Kopfes und Gesichts bei hohen Bildraten verfolgen. Frühere Versuche, Gebärdensprach-Technologie zu entwickeln, wie z.B. Sensorgloves, konnten weder die eine noch die andere Anforderung erfüllen.

Benchmark-Ergebnisse und verbleibende Fehlermuster

Auf dem FLEURS-ASL-Benchmark, der die ASL-Englisch-Übersetzung komplexer, abstrakter Sprache misst, die in Studio-Bedingungen von zertifizierten gehörlosen Dolmetschern aufgezeichnet wurde, erreicht SL2T 70 BLEURT zero-shot, was deutlich über den vorher gemeldeten Ergebnissen liegt, wie Google angibt. Das Unternehmen berichtet auch über 74 BLEURT auf einer einhändigen Zeichenversion des Benchmarks und 85 BLEURT auf PRESTO-ASL, einer Datenbank von Assistenten-Phrasen, die an ein angedocktes Tablet gezeichnet wurden. Auf FSboard, einer Fingerspell-Datenbank, die von gehörlosen Zeichnern auf mobilen Geräten gesammelt wurde, erreicht das Modell 64 Prozent exakte Übereinstimmung. Diese sind Herstellerangaben; es gibt keine unabhängige Bewertung.

Google hat side-by-side-Beispiele aus FLEURS-ASL veröffentlicht, die flüssige Ausgabe neben identifizierbaren Fehlermodi zeigen. Das Modell ersetzt gelegentlich seltene Zeichen und schnelles Fingerspelling, lässt passive Konstruktionen und Klassifikationsdarstellungen fallen und verliert die Zeit, wenn der Kontext fehlt. Ein Beispiel übersetzt “Dieses vollständig gefiederte, warmblütige Raubvogel” als “Dieses Wesen ist warmblütig, isst Grau”, ein Fingerspelling-Fehler, der “Grau” für “Beute” ersetzt.

Das Modell zeigt auch restliches Halluzinationsverhalten, indem es Text generiert, wenn niemand zeichnet, wie z.B. wenn eine zweite Person in das Bild kommt oder der Zeichner pausiert. Google sagt, dass die Veröffentlichungsversion diese Fehler im Vergleich zu den vor der Veröffentlichung getesteten Versionen, die von gehörlosen Evaluatoren im Juli 2026 getestet wurden, deutlich reduziert hat, aber nicht eliminiert.

Wo Google sagt, dass das Tool nicht verwendet werden darf

Die Veröffentlichung enthält eine ungewöhnliche Regierungsebene. Google DeepMind hat einen Beratungsausschuss, den AI-Gebärdensprach-Beratungsausschuss, eingerichtet, der gehörlose Organisationen wie die National Association of the Deaf, die World Federation of the Deaf, die Deaf Professional Arts Network und das National Technical Institute for the Deaf des Rochester Institute of Technology zusammenbringt. Der Ausschuss hat einen gemeinsamen Auswirkungsbericht verfasst, der ausführt, wofür die Technologie gedacht ist und wo sie aufhört.

Der Bericht definiert SL2T 1.0 als ein assistives Entwurfs-Generierungstool für niedrige Risiken, informelle Umgebungen: Messaging, Suche, Navigation, Notizen und lockere Einzelgespräche. Es schließt explizit medizinische Beratungen, rechtliche Verfahren, Polizeikontakte, Klassenunterricht, Vorstellungsgespräche und Regierungsleistungsentscheidungen aus. Es besagt auch, dass das Tool nicht die rechtlichen Verpflichtungen für angemessene Vorkehrungen nach dem Americans with Disabilities Act oder äquivalenten Rahmenbedingungen erfüllt und dass es nicht von Institutionen verwendet werden darf, um zertifizierte menschliche Dolmetscher zu ersetzen.

Der Zeichner bleibt während des gesamten Prozesses im Kreis. Beide Apps zeigen eine Textvorschau, die der Benutzer überprüfen und bearbeiten kann, bevor er sie sendet, und in Live Transcribe kontrolliert der gehörlose Benutzer, wann der übersetzte Text einem Gesprächspartner gezeigt wird. Der Bericht weist darauf hin, dass diese Sicherheitsmaßnahme funktionale Englisch-Kenntnisse voraussetzt, um Fehler zu erkennen.

Wie SL2T in den technischen Grenzen des Modells funktioniert

Der Auswirkungsbericht verzeichnet die technischen Grenzen des Modells im Detail. Die Genauigkeit verschlechtert sich bei schlechtem Licht, hartem Gegenlicht oder wenn die Kleidung den Kontrast gegen Hände und Gesicht verringert. Der Posetracker verfolgt nur das größte Objekt im Bild und kann nicht mit mehreren Zeichnern umgehen. Die Leistung sinkt bei extremen Kamerawinkeln oder wenn der Zeichner seitwärts liegt. Die Eingabeclips sind auf 60 Sekunden begrenzt, und jeder Clip wird unabhängig übersetzt, ohne Erinnerung an frühere Konversationsrunden. Das Modell wurde nicht auf Zeichner unter 18 trainiert oder ausgewertet. Es unterstützt keine benutzerdefinierten Wortlisten, keine Namenszeichen und keine Dialektpräferenzen.

Kurzfristige Updates, die bereits auf der Straße sind, umfassen die Diktion von Satzzeichen, Zeilenumbrüchen, Emojis und grundlegenden Bearbeitungsbefehlen sowie Konversationsgedächtnis über sequenzielle Clips in Live Transcribe. Langfristige Forschungsziele umfassen bessere Empfindlichkeit gegenüber nicht-manuellen Markern wie Gesichtsausdrücken und Augenbrauenposition, Unterstützung für mehrere Zeichner und erweiterte Datenerfassung über regionale ASL-Dialekte und Black ASL.

Das Projekt begann mit Sam Sepah, einem gehörlosen Googler, und gehörlose Perspektiven wurden in die Datenerfassung, Benutzerstudien und Auswertung integriert. Google beschreibt SL2T-Start als den Beginn einer längeren Anstrengung: zusätzliche Gebärdensprachen, Gebärdensprachengenerierung und breitere Grenzkapazitäten sind alle als aktive Arbeit aufgeführt. Die Funktion wird auf Pixel 11 ohne zusätzliche Kosten ausgeliefert, mit mehr Geräten, die folgen werden.

Das Projekt konzentriert sich auf die Erfassung von Daten, Benutzerstudien und Auswertung, um die Entwicklung von SL2T zu unterstützen. Google betont, dass die Entwicklung von SL2T ein wichtiger Schritt in Richtung einer inklusiveren und zugänglicheren Technologie ist.