Google DeepMind Menghadirkan Terjemahan Bahasa Isyarat ke Ponsel dengan SL2T

Google DeepMind telah meluncurkan model bahasa isyarat-ke-teks, SL2T, di dalam dua produk Android konsumen, pertama kalinya teknologi bahasa isyarat AI mencapai fitur ponsel yang dikirim. Model ini memungkinkan dictation bahasa isyarat-ke-teks di Gboard dan Live Transcribe pada Pixel 11 phones, diluncurkan dengan terjemahan Bahasa Isyarat Amerika ke Bahasa Inggris pada 12 Agustus 2026.

Fitur ini bekerja di mana pun pengguna biasanya mengetik. Seorang penanda bahasa isyarat tuna rungu dapat mendiktekan pencarian web, mengdraft pesan atau dokumen, atau mengajukan pertanyaan kepada Gemini dengan menggunakan bahasa isyarat ke kamera ponsel daripada mengetik. Di Live Transcribe, penanda bahasa isyarat dapat merespons dalam percakapan bahasa isyarat daripada mengetikkan kembali dan forth. Google mengatakan bahwa pengujian menemukan bahwa menggunakan bahasa isyarat dalam Bahasa Isyarat Amerika lebih cepat dan lebih alami daripada mengetik dalam Bahasa Inggris.

SL2T adalah model pertama yang digambarkan oleh Google sebagai terobosan dalam kualitas dan keluasan untuk terjemahan bahasa isyarat. Model ini dilatih pada lebih dari 100.000 jam data bahasa isyarat yang mencakup lebih dari 50 bahasa isyarat, dengan sekitar seperempat dari data dalam Bahasa Isyarat Amerika. Pelatihan bersama di seluruh bahasa, dialek, dan tingkat kemampuan menghasilkan model yang outperforms sistem bahasa tunggal dalam eksperimen perusahaan, menurut pengumuman.

Apa yang Dilihat Model dan Bagaimana Ia Menerjemahkan

Sistem ini tidak memproses video mentah dari penanda bahasa isyarat. Sebuah model on-device, MediaPipe Holistic, melacak 130 titik kunci pada wajah, tubuh, dan tangan frame per frame, dan hanya koordinat geometris tersebut yang meninggalkan perangkat untuk diterjemahkan. Umpan kamera asli segera dibuang, sebuah desain yang digambarkan oleh Google sebagai pengaman privasi.

Dari aliran koordinat tersebut, SL2T menghasilkan teks Bahasa Inggris secara langsung, melewati lapisan anotasi antara yang dikenal sebagai glosses yang sebagian besar sistem terjemahan bahasa isyarat sebelumnya bergantung. Glosses menetapkan label tetap untuk tanda-tanda individu, yang membatasi kosakata dan kehilangan penanda non-manual dan konstruksi spasial yang membawa makna gramatikal dalam bahasa isyarat. Menghilangkan bottleneck tersebut memungkinkan kualitas terjemahan meningkat dengan data pelatihan daripada dengan himpunan label yang dibangun.

Bahasa isyarat adalah bahasa alami yang independen dengan tata bahasa mereka sendiri, bukan versi bahasa isyarat dari bahasa Inggris yang diucapkan. Hal ini membuat tugas terjemahan mesin antara dua bahasa, plus masalah penglihatan komputer yang sulit: model harus melacak gerakan simultan dari tangan, lengan, tubuh, kepala, dan wajah pada tingkat frame yang tinggi. Upaya sebelumnya dalam teknologi bahasa isyarat, seperti sarung tangan sensor, tidak dapat menangani salah satu persyaratan tersebut.

Hasil Benchmark dan Pola Kesalahan yang Tersisa

Pada FLEURS-ASL benchmark, yang mengukur terjemahan Bahasa Isyarat Amerika ke Bahasa Inggris dari bahasa abstrak yang kompleks yang direkam dalam kondisi studio oleh Penerjemah Tuli Bersertifikat, SL2T mencetak 70 BLEURT zero-shot, jauh di atas hasil yang dilaporkan sebelumnya, menurut Google. Perusahaan juga melaporkan 74 BLEURT pada varian bahasa isyarat satu tangan dari benchmark dan 85 BLEURT pada PRESTO-ASL, dataset kalimat asisten yang ditandatangani ke tablet yang terhubung. Pada FSboard, dataset fingerspelling yang dikumpulkan dari penanda bahasa isyarat tuna rungu pada perangkat mobile, model mencapai akurasi pertandingan tepat 64 persen. Ini adalah angka yang dilaporkan oleh vendor; tidak ada evaluasi independen yang telah dipublikasikan.

Google menerbitkan contoh sampingan dari FLEURS-ASL yang menunjukkan output yang lancar bersama dengan mode kegagalan yang dapat diidentifikasi. Model ini terkadang menggantikan tanda-tanda yang jarang dan fingerspelling yang cepat, menghilangkan konstruksi pasif dan penggambaran klasifikasi, dan kehilangan ketegangan ketika konteks hilang. Salah satu contoh menerjemahkan “Burung ini berbulu penuh, berdarah panas” sebagai “Makhluk ini berdarah panas, memakan abu-abu,” kesalahan fingerspelling yang menggantikan “abu-abu” untuk “pemangsa.”

Model ini juga menunjukkan perilaku halusinasi yang tersisa, menghasilkan teks ketika tidak ada yang menandatangani, seperti ketika orang kedua memasuki bingkai atau penanda bahasa isyarat berhenti. Google mengatakan bahwa versi rilis secara signifikan mengurangi kesalahan ini dibandingkan dengan build pra-rilis yang diuji oleh penanda bahasa isyarat tuna rungu pada Juli 2026, tetapi belum menghilangkannya.

Di Mana Google Mengatakan Alat Tidak Boleh Digunakan

Peluncuran ini membawa lapisan tata kelola yang tidak biasa. Google DeepMind mengadakan badan penasihat, Komite Penasihat Bahasa Isyarat AI, yang mengumpulkan organisasi tuna rungu termasuk Asosiasi Nasional Tuna Rungu, Federasi Dunia Tuna Rungu, Jaringan Seni Profesional Tuna Rungu, dan Institut Teknologi Nasional untuk Tuna Rungu di Rochester Institute of Technology. Komite ini bersama-sama menulis laporan dampak bersama yang menjelaskan apa yang teknologi ini untuk dan di mana ia berhenti.

Laporan ini mendefinisikan SL2T 1.0 sebagai alat pembuatan draf bantuan untuk pengaturan informal dengan risiko rendah: pesan, pencarian, navigasi, pencatatan, dan percakapan satu lawan satu yang santai. Ia secara eksplisit melarang konsultasi medis, proses hukum, interaksi polisi, instruksi kelas, wawancara pekerjaan, dan penentuan manfaat pemerintah. Ia juga menyatakan bahwa alat ini tidak memenuhi kewajiban hukum untuk akomodasi yang wajar di bawah Undang-Undang Amerika dengan Disabilitas atau kerangka setara, dan bahwa ia tidak boleh digunakan oleh lembaga untuk menggantikan penerjemah manusia bersertifikat.

Penanda bahasa isyarat tetap dalam loop sepanjang waktu. Kedua aplikasi menampilkan pratinjau teks yang dapat ditinjau dan diedit pengguna sebelum mengirim, dan di Live Transcribe pengguna tuna rungu mengontrol kapan teks yang diterjemahkan ditampilkan ke mitra percakapan. Laporan tersebut mencatat bahwa pengamanan ini mengasumsikan literasi Bahasa Inggris fungsional untuk menangkap kesalahan.

Bagaimana SL2T Berperforma dalam Dokumen Batasan Model

Laporan dampak tersebut mengatalogkan batasan teknis model secara rinci. Akurasi menurun dalam cahaya rendah, pencahayaan belakang yang keras, atau ketika pakaian mengurangi kontras terhadap tangan dan wajah. Pelacak pose mengikuti hanya subjek terbesar dalam bingkai dan tidak dapat menangani beberapa penanda bahasa isyarat. Kinerja menurun pada sudut kamera ekstrem atau ketika penanda bahasa isyarat berbaring miring. Klip input dibatasi pada 60 detik, dan setiap klip diterjemahkan secara independen, tanpa ingatan dari giliran percakapan sebelumnya. Model ini tidak dilatih atau dievaluasi pada penanda bahasa isyarat di bawah 18. Ia tidak mendukung daftar kata kustom, tanda nama, atau preferensi dialek.

Perbaruan jangka pendek yang sudah ada di jalur termasuk dictation tanda baca, baris baru, emoji, dan perintah editing dasar, serta memori percakapan di seluruh klip berurutan di Live Transcribe. Target penelitian jangka panjang termasuk sensitivitas yang lebih baik terhadap penanda non-manual seperti ekspresi wajah dan posisi alis, dukungan multi-penanda bahasa isyarat, dan pengumpulan data yang diperluas di seluruh dialek bahasa isyarat regional dan Bahasa Isyarat Hitam.

Proyek ini berasal dari Sam Sepah, seorang penanda bahasa isyarat tuna rungu, dan perspektif tuna rungu dibangun ke dalam pengumpulan data, studi pengguna, dan evaluasi. Google menggambarkan peluncuran SL2T sebagai awal dari upaya yang lebih lama: bahasa isyarat tambahan, generasi bahasa isyarat, dan kemampuan frontier yang lebih luas semuanya terdaftar sebagai pekerjaan aktif. Fitur ini dikirim pada Pixel 11 tanpa biaya tambahan, dengan lebih banyak perangkat yang akan mengikuti.

Proyek ini masuk ke dalam pengumpulan data, studi pengguna, dan evaluasi. Google menggambarkan peluncuran SL2T sebagai awal dari upaya yang lebih lama: bahasa isyarat tambahan, generasi bahasa isyarat, dan kemampuan frontier yang lebih luas semuanya terdaftar sebagai pekerjaan aktif. Fitur ini dikirim pada Pixel 11 tanpa biaya tambahan, dengan lebih banyak perangkat yang akan mengikuti.