Google DeepMind, Telefonlara SL2T İle İşaret Dili Çevirisi Getiriyor

Google DeepMind, bir işaret dili çevirisi modeli olan SL2T’yi iki tüketici Android ürününe entegre etti. Bu, işaret dili AI’ın bir telefon özelliğine ulaştığı ilk kez. Model, Gboard ve Live Transcribe’da işaret dili ile metin dikteleme işlemlerini gerçekleştirebiliyor ve Pixel 11 telefonlarda çalışıyor. 12 Ağustos 2026’da American Sign Language’den İngilizce’ye çeviri ile piyasaya sürülüyor.

Özellik, normalde bir kullanıcı yazabileceği her yerde çalışıyor. Bir İşitme Engelli kişi, web araması, mesaj veya belge oluşturma ya da Gemini’ye işaret dili ile konuşarak telefonun kamerasına konuşarak yazabileceği her şeyi yapabilir. Live Transcribe’de, işaret dili konuşan kişiler, yazı yazmak yerine işaret dili ile yanıt verebilirler. Google, testlerin işaret dili ile konuşmanın İngilizce yazmaktan daha hızlı ve daha doğal olduğunu gösterdiğini belirtiyor.

SL2T, Google tarafından işaret dili çevirisi için kalite ve genellik açısından bir đột phá olarak tanımlanıyor. 50’den fazla işaret dilini kapsayan 100.000 saatten fazla işaret dili verisi ile eğitildi ve bu verilerin yaklaşık dörtte biri Amerikan İşaret Dili (ASL) idi. Diller, lehçeler ve beceri seviyeleri boyunca ortak eğitim, şirketin deneylerinde tek dilli sistemlerin performansını aşan bir model üretti, duyuruda belirtildiği gibi.

Modelin Ne Gördüğü ve Nasıl Çevirdiği

Sistem, işaret dili konuşan kişinin ham video kaydını işlemez. Cihazda çalışan MediaPipe Holistic modeli, yüz, vücut ve ellerin 130 ana noktasını kare kare takip eder ve bu geometrik koordinatlar cihazdan çeviri için ayrılır. Orijinal kamera kaydı hemen atılır, bu da Google tarafından bir gizlilik önlemi olarak tanımlanıyor.

Bu koordinat akışından, SL2T doğrudan İngilizce metin oluşturur ve çoğu önceki işaret dili çevirisi sisteminin dayandığı ara注释 katmanını atlar. Bu, çevirinin kalitesini etiket kümesiyle değil, eğitim verisi ile ölçeklendirmesine olanak tanır. İşaret dilleri, konuşulan dillerin işaret dili versiyonları değil, kendi gramerlerine sahip bağımsız doğal dillerdir. Bu, iki dil arasındaki makine çevirisi görevi ile birlikte, yüksek kare hızlarında eller, kollar, gövde, baş ve yüzün同时 hareketini takip etme zorlu bir bilgisayar görme problemi oluşturur.

Benchmark Sonuçları ve Kalan Hata Modelleri

Google, SL2T’nin FLEURS-ASL benchmark‘unda, Sertifikalı İşitme Engelli Tercümanlar tarafından stüdyo koşullarında kaydedilen karmaşık, soyut dilden İngilizce’ye çeviri için 70 BLEURT puanı aldığını belirtiyor. Şirket, bir elle yapılan işaret dili varyantında 74 BLEURT ve bir tablette yapılan asistan tarzı cümlelerin çevirisi için 85 BLEURT puanı aldığını da belirtiyor. FSboard adlı parmak yazısı verisi üzerinde, model %64’lük tam eşleşme doğruluğuna ulaşıyor. Bu, üretici tarafından bildirilen rakamlardır ve bağımsız bir değerlendirme yayınlanmamıştır.

Google’ın Araçların Kullanılmaması Gerektiği Yerler

Google DeepMind, bu konuda özel bir yönetim katmanı oluşturdu. Şirket, İşitme Engelli organizasyonlarından oluşan bir danışma kurulu topladı ve birlikte bir etki raporu hazırladı. Bu rapor, teknolojinin ne için kullanılabileceği ve nerede durması gerektiğini açıklıyor.

SL2T, Modelin Kendi Sınırları Belgesinde Nasıl Çalışıyor

Rapor, modelin teknik sınırlarını detaylı olarak açıklıyor. Düşük ışık, sert arka aydınlatma veya el ve yüzü karşıtlığını azaltan giysiler gibi durumlarda doğruluk düşüyor. Pozisyon takip sistemi, sadece en büyük konuyu takip edebiliyor ve birden fazla işaret dili konuşan kişi ile başa çıkamıyor. Performans, aşırı kamera açısında veya işaret dili konuşan kişinin yan yatarken düşüyor. Giriş klipleri 60 saniye ile sınırlı ve her klibin bağımsız olarak çevriliyor, önceki konuşma döngülerini hatırlayamıyor. Model, 18 yaşından küçük işaret dili konuşan kişiler üzerinde eğitilmemiş veya değerlendirilmemiş ve özel kelime listeleri, isim işaretleri veya lehçe tercihleri desteklemiyor.

Projeye, İşitme Engelli bir Google çalışanı olan Sam Sepah öncülük etti ve İşitme Engelli bakış açıları veri toplama, kullanıcı çalışmaları ve değerlendirme süreçlerine entegre edildi. Google, SL2T’nin lansmanının daha uzun bir çalışmanın başlangıcı olduğunu belirtiyor: ek işaret dilleri, işaret dili oluşturma ve daha geniş sınır yetenekleri aktif çalışma olarak listeleniyor. Özellik, Pixel 11’de ek maliyet olmadan sunuluyor ve daha fazla cihazda sunulacak.

Google, SL2T’nin lançmanını, veri toplama, kullanıcı çalışmaları ve değerlendirme çalışmalarının başlangıcı olarak görüyor. İşitme Engelli kişilerin görüşleri, veri toplama, kullanıcı çalışmaları ve değerlendirme süreçlerine dahil edildi. Google, SL2T’nin lançmanını, daha uzun bir çalışmanın başlangıcı olarak görüyor: ek işaret dilleri, işaret dili oluşturma ve daha geniş sınır yetenekleri aktif çalışma olarak listeleniyor. Özellik, Pixel 11’de ek maliyet olmadan sunuluyor ve daha fazla cihazda sunulacak.