Yapay Zeka İşaret Dili Tanımını Her Zamankinden Daha Precise Hale Getiriyor

İletişim barriersını yıkmaya çalışırken, genellikle dil çevirme uygulamaları veya ses asistanlarına odaklanıyoruz. Ancak milyonlarca işaret dili kullanan người için bu araçlar arayı kapatmaya yetmedi. İşaret dili sadece el hareketleri değil, aynı zamanda yüz ifadeleri ve vücut dili içeren zengin ve karmaşık bir iletişim biçimidir, her unsur önemli anlamlar taşır.

Bu özellikle zor çünkü işaret dilleri, konuşulan dillerin aksine, sadece kelime dağarcığı ve gramerde değil, anlamı iletmek için temelde farklıdır. Örneğin, Amerikan İşaret Dili (ASL), konuşulan İngilizce’den farklı bir gramer ve sentaks sahiptir.

Bu karmaşıklık, işaret dilini gerçek zamanlı olarak tanıma ve çevirme teknolojisini yaratmak için tüm dil sistemini anlamak gerektiğini gösterir.

Tanıma için Yeni Bir Yaklaşım

Florida Atlantic Üniversitesi’nin (FAU) Mühendislik ve Bilgisayar Bilimleri Fakültesi’ndeki bir ekip, taze bir yaklaşım benimsemeye karar verdi. İşaret dilinin tüm karmaşıklığını aynı anda ele almak yerine, ASL alfabesi jestlerini önceden görülmemiş bir doğrulukla tanıma konusunda uzmanlaşmaya odaklandılar.

Bunu, bir bilgisayara el yazısını okumayı öğretmeye benzer, ancak üç boyutlu ve hareketli olarak düşünün. Ekip, 29,820 statik görüntü içeren bir veri seti oluşturdu, bu görüntüler ASL el jestlerini gösteriyordu. Ancak sadece resimler toplamakla kalmadılar, her görüntüye 21 ana noktayı işaretlediler, böylece ellerin nasıl hareket ettiğini ve farklı işaretleri nasıl oluşturduğunu gösteren ayrıntılı bir harita yarattılar.

Bu araştırmayı yöneten Dr. Bader Alsharif, “Bu yöntem önceki araştırmalarda keşfedilmedi, bu nedenle gelecekteki ilerlemeler için yeni ve umut verici bir yön sunuyor” diyor.

Teknolojinin Ayrıştırılması

İşaret dili tanıma sisteminin çalışmasını sağlayan teknoloji kombinasyonuna daha yakından bakalım.

MediaPipe ve YOLOv8

Bunun sihirli kısmı, iki güçlü aracın sorunsuz entegrasyonundan kaynaklanıyor: MediaPipe ve YOLOv8. MediaPipe’i, her ince el hareketini ve el pozisyonunu takip edebilen uzman bir el izleyicisi olarak düşünün. Araştırma ekibi, MediaPipe’i özellikle 21 precisa noktayı tanımlayabilme ve el hareketlerini takip etme yeteneği nedeniyle seçti.

Ancak takip yetmez, bu hareketlerin ne anlama geldiğini anlamamız gerekir. İşte burada YOLOv8 devreye giriyor. YOLOv8, bir desen tanıma uzmanı, tüm bu takip noktalarını alıp hangi harfi veya jesti temsil ettiklerini belirler. Araştırma, YOLOv8’in bir görüntüyü işlediğinde, görüntüyü S × S ızgara’ya böldüğünü ve her ızgara hücresinin sınırları içinde nesneleri (bu durumda el jestlerini) tespit etmekten sorumlu olduğunu gösterir.

Alsharif et al., Franklin Open (2024)

Sistem Nasıl Çalışır

Süreç ilk bakışta göründüğünden daha sofistikedir.

Arka planda neler olduğu şudur:

El Tespit Aşaması

Bir işaret yaptığınızda, MediaPipe önce karedeki elinizi tanımlar ve 21 ana noktayı haritalar. Bunlar rastgele noktalar değil, elinizin specific eklem ve özellikleri ile ilgili.

Uzaysal Analiz

YOLOv8 daha sonra bu bilgileri gerçek zamanlı olarak analiz eder. Her bir ızgara hücresinde, aşağıdaki değerleri öngörür:

• El jestinin var olma olasılığı
• Jestin konumunun kesin koordinatları
• Öngörünün güven skoru

Sınıflandırma

Sistem, “bounding box prediction” olarak bilinen bir şeyi kullanır – el jestinin etrafına mükemmel bir dikdörtgen çizmek gibi. YOLOv8 her bir kutu için beş kritik değeri hesaplar: x ve y koordinatları, genişlik, yükseklik ve bir güven skoru.

Alsharif et al., Franklin Open (2024)

Bu Kombinasyon Neden Bu Kadar İyi Çalışıyor

Araştırma ekibi, bu teknolojileri birleştirdiklerinde, parçaların toplamından daha büyük bir şey yarattıklarını keşfetti. MediaPipe’in precisa takibi ile YOLOv8’in gelişmiş nesne tanıma yetenekleri, şaşırtıcı derecede doğru sonuçlar üretti – %98 doğruluk oranı ve %99 F1 puanı gibi.

Bu özellikle etkileyici çünkü sistem, işaret dilinin karmaşıklığını nasıl ele alıyor. Bazı işaretler eğitimli gözler için çok benzer görünebilir, ancak sistem ince farklılıkları tespit edebilir.

Rekor Kıran Sonuçlar

Araştırmacılar yeni teknoloji geliştirdiğinde, büyük soru her zaman “Aslında ne kadar iyi çalışıyor?” olur. Bu işaret dili tanıma sistemi için sonuçlar etkileyici.

FAU’daki ekip, sistemini kapsamlı testlere tabi tuttu ve şunları buldu:

• Sistem, işaretleri %98 oranında doğru bir şekilde tanımlar
• Kendi önünde yapılan tüm işaretleri %98 oranında yakalar
• Genel performans puanı %99’a ulaşır

“Araştırmamızdan elde edilen sonuçlar, modelimizin Amerikan İşaret Dili jestlerini çok az hata ile doğru bir şekilde tespit etme ve sınıflandırma yeteneğini gösteriyor” diyor Alsharif.

Sistem, günlük durumlar için iyi çalışır – farklı aydınlatma, çeşitli el pozisyonları ve hatta farklı kişilerin işaretleri.

Bu atılım, işaret dili tanıma konusunda mümkün olanın sınırlarını genişletiyor. Önceki sistemler doğruluk konusunda mücadele etti, ancak MediaPipe’in el takibini YOLOv8’in tespit yetenekleriyle birleştirmek, araştırma ekibinin gerçekten özel bir şey yaratmasını sağladı.

“Bu modelin başarısı, büyük ölçüde transfer öğrenimi, titiz veri seti oluşturma ve precisa ayarlamaya dikkat edilmesi sayesinde gerçekleşti” diyor Mohammad Ilyas, çalışmanın ortak yazarlarından biri. Bu dikkatli yaklaşım, sistemin şaşırtıcı performansına yol açtı.

İletişim için Ne Anlama Geliyor

Bu sistemin başarısı, iletişimi daha erişilebilir ve kapsayıcı hale getirmek için heyecan verici olanaklar açıyor.

Ekip, sadece harfleri tanımakla kalmıyor, daha geniş bir el şekli ve jest yelpazesini anlamaya çalışıyor. Örneğin, işaret dilindeki ‘M’ ve ‘N’ harflerini düşünün – bunlar neredeyse aynı görünebilir. Araştırmacılar, sistemin bu ince farklılıkları daha da iyi bir şekilde yakalayabilmesi için çalışıyorlar. Dr. Alsharif, “Önemli olarak, bu çalışmanın bulguları, sistemin sadece robustluğunu değil, aynı zamanda pratik, gerçek zamanlı uygulamalarda kullanılma potansiyelini vurguluyor” diyor.

Ekip şu anda:

• Sistemin düzenli cihazlarda sorunsuz çalışmasını sağlamak
• Gerçek dünya sohbetleri için yeterli hızda olmasını sağlamak
• Her ortamda güvenilir bir şekilde çalışmasını sağlamak

FAU’nun Mühendislik ve Bilgisayar Bilimleri Fakültesi Dekanı Stella Batalama, daha büyük bir vizyon paylaşıyor: “Amerikan İşaret Dili tanımağını geliştirerek, işitme ve konuşma engelliler için iletişimi güçlendirerek araçlar yaratmaya katkıda bulunuyoruz.”

Bir doktor muayenehanesine girerken veya bir sınıfa katıldığınızda, bu teknolojinin iletişim açıklarını anında kapatmasını hayal edin. İşte buradaki gerçek hedef – günlük etkileşimleri herkes için daha sorunsuz ve daha doğal hale getirmek. İnsanları gerçekten bağlantılı kılacak teknoloji yaratmak. Eğitim, sağlık veya günlük sohbetlerde, bu sistem, iletişimde engellerin giderek küçülmesine doğru bir adım temsil ediyor.