AR ve VR’de İlerlemeler ile Yeni Bilek Kamerası

Artırılmış gerçeklik (AR) ve sanal gerçeklik (VR), 3D el pozlama tahmini için yeni bir bilek takılan cihazın yaratılmasıyla bir adım daha ilerledi. Cihaz, Tokyo Institute of Technology (Tokyo Tech) araştırmacıları tarafından, Carnegie Mellon Üniversitesi, St Andrews Üniversitesi ve New South Wales Üniversitesi ekipleriyle birlikte geliştirildi.

Yeni sistemin önemli noktası, elin arkasında resimler çekebilen bir kameradır. Bu, DorsalNet adlı bir sinir ağı kullanarak yapılır. Sinir ağı, dinamik jestleri tanımlayabilir.

AR ve VR cihazlarının kullanımı, özellikle sağlık, spor ve eğlence endüstrilerinde artmaktadır. Bu yeni gelişme, endüstrinin daha da gelişmesine yardımcı olacak ve şu anda kullanılan daha hantal yöntemlerin yerini alacaktır.

3D El Pozlama Tanıma Sistemi

Araştırma ekibinin lideri Hideki Koike, Tokyo Tech’te görev yapmaktadır.

Araştırmacılara göre, “Bu çalışma, dorsal el bölgesinden görsel özellikler kullanarak gerçek zamanlı 3D el pozlama tahmini yapan ilk vizyon tabanlı sistemdir. Sistem, DorsalNet adlı bir sinir ağı tarafından desteklenen bir kameradan oluşur ve elin arkasındaki değişiklikleri tespit ederek 3D el pozlarını doğru bir şekilde tahmin edebilir.”

Cihaz, bir kamera ve bir bileklikten oluşur ve 3D el pozlama tanıma sistemi olarak çalışır. Cihazın en önemli özelliği, bir akıllı saat gibi hareket halindeyken bile el hareketlerini yakalayabilmesidir.

Doğruluk ve Ön Testler

Araştırma, yeni geliştirilen sistemin önceki girişimlerden daha iyi performans gösterdiğini kanıtladı. Özellikle, dinamik jestleri tanımada ortalama %20 daha doğru olduğu görüldü. 11 farklı tutuş türünü tanımlamada %75’lik bir doğruluk oranına sahiptir.

Ön testler, sistemin akıllı cihaz kontrolleri için kullanılabileceğini gösterdi. Bu uygulamalar, parmağın açısını değiştirerek bir akıllı saatın zamanını değiştirmeyi içerir. Ayrıca, araştırmacılar, bir sanal fare veya klavye olarak çalışabileceğini ve bilek rotasyonunun bir işaretçi kontrol edebileceğini gösterdiler.

Araştırmacılara göre, sistemin gerçek dünyada kullanılmadan önce daha da geliştirilmesi gerekmektedir. Örneğin, daha hızlı bir kamera kullanarak daha hızlı bilek hareketlerini yakalayabilmek ve çeşitli aydınlatma koşullarını ele alabilmek için daha gelişmiş bir kamera kullanmaları gerekecektir.

Araştırma, 20-23 Ekim 2020 tarihleri arasında sanal olarak düzenlenecek olan 33. ACM Kullanıcı Arayüzü Yazılımı ve Teknolojisi Sempozyumu (UIST)‘nde sunulacaktır.