AI Sistemi El Jestlerini Doğru Bir Şekilde Tanıyabilir

Nanyang Teknoloji Üniversitesi, Singapur (NTU Singapur) bilim adamları tarafından el jestlerini tanıyabilen yeni bir yapay zeka (AI) sistemi geliştirildi. Bu teknoloji, skin-like elektroniklerle bilgisayar vizyonunu birleştirerek çalışır.

İnsan el jestlerini tanıyan AI sistemlerinin geliştirilmesi yaklaşık 10 yıldır devam ediyor ve şu anda cerrahi robotlar, sağlık izleme ekipmanları ve oyun sistemlerinde kullanılıyor.

İlk AI jest tanıma sistemleri yalnızca görsel olarak çalışıyordu ve giyilebilir sensörlerden gelen girdiler onları iyileştirmek için entegre edildi. Buna “veri füzyonu” denir. Algılama yeteneklerinden biri “somatosensory” olarak adlandırılır ve giyilebilir sensörler bunu yeniden yaratabilir.

Jest tanıma doğruluğunu elde etmek hala zor çünkü giyilebilir sensörlerden gelen verilerin kalitesi düşük. Bu, kullanıcı ile bulkiness ve poor contact nedeniyle xảyar ve ayrıca görsel olarak engellenen nesnelerin ve kötü aydınlatmanın etkileri nedeniyle xảyar.

Görsel ve duyusal verilerin entegrasyonundan daha fazla zorluk geliyor, çünkü eşleşmeyen veri kümelerinin ayrı ayrı işlenmesi ve sonunda birleştirilmesi gerekiyor. Bu işlem verimsiz ve daha yavaş yanıt sürelerine yol açar.

NTU ekibi bu zorlukların üstesinden gelmek için beberapa yol buldu, bunlar arasında tek duvarlı karbon nanotüplerden yapılmış esnek gerinme sensörlerine dayanan bir “bioinspired” veri füzyon sistemi oluşturmak da var. Ekibin ayrıca AI’ı, deri ve görme duyularının beyinde nasıl işlendiğini temsil etmek için kullandı.

Üç nöral ağ yaklaşımı bir sistemde birleştirildi ve AI sistemi geliştirildi. Üç tür nöral ağ vardı: convolutional nöral ağ, sparse nöral ağ ve multilayer nöral ağ.

Bu üçünü birleştirerek, ekip diğer yöntemlere göre insan jestlerini daha doğru bir şekilde tanıyan bir sistem geliştirebildi.

Profesör Chen Xiaodon çalışmanın baş yazarıdır. O, NTU’deki Malzeme Bilimi ve Mühendisliği Okulu’ndan.

“Veri füzyon mimarimiz, beyinde somatosensory-görsel füzyon hiyerarşisini andıran insan yapımı bir sistem olan kendine özgü bio-ilhamlı özelliklere sahiptir. Bu özelliklerin mevcut yaklaşımlardan farklı olduğunu düşünüyoruz.”

Chen ayrıca NTU’deki Innovative Centre for Flexible Devices (iFLEX) direktörüdür.

“Kullanıcı ile yeterli temas kuramayan ve因此 doğru veri toplama yapamayan katı giyilebilir sensörlerle karşılaştırıldığında, inovasyonumuz insan derisine rahatça bağlanan esnek gerinme sensörleri kullanıyor. Bu, yüksek doğruluklu tanıma görevleri için hayati önem taşıyan yüksek kaliteli sinyal edinimine olanak tanır” dedi Chen.

NTU Singapur ve University of Technology Sydney (UTS) bilim adamlarından oluşan ekibin bulguları Haziran ayında Nature Electronics dergisinde yayımlandı.

Sistemin Test Edilmesi

Ekibin bio-ilhamlı AI sistemini el jestleriyle kontrol edilen bir robotla test etti. Robot bir labirentten geçirildi ve sonuçlar, AI el jesti tanıma sisteminin labirentten geçişini hatasız bir şekilde gerçekleştirdiğini gösterdi. Bu, aynı labirente sahip görsel tabanlı tanıma sistemiyle karşılaştırıldığında altı hata yaptı.

Kötü koşullarda, such as gürültü ve kötü aydınlatma koşullarında test edildiğinde, AI sistemi hala yüksek doğrulukta kaldı. Tanıma doğruluk oranı %96,7’nin üzerindeydi.

NTU Singapur’daki Malzeme Bilimi ve Mühendisliği Okulu’ndan Dr. Wang Ming çalışmanın ilk yazarıdır.

“Mimariğimizdeki yüksek doğruluğun sırrı, görsel ve somatosensory bilginin erken bir aşamada birbirleriyle etkileşime girebileceği ve birbirini tamamlayabileceği gerçeğinde yatıyor” dedi Ming. “Sonuç olarak, sistem daha az veri ve daha az algısal belirsizlik ile tutarlı bilgi toplamak için rasyonel bir şekilde çalışabilir, bu da daha iyi bir doğruluğa yol açar.”

Almanya’daki Max Planck Institute of Colloids and Interfaces’in Direktörü Profesör Markus Antonietti’nin bağımsız görüşü, “Bu makaledeki bulgular, daha akıllı ve daha makine destekli bir dünya için bizi bir adım daha ileri taşıyor. Akıllı telefonun toplumları devrim niteliğinde değiştirdiği gibi, bu çalışma bize umut veriyor ki bir gün tüm çevremizi büyük bir güvenilirlik ve doğrulukla jestlerle kontrol edebileceğiz.”

“Uzaktan robot kontrolünden akıllı işyerlerine, yaşlılar için ekzoskelelere kadar böyle bir teknolojinin pazarındaki uygulamaları sınırsızdır.”

Araştırma ekibi şimdi bio-ilhamlı AI sistemine dayalı bir VR ve AR sistemi üzerinde çalışacak.