Beyin Aktivitesini Kelimelere Çeviren Yapay Zeka Geliştirildi

California Üniversitesi, San Francisco’daki araştırmacılar, beyin aktivitesini metne çevirebilen yapay zeka geliştirdiler. Sistem, konuşurken tespit edilen nöral desenlere dayanmaktadır ve uzmanlar, sonunda konuşamayan individuals, örneğin kilitleme sendromu yaşayan kişiler için kullanılabileceğine inanmaktadır.

Dr. Joseph Makin, araştırmanın ortak yazarıydı.

“Henüz orada değiliz, ancak bunun konuşma protezi temelini oluşturabileceğini düşünüyoruz” dedi Makin.

Araştırma, Nature Neuroscience dergisinde yayımlandı.

Sistemin Test Edilmesi

Joseph Makin ve ekibi, dört kadının beyin sinyallerini konuşurken incelemek için derin öğrenme algoritmalarını kullandı. Tüm kadınlar epilepsi hastasıydı ve beyin aktivitelerini izlemek için elektrodlar takılmıştı.

Elektrodlar takıldıktan sonra, her kadın yüksek sesle bir dizi cümle okurken beyin aktivitesi ölçüldü. Kullanılan en fazla benzersiz kelime 250’ydi. 50 farklı cümleden oluşan bir kümeden seçim yapabilirlerdi, örneğin “Tina Turner bir pop şarkıcısıdır” ve “O hırsızlar 30 mücevher çaldı”.

Beyin aktivitesi verileri daha sonra bir nöral ağ algoritmasına aktarıldı ve düzenli olarak oluşan desenleri tanımlamak için eğitildi. Bu desenler, sesin tekrar eden yönleri gibi ünsüzler veya ünlüler ile bağlantılı olabilirdi. Daha sonra, bunları cümleler oluşturmak için kelimelere dönüştürmeye çalışan ikinci bir nöral ağa verildi.

Her kadın, cümleleri en az iki kez tekrar etmek zorunda kaldı, son tekrarın eğitim verilerine dahil edilmemesi koşuluyla. Bu, araştırmacılara sistemi test etme olanağı verdi.

“Bu cümlelerin beyin aktivitesini ezberlemek yardımcı olmaz, bu nedenle ağ, bunları genelleştirebilmek için benzer yönlerini öğrenmek zorundadır” diyor Makin.

Sonuçlar

Sistemin ilk sonuçları anlamlı cümleler oluşturmuyordu, ancak sistem her kelime dizisini yüksek sesle okunan cümlelerle karşılaştırdıkça gelişti.

Araştırmacılar daha sonra sistemi, sadece konuşma sırasındaki beyin aktivitesinden yazılı metin oluşturarak test etti.

Çeviride çok fazla hata vardı, ancak doğruluk oranı仍 çok etkileyiciydi ve önceki yaklaşımlardan daha iyiydi. Doğruluk, kişiden kişiye değişiyordu, ancak bir birey için, her cümlede ortalama olarak yalnızca %3’ü düzeltilmesi gerekiyordu.

Araştırmacılar ayrıca, bir bireyin verilerini eğitme algoritmasının, final kullanıcıya çok az veri verilmesini sağladığını öğrendi.

Maastricht Üniversitesi’nden Dr. Christian Herff, çalışmaya dahil olmayan bir uzman, her katılımcı için 40 dakikadan az eğitim verisi ve sınırlı bir cümle koleksiyonu gerektirdiğini, genellikle gerekli olan milyonlarca saatlik verilere kıyasla etkileyici buldu.

“Böylece şimdiye kadar ulaşılmış olan doğruluk seviyelerine ulaşıyorlar” dedi.

“Elbette bu fantastik bir araştırmadır, ancak bu kişiler ‘OK Google’ı da kullanabilir” dedi. “Bu, düşünce değil, konuşma ile ilgili beyin aktivitesinin çevirisi.”

Bir başka zorluk, konuşma engelli kişilerin beyin aktivitesinin farklı olabileceği olabilir.

“Bu sistemi konuşma engeli olan bir hasta üzerinde kullanmak istiyoruz” diyor Makin, “ancak bu çalışmadaki kadınların beyin aktivitesinden farklı olabileceği möglich, bu da daha zor hale getirecektir.”

Beyin sinyal verilerini kapsamlı bir şekilde çevirmek için masih uzun bir yol var. İnsanlar çok fazla kelime kullanıyor ve bu çalışma çok kısıtlı bir konuşma kümesi kullanıyor.