AI Dikembangkan untuk Menerjemahkan Aktivitas Otak menjadi Kata-Kata

Peneliti di University of California, San Francisco telah mengembangkan kecerdasan buatan (AI) yang dapat menerjemahkan aktivitas otak menjadi teks. Sistem ini bekerja pada pola neural yang terdeteksi ketika seseorang berbicara, tetapi para ahli berharap bahwa sistem ini dapat digunakan pada individu yang tidak dapat berbicara, seperti orang yang menderita sindrom terkunci.

Dr. Joseph Makin adalah salah satu penulis penelitian ini.

“Kami belum sampai di sana, tetapi kami pikir ini bisa menjadi dasar untuk prostesis ucapan,” kata Makin.

Penelitian ini diterbitkan di jurnal Nature Neuroscience.

Menguji Sistem

Joseph Makin dan timnya menggunakan algoritma pembelajaran dalam untuk mempelajari sinyal otak dari empat wanita saat mereka berbicara. Semua wanita tersebut memiliki epilepsi, dan elektroda dipasang pada otak mereka untuk memantau kejang.

Setelah elektroda dipasang, setiap wanita kemudian membaca kalimat dengan suara keras sambil aktivitas otak mereka diukur. Jumlah kata unik yang digunakan adalah 250. Mereka dapat memilih dari set kalimat yang berbeda, termasuk “Tina Turner adalah penyanyi pop,” dan “Mereka mencuri 30 permata.”

Data aktivitas otak kemudian diberikan kepada algoritma jaringan neural, dan dilatih untuk mengidentifikasi pola yang terjadi secara teratur. Pola ini dapat dihubungkan dengan aspek ucapan yang berulang seperti vokal atau konsonan. Mereka kemudian diberikan kepada jaringan neural kedua yang mencoba mengubahnya menjadi kata-kata untuk membentuk kalimat.

Setiap wanita diminta untuk mengulangi kalimat setidaknya dua kali, dengan pengulangan terakhir tidak termasuk dalam data pelatihan. Ini memungkinkan peneliti untuk menguji sistem.

“Mengingat aktivitas otak dari kalimat-kalimat ini tidak akan membantu, sehingga jaringan harus belajar apa yang sama tentang mereka sehingga dapat menggeneralisasi ke contoh terakhir,” kata Makin.

Hasil

Hasil pertama dari sistem tidak membuat kalimat yang masuk akal, tetapi sistem ini membaik ketika sistem membandingkan setiap urutan kata dengan kalimat yang dibaca dengan suara keras.

Tim kemudian menguji sistem dengan menghasilkan teks tertulis hanya dari aktivitas otak selama berbicara.

Terdapat banyak kesalahan dalam terjemahan, tetapi tingkat akurasi masih sangat mengesankan dan jauh lebih baik daripada pendekatan sebelumnya. Akurasi bervariasi dari orang ke orang, tetapi untuk satu individu hanya 3% dari setiap kalimat rata-rata memerlukan koreksi.

Tim juga menemukan bahwa algoritma pelatihan pada data satu individu memungkinkan pengguna akhir untuk memberikan lebih sedikit.

Menurut Dr. Christian Herff, yang berasal dari Maastricht University tetapi tidak terlibat dalam penelitian ini, sangat mengesankan bahwa sistem ini hanya memerlukan kurang dari 40 menit data pelatihan untuk setiap peserta dan koleksi kalimat yang terbatas, dibandingkan dengan jutaan jam yang biasanya diperlukan.

“Dengan melakukan itu mereka mencapai tingkat akurasi yang belum pernah dicapai sebelumnya,” katanya.

“Tentu saja ini adalah penelitian yang luar biasa, tetapi orang-orang tersebut bisa menggunakan ‘OK Google’ (GOOGL ) juga,” katanya. “Ini bukan terjemahan pikiran [tetapi aktivitas otak yang terlibat dalam berbicara].”

Tantangan lainnya bisa jadi bahwa orang dengan disabilitas ucapan mungkin memiliki aktivitas otak yang berbeda.

“Kami ingin menerapkan ini pada pasien dengan disabilitas ucapan yang sebenarnya,” kata Makin, “meskipun mungkin aktivitas otak mereka berbeda dari wanita dalam penelitian ini, membuatnya lebih sulit.”

Masih ada jalan panjang untuk menerjemahkan data sinyal otak secara komprehensif. Manusia menggunakan sejumlah besar kata, dan penelitian ini hanya menggunakan set ucapan yang sangat terbatas.