Peneliti Menggunakan Jaringan Adversarial Generatif untuk Meningkatkan Antarmuka Otak-Komputer

Peneliti di University of Southern California (USC) Viterbi School of Engineering menggunakan jaringan adversarial generatif (GANs) untuk meningkatkan antarmuka otak-komputer (BCIs) untuk orang-orang dengan disabilitas. 

GANs juga digunakan untuk membuat video deepfake dan wajah manusia yang realistis. 

Makalah penelitian ini diterbitkan di Nature Biomedical Engineering. 

Kekuatan BCIs

Tim ini dapat mengajarkan AI untuk menghasilkan data aktivitas otak sintetis melalui pendekatan ini. Data tersebut berupa sinyal neural yang disebut spike trains, yang dapat diumpankan ke dalam algoritma pembelajaran mesin untuk meningkatkan BCIs di antara mereka yang memiliki disabilitas. 

BCIs menganalisis sinyal otak individu sebelum menerjemahkan aktivitas neural menjadi perintah, yang memungkinkan pengguna untuk mengontrol perangkat digital hanya dengan pikiran mereka. Perangkat ini, yang dapat mencakup hal-hal seperti kursor komputer, dapat meningkatkan kualitas hidup pasien yang menderita disfungsi motorik atau kelumpuhan. Mereka juga dapat membantu individu dengan sindrom terkunci, yang terjadi ketika seseorang tidak dapat bergerak atau berkomunikasi meskipun sepenuhnya sadar.

Terdapat banyak jenis BCIs yang sudah ada di pasaran, seperti yang mengukur sinyal otak dan perangkat yang ditanamkan ke jaringan otak. Teknologi ini terus-menerus ditingkatkan dan diterapkan dalam cara-cara baru, termasuk neurorehabilitasi dan pengobatan depresi. Namun, masih sulit untuk membuat sistem ini cukup cepat untuk beroperasi secara efisien di dunia nyata.

BCIs memerlukan sejumlah besar data neural dan periode pelatihan, kalibrasi, dan pembelajaran yang lama untuk memahami input mereka.

Laurent Itti adalah profesor ilmu komputer dan co-penulis penelitian. 

“Mendapatkan data yang cukup untuk algoritma yang memuat BCIs dapat sulit, mahal, atau bahkan mustahil jika individu yang lumpuh tidak dapat menghasilkan sinyal otak yang cukup kuat,” kata Itti. 

Teknologi ini spesifik pengguna, yang berarti harus dilatih untuk setiap individu. 

Jaringan Adversarial Generatif

GANs dapat meningkatkan proses ini karena mereka dapat membuat sejumlah besar gambar baru yang serupa dengan proses trial-and-error.

Shixian Wen, seorang mahasiswa Ph.D yang dibimbing oleh Itti dan penulis utama studi, memutuskan untuk melihat GANs dan kemungkinan bahwa mereka dapat membuat data pelatihan untuk BCIs dengan menghasilkan data neurologis sintetis yang tidak dapat dibedakan dari aslinya. 

Tim melakukan eksperimen di mana mereka melatih synthesizer spike deep-learning dengan satu sesi data yang direkam dari seekor monyet yang mencapai objek. Mereka kemudian menggunakan synthesizer untuk menghasilkan sejumlah besar data neural sintetis yang serupa tetapi palsu.

Data sintetis kemudian digabungkan dengan sejumlah kecil data baru yang nyata untuk melatih BCI. Dengan pendekatan ini, sistem dapat diaktifkan lebih cepat daripada metode saat ini. Lebih khusus, data neural sintetis GAN meningkatkan kecepatan pelatihan BCI secara keseluruhan hingga 20 kali lipat.

“Kurang dari satu menit data nyata yang digabungkan dengan data sintetis bekerja sama baik dengan 20 menit data nyata,” kata Wen.

“Ini pertama kalinya kami melihat AI menghasilkan resep untuk pikiran atau gerakan melalui pembuatan spike trains sintetis. Penelitian ini adalah langkah penting menuju membuat BCIs lebih sesuai untuk penggunaan di dunia nyata.” 

Setelah sesi eksperimental pertama, sistem dapat beradaptasi dengan sesi baru dengan data neural tambahan yang terbatas.

“Itulah inovasi besar di sini — membuat spike trains palsu yang terlihat seperti berasal dari orang ini ketika mereka membayangkan melakukan gerakan yang berbeda, kemudian juga menggunakan data ini untuk membantu dengan pembelajaran pada orang berikutnya,” kata Itti.

Pengembangan baru ini dengan data sintetis GAN juga dapat mengarah pada terobosan di bidang lain.

“Ketika sebuah perusahaan siap untuk memulai komersialisasi kerangka robot, lengan robot, atau sistem sintesis ucapan, mereka harus melihat metode ini, karena mungkin membantu mereka dengan mempercepat pelatihan dan pelatihan ulang,” kata Itti. “Bagi menggunakan GAN untuk meningkatkan antarmuka otak-komputer, saya pikir ini hanya awal.”