AI Digunakan untuk Merekonstruksi Gelombang Otak Manusia secara Waktu Nyata

Baru-baru ini, sebuah tim peneliti menciptakan sebuah jaringan saraf yang dapat merekonstruksi gelombang otak manusia secara waktu nyata. Seperti dilaporkan oleh Futurism, tim peneliti, yang terdiri dari peneliti dari Institut Fisika dan Teknologi Moskow (MIPT) dan perusahaan Neurobotics, dapat memvisualisasikan gelombang otak seseorang dengan menerjemahkan gelombang tersebut dengan menggunakan jaringan saraf penglihatan komputer, dan menghasilkan gambar.

Hasil penelitian dipublikasikan di bioRxiv, dan sebuah video diposting bersama dengan makalah penelitian, yang menunjukkan bagaimana jaringan merekonstruksi gambar. Tim peneliti MIPT berharap bahwa penelitian ini akan membantu mereka menciptakan sistem rehabilitasi pasca-stroke yang dikendalikan oleh gelombang otak. Untuk menciptakan perangkat rehabilitatif untuk korban stroke, neurobiolog harus mempelajari proses yang digunakan otak untuk mengkodekan informasi. Bagian kritis dari memahami proses ini adalah mempelajari bagaimana orang mempersepsi informasi video. Menurut ZME Science, metode saat ini untuk mengekstrak gambar dari gelombang otak biasanya menganalisis sinyal yang berasal dari neuron, dengan menggunakan implant, atau mengekstrak gambar menggunakan MRI fungsional.

Tim peneliti dari Neurbiotics dan MIPT menggunakan elektroensefalografi, atau EEG, yang merekam gelombang otak yang dikumpulkan dari elektroda yang ditempatkan di kulit kepala. Dalam situasi seperti ini, orang sering mengenakan perangkat yang melacak sinyal neural mereka saat mereka menonton video atau melihat gambar. Analisis aktivitas otak menghasilkan fitur input yang dapat digunakan dalam sistem pembelajaran mesin. Sistem pembelajaran mesin dapat merekonstruksi gambar yang dilihat oleh seseorang, dan menghasilkan gambar tersebut di layar secara waktu nyata.

Eksperimen ini dibagi menjadi beberapa bagian. Pada fase pertama eksperimen, peneliti meminta subjek untuk menonton klip video YouTube selama 10 detik selama sekitar 20 menit. Ada lima kategori yang berbeda yang digunakan untuk mengklasifikasikan video: motorsport, wajah manusia, bentuk abstrak, air terjun, dan mekanisme yang bergerak. Kategori yang berbeda ini dapat berisi berbagai objek. Misalnya, kategori motorsport berisi klip snowmobile dan sepeda motor.

Tim peneliti menganalisis data EEG yang dikumpulkan saat peserta menonton video. EEG menampilkan pola yang spesifik untuk setiap klip video yang berbeda, dan ini berarti bahwa tim dapat memahami apa yang dilihat oleh peserta dalam video dengan lebih atau kurang waktu nyata.

Fase kedua eksperimen memiliki tiga kategori yang dipilih secara acak. Dua jaringan saraf diciptakan untuk bekerja dengan dua kategori ini. Jaringan pertama menghasilkan gambar acak yang termasuk dalam salah satu dari tiga kategori, dan menghasilkan gambar dari kebisingan acak yang diperhalus menjadi gambar. Sementara itu, jaringan kedua menghasilkan kebisingan berdasarkan pemindaian EEG. Data dalam kedua jaringan dibandingkan, dan gambar yang dihasilkan secara acak diperbarui berdasarkan data kebisingan EEG, sampai gambar yang dihasilkan menjadi mirip dengan gambar yang dilihat oleh subjek uji.

Setelah sistem dirancang, peneliti menguji kemampuan program untuk memvisualisasikan gelombang otak dengan menampilkan video yang belum pernah dilihat oleh subjek uji dari kategori yang sama. EEG yang dihasilkan selama putaran kedua pemutaran diberikan kepada jaringan, dan jaringan dapat menghasilkan gambar yang dapat dengan mudah dikelompokkan ke dalam kategori yang tepat 90% dari waktu.

Peneliti mencatat bahwa hasil eksperimen mereka mengejutkan karena selama ini diasumsikan bahwa tidak ada informasi yang cukup dalam EEG untuk merekonstruksi gambar yang dilihat oleh orang. Namun, hasil tim peneliti membuktikan bahwa hal ini dapat dilakukan.

Vladimir Konyshev, kepala Laboratorium Neurorobotik di MIPT, menjelaskan bahwa meskipun tim peneliti saat ini fokus pada menciptakan teknologi bantu untuk orang yang cacat, teknologi yang mereka kerjakan dapat digunakan untuk menciptakan perangkat kontrol neural untuk populasi umum pada suatu saat. Konyshev menjelaskan kepada TechXplore:

“Kami bekerja pada proyek Teknologi Bantu dari Neuronet Inisiatif Teknologi Nasional, yang fokus pada antarmuka otak-komputer yang memungkinkan pasien pasca-stroke untuk mengendalikan lengan eksoskeleton untuk tujuan rehabilitasi neuro, atau pasien yang lumpuh untuk mengemudi kursi roda listrik, misalnya. Tujuan akhir adalah untuk meningkatkan akurasi kontrol neural untuk individu sehat juga.”