Model AI Memberikan Wawasan tentang Bagaimana Otak Memproses Bahasa

Penelitian baru dari Massachusetts Institute of Technology menunjukkan bahwa fungsi dasar ‘prediksi kata berikutnya’ model komputasi mirip dengan fungsi pusat pemrosesan bahasa di otak manusia.

Makna Bahasa

Model bahasa prediktif terbaru mungkin sedang belajar tentang makna dasar bahasa, yang akan menjadi langkah besar dalam bidang ini. Model tersebut memprediksi kata yang datang selanjutnya, tetapi juga melakukan tugas yang memerlukan tingkat pemahaman yang sebenarnya. Tugas-tugas ini termasuk menjawab pertanyaan, menyimpulkan dokumen, dan menyelesaikan cerita.

Model tersebut dirancang untuk mengoptimalkan kinerja dalam memprediksi teks tanpa mencoba meniru cara otak manusia memahami bahasa. Namun, tim neurosains MIT menyarankan bahwa sesuatu yang terjadi dalam hal ini.

Salah satu wawasan yang lebih menarik dari penelitian ini adalah bahwa model komputer yang berkinerja baik pada tugas bahasa lain tidak menunjukkan kesamaan dengan otak manusia. Hal ini dianggap sebagai bukti bahwa otak manusia mungkin menggunakan prediksi kata berikutnya untuk melakukan pemrosesan bahasa.

Nancy Kanwisher adalah Profesor Walter A. Rosenblith di bidang Neurosains Kognitif. Ia juga merupakan anggota McGovern Institute for Brain Research dan Center for Brains, Minds, and Machines (CBMM), dan penulis studi tersebut.

“Semakin baik model dalam memprediksi kata berikutnya, semakin dekat kesamaannya dengan otak manusia,” kata Kanwisher. “Sangat menarik bahwa model tersebut sesuai dengan otak manusia, dan ini sangat tidak langsung menunjukkan bahwa mungkin sistem bahasa manusia melakukan prediksi apa yang akan terjadi selanjutnya.”

Studi tersebut dipublikasikan di Proceedings of the National Academy of Sciences.

Studi tersebut juga melibatkan penulis senior Joshue Tenenbaum, profesor ilmu kognitif di MIT dan anggota CBMM dan CSAIL; dan Eveline Fedorenko, Profesor Asosiasi Pengembangan Karir Frederick A. dan Carole J. Middleton di bidang Neurosains dan anggota McGovern Institute. Penulis pertama makalah tersebut adalah Martin Schrimpf, seorang mahasiswa pascasarjana MIT.

Studi

Tim MIT membandingkan pusat pemrosesan bahasa di otak manusia dengan model pemrosesan bahasa. Mereka menganalisis 43 model bahasa yang berbeda, termasuk yang dioptimalkan untuk prediksi kata berikutnya, seperti GPT-3. Model lain dirancang untuk melakukan tugas bahasa yang berbeda, seperti mengisi blank.

Setiap model diberikan rangkaian kata, dan peneliti mengukur aktivitas node yang membentuk jaringan. Pola tersebut kemudian dibandingkan dengan aktivitas di otak, yang diukur pada subjek yang melakukan tiga tugas bahasa: mendengarkan cerita, membaca kalimat satu per satu, dan membaca kalimat dengan satu kata yang diungkapkan pada satu waktu.

Dataset manusia termasuk data fMRI dan pengukuran electrocorticographic intrakranial yang diambil dari orang yang menjalani operasi otak untuk epilepsi.

Peneliti menemukan bahwa model prediksi kata berikutnya yang berkinerja terbaik memiliki pola aktivitas yang sangat mirip dengan yang dilihat di otak manusia. Model yang sama juga menunjukkan aktivitas yang sangat terkait dengan ukuran perilaku manusia seperti seberapa cepat orang dapat membaca teks.

“Kami menemukan bahwa model yang memprediksi respons neural dengan baik juga cenderung memprediksi respons perilaku manusia, dalam bentuk waktu membaca. Dan kemudian keduanya dijelaskan oleh kinerja model pada prediksi kata berikutnya. Segitiga ini sangat menghubungkan semuanya,” kata Schrimpf.

Peneliti akan segera membangun varian model pemrosesan bahasa, yang dapat memungkinkan mereka untuk melihat bagaimana perubahan kecil dalam arsitektur mereka mempengaruhi kinerja dan kemampuan mereka untuk sesuai dengan data neural manusia.