DeepMind Menemukan Teknik Pelatihan AI yang Mungkin Juga Bekerja di Otak Manusia

DeepMind baru-baru ini menerbitkan sebuah makalah yang menjelaskan bagaimana jenis pembelajaran penguatan baru dapat menjelaskan bagaimana jalur hadiah dalam otak manusia bekerja. Seperti yang dilaporkan oleh NewScientist, metode pelatihan pembelajaran mesin ini disebut pembelajaran penguatan distribusi dan mekanisme di baliknya tampaknya menjelaskan bagaimana dopamin dilepaskan oleh neuron dalam otak.

Ilmu saraf dan ilmu komputer memiliki sejarah panjang bersama. Sejauh kembali ke tahun 1951, Marvin Minsky menggunakan sistem hadiah dan hukuman untuk menciptakan program komputer yang dapat menyelesaikan labirin. Minsky terinspirasi oleh karya Ivan Pavlov, seorang fisiolog yang menunjukkan bahwa anjing dapat belajar melalui serangkaian hadiah dan hukuman. Makalah baru DeepMind menambahkan pada sejarah yang terkait antara ilmu saraf dan ilmu komputer dengan menerapkan jenis pembelajaran penguatan untuk mendapatkan wawasan tentang bagaimana neuron dopamin mungkin berfungsi.

Kapan pun seseorang atau hewan akan melakukan tindakan, kumpulan neuron di otak mereka yang bertanggung jawab untuk melepaskan dopamin membuat prediksi tentang seberapa menguntungkan tindakan itu akan menjadi. Setelah tindakan telah dilakukan dan konsekuensinya (hadiah) menjadi jelas, otak melepaskan dopamin. Namun, pelepasan dopamin ini disesuaikan dengan ukuran kesalahan prediksi. Jika hadiah lebih besar/baik dari yang diharapkan, ledakan dopamin yang lebih kuat dipicu. Sebaliknya, hadiah yang lebih buruk mengarah pada pelepasan dopamin yang lebih sedikit. Dopamin berfungsi sebagai fungsi korektif yang membuat neuron menyetel prediksi mereka sampai mereka berkumpul pada hadiah yang sebenarnya diperoleh. Ini sangat mirip dengan bagaimana algoritma pembelajaran penguatan bekerja.

Tahun 2017 menyaksikan peneliti DeepMind merilis versi yang ditingkatkan dari algoritma pembelajaran penguatan yang umum digunakan, dan metode pembelajaran yang lebih baik ini dapat meningkatkan kinerja pada banyak tugas pembelajaran penguatan. Tim DeepMind berpikir bahwa mekanisme di balik algoritma baru dapat digunakan untuk menjelaskan bagaimana neuron dopamin bekerja dalam otak manusia.

Berbeda dengan algoritma pembelajaran penguatan yang lebih lama, algoritma DeepMind yang lebih baru merepresentasikan hadiah sebagai distribusi. Pendekatan pembelajaran penguatan yang lebih lama merepresentasikan hadiah yang diestimasi sebagai satu angka yang mewakili hasil rata-rata yang diharapkan. Perubahan ini memungkinkan model untuk lebih akurat merepresentasikan hadiah yang mungkin dan berkinerja lebih baik sebagai hasilnya. Kinerja yang lebih baik dari metode pelatihan baru ini mendorong peneliti DeepMind untuk menyelidiki apakah neuron dopamin dalam otak manusia beroperasi dengan cara yang sama.

Untuk menyelidiki kerja neuron dopamin, DeepMind bekerja sama dengan Harvard untuk meneliti aktivitas neuron dopamin pada tikus. Peneliti memiliki tikus melakukan berbagai tugas dan memberi mereka hadiah berdasarkan lemparan dadu, merekam bagaimana neuron dopamin mereka melepaskan sinyal. Neuron yang berbeda tampaknya memprediksi hasil yang berbeda, melepaskan jumlah dopamin yang berbeda. Beberapa neuron memprediksi lebih rendah dari hadiah sebenarnya, sementara beberapa neuron memprediksi hadiah lebih tinggi dari hadiah sebenarnya. Setelah menggambar distribusi prediksi hadiah, peneliti menemukan bahwa distribusi prediksi cukup dekat dengan distribusi hadiah yang sebenarnya. Ini menunjukkan bahwa otak benar-benar menggunakan sistem distribusi saat membuat prediksi dan menyesuaikan prediksi untuk lebih sesuai dengan kenyataan.

Studi ini dapat memberi informasi baik pada ilmu saraf maupun ilmu komputer. Studi ini mendukung penggunaan pembelajaran penguatan distribusi sebagai metode untuk menciptakan model AI yang lebih maju. Di luar itu, ini dapat memiliki implikasi untuk teori kita tentang bagaimana otak bekerja terkait sistem hadiah. Jika neuron dopamin didistribusikan dan beberapa di antaranya lebih pesimis atau optimis daripada yang lain, memahami distribusi ini dapat mengubah bagaimana kita mendekati aspek-aspek psikologi seperti kesehatan mental dan motivasi.

Seperti yang dilaporkan oleh MIT Technology Review, Matt Botvinik, direktur penelitian ilmu saraf di DeepMind, menjelaskan pentingnya temuan tersebut pada sebuah konferensi pers. Botvinik mengatakan:

“Jika otak menggunakan itu, itu mungkin ide yang baik. Ini memberitahu kita bahwa ini adalah teknik komputasi yang dapat diskalakan dalam situasi dunia nyata. Ini akan sesuai dengan proses komputasi lainnya. Ini memberi kita perspektif baru tentang apa yang terjadi di otak kita selama kehidupan sehari-hari”