DeepMind Menciptakan AI yang Mengulang Kenangan seperti Hippocampus

Ototak manusia sering mengingat kenangan masa lalu (sepertinya) tanpa dipicu. Ketika kita menjalani hari-hari kita, kita memiliki kilasan kenangan dari kehidupan kita. Meskipun pengungkapan kenangan ini telah lama menjadi minat bagi para ilmuwan saraf, perusahaan penelitian AI DeepMind baru-baru ini menerbitkan sebuah makalah yang menjelaskan bagaimana AI mereka mereplikasi pola pengungkapan kenangan yang aneh ini.

Pengungkapan kenangan di otak, yang disebut replay neural, erat terkait dengan hippocampus. Hippocampus adalah struktur berbentuk kuda laut di otak yang termasuk dalam sistem limbik, dan terkait dengan pembentukan kenangan baru, serta emosi yang dipicu oleh kenangan. Teori saat ini tentang peran hippocampus (ada satu di setiap hemisfer otak), menyatakan bahwa wilayah yang berbeda dari hippocampus bertanggung jawab untuk menangani jenis kenangan yang berbeda. Misalnya, kenangan spasial dipercaya ditangani di bagian belakang hippocampus.

Menurut Jesus Rodriguez, Dr. John O’Keefe bertanggung jawab atas banyak kontribusi pada pemahaman kita tentang hippocampus, termasuk sel “tempat” hippocampal. Sel-sel tempat di hippocampus dipicu oleh stimulus di lingkungan tertentu. Sebagai contoh, eksperimen pada tikus menunjukkan bahwa neuron tertentu akan aktif ketika tikus berlari melalui bagian tertentu dari trek. Peneliti terus memantau tikus bahkan ketika mereka sedang beristirahat, dan mereka menemukan bahwa pola neuron yang sama yang menunjukkan bagian trek akan aktif, meskipun mereka aktif dengan kecepatan yang dipercepat. Tikus tampaknya sedang mengulang kenangan trek di pikiran mereka.

Pada manusia, mengingat kenangan adalah bagian penting dari proses belajar, tetapi ketika mencoba memungkinkan AI untuk belajar, sulit untuk mereplikasi fenomena ini.

Tim DeepMind berusaha untuk mereplikasi fenomena pengungkapan kenangan menggunakan pembelajaran penguatan. Algoritma pembelajaran penguatan bekerja dengan mendapatkan umpan balik dari interaksi mereka dengan lingkungan sekitar, mendapatkan penghargaan setiap kali mereka mengambil tindakan yang membawa mereka lebih dekat ke tujuan yang diinginkan. Dalam konteks ini, agen pembelajaran penguatan merekam peristiwa dan kemudian memutar kembali pada waktu yang lebih lambat, dengan sistem yang diperkuat untuk meningkatkan efisiensi dalam mengingat pengalaman masa lalu.

DeepMind menambahkan pengulangan pengalaman ke algoritma pembelajaran penguatan menggunakan buffer pengulangan yang akan memutar kembali kenangan/pengalaman yang direkam ke sistem pada waktu tertentu. Beberapa versi sistem memiliki pengalaman yang diputar kembali dalam urutan acak, sementara model lain memiliki urutan pemutaran yang telah dipilih sebelumnya. Sementara peneliti bereksperimen dengan urutan pemutaran untuk agen pembelajaran penguatan, mereka juga bereksperimen dengan metode yang berbeda untuk mengulang pengalaman itu sendiri.

Ada dua metode utama yang digunakan untuk memberikan pengalaman yang diingat kepada algoritma penguatan. Metode-metode ini adalah metode pengulangan imajinasi dan metode pengulangan film. Makalah DeepMind menggunakan analogi untuk menjelaskan kedua strategi tersebut:

“Bayangkan Anda pulang ke rumah dan, dengan kejutan dan kekecewaan, menemukan air yang menggenang di lantai kayu yang indah. Anda melangkah ke ruang makan dan menemukan vas yang pecah. Lalu Anda mendengar rengekan, dan Anda melihat ke pintu patio untuk melihat anjing Anda yang terlihat sangat bersalah.”

Menurut Rodriguez, metode pengulangan imajinasi tidak merekam peristiwa dalam urutan yang mereka alami. Sebaliknya, penyebab yang mungkin antara peristiwa tersebut diperkirakan. Peristiwa tersebut diperkirakan berdasarkan pemahaman agen tentang dunia. Sementara itu, metode pengulangan film menyimpan kenangan dalam urutan yang mereka alami, dan memutar kembali urutan stimulus – “air yang tumpah, vas yang pecah, anjing”. Urutan kronologis peristiwa dipertahankan.

Penelitian dari bidang neurosains menyiratkan bahwa metode pengulangan film sangat penting untuk menciptakan asosiasi antara konsep dan menghubungkan neuron antara peristiwa. Namun, metode pengulangan imajinasi dapat membantu agen menciptakan urutan baru ketika mereka berpikir dengan analogi. Misalnya, agen dapat berpikir bahwa jika sebuah tong adalah untuk minyak seperti vas adalah untuk air, sebuah tong dapat tumpah oleh robot pabrik bukan anjing. Memang, ketika DeepMind menyelidiki lebih lanjut kemungkinan metode pengulangan imajinasi, mereka menemukan bahwa agen pembelajaran mereka dapat menciptakan urutan yang impresif dan inovatif dengan mempertimbangkan pengalaman sebelumnya.

Sebagian besar kemajuan yang dibuat dalam bidang pembelajaran penguatan memori sedang dibuat dengan strategi film, meskipun peneliti baru-baru ini mulai membuat kemajuan dengan strategi imajinasi. Penelitian tentang kedua metode memori AI tidak hanya dapat memungkinkan kinerja yang lebih baik dari agen pembelajaran penguatan, tetapi juga dapat membantu kita memperoleh wawasan baru tentang bagaimana otak manusia mungkin berfungsi.