DeepMind, Hippokampüs Gibi Anıları Tekrarlayan AI Geliştirdi

İnsan beyni, geçmişteki anıları (görünüşte) tetiklenmeden hatırlar. Gün boyunca, hayatımızdan anıların spontan flashlarını yaşarız. Bu spontan anı hatırlama uzun süredir nörologlar için ilgi çekici olmuştur, ancak AI araştırma şirketi DeepMind最近 bir makale yayınladı ve nasıl bir AI’nin bu garip anı hatırlama modelini tekrar ettiğini açıkladı.

Beyindeki anı hatırlama, nöral yeniden oynatma, hipokampüsle sıkı bir şekilde bağlantılıdır. Hipokampüs, limbik sisteme ait bir deniz atı şeklindeki oluşumdur ve yeni anıların oluşumu ile anıların tetiklediği duygularla bağlantılıdır. Hipokampüslerin (beynin her yarım küresinde bir tane vardır) farklı bölgelerinin farklı anı türlerini işlediği düşünülmektedir. Örneğin, mekansal anıların hipokampüsün arka bölgesinde işlendiğine inanılır.

Jesus Rodriguez’in raporuna göre, Dr. John O’Keefe, hipokampüsün anlaşılmasına birçok katkıda bulunmuştur, bunların arasında hipokampüsün “yer” hücreleri de vardır. Hipokampüsteki yer hücreleri, belirli bir ortamda tetiklenen stimülasyonla tetiklenir. Fareler üzerinde yapılan deneylerde, belirli nöronların belirli bir parcour’un belirli kısımlarında ateşlediği görülmüştür. Araştırmacılar fareleri dinlenirken bile izlemeye devam etti ve aynı nöron modellerinin, aynı labirent parçasını temsil eden, daha hızlı bir hızda ateşlediğini buldu. Fareler, labirentin anılarını zihinlerinde tekrar ediyorlardı.

İnsanlarda, anıları hatırlamak öğrenme sürecinin önemli bir parçasıdır, ancak AI’ye öğrenme yeteneği kazandırmaya çalışırken, bu fenomeni tekrar etmek zordur.

DeepMind ekibi, pekiştirme öğrenimi kullanarak anı hatırlama fenomenini tekrar etmeye çalıştı. Pekiştirme öğrenimi algoritmaları, çevreleriyle etkileşimlerinden geri bildirim alır ve istenen hedefe ulaşmak için aldıkları eylemlerden ödüllendirilir. Bu bağlamda, pekiştirme öğrenimi ajanı, olayları kaydeder ve daha sonra bunları belirli zamanlarda oynatır, sistem geçmiş deneyimleri daha verimli bir şekilde hatırlamak için güçlendirilir.

DeepMind, bir pekiştirme öğrenimi algoritmasına, belirli zamanlarda sisteme kayıtlı deneyimleri oynatan bir yeniden oynatma tamponu ekleyerek anıların yeniden oynatılmasını ekledi. Sistemlerin bazı sürümlerinde deneyimler rasgele sırayla oynatılırken, diğer modellerde önceden seçilmiş oynatma sıraları vardı. Araştırmacılar, pekiştirme ajanları için deneyimleri oynatma sırasını denerken, deneyimleri kendilerini oynatma yöntemleriyle de deneyleydiler.

Pekiştirme algoritmalarına geri çağrılan deneyimler sağlamak için kullanılan iki temel yöntem vardır. Bu yöntemler hayal gücü yeniden oynatma yöntemi ve film yeniden oynatma yöntemidir. DeepMind makalesi, her iki stratejiyi tanımlamak için bir benzetme kullanır:

“Evinize geldiğinizde ve şaşkınlıkla ve üzüntüyle güzel ahşap zeminlerinizde su birikintisi olduğunu görürsünüz. Yemek odasına girerken, kırık bir vazo bulursunuz. Sonra bir inleme duyar ve patio kapısına bakarak çok suçlu görünen köpeğinizi görürsünüz.”

Rodriguez’in raporuna göre, hayal gücü yeniden oynatma yöntemi, olayları yaşandıkları sırayla kaydetmez. Bunun yerine, olaylar arasındaki muhtemel neden-sonuç ilişkisi çıkarılır. Olaylar, ajanın dünyanın anlayışına dayanarak çıkarılır. Öte yandan, film yeniden oynatma yöntemi, olayları meydana geliş sırasına göre depolar ve olayların kronolojik sıralamasını korur – “su birikintisi, kırık vazo, köpek”. Olayların zaman sıralaması korunur.

Nörobilim alanından yapılan araştırmalar, film yeniden oynatma yönteminin kavramlar arasındaki bağlantılar oluşturulması ve olaylar arasındaki nöronların bağlanması içinintegral olduğunu gösterir. Ancak hayal gücü yeniden oynatma yöntemi, ajanın analoji yoluyla neden-sonuç ilişkileri kurmasına yardımcı olabilir. Örneğin, ajan, bir varilin yağa olduğu gibi bir vazonun suya olduğunu düşünebilir ve bir fabrika robotunun köpeğin yerine bir varili devirebileceğini düşünebilir. Aslında, DeepMind hayal gücü yeniden oynatma yönteminin olanaklarını daha da araştırdığında, öğrenme ajanının önceki deneyimleri dikkate alarak etkileyici ve yenilikçi sıralamalar oluşturabildiğini buldu.

Şu anda pekiştirme öğrenimi belleği alanında yapılan ilerleme, çoğunlukla film stratejisi ile yapılmaktadır, ancak araştırmacılar最近 hayal gücü stratejisi ile de ilerleme kaydetmeye başladılar. Her iki AI belleği yönteminin araştırması, yalnızca pekiştirme öğrenimi ajanlarının performansını iyileştirmekle kalmaz, aynı zamanda insan zihninin nasıl çalışabileceği hakkında yeni içgörüler kazanmamıza da yardımcı olabilir.