DeepMind, Beyinlerde Çalışan AI Eğitimi Tekniğini Keşfetti

DeepMind, yeni geliştirilen bir tür pekiştirme öğrenimi hakkında bir makale yayınladı. Makale, insan beynindeki ödül yollarının nasıl çalışabileceğini açıklıyor. NewScientist’in haberine göre, makine öğrenimi eğitim yöntemi dağıtımlı pekiştirme öğrenimi olarak adlandırılıyor ve arkasındaki mekanizmalar, beynin nöronları tarafından dopamin salınmasının nasıl çalışabileceğini açıklıyor.

Nörobilim ve bilgisayar bilimi uzun süredir birlikte çalışıyor. 1951 yılından bu yana, Marvin Minsky, bir labirenti çözebilen bir bilgisayar programı oluşturmak için ödül ve ceza sistemi kullanıyordu. Minsky, köpeklerin ödül ve cezalarla öğrenabileceğini gösteren fizyolog Ivan Pavlov’un çalışmasından esinlenmişti. DeepMind’in yeni makalesi, nörobilim ve bilgisayar bilimi arasındaki ilişkiye, bir tür pekiştirme öğrenimini kullanarak dopamin nöronlarının nasıl çalışabileceğini anlamaya katkıda bulunuyor.

Bir kişi veya hayvan bir eylem gerçekleştirecek olduğunda, beynin dopamin salınmasından sorumlu nöron koleksiyonları, eylemin ne kadar ödüllendirici olacağını öngörüyor. Eylem gerçekleştirildikten ve sonuçlar (ödüller) belli olduktan sonra, beyin dopamin salıyor. Ancak, bu dopamin salınımı, öngörülen hata büyüklüğüne göre ölçekleniyor. Eğer ödül beklentiden daha büyükse, daha güçlü bir dopamin salınımı tetikleniyor. Buna karşılık, daha kötü bir ödül daha az dopamin salınımına neden oluyor. Dopamin, nöronların öngörülerini gerçek ödüllere yaklaştırmak için bir düzeltme fonksiyonu olarak görev yapıyor. Bu, pekiştirme öğrenimi algoritmalarının çalışmasıyla çok benzer.

2017 yılında, DeepMind araştırmacıları, yaygın olarak kullanılan bir pekiştirme öğrenimi algoritmasının geliştirilmiş bir sürümünü yayınladı. Bu süper öğrenme yöntemi, birçok pekiştirme öğrenimi görevinde performansı artırdı. DeepMind ekibi, yeni algoritmanın arkasındaki mekanizmaların, insan beynindeki dopamin nöronlarının nasıl çalışabileceğini daha iyi açıklamak için kullanılabileceğini düşündü.

Eski pekiştirme öğrenimi algoritmalarına kıyasla, DeepMind’in yeni algoritması ödülleri bir dağılım olarak temsil ediyor. Eski pekiştirme öğrenimi yaklaşımları, beklenen ödülleri tek bir sayı olarak temsil ediyordu. Bu değişiklik, modelin olası ödülleri daha doğru bir şekilde temsil etmesini ve sonuç olarak daha iyi performans göstermesini sağladı. Yeni eğitim yönteminin süper performansı, DeepMind araştırmacılarını, dopamin nöronlarının insan beyninde benzer bir şekilde çalışıp çalışmadığını araştırmaya yöneltti.

Dopamin nöronlarının çalışmasını araştırmak için, DeepMind, Harvard ile birlikte farelerin çeşitli görevleri gerçekleştirmesini ve zar atma temelinde ödüller almasını sağladı. Araştırmacılar, farelerin dopamin nöronlarının nasıl ateşlendiğini kaydetti. Farklı nöronlar, farklı olası sonuçları öngörüyor ve farklı miktarlarda dopamin salıyordu. Bazı nöronlar, gerçek ödülden daha düşük veya daha yüksek öngörülerde bulunuyordu. Ödüllerin dağılımını grafikleştirerek, araştırmacılar, öngörülerin dağılımının gerçek ödül dağılımına oldukça yakın olduğunu buldu. Bu, beynin öngörülerini düzeltmek için bir dağıtımlı sistem kullandığını gösteriyor.

Çalışma, hem nörobilime hem de bilgisayar bilimine ışık tutabilir. Çalışma, daha gelişmiş AI modelleri oluşturmak için dağıtımlı pekiştirme öğreniminin kullanılmasını destekliyor. Ayrıca, beynin ödül sistemleri hakkında teorilerimizi değiştirebilir. Dopamin nöronları dağıtıksa ve bazıları diğerlerinden daha iyimser veya kötümserse, bu dağılımları anlamak, psikoloji gibi alanlarda ruh sağlığı ve motivasyon gibi konulara yaklaşımımızı değiştirebilir.

MIT Technology View’in haberine göre, DeepMind’in nörobilim araştırma direktörü Matt Botvinik, bulguların önemini bir basın toplantısında açıkladı. Botvinik dedi ki:

“Eğer beyin bunu kullanıyorsa, muhtemelen iyi bir fikirdir. Bize, bu bir hesaplama tekniği olduğunu ve gerçek dünya durumlarında ölçeklenebileceğini söylüyor. Diğer hesaplama süreçleriyle iyi uyum sağlayacak. Beynimizdeki günlük yaşam sırasında neler olduğu hakkında bize yeni bir bakış açısı sunuyor”