Yapay Zeka Modelleri Beynin Dili Nasıl İşlediğine Dair İçgörü Sağlar

Massachusetts Institute of Technology'den çıkan yeni araştırma, 'sonraki kelime tahmini' hesaplama modellerinin altında yatan işlevin, insan beynindeki dil işleme merkezlerinin işlevine benzediğini öne sürüyor. 

Dilin Anlamı

En yeni tahmini dil modelleri, dilin altında yatan anlam hakkında bir şeyler öğreniyor olabilir ki bu, bu alanda ileriye doğru büyük bir adım olacaktır. Modeller bir sonraki kelimeyi tahmin ediyor, ancak aynı zamanda bir dereceye kadar gerçek bir anlayış gerektiren görevleri de yerine getiriyorlar. Bu görevler arasında soru cevaplama, belge özetleme ve hikaye tamamlama yer alır. 

Modeller, insan beyninin dili nasıl anladığıyla ilgili herhangi bir şeyi taklit etmeye çalışmadan metni tahmin etme performansını optimize etmek için tasarlandı. Ancak MIT sinirbilimci ekibi, bu konuda bir şeyler olduğunu öne sürüyor. 

Bu araştırmanın daha ilginç içgörülerinden biri, diğer dil görevlerinde iyi performans gösteren bilgisayar modellerinin insan beynine bu benzerliği göstermemesidir. Bu, insan beyninin dil işlemeyi gerçekleştirmek için sonraki kelime tahminini kullanabileceğinin kanıtı olarak görülüyor. 

Nancy Kanwisher, Walter A. Rosenblith Bilişsel Sinirbilim Profesörüdür. Ayrıca MIT'nin McGovern Beyin Araştırma Enstitüsü ve Beyin, Zihin ve Makineler Merkezi'nin (CBMM) bir üyesi ve çalışmanın yazarıdır.

Kanwisher, "Model bir sonraki kelimeyi tahmin etmede ne kadar iyiyse, insan beynine o kadar iyi uyuyor," diyor. "Modellerin bu kadar iyi uyması şaşırtıcı ve dolaylı olarak insan dil sisteminin belki de bundan sonra ne olacağını tahmin ettiğini gösteriyor."

Çalışma, Ulusal Bilimler Akademisi Tutanakları. 

Ayrıca, MIT'de bilişsel bilimler profesörü ve CBMM ve MIT Yapay Zeka (CSAIL) üyesi olan kıdemli yazarlar Joshue Tenenbaum; ve Eveline Fedorenko, Frederick A. ve Carole J. Middleton Kariyer Geliştirme Doçenti Nörobilim ve McGovern Enstitüsü üyesi. Makalenin ilk yazarı, bir MIT yüksek lisans öğrencisi olan Martin Schrimpf'ti. 

Çalışma

MIT ekibi, insan beynindeki dil işleme merkezlerini dil işleme modelleriyle karşılaştırdı. GPT-43 gibi bir sonraki kelime tahmini için optimize edilmiş olanlar da dahil olmak üzere 3 farklı dil modelini analiz ettiler. Diğer modeller, boşluk doldurmak gibi farklı dil görevlerini yerine getirmek için tasarlanmıştır. 

Her modele bir dizi kelime sunuldu ve araştırmacılar ağı oluşturan düğümlerin aktivitelerini ölçtüler. Daha sonra kalıplar beyindeki aktivite ile karşılaştırıldı ve bunlar üç dil görevini yerine getiren deneklerde ölçüldü: hikayeleri dinlemek, cümleleri teker teker okumak ve her seferinde bir kelimenin açıklandığı cümleleri okumak. 

İnsan veri kümeleri, epilepsi için beyin ameliyatı geçiren insanlardan alınan fonksiyonel manyetik rezonans (fMRI) verilerini ve intrakraniyal elektrokortikografik ölçümleri içeriyordu.

Araştırmacılar, en iyi performans gösteren sonraki kelime tahmin modellerinin, insan beyninde görülenlere çok benzeyen aktivite modellerine sahip olduğunu buldular. Aynı modeller ayrıca, insanların metni ne kadar hızlı okuyabildiği gibi insan davranış ölçütlerinin ölçümleriyle yüksek oranda ilişkili olan aktiviteyi de gösterdi.

"Sinirsel tepkileri iyi tahmin eden modellerin, aynı zamanda okuma süreleri biçiminde insan davranışı tepkilerini en iyi tahmin etme eğiliminde olduğunu bulduk. Ve sonra bunların her ikisi de sonraki kelime tahminindeki model performansıyla açıklanır. Bu üçgen gerçekten her şeyi birbirine bağlıyor,” diyor Schrimpf.

Araştırmacılar şimdi, mimarilerindeki küçük değişikliklerin performansı ve insan nöral verilerine uyma yeteneklerini nasıl etkilediğini görmelerini sağlayabilecek dil işleme modellerinin varyantlarını oluşturmaya çalışacaklar.