Yapay Zeka Modelleri Beynin Dil İşleme Şekline İlişkin Bilgiler Sağlıyor

Massachusetts Teknoloji Enstitüsünden (MIT) gelen yeni bir araştırmaya göre, ‘sonraki kelime tahmini’ hesaplamalı modellerin altta yatan işlevi, insan beyninin dil işleme merkezlerinin işlevine benzer.

Dilin Anlamı

En yeni öngörülü dil modelleri, dilin altta yatan anlamı hakkında bir şeyler öğreniyor olabilir, bu da bu alanda büyük bir adım olacak. Modeller, bir sonraki kelimeyi tahmin ediyor, ancak aynı zamanda soru cevaplama, belge özeti ve hikaye tamamlama gibi görevleri gerçekleştirmek için belirli bir düzeyde gerçek anlamayı gerektiren görevleri de gerçekleştiriyorlar.

Modeller, insan beyninin dil anlamasını taklit etmeye çalışmadan metin tahmini için optimize edilmek üzere tasarlandı. Ancak MIT’ten bir nörobilimciler ekibi, bu konuda bir şeyler olduğunu öne sürüyor.

Bu araştırmanın daha ilginç yönlerinden biri, diğer tür dil görevlerinde iyi performans gösteren bilgisayar modellerinin, insan beynine benzerlik göstermediği. Bu, insan beyninin dil işleme için sonraki kelime tahmini kullanabileceğine dair kanıtlar olarak görülüyor.

Nancy Kanwisher, Walter A. Rosenblith Bilişsel Nörobilim Profesörüdür. Ayrıca MIT’nin McGovern Enstitüsü için Beyin Araştırmaları ve Beyinler, Zihinler ve Makineler (CBMM) Merkezi üyesi ve çalışmanın yazarlarından biridir.

“Model, bir sonraki kelimeyi ne kadar iyi tahmin ederse, insan beynine o kadar çok uyuyor” diyor Kanwisher. “Modellerin bu kadar iyi uyduğunu görmek şaşırtıcı ve dolaylı olarak, insan dil sisteminin belki de ne olacağını tahmin etmeye çalıştığını öne sürüyor.”

Çalışma, Ulusal Bilimler Akademisi Bildirileri‘de yayımlandı.

Çalışmanın diğer yazarları arasında, MIT’den bilişsel bilim profesörü ve CBMM ve MIT’nin Yapay Zeka (CSAIL) üyesi Joshue Tenenbaum ve McGovern Enstitüsü üyesi ve Frederick A. ve Carole J. Middleton Kariyer Geliştirme Associate Nörobilim Profesörü Eveline Fedorenko yer alıyor. Makalenin ilk yazarı, MIT lisansüstü öğrencisi Martin Schrimpf’ti.

Çalışma

MIT ekibi, insan beynindeki dil işleme merkezlerini, dil işleme modelleriyle karşılaştırdı. 43 farklı dil modelini analiz ettiler, bunlar arasında GPT-3 gibi sonraki kelime tahmini için optimize edilmiş modeller de vardı. Diğer modeller, boşluğu doldurmak gibi farklı dil görevleri için tasarlanmıştı.

Her model, bir dizi kelimeyle sunuldu ve araştırmacılar, ağın oluşturduğu düğümlerin faaliyetini ölçtüler. Kalıplar, dil görevleri gerçekleştiren konularda ölçülen beyin faaliyetleriyle karşılaştırıldı: hikayeleri dinleme, cümleleri birer birer okuma ve cümleleri bir kelime씩 okuma.

İnsan veri setleri, fonksiyonel manyetik rezonans (fMRI) verileri ve epilepsi cerrahisi için beyin ameliyatı geçiren kişilerden alınan intrakraniyal elektrokortikografik ölçümleri içeriyordu.

Araştırmacılar, en iyi performans gösteren sonraki kelime tahmini modellerinin, insan beyninde görülenlerle benzerlik gösteren faaliyet kalıplarına sahip olduğunu buldular. Aynı modeller, metni okumadaki insan davranış ölçümleri gibi insan davranışsal tepkileri öngörmede de yüksek bir Korelasyon gösterdi.

“İyi çalışan sonraki kelime tahmini modelleri, insan beynine daha çok uyuyor” diyor Schrimpf. “Ve bu, insan dil sisteminin belki de ne olacağını tahmin etmeye çalıştığını öne sürüyor. Bu üçgen her şeyi gerçekten bir araya getiriyor.”

Araştırmacılar, dil işleme modellerinin varyantlarını oluşturmaya çalışacaklar, bu da onlara mimarilerindeki küçük değişikliklerin performansı ve insan nöral verilerine uyma yeteneklerini nasıl etkilediğini görmelerine olanak tanıyacak.