Anderson’un Açısı
DeepMind: Yapay Zekâ İnsanların Bilişsel Sınırlılıklarını Devralabilir, Örgün Eğitimden Yararlanabilir

Öne çıkan noktalarDeepMind ve Stanford, yapay zekanın mantıksal akıl yürütme görevlerinde insan inanç…
Daha fazla göster
- DeepMind ve Stanford, yapay zekanın mantıksal akıl yürütme görevlerinde insan inanç yanlılığını yansıttığını gösteriyor.
- Dil modelleri soyut mantıkta zorlanırken gerçekçi Wason seçim görevlerinde iyi performans gösteriyor.
- Araştırmacılar, yapay zekanın soyut akıl yürütme becerilerini geliştirmek için resmi eğitim tarzı ön eğitim öneriyor.
DeepMind ile Stanford Üniversitesi’nin yeni ortak çalışması, yapay zekânın soyut akıl yürütmede çoğu zaman insanlardan daha iyi olmayabileceğini öne sürüyor. Makine öğrenimi modelleri, akıl yürütme yapılarını gerçek dünyadaki insan örneklerinden alıyor. Bu örnekler, yapay zekânın bizzat yaşayamadığı pratik bağlamlara dayanırken insanların bilişsel eksikliklerinden de etkileniyor.
Bu sonuç doğrulanırsa, birçok kişinin makine öğrenimi sistemlerinden beklediği üstün, serbest yaratıcı düşünceye ve entelektüel özgünlüğe engel oluşturabilir. Aynı zamanda yapay zekânın insan deneyimini ne ölçüde yansıttığını ve kendisini şekillendiren insani sınırlar içinde düşünmeye ne kadar yatkın olduğunu gösterir.
Araştırmacılar, yapay zekâ modellerinin gerçek dünyadaki görevlere başlamadan önce soyut akıl yürütme konusunda ön eğitim almasını öneriyor ve bunu bir tür örgün eğitime benzetiyor.
Makale şöyle diyor:
“İnsanlar kusursuz akıl yürütemez. Dünya anlayışımızla uyumlu varlıklar ve durumlar hakkında daha etkili akıl yürütürüz.”
“Deneylerimiz, dil modellerinin bu davranış örüntülerini yansıttığını gösteriyor. Dil modelleri mantıksal akıl yürütme görevlerinde kusursuz değildir; performansları içerik ve bağlama bağlıdır. Özellikle, uyaranlar aşırı soyutlaştığında veya dünyaya ilişkin önceki anlayışla çeliştiğinde, modeller çoğu zaman insanların başarısız olduğu durumlarda başarısız olur.”
Araştırmacılar, GPT düzeyindeki çok büyük doğal dil işleme (NLP) modellerinin bu sınırlılıklardan ne ölçüde etkilendiğini görmek için uygun bir model üzerinde üç test yaptı ve şu sonuca vardı*:
“En gelişmiş büyük dil modellerinin (7 veya 70 milyar parametreli) bu görevlerde insanlarda gözlenen birçok örüntüyü yansıttığını bulduk. İnsanlar gibi modeller de inandırıcı durumlar hakkında, gerçek dışı veya soyut durumlardan daha etkili akıl yürütüyor.”
“Bulgularımız, hem bu bilişsel etkileri hem de dil modellerinin performansına katkıda bulunan etkenleri anlamak açısından önem taşıyor.”
Makale, bu becerileri bağlama oturtan gerçek, bedensel deneyim sağlanmadan yapay zekâda akıl yürütme becerisi geliştirmenin sistemlerin potansiyelini sınırlayabileceğini öne sürüyor. Yazarlar, “gerçek dünyaya dayalı deneyimin… muhtemelen bazı insan inançlarının ve akıl yürütmesinin temelini oluşturduğunu” belirtiyor.
Yazarlar, yapay zekânın dili pasif biçimde deneyimlediğini, insanların ise dili sosyal iletişimin etkin ve merkezi bir parçası olarak yaşadığını savunuyor. Geleneksel sosyal ceza ve ödül sistemlerini de içeren bu etkin katılım, anlamı insanlar gibi kavramanın anahtarı olabilir.
Araştırmacılar şöyle diyor:
“Dil modelleri ile insanlar arasındaki bazı farklar, insanların zengin, gerçek dünyaya dayalı ve etkileşimli deneyimleri ile modellerin yoksun deneyimleri arasındaki farklardan kaynaklanabilir.”
Önerilen çözümlerden biri, kullanışlı ve çok yönlü dil modelini oluşturacak temel verilerle eğitimden önce, insanların okul ve üniversitede yaşadığına benzer bir ön eğitim dönemi.
Araştırmacıların örgün eğitime benzettiği bu dönem, olağan makine öğrenimi ön eğitiminden farklı olurdu. Olağan ön eğitim, kısmen eğitilmiş modelleri yeniden kullanarak veya tamamen eğitilmiş modellerden ağırlık aktararak süreci hızlandırır ve eğitim süresini kısaltır.
Burada ise yapay zekânın mantıksal akıl yürütme becerilerini tamamen soyut düzeyde geliştiren sürekli bir öğrenme dönemi kastediliyor. Bu süreç, üniversite öğrencilerinin eğitimleri boyunca geliştirmeye teşvik edildiği eleştirel düşünme yetilerini de geliştirmeyi amaçlıyor.
Yazarlar, “Çeşitli sonuçlar, bunun kulağa geldiği kadar uzak bir ihtimal olmayabileceğini gösteriyor” diyor.
Makalenin başlığı Dil modelleri akıl yürütmede insanlara benzer içerik etkileri gösteriyor. Çalışmayı DeepMind’dan altı araştırmacı ve hem DeepMind’a hem Stanford Üniversitesi’ne bağlı bir araştırmacı hazırladı.
Testler
İnsanlar soyut kavramları pratik örneklerle öğrenir. Örneklerin ima ettiği önem, anımsatıcı tekniklerle birlikte dil öğrenenlerin sözcük ve dil kurallarını hatırlamasına da yardımcı olur. Basit bir örnek, fizikteki zor ilkeleri trenler ve otomobiller için “yolculuk senaryoları” kurarak öğretmektir.
Araştırmacılar, çok büyük bir dil modelinin soyut akıl yürütmesini sınamak için insanlar açısından da zorlayıcı olabilecek üç dilsel/anlamsal test tasarladı. Testler, çözülmüş örnek olmadan zero-shot ve önceden çözülmüş beş örnekle five-shot biçiminde uygulandı.
İlk görev doğal dil çıkarımıdır (NLI). Denek, yani insan veya dil modeli, bir öncül ve bu öncülden çıkarılmış görünen bir hipotez olmak üzere iki cümle alır. Örneğin: X, Y’den küçüktür. Hipotez: Y, X’ten büyüktür (mantıksal sonuç).
Araştırmacılar NLI görevinde Chinchilla modelini (70 milyar parametre) ve aynı modelin 7B sürümünü (7 milyar parametre) değerlendirdi. Tutarlı, yani anlamsız olmayan örneklerde yalnızca büyük Chinchilla modeli rastlantı düzeyini aşabildi. Yazarlar şöyle diyor:
“Bu, güçlü bir içerik yanlılığına işaret ediyor: modeller cümleyi mantık kurallarına uygun biçimde değil, önceki beklentilerle uyumlu biçimde tamamlamayı tercih ediyor.”

Chinchilla modelinin 70 milyar parametreyle NLI görevindeki performansı. Araştırmacılara göre bu model ve küçük 7B sürümü önemli ölçüde inanç yanlılığı gösterdi. Kaynak: https://arxiv.org/pdf/2207.07051.pdf
Silojizmler
İkinci görev daha karmaşık bir sorun sunuyor: silojizmler. Bunlar, iki doğru önermenin üçüncü bir önermeyi ima ettiği görünen argümanlardır; üçüncü önerme ilk ikisinden çıkan geçerli bir mantıksal sonuç olabilir de olmayabilir de.

Makalenin test materyalinden çeşitli gerçekçi, paradoksal veya anlamsız silojizmler.
İnsanlar burada hataya çok açıktır. Mantıksal bir ilkeyi açıklamak için tasarlanmış yapı, doğru yanıtın ne olması gerektiğine ilişkin insan inançları yüzünden hemen, hatta kalıcı biçimde karmaşıklaşır.
Yazarlar, 1983 tarihli bir çalışmanın katılımcıların silojizm sonucunun kendi inançlarına uyup uymamasından etkilendiğini gösterdiğini belirtiyor:
“Sonuç inandırıcıysa katılımcılar geçersiz bir silojizmi yanlışlıkla geçerli saymaya çok daha yatkındı; bu oran yüzde 90’dı. Dolayısıyla soyut akıl yürütmeden çok inançlarına dayanıyorlardı.”
Araştırmacılar Chinchilla’yı, çoğu yanlış çıkarımlarla biten çeşitli silojizmlerle sınadığında, “inanç yanlılığının neredeyse bütün zero-shot kararları yönlendirdiğini” buldu. Sonuç gerçeklikle uyuşmuyorsa model, önceki önermelerin mantıksal sonucu olsa bile son argümanı geçersiz saymaya güçlü biçimde eğilim gösteriyor.

Chinchilla için zero-shot sonuçları. Çoğu katılımcı da temel kural açıklandıktan sonra bu sorunları çözülmüş örnek görmeden alırdı. Sonuçlar bilgisayarın hesaplama gücü ile NLP modelinin böyle temel mantık sorunlarını çözme kapasitesi arasındaki büyük farkı gösteriyor.
Wason Seçim Görevi
Üçüncü testte, daha da zorlayıcı olan Wason Seçim Görevi mantık problemi, dil modelinin çözmesi için çeşitli biçimlerde yeniden düzenlendi.
1968’de tasarlanan görev görünüşte çok basittir. Katılımcıya dört kart gösterilir ve “Bir kartın bir yüzünde D varsa diğer yüzünde 3 vardır” gibi keyfî bir kural söylenir. Görünen yüzlerde D, F, 3 ve 7 bulunur.
Katılımcıya, kuralın doğru mu yanlış mı olduğunu doğrulamak için hangi kartları çevirmesi gerektiği sorulur.
Doğru çözüm D ve 7 kartlarını çevirmektir. İlk testlerde çoğu katılımcı D’yi doğru seçerken, 7 yerine 3’ü seçmeye daha yatkındı. Böylece kuralın karşıt tersini (“3 değilse D değildir”), tersiyle (“3 ise D’dir”; asıl kural bunu mantıksal olarak gerektirmez) karıştırıyordu.
Yazarlar önceki inançların insanların mantıksal sürecine müdahale edebileceğini belirtiyor. Akademik matematikçiler ve matematik lisans öğrencileri bile bu görevde genellikle yüzde 50’nin altında puan alıyordu.
Ancak Wason görevinin düzeni insanların pratik deneyimini yansıttığında performans genellikle yükseliyor.
Yazarlar önceki deneylere atıfla şöyle diyor:
“Kartlarda yaş ve içecekler gösterilip kural ‘Alkol içiyorlarsa en az 21 yaşında olmalılar’ olarak verildiğinde ve kartlarda bira, gazoz, 25 ve 16 yazdığında, katılımcıların büyük çoğunluğu bira ve 16 kartlarını kontrol etmeyi doğru biçimde seçiyor.”
Araştırmacılar modelin Wason görevlerindeki performansını sınamak için bazıları anlamsız sözcükler içeren çeşitli gerçekçi ve keyfî kurallar oluşturdu. Amaç, yapay zekânın içeriğin bağlamını aşarak hangi sanal kartları çevirmesi gerektiğini bulup bulamayacağını görmekti.
Gerçekçi, yani anlamsız olmayan Wason görevlerinde model insanlarla karşılaştırılabilir performans gösterdi.

Chinchilla için zero-shot Wason Seçim Görevi sonuçları. Model en azından gerçekçi kurallarda rastlantı düzeyinin çok üzerinde performans gösteriyor.













