DeepMind: Yapay Zeka İnsanların Bilişsel Sınırlılıklarını Devralabilir, ‘Resmi Eğitimden’ Yararlanabilir

DeepMind ve Stanford Üniversitesi’nden yeni bir işbirliği, yapay zekanın genellikle soyut akıl yürütmede insanlardan daha iyi olmadığını öne sürüyor. Makine öğrenimi modelleri, gerçek dünya örneklerinden akıl yürütme mimarilerini ediniyorlar, ancak bu örnekler pratik bağlamda kökleniyor ve aynı zamanda kendi bilişsel yetersizliklerimizle engelleniyor.

Bu, birçok kişinin makine öğrenimi sistemlerinden beklediği süper ‘mavi gökyüzü’ düşünce ve entelektüel köken kalitesine bir engel oluşturabilir ve yapay zekanın insan deneyimini ne ölçüde yansıttığını ve insan sınırları içinde nasıl düşündüğünü gösteriyor.

Araştırmacılar, yapay zeka modellerinin soyut akıl yürütme konusunda ‘resmi eğitim’ benzeri bir ön eğitimden yararlanabileceğini öne sürüyorlar.

Çalışmada deniyor ki:

İnsanlar mükemmel akıl yürütmeyen varlıklar. Dünyaya ilişkin anlayışımıza uygun olan varlıklar ve durumlar hakkında en etkili şekilde akıl yürütürüz.

Deneysel çalışmalarımız, dil modellerinin bu davranış kalıplarını yansıttığını gösteriyor. Dil modelleri, mantıksal akıl yürütme görevlerinde mükemmel bir şekilde performans göstermiyor, ancak bu performans içerik ve bağlam bağlı olarak değişiyor. En dikkat çekici olanı, bu modellerin genellikle insanların başarısız olduğu durumlarda – yani uyaranlar çok soyut veya dünya anlayışımıza aykırı olduğunda – başarısız oluyor.

Yapay zeka modellerinin bu sınırlılıklardan nasıl etkilendiğini test etmek için araştırmacılar, üç dili ve anlamsal test tasarladılar. Bu testler, ‘sıfır atış’ (çözülmüş örnekler olmadan) ve ‘beş atış’ (beş önceki çözülmüş örneklerle) olarak uygulandı.

İlk görev, doğal dil çıkarımı (NLI) ile ilgilidir, burada konu (insan veya bu durumda bir dil modeli) iki cümle alır: bir ‘öncül’ ve ‘hipotez’ cümlesi. Örneğin X, Y’den küçüktür, Hipotez: Y, X’ten büyüktür (içerilir).

Doğal Dil Çıkarma görevi için araştırmacılar, Chinchilla (70 milyar parametreli bir model) ve 7B (aynı modelin 7 milyar parametreli bir sürümü) dil modellerini değerlendirdiler ve tutarlı örnekler için (yani saçma olmayan örnekler) yalnızca daha büyük Chinchilla modelinin şansın üzerinde sonuçlar elde ettiğini ve şöyle dediklerini belirttiler:

Bu, güçlü bir içerik önyargısını gösteriyor: modeller, cümleyi mantık kurallarıyla uyumlu bir şekilde tamamlamaktan ziyade, önceki beklentilerimize uygun bir şekilde tamamlamayı tercih ediyor.

İkinci görev, daha karmaşık bir challenge sunan silogizmelerle ilgilidir – iki doğru ifade, üçüncü bir ifadeyi (mantıksal bir sonuç mu, yoksa değil mi?) ima eder.

İnsanlar bu görevde çok hatalılar ve bir mantık ilkesini örneklemek için tasarlanmış bir yapı, hemen insan ‘inancı’ ile karışıyor ve insanların neyin doğru olması gerektiğine ilişkin inançları tarafından yönlendiriliyor.

Araştırmacılar, bir çalışmadan alıntı yapıyorlar:

Katılımcılar, bir silogizmin sonucunun inançlarına uyup uymadığına göre, geçersiz bir silogizmin geçerli olduğunu yanlış bir şekilde söyleme olasılığı daha yüksekti ve genellikle inanç yerine soyut akıl yürütmeye güveniyorlardı.

Wason Seçim Görevi için, araştırmacılar dil modelinin çeşitli gerçekçi ve saçma kuralları çözebilmesini test etmek için bu görevi çeşitli şekilde formüle ettiler.

Wason görevi, 1968’de tasarlandı ve apparent olarak çok basit: katılımcılara dört kart gösterilir ve bir kural verilir, örneğin ‘Bir kartın bir yüzünde ‘D’ varsa, diğer yüzünde ‘3’ vardır.’ Dört kartın görünür yüzleri ‘D’, ‘F’, ‘3’ ve ‘7’ gösterir.

Konular, kuralın doğru veya yanlış olduğunu doğrulamak için hangi kartları çevirmeleri gerektiğini sorar.

Doğru çözüm, ‘D’ ve ‘7’ kartlarını çevirmektir. İlk testlerde, çoğu konu ‘D’ seçiyor, ancak ‘3’ yerine ‘7’ seçme olasılıkları daha düşük.

Araştırmacılar, önceki deneylerden alıntı yapıyorlar:

Eğer kartlar içki ve yaşları gösteriyor ve kural ‘içki içiyorsan 21 yaşın üzerinde olmalısın’ ve ‘bira’, ‘soda’, ’25’, ’16’ yazılı kartlar gösteriliyorsa, meisten katılımcılar ‘bira’ ve ’16’ yazılı kartları kontrol etmeyi seçer.

Çalışma, dil modelinin Wason görevlerindeki performansının, insanlarınkine benzer olduğunu belirtiyor.

Araştırmacılar, şu sonuca varıyorlar:

Bu, dil modellerinin ve insanların, içerik önyargılarına benzer şekilde ulaştıklarını, ancak görünüşte farklı mimariler, deneyimler ve eğitim hedefleri ile ulaştıklarını gösteriyor.

Onlar, saf akıl yürütme konusunda bir tür ‘endüktif eğitim’ öneriyorlar ve dil modellerinin soyut veya genelleştirilmiş düzeyde talimatları takip etmeyi ve kendi çıktılarını doğrulamayı, düzeltmeyi veya önyargıdan arındırmayı öğrenebileceğini belirtiyorlar.

Çalışma, 15 Temmuz 2022’de yayımlandı.

Testler

İnsanlar, soyut kavramları pratik örnekler aracılığıyla öğrenirler. Bu, dil öğrenenler için de geçerli olan ‘önerilen önem’ yöntemiyle benzerdir. En basit örnek, fizikteki karmaşık prensipleri ‘seyahat senaryoları’ ile öğretmektir.

Soyut akıl yürütme yeteneklerini test etmek için araştırmacılar, dil modeli için üç dili ve anlamsal test tasarladılar.

İlk görev, doğal dil çıkarımı (NLI) ile ilgilidir, burada konu (insan veya bu durumda bir dil modeli) iki cümle alır: bir ‘öncül’ ve ‘hipotez’ cümlesi.

İkinci görev, daha karmaşık bir challenge sunan silogizmelerle ilgilidir – iki doğru ifade, üçüncü bir ifadeyi (mantıksal bir sonuç mu, yoksa değil mi?) ima eder.

Silogizmler

İnsanlar bu görevde çok hatalılar ve bir mantık ilkesini örneklemek için tasarlanmış bir yapı, hemen insan ‘inancı’ ile karışıyor ve insanların neyin doğru olması gerektiğine ilişkin inançları tarafından yönlendiriliyor.

Wason Seçim Görevi

Wason görevi, 1968’de tasarlandı ve apparent olarak çok basit: katılımcılara dört kart gösterilir ve bir kural verilir, örneğin ‘Bir kartın bir yüzünde ‘D’ varsa, diğer yüzünde ‘3’ vardır.’ Dört kartın görünür yüzleri ‘D’, ‘F’, ‘3’ ve ‘7’ gösterir.

Resmi Eğitim

Çalışmanın bulguları, hyperscale NLP sistemlerinin akıl yürütme potansiyelini, kendi sınırlılıklarımız bağlamında ele alıyor. Bizim gibi, bu modeller de kendi sınırlılıklarına sahip.

Araştırmacılar, şu sonuca varıyorlar:

SONUÇLARIMIZ, İÇERİK ETKİLERİNİN, İNSAN KÜLTÜRÜ TARAFINDAN ÜRETİLEN DİLİ TAKLİT ETMEYİ ÖĞRENEN BÜYÜK BİR TRANSFORMER İLE EĞİTİLMESİNDEN KAYNAKLANABİLECEĞİNİ GÖSTERİYOR.

Onlar, saf akıl yürütme konusunda bir tür ‘endüktif eğitim’ öneriyorlar ve dil modellerinin soyut veya genelleştirilmiş düzeyde talimatları takip etmeyi ve kendi çıktılarını doğrulamayı, düzeltmeyi veya önyargıdan arındırmayı öğrenebileceğini belirtiyorlar.

Çalışma, 15 Temmuz 2022’de yayımlandı.