Yapay Zekânın Benzetimli Mantık Becerileri: İnsan Zekâsını mı Geride Bırakıyor?

Benzetimli mantık, insanların tanımadıkları sorunları çözme yeteneği, bilinen sorunlarla paralellikler çizerek, uzun süredir benzersiz bir insan bilişsel işlevi olarak kabul edilmiştir. Ancak UCLA psikologları tarafından yürütülen bir çalışma, bu konuda yeniden düşünmemizi gerektirecek bulgular sunuyor.

GPT-3: İnsan Zekâsına mı Yaklaşiyor?

UCLA araştırması, OpenAI tarafından geliştirilen bir dil modeli olan GPT-3’ün, özellikle zeka testleri ve SAT gibi standartlaştırılmış sınavlardaki sorunları çözerken, kolej öğrencilerinin reasoning yeteneklerine yakın bir seviyede olduğunu gösterdi. Nature Human Behaviour dergisinde yayımlanan bu bulgu, ilginç bir soru ortaya koyuyor: GPT-3, geniş dil eğitimi verisi nedeniyle insan mantığını taklit ediyor mu, yoksa tamamen yeni bir bilişsel süreç mi kullanıyor?
GPT-3’ün kesin çalışma prensibi, OpenAI tarafından gizli tutulduğundan, UCLA’daki araştırmacılar, benzetimli mantık becerilerinin arkasındaki mekanizma hakkında meraklılar. GPT-3, belirli reasoning görevlerinde övgüye değer bir performans göstermesine rağmen, araçların fiziksel bir görev için kullanılmasındaki gibi, insanlar için basit görevlerde zorluk çekiyor.
Çalışmanın baş yazarı ve UCLA’da doktora sonrası araştırmacı olan Taylor Webb, “Bulgularımız etkileyici olsa da, bu sistemin önemli kısıtlamaları olduğunu vurgulamak önemlidir” dedi.
GPT-3’ün yetenekleri, Raven’ın İlerleyici Matrisleri’nden esinlenen sorunlarla test edildi – bir dizi karmaşık şekil içeren bir test. Webb, bu sorunları GPT-3’ün çözebileceği bir metin formatına çevirerek, bunların AI için tamamen yeni bir challenge olduğunu garantiledi. 40 UCLA öğrencisiyle karşılaştırıldığında, GPT-3 yalnızca insan performansını eşleştirmekle kalmadı, aynı zamanda insanların yaptığı hataları da yansıttı. AI modeli, sorunların %80’ini doğru bir şekilde çözdü, insan ortalama puanını aştı, ancak en iyi insan performansının aralığında kaldı.
Ekibin GPT-3’ün yeteneklerini, yayımlanmamış SAT benzetim sorularıyla test etti ve AI, insan ortalama puanını aştı. Ancak kısa hikayelerden benzetimler çizme girişiminde biraz zorluk çekti, ancak daha yeni GPT-4 modeli daha iyi sonuçlar gösterdi.

AI-İnsan Biliş Arasındaki Köprü

UCLA araştırmacıları, yalnızca karşılaştırmalarla yetinmiyor. İnsanların bilişsel işleyişinden esinlenen bir bilgisayar modeli geliştiriyorlar ve sürekli olarak ticari AI modelleriyle karşılaştırıyorlar. UCLA psikoloji profesörü ve çalışmanın ortak yazarı Keith Holyoak, “Psikolojik AI modelimiz, GPT-3’ün son güncellemesine kadar benzetim sorunlarında diğerlerinden daha iyiydi, ancak GPT-3, daha iyi veya eşdeğer yeteneklere sahip çıktı” dedi.
Ancak ekip, GPT-3’ün özellikle fiziksel uzayı anlama gerektiren görevlerde geri kaldığını tespit etti. Araç kullanımına ilişkin görevlerde, GPT-3’ün çözümleri açıkça yanlış yönlendirildi.
Çalışmanın kıdemli yazarı Hongjing Lu, son iki yılda teknolojinin attığı adımlara, özellikle de AI’nin mantık yeteneklerine şaşırıyor. Ancak bu modellerin gerçekten “düşünüp düşünmediği” veya sadece insan düşüncesini taklit edip etmediği hala tartışma konusu. AI’nin bilişsel süreçlerine ilişkin içgörüler kazanmak, AI modellerinin arka planına erişimi gerektiriyor, bu da AI’nin gelecekteki yolunu şekillendirebilir.
Webb, “GPT modellerinin arka planına erişim, AI ve bilişsel araştırmacılara büyük ölçüde fayda sağlayacaktır. Şu anda yalnızca girdilere ve çıktılara sahibiz ve arzu ettiğimiz kesin derinliği缺 ediyor” diyor.