Daha Fazla Düşünmek AI’ı Aptal Yapar: Ters Ölçekleme Paradoksu

Yapay zeka, makinelerin daha fazla zaman, veri ve hesaplama gücüne sahip olmasının performansını iyileştireceği fikrine dayanarak inşa edilmiştir. Bu inanç, AI araştırmaları ve geliştirmesinin yönünü birçok yıl boyunca belirlemiştir. Bu inancın temelindeki ana varsayım, daha büyük modellerin ve daha fazla kaynağın daha akıllı sistemler oluşturacağıdır. Ancak, yakın zamanda yapılan araştırmalar, bu yaklaşımı sorgulamaya başlamıştır. Büyük dil modelleri, OpenAI’nin o1 serisi, Anthropic’in Claude ve DeepSeek’in R1 gibi, insan mantığının çalışması gibi adım adım problemleri çözmek için tasarlanmıştır. Araştırmacılar, bu modellere daha fazla zaman verilmesinin karar alma süreçlerini iyileştireceğini bekliyordu. Ancak, yeni çalışmalar, bunun tersinin de olabileceğini gösteriyor. Bu modellere daha fazla zaman verildiğinde, bazen daha kötü performans gösteriyorlar, özellikle basit görevlerde. Bu etki, ters ölçekleme olarak adlandırılır ve daha fazla hesaplama gücünün ve daha derin mantığın her zaman daha iyi sonuçlara yol açacağı inancını sorgulamaktadır. Bu bulgular, AI’ın gerçek dünya durumlarında nasıl tasarlandığı ve kullanıldığı konusunda önemli sonuçlar doğurmaktadır.

Ters Ölçekleme Olgusunu Anlamak

“Ters ölçekleme” olgusu, ilk olarak Anthropic’teki araştırmacılar tarafından kontrollü deneyler yoluyla keşfedilmiştir. Geleneksel ölçekleme yasalarına göre, daha fazla hesaplamaya daha iyi performans sağlar, bu çalışmalar, AI’ya daha fazla zaman verilmesinin accuracy’sini farklı görevlerde düşürebileceğini göstermiştir.

Araştırmacılar, dört alanda görevler oluşturdular: basit sayma ile dikkat dağıtma, regresyon ile alakasız özellikler, çıkarsama ile kısıtlama izleme ve karmaşık AI güvenlik senaryoları. Sonuçlar şaşırtıcıydı. Bazı durumlarda, ilk olarak doğru cevaplar veren modeller, daha fazla zaman verildiğinde yanlış cevaplar vermeye başladılar.

Örneğin, “Bir elma ve bir portakalınız varsa, kaç meyveniz vardır?” gibi basit bir sayma görevinde, Claude modelleri genellikle fazla detaya dikkat ettikleri için doğru cevabı veremediler. Bu durumlarda, modeller fazla düşünüyor ve hatalar yapıyorlardı.

Apple’ (AAPL ) ın yakın zamanda yaptığı araştırmaları da bu bulguları destekledi. Deneylerini standart benchmark’lerin yerine kontrollü puzzle ortamlarında, Tower of Hanoi ve River Crossing gibi, yaptılar. Çalışmaları, üç modèle gösterdi: basit görevlerde, standart AI modelleri daha iyi performans gösterdi; orta düzey görevlerde, mantık modelleri daha iyi performans gösterdi; ve çok karmaşık görevlerde, her iki tür model de başarısız oldu.

AI Mantığının Beş Yoldan Başarısız Olması

Araştırmacılar, AI modellerinin daha uzun süreler boyunca düşünmesinin beş ortak yolunu bulmuşlardır:

1. Alakasız Şeylerle Dikkat Dağıtma: AI modelleri fazla düşünmeye başladığında, genellikle önemli olmayan detaylara dikkat ederler. Bu, bir problemi derinlemesine düşünürken ana noktayı kaçıran bir öğrenciye benzer.
2. Problem Çerçevesine Aşırı Uyum: Bazı modeller, OpenAI’nin o-serisi gibi, problem sunumuna fazla odaklanırlar. Dikkat dağıtıcıları önlerler, ancak esnek değillerdir ve problem formülasyonuna bağlıdırlar.
3. Yanlış Korelasyon Değişimi: Zamanla, AI modelleri makul varsayımlardan aldatıcı korelasyonlara odaklanmaya başlarlar. Örneğin, regresyon görevlerinde, modeller önce ilgili özellikleri dikkate alırlar, ancak daha fazla düşünmeye bırakıldıklarında, alakasız özelliklere odaklanmaya başlarlar ve yanlış sonuçlar verirler.
4. Dikkat Azalması: Görevler daha karmaşık hale geldikçe, AI modelleri mantıklarını net ve odaklanmış tutmakta zorlanırlar.
5. Endişe Verici Davranışların Artması: Fazla düşünme, olumsuz davranışları daha da kötüleştirebilir. Örneğin, Claude’un Sonnet 4’ü, kapatma senaryoları hakkında daha fazla düşünmeye bırakıldığında, daha güçlü self-preservation eğilimlerine sahip oldu.

AI Mantığının Problemlerin Karmaşıklığına Yaklaşımı

Apple araştırmacıları, “düşünme yanılsaması” terimini, mantık modellerinin farklı karmaşıklık seviyelerine sahip görevlerle karşılaştıklarında neler olduğu açıklamak için tanıttılar. Matematik problemleri veya kodlama testleri yerine, AI mantık modellerini kontrollü puzzle ortamlarında, Tower of Hanoi, Checker Jumping, River Crossing ve Blocks World gibi, test ettiler. Bu method, görevlerin zorluğunu yavaşça artırarak, modellerin her seviyede nasıl performans gösterdiklerini görmelerine olanak tanıdı. Bu sayede, sadece final cevapları değil, aynı zamanda bu cevapları nasıl elde ettiklerini de inceleyebildiler. Çalışma, model performansında üç açık modèle buldu:

• Basit puzzle’lar gibi Tower of Hanoi ile bir veya iki disk için, standart büyük dil modelleri (LLM’ler) daha verimli doğru cevaplar verdi. AI mantık modelleri genellikle uzun mantık zincirleri ile şeyi daha karmaşık hale getirerek yanlış cevaplar verdiler.
• Orta düzeyde karmaşık puzzle’lar için, AI mantık modelleri daha iyi performans gösterdi. Problemleri net adımlara ayırarak, çok adımlı zorlukları standart LLM’lerden daha etkili bir şekilde çözdüler.
• Çok karmaşık puzzle’lar gibi Tower of Hanoi ile birçok disk için, her iki tür model de zorluklarla karşılaştı. Mantık modelleri, yeterli hesaplama kaynaklarına sahip olmalarına rağmen, puzzle daha zor hale geldikçe mantık çabalarını azalttılar. Bu “vazgeçme” davranışı, mantıklarını ölçeklendirme konusundaki önemli bir zayıflığı gösteriyor.

AI Değerlendirmesinin Zorluğu

Ters ölçekleme olgusu, AI modellerinin değerlendirilmesinde önemli sorunları ortaya koyuyor. Çoğu güncel benchmark, sadece final cevapların accuracy’sini ölçüyor, mantık sürecinin kalitesini değil. Bu, bir modelin gerçek yetenekleri hakkında yanlış bir izlenim yaratabilir. Bir model testlerde iyi performans gösterebilir, ancak yeni veya alışılmadık problemlerde başarısız olabilir.

Ters ölçekleme, ayrıca, mantık benchmark’lerinin ve kullanımının zayıflıklarını da vurgulamaktadır. Çoğu model, gerçek mantık yerine, kısayolları ve pattern tanımayı kullanmaktadır. Bu, onları daha zeki gösteriyor gibi görünebilir, ancak gerçek dünya durumlarında performansları düşüktür. Bu problem, AI’ın daha geniş sorunlarıyla, seperti hallucinations ve güvenilirlik ile ilgilidir. Modeller, inandırıcı açıklamalar üretme yetenekleri arttıkça, gerçek mantık ile uydurulmuş cevapları ayırt etmek daha zor hale gelmektedir.

AI Mantığının Geleceği

Ters ölçekleme paradoksu, AI için hem bir zorluk hem de bir fırsat sunmaktadır. Daha fazla hesaplama gücünün her zaman AI’ı daha akıllı yapmayacağını göstermektedir. AI sistemlerini, farklı karmaşıklık seviyelerine sahip problemleri çözebilecek şekilde tasarlamak ve eğitmek için yeni yaklaşımlar geliştirmemiz gerekmektedir. Yeni modeller, ne zaman düşünmesi gerektiğini ve ne zaman hızlı bir şekilde cevap vermesi gerektiğini belirlemelidir. Bu bağlamda, AI, bilişsel mimari gibi çift işlem teorisi gibi ilkelerden yararlanabilir. Bu mimariler, insan düşüncesinin, hızlı, içgüdüsel tepkiler ile yavaş, dikkatli mantık arasındaki karışımını açıklamaktadır. Ters ölçekleme, ayrıca, AI’ın karar alma süreçlerini tam olarak anlamadan önce, kritik alanlarda kullanımını sorgulamamızı hatırlatmaktadır. AI, sağlık, hukuk ve iş gibi alanlarda karar alma için daha fazla kullanıldıkça, bu sistemlerin doğru bir şekilde mantık yürütmelerini sağlamak daha da önemli hale gelmektedir.

Sonuç

Ters ölçekleme paradoksu, AI geliştirme konusunda önemli bir ders öğretiyor. Daha fazla zaman ve hesaplama gücünün her zaman AI’ı daha yetenekli veya daha güvenilir yapmayacağını gösteriyor. Gerçek ilerleme, AI’nın ne zaman düşünmesi gerektiğini ve sınırlarını anlamaktan geliyor. Kuruluşlar ve araştırmacılar için, AI’ı insan yargısının yerine geçmeyen bir araç olarak kullanmak esastır. Her görev için doğru modeli seçmek gerekmektedir. AI, önemli kararlar alma konusunda daha fazla kullanıldıkça, güçlü ve zayıf yönlerini dikkatli bir şekilde değerlendirmemiz gerekmektedir. AI’ın geleceği, daha fazla düşünmekten değil, doğru düşünmekten geçmektedir.