Kendinden Emin Yanlış: Neden En Akıllı AI Modeller Kendilerini Düzeltmekte En Kötüdür

AI topluluğunun çoğu, inanıyor ki, bir sonraki büyük devrim, insan müdahalesi olmadan kendini geliştirebilen AI’nin çağı olacaktır. Argüman şu: Modeller daha yetenekli hale geldikçe, sonunda sadece verilerden değil, kendilerinden de öğrenecekler. Her bir iterasyon, önceki iterasyonu iyileştirecek. Hatalar tespit edilecek, düzeltilerek ortadan kaldırılacaktır. Zaman içinde, bu iyileştirmelerin birikebileceği zeka patlaması meydana gelebilir, burada AI, AI’yi oluşturmaya başlar. Bu vizyon, geri beslemeli AI, otonom ajanlar ve uzun süredir beklenen zeka patlaması etrafındaki heyecanının temelini oluşturur. Bu vizyonun merkezinde, AI sistemlerinin güvenilir bir şekilde kendi hatalarını düzeltme yeteneği yatmaktadır. Ancak, güçlü self-düzeltme olmadan, self-iyileştirme gerçekleştirilemez. Kendi çıktılarından anlamalı öğrenemeyen bir sistem, ne kadar güçlü görünse de, anlamlı bir şekilde öğrenemez.

Hüküm süren varsayım, self-düzeltmenin modeller daha yetenekli hale geldikçe doğal olarak ortaya çıkacağı yönündeydi. Bu inanç mantıklı geliyor. Sonuçta, daha güçlü modeller daha fazla şey biliyor, daha iyi akıl yürütüyor ve görevlerde iyi performans gösteriyor. Ancak, son araştırmalar Paradoks olarak adlandırılan paradoksal bir bulguya işaret ediyor: daha gelişmiş modeller genellikle kendi hatalarını düzeltmekte daha zayıf modellerden daha kötü performans gösteriyor. Bu bulgu, AI sistemlerinin nasıl akıl yürüttüğünü ve self-iyileştirme için ne kadar hazır olduğumuzu yeniden düşünmemizi gerektiriyor.

Kendini Geliştiren AI’yi Anlamak

Kendini geliştiren AI, hatalarını tanıyabilen, onlardan öğrenebilen ve davranışını iteratif olarak iyileştirebilen bir AI sistemini ifade eder. Geleneksel modellerin aksine, insan tarafından oluşturulan eğitim verilerine dayanmak yerine, kendini geliştiren AI, kendi çıktılarını aktif olarak değerlendirecek ve zaman içinde adapte olacaktır. Teoride, bu, her öğrenme döngüsünün bir önceki döngüye dayanarak bir geri besleme döngüsü oluşturur, bu da genellikle zeka patlaması olarak tanımlanan duruma yol açar.

Ancak, bu hedefi gerçekleştirmek çok zor. Self-iyileştirme, ham hesaplama gücü veya daha büyük veri kümeleri gerektirmekten daha fazlasını gerektirir. Güvenilir self-değerlendirme, hataları tespit etme, kaynaklarını belirleme ve düzeltilmiş çözümler üretme yeteneği gerektirir. Bu yeteneklere sahip olmayan bir model, doğru bir akıl yürütme yolunu yanlış bir yolдан ayıramaz. Yanlış bir çözüme dayalı olarak yineleme, yalnızca hataları güçlendirmek yerine performansı iyileştirmek için yapılır.

Bu ayrım kritiktir. İnsanlarda, hatalardan öğrenmek genellikle yansıma, hipotez testi ve rotayı düzeltme içerir. AI için bu süreçler, sistem itselfinde kodlanmalıdır. Bir model kendi hatalarını güvenilir bir şekilde tanıyıp düzeltmezse, self-iyileştirme döngüsüne anlamlı bir şekilde katılamaz ve geri beslemeli zeka vaadi teorik olmaktan çok pratik olur.

Doğruluk-Düzeltme Paradoksu

Self-düzeltme genellikle tek bir yetenek olarak ele alınır, ancak gerçekte ayrı ayrı değerlendirilmesi gereken birden fazla farklı yetenek içerir. En azından, hata tespiti, hata yerinin belirlenmesi ve hata düzeltmesi olarak üç ölçülebilir alt yetenek ayırt edebiliriz. Hata tespiti, bir modelin çıktısının yanlış olduğunu tanıyıp tanımadığını sorar. Hata yerinin belirlenmesi, hatanın nerede oluştuğunu belirlemeye odaklanır. Hata düzeltmesi, düzeltilmiş bir çözüm üretme yeteneğini ifade eder.

Bu yetenekleri ayrı ayrı ölçerek, araştırmacılar mevcut sistemlerin sınırları hakkında önemli içgörüler elde ediyorlar. Modellerin bu yetenekler açısından geniş bir çeşitlilik gösterdiğini gösteriyorlar. Bazı modeller hataları tespit etmekte iyidir ancak onları düzeltmekte kötüdür. Diğerleri hataları几乎 tanımlayamaz ancak yinelemeler yoluyla onları düzeltmeyi başarabilir. Daha da önemli olarak, bu içgörüler, bir alanda iyileşmenin diğer alanlarda iyileşme garantisi vermediğini gösteriyor.

Araştırmacılar, gelişmiş modelleri karmaşık matematiksel akıl yürütme görevleriyle test ettiğinde, bu modeller daha az hata yaptı. Beklenen buysa da, bu modellerin kendi hatalarını kendileri düzeltmekte daha az başarılı oldukları görüldü. Tersine, daha zayıf modeller, daha fazla hata yapmalarına rağmen, dış geri bildirime gerek kalmadan hatalarını düzeltmekte daha iyiydi. Diğer bir deyişle, araştırmacılar, doğruluk ve self-düzeltmenin ters yönde hareket ettiğini, bu durumun “doğruluk-düzeltme paradoksu” olarak adlandırıldığını buldular. Bu bulgu, AI geliştirme sürecinde derin bir inanca meydan okuyor. Genellikle, model ölçeklendirildikçe her yönüyle zeka artar diye varsayılır. Paradoks, bu varsayımın her zaman geçerli olmadığını, özellikle de introspektif yetenekler için geçerli olmadığını gösteriyor.

Hata Derinliği Hipotezi

Bu paradoks, daha zayıf modellerin self-düzeltmede neden daha güçlü modelleri geride bıraktığını sormamıza yol açıyor. Araştırmacılar, modellerin yaptığı hata türünü inceleyerek bu soruya cevap buluyorlar. Daha güçlü modellerin daha az hata yaptığını, ancak yaptıkları hataların “daha derin” ve düzeltilmesinde daha dirençli olduğunu buldular. Tersine, daha zayıf modellerin “daha浅” hatalar yaptığını ve ikinci bir geçişte kolayca düzeltilebileceğini buldular.

Araştırmacılar, bu içgörüyü hata derinliği hipotezi olarak adlandırıyorlar. Hataları kurulum, mantık ve hesap hataları olarak kategorize ediyorlar. Kurulum hataları, problemi yanlış yorumlama ile ilgilidir. Mantık hataları, akıl yürütme yolunun yapısal olarak kusurlu olduğu durumlarda ortaya çıkar. Hesap hataları, basit aritmetik kayma hatalarıdır. GPT-3.5 için, hataların çoğunluğu (%62) basit hesap hatalarıdır. Bunlar浅 hatalardır. “Dikkatlice kontrol edin” talimatı verildiğinde, model genellikle matematiksel hatayı bulup düzeltebilir. Ancak DeepSeek için, hatalarının %77’si kurulum veya mantık hatalarıdır. Bu derin hatalar, modelin temel olarak yaklaşımını yeniden düşünmesini gerektirir. Güçlü modeller bunu yapmakta zorlanırlar, çünkü genellikle ilk akıl yürütme yoluna bağlı kalırlar. Model zekası arttıkça, yalnızca en dayanıklı ve zor hatalar kalır.

Hata Tespit Etmenin Hataları Düzeltmeye Garanti Vermediği

Araştırmaların en şaşırtıcı bulgularından biri, hata tespiti ile hataları düzeltme yeteneği arasında bir ilişki bulunmadığıdır. Bir model, çıktısının yanlış olduğunu doğru bir şekilde tanıyabilir ancak yine de onu düzeltmeyi başaramayabilir. Başka bir model, hataları几乎 tanımlayamaz ancak yinelemeler yoluyla onları düzeltmeyi başarabilir. Claude-3-Haiku, en dramatik örneği sunar. Claude, kendi hatalarının yalnızca %10.1’ini tespit etti, bu, tüm test edilen modeller arasında en düşük oran oldu. Buna rağmen, en yüksek içsel düzeltme oranını, %29.1 ile elde etti. Karşılaştırıldığında, GPT-3.5, hatalarının %81.5’ini tespit etti ancak yalnızca %26.8’ini düzeltmeyi başardı.

Bu, bazı modellerin, ilk denemeleri yanlış olsa bile, basitçe problemi farklı bir örneklem yoluyla yeniden çözmeleri yoluyla “kazara” hatalarını düzelttiklerini gösteriyor. Bu kopukluk, gerçek dünya uygulamaları için tehlikelidir. Bir model, mantıksal hatalarını tespit edemez ve yanlış bir açıklamayı doğru olarak sunabilir. Bazı durumlarda, modelin kendi hatalarını tanımlaması için ipuçları verilmesi durumu daha da kötüleştirebilir. Model, nerede yanlış olduğunu yanlış tanımlarsa, yanlış bir açıklamaya bağlı kalır ve hatayı daha da pekiştirir. Bu davranış, insan bilişsel önyargısını yansıtıyor. Bir kez neyin yanlış gittiğine inandığımızda, daha derin nedenler aramayı bırakıyoruz.

İterasyon Yardımsever, Ancak Eşit Olarak Değil

Araştırmalar ayrıca, yineleyici yansımanın genellikle sonuçları iyileştirdiğini ancak tüm modellerin aynı şekilde yararlanmadığını gösteriyor. Zayıf modeller, her bir iterasyonun yüzeydeki sorunlarını düzeltmelerine bir şans verdiği için, tekrar edilen düşünme turundan önemli ölçüde yararlanırlar. Güçlü modeller, iterasyondan çok daha küçük kazançlar elde eder. Hataları, tekrarlamayla kolayca çözülemez. Dış rehberlik olmadan, ek girişimler genellikle aynı kusurlu akıl yürütmeyi farklı sözlerle yeniden üretir. Bu içgörü, self-iyileştirme tekniklerinin evrensel olarak etkili olmadığını gösteriyor. Başarılı olmaları, modelin zekasına değil, yapılan hataların doğasına bağlıdır.

Bu, AI Sistem Tasarımı için Ne Anlama Geliyor

Bu içgörüler, pratik çıkarımlar içerir. Birincisi, daha yüksek doğruluğun daha iyi self-düzeltme anlamına geldiğini varsaymayı bırakmalıyız. Otonom self-iyileştirme üzerine dayanmak isteyen sistemler, yalnızca son performans için değil, ayrıca düzeltme davranışı için açıkça test edilmelidir. İkincisi, farklı modeller farklı müdahale stratejilerine ihtiyaç duyabilir. Zayıf modeller, basit doğrulama ve iterasyondan yararlanabilir. Güçlü modeller, derin akıl yürütme hatalarını aşmak için dış geri bildirim, yapılandırılmış doğrulama veya araç tabanlı kontrollere ihtiyaç duyabilir. Üçüncüsü, self-düzeltme boru hatları hata-farkında olmalıdır. Bir görevin浅 veya derin hatalara eğilim gösterip göstermediğini anlamak, self-düzeltmenin gerçekten işe yarayıp yaramayacağını bilgilendirebilir. Son olarak, değerlendirme standartları, tespiti, yerinin belirlenmesini ve düzeltmeyi ayrı ayrı ölçmelidir. Bunları tek bir ölçüm olarak ele almak, gerçek dünya uygulamalarında önemli zayıflıkları gizler.

Alt Çizgi

Kendini geliştiren AI, yalnızca doğru cevaplar üretmekle kalmaz, aynı zamanda yanlış cevapları tanıyabilme, teşhis edebilme ve revize edebilme yeteneğine de dayanır. Doğruluk-düzeltme paradoksu, daha güçlü modellerin bu görevde otomatik olarak daha iyi olmadığını ortaya koyuyor. Modeller daha yetenekli hale geldikçe, hataları daha derin, daha zor tespit edilir ve self-düzeltmeye karşı daha dirençli hale gelir. Bu, model ölçeklendirme ilerlemesinin yeterli olmadığını gösterir. AI sistemlerinin gerçekten kendi hatalarından öğrenmesini istiyorsak, self-düzeltme, açıkça ölçülmesi, eğitilmesi ve desteklenmesi gereken ayrı bir yetenek olarak ele alınmalıdır.