Zincir Düşünce Sonu mu? CoreThink ve California Üniversitesi Araştırmacıları AI Mantığında Paradigma Değişimi Öneriyor

Yıllardır, yapay zeka yarışması ölçek konusunda olmuştur. Daha büyük modeller, daha fazla GPU, daha uzun.prompts. OpenAI, Anthropic ve Google, büyük dil modelleri (LLM’ler), pekiştirme öğrenimi fine-tuning ve zincir düşünce prompting—tekniklerle liderlik etmişlerdir—mantık simülasyonu için tasarlanmış teknikler.

Ancak CoreThink AI ve California Üniversitesi araştırmacıları tarafından hazırlanan yeni bir teknik beyaz kitap, CoreThink: LLM’lerle Uzun Horizon Görevleri Üzerinde Mantık İçin Sembolik Bir Mantık Katmanı, bu paradigmanın tavana ulaşabileceğini öne sürüyor. Yazarlar, bir iddia ortaya koyuyor: LLM’ler güçlü istatistiksel metin üreticileridir, ancak mantık motorları değildir. Ve zincir düşünce, en sık kullanılan yöntem, gerçek mantık değil, daha çok performans tiyatrosudur.

Buna karşılık, ekip Genel Sembolik adlı bir nöro-sembolik mantık katmanı tanıtıyor—mevcut modellere takılabilecek bir katman. Değerlendirmeleri, geniş bir mantık benchmarkları yelpazesi boyunca önemli iyileştirmeler gösteriyor—bu, yeniden eğitim veya ek GPU maliyeti olmadan elde ediliyor. Bu yaklaşım geçerli ise, AI sistemlerinin mantık ve karar verme için tasarlanma şeklinin dönüm noktasını oluşturabilir.

Zincir Düşünce Nedir — ve Neden Önemlidir

Zincir düşünce (CoT) prompting, modern AI’de en yaygın olarak kullanılan tekniklerden biri haline gelmiştir. Bir modelden, cevabı vermeden önce mantık adımlarını yazmasını istemek, araştırmacıların genellikle matematik, kodlama ve planlama gibi alanlardaki benchmark puanlarını iyileştirebileceğini bulmuşlardır. Yüzeyde, bu bir đột break gibi görünüyordu.

Rapor, bu yaklaşımın sınırlarını vurguluyor. CoT açıklamaları ikna edici görünse de, çalışmalar genellikle bunların modelin gerçekten hesapladığı şeyden ziyade, sonuçları sonradan mantıklayan ve gerçek mantığı açıklamayan şeyler olduğunu gösteriyor. Bu, gerçek dünya riskleri yaratıyor. Tıpta, inandırıcı bir anlatı, sahte korelasyonlara dayanma riskini gizleyebilir, bu da tehlikeli yanlış teşhislere yol açabilir. Hukukta, uydurulmuş gerekçeler gerçek gerekçelerle karıştırılabilir, bu da adil yargılama ve hesap verebilirliği tehdit edebilir.

Makale, ayrıca verimsizliği vurguluyor: CoT zincirleri genellikle basit sorunlarda aşırı uzun, karmaşık sorunlarda ise sığ mantığa dönüşüyor. Sonuç, israf edilen hesaplama ve birçok durumda azaltılmış doğruluk oluyor. Yazarlar, zincir düşünce’nin “performans göstergesi, mekanik değil” olduğunu kếtüller—yüzey düzeyinde bir gösteri, interpretability yanılsaması yaratıyor, ancak bunu gerçekten sunmuyor.

Sembolik AI: Erken Hayallerden Yeni Dirilişe

CoT eleştirisine, sembolik AI tarihinin geri bakışını davet ediyor. AI araştırmalarının ilk on yıllarında, kural tabanlı sistemler, bilgiyi açık mantıksal formda kodluyordu. Uzman sistemler gibi MYCIN, elle oluşturulmuş kuralları uygulayarak hastalıkları teşhis etmeye çalıştı ve dolandırıcılık tespit sistemleri, anomalileri yakalamak için geniş mantık kümelerine güveniyordu.

Sembolik AI inkar edilemez güçlere sahipti: her adımda akıl yürütmesi şeffaf ve izlenebilir oldu. Ancak bu sistemler kırılgandı. On binlerce kuralı kodlamak için muazzam emek gerektiriyordu ve yeni durumlara karşı mücadele ediyordu. Eleştirmenler gibi Hubert Dreyfus, insan zekasının, hiçbir kural kümesinin yakalayamayacağı, bağlam tarafından yönlendirilen, sezgisel bir bilirkişiye dayandığını savundu. 1990’larda, sembolik yaklaşımlar, veri odaklı sinir ağlarına yol açtı.

Son yıllarda, her iki dünyanın güçlerini birleştirmek için nöro-sembolik AI’ye yönelik yenilenmiş bir çaba var. Fikir basittir: sinir ağlarının, görüntüler veya metin gibi karmaşık, algısal girdileri işleyebilmesi, sembolik modüllerin ise yapılandırılmış akıl yürütme ve mantıksal garantiler sunması. Ancak bu melezlerin çoğu, bütünleştirme ile mücadele etti. Sembolik iskeletler çok katıydı, sinir modülleri ise tutarlılığı thường olarak bozuyordu. Sonuç, vaat edilen interpretability’i sunamayan karmaşık, ağır sistemlerdi.

Genel Sembolik: Yeni Bir Mantık Katmanı

CoreThink’in Genel Sembolik Reasoner (GSR), bu sınırlamaları, farklı bir yaklaşım ile aşmayı hedefliyor. Dildeki yapıları katı formal yapılara veya yüksek boyutlu gömme alanlarına çevirmek yerine, GSR tamamen doğal dil içinde çalışıyor. Akıl yürütmenin her adımı kelimelerle ifade ediliyor, bu da bağlam, nüans ve modallik korunuyor. Bu, “zorunlu” ve “yapılmalı” arasındaki farkların akıl yürütme sürecinde taşınacağı anlamına geliyor.

Çerçeve, girdileri doğal dilde yerel olarak解析 ediyor, dilbilimsel dönüşümler aracılığıyla mantıksal kısıtlamalar uyguluyor ve tam olarak insan tarafından okunabilir akıl yürütme izleri üretiyor. Çelişkiler veya hatalar ortaya çıktığında, bunlar doğrudan akıl yürütme yolunda yüzeye çıkıyor, böylece şeffaflık ve hata ayıklama sağlanıyor. Verimli kalabilmek için, sistem gereksiz adımları buduyor, bu da uzun vadeli akıl yürütmeyi GPU ölçeklendirme olmadan ermögiliyor.

Temel modellere uygulanabilen bir katman olarak hareket ettiği için, GSR yeniden eğitim gerektirmez. Değerlendirmelerde, akıl yürütme görevleri boyunca %30 ila %60 arasında tutarlı doğruluk iyileştirmeleri sağladı, tüm bunlar eğitim maliyetlerini artırmadan gerçekleşti.

Benchmark Sonuçları

İyileştirmeler, benchmark’ler aracılığıyla en iyi şekilde gösteriliyor. LiveCodeBench v6’da, yarışma düzeyindeki kodlama sorunlarını değerlendiren bir benchmark’te, CoreThink kendi kategorisindeki önde gelen modellerden daha yüksek bir %66.6 geçme oranına ulaştı. SWE-Bench Lite’da, GitHub depolarından alınan gerçek dünya hata düzeltme benchmark’ünde, sistem %62.3 doğruluk oranına ulaştı, bu da şimdiye kadar bildirilen en yüksek sonuçtu. Ve en zorlu soyut akıl yürütme testlerinden biri olan ARC-AGI-2’de, %24.4 puan elde etti, bu da Claude ve Gemini gibi ön cephe modellerini önemli ölçüde geride bıraktı, bu modeller %6’nın altında kaldı.

Bu rakamlar, sadece ham doğruluk değil, daha fazlasını yansıtıyor. Ayrıntılı vaka çalışmalarında, sembolik katman modellerin farklı davranmasını sağladı. Örneğin, scikit-learn’in ColumnTransformerında, temel model bir yüzey düzeltmesi önerdi, ancak CoreThink ile güçlendirilmiş sistem, temeldeki senkronizasyon sorununu tanıdı ve kapsamlı bir şekilde düzeltti. Zor bir LeetCode challenge’inde, temel model dinamik programlamayı yanlış uyguladı ve başarısız oldu, ancak sembolik akıl yürütme katmanı, hatalı durum temsilini düzeltti ve çalışan bir çözüm üretti.

Sembolik Dirilişe Nasıl Uyum Sağlıyor

Genel Sembolik, akıl yürütme vào AI’ye yapı back getirmeye çalışan artan bir hareketin parçası. Klasik sembolik AI, şeffaflığın değerini gösterdi, ancak yeni durumlara uyum sağlayamadı. Geleneksel nöro-sembolik melezler, denge vaat etti, ancak genellikle hantallık yarattı. Planner yığınları, LLM’lere arama ekledi, ancak görevler ölçeklendiğinde çöktü.

Son gelişmeler, yeni melezlerin potansiyelini gösteriyor. DeepMind’in AlphaGeometrysi, sembolik yapıların, geometri sorunlarında saf nöral modelleri geçebileceğini gösterdi. CoreThink’in yaklaşımı, bu eğilimi genişletiyor. ARC-AGI pipeline’ında, deterministik nesne algılama ve sembolik desen soyutlama, nöral yürütme ile birleştiriliyor, bu da LLM-only sistemlerin çok ötesinde sonuçlar üretiyor. Araç kullanımında, sembolik katman, bağlamı korur ve kısıtlamaları uygular, bu da daha güvenilir çoklu dönüş planlamasına izin veriyor.

Ana fark, Genel Sembolik’in, katı mantık veya büyük yeniden eğitim gerektirmemesidir. Doğal dil içinde akıl yürütme yaparak, esnek kalırken interpretability’i korur. Bu, önceki melezlerden daha hafif ve kritik olarak,enterprise uygulamalarına entegrasyon için pratiktir.

Neden Önemlidir

Eğer zincir düşünce bir akıl yürütme illüzyonysa, o zaman AI endüstrisi acil bir zorlukla karşı karşıyadır. Şirketler, özellikle tıp, hukuk ve finans gibi yüksek riskli ortamlarda, sadece akıl yürütme gibi görünen sistemlere güvenemez. Makale, gerçek ilerlemenin, modelleri daha da ölçeklendirme yerine, akıl yürütmenin temelini yeniden düşünmekten geleceğini öne sürüyor.

Genel Sembolik, böyle bir temel sunuyor. Mevcut modelleri yeniden eğitime gerek kalmadan güçlendirebilen, yorumlanabilir bir katman sunuyor ve gerçek akıl yürütme iyileştirmeleri sağlıyor, yüzey düzeyinde anlatılardan ziyade. Daha geniş AI topluluğu için, bu, bir paradigma değişimini temsil ediyor: sembolik akıl yürütmenin, kırılgan kural kümeleri olarak değil, nöral öğrenmenin esnek bir arkadaşı olarak geri dönüşü.

Yazarlar şöyle diyor: “Daha iyi akıl yürütme için daha fazla parametre eklemeye ihtiyacımız yok, temelleri yeniden düşünmeliyiz.”