Düşünce Liderleri

LLM’lerin Matematikteki Başarısızlığı ve Çözüm Yolları

Peter Relan
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarOpenAI'nin o1 modelleri gibi gelişmiş Büyük Dil Modelleri, matematik problemleri eğitim…
Daha fazla göster
  • OpenAI'nin o1 modelleri gibi gelişmiş Büyük Dil Modelleri, matematik problemleri eğitim verilerinden saptığında keskin doğruluk düşüşleri gösteriyor.
  • Yapay zekanın matematikteki zorlanması, karmaşık problemlerde gerçek bir akıl yürütmeden ziyade örüntü hatırlamasından kaynaklanıyor.
  • MATH veri kümesi, problemler ilkokul seviyesinden lise seviyesine geçtikçe performans düşüşlerini ortaya koyuyor.

Matematik, AI modelleri için her zaman önemli bir zorluk oluşturmuştur. Matematiği hakim olmak, karmaşık akıl yürütme becerileri gerektirir ve AI için bu görev oldukça zorlu bir iştir. Bu, matematiksel yeterliliğin profesyonel, kişisel ve akademik başarı için önemini düşünüldüğünde büyük bir sorun yaratır.

Büyük dil modelleri (LLM’ler) rağmen, karmaşık matematiksel görevlerle mücadele eder, örneğin geometri gibi, gelişmiş akıl yürütme becerileri gerektirir. Bu, AI modelinin matematiksel yeteneklerinin ne kadarının gerçek akıl yürütmeden ve ne kadarının sadece eğitim verilerinin hatırlanmasından kaynaklandığı sorusunu gündeme getirir.

Apple’ın yakın tarihli bulguları (AAPL ) gösteriyor ki, nawet ilkokul matematik sözel problemlerine odaklandıklarında, en gelişmiş modeller bile tamamen “akıl yürütme” tarafından yönetilmiyor.

MathGPT.ai’nin R&D ekibi, cebir’den kalkülüs seviyesine kadar olan matematik konularında en fazla gelişime ihtiyaç duyulan alanlar hakkında yeni bilgiler ortaya koydu.

Bu veriler, problem bağlamı ve dilin farklı varyasyonlarının LLM’lerin performansını nasıl etkilediğini araştırdı, OpenAI’nin son o1-önizleme ve o1-mini modelleri de dahil olmak üzere. Bulgular, endişe verici bir eğilim ortaya koydu: doğruluk, orijinal eğitim verilerindeki sorulardan farklılaştıkça sürekli olarak azaldı ve daha zorlu matematiksel standartlarda performans keskin bir şekilde düştü.

Hatırlama ve Akıl Yürütme İkilemi

Araştırma, üç ana faktöre odaklandı:

  1. İlkokul matematik düzeyinin üzerinde daha zorlu matematiksel standartlar kullanmak
  2. Test problemine çok yakın bir “1-shot.prompt” araştırmak
  3. Bir problem için “en iyisi n” stratejisini uygulamak – etkili bir şekilde istatistiksel anormallikleri ortadan kaldırmak için çoğunluk oylaması

Sonuçlar hem ilginç hem de endişe vericiydi. Problem varyasyonlarının sınırları itildi ve matematiksel denklemler daha karmaşık hale geldikçe AI modelinin performansı tutarlı bir şekilde azaldı.

MATH Veri Seti Zorluğu

MATH veri seti, lise düzeyindeki zorlu problemleri içerir, bu da MathGPT.ai’nin model performansı hakkında daha iyi bir anlayış elde etmesini sağlar. Bu seçim, model performansı hakkında daha iyi bir anlayış elde etmesini sağlar.

Test sırasında, sayısal değerler ve son cevaplar değişmedi, ancak problemlerin dili, değişkenleri ve bağlamı değişti. Örneğin, bir “köpek yürüyüşü” senaryosu “bulaşık makinesi” problemine dönüştürülebilir. Bu yöntem, MATH veri setinin artan karmaşıklığını hafifletmeye yardımcı olurken, aynı zamanda modellerin akıl yürütme yeteneklerini zorlamayı sürdürür.

Sonuçların Ortaya Çıkması

Sonuçlar çarpıcıydı. En gelişmiş modeller bile, eğitim verilerinde muhtemelen karşılaştıkları problemlerin varyasyonlarıyla karşılaştıklarında mücadele etti. Örneğin, o1-mini modelinin doğruluğu orijinal sorularda %93.66’dan en zorlu varyasyonda %88.54’e düştü. o1-önizleme modeli benzer bir düşüş yaşadı ve %91.22’den %82.93’e geriledi – bu, dayanıklılıkta kritik açıkların olduğunu vurgulayan keskin bir düşüş.

Bu bulgular, Apple’ın daha önceki araştırmalarıyla uyumlu olarak, AI’nin matematiksel akıl yürütme sınırlarının daha karmaşık problemlerle karşılaştıkça daha belirgin hale geldiğini gösteriyor.

İleriye Doğru Yol

LLM akıl yürütme sınırlarını ilerletmeye devam ederken, hem muhteşem potansiyelini hem de mevcut sınırlarını tanımak çok önemlidir. Yeni araştırmalar, desen tanıma ötesinde daha güçlü ve genelleştirilebilir problem çözme becerileri elde etmek için AI modellerinin geliştirilmesinde devam eden inovasyona olan ihtiyacı vurguluyor.

Bu, özellikle yüksek öğrenimde kritik bir zaman diliminde gerçekleşiyor, çünkü AI, sınıfta öğretim yardımcısı olarak daha çok kullanılıyor ve okullar hala matematik derslerine hazırlıksız olan öğrenciler arasında yüksek başarısızlık oranlarıyla karşılaşıyor.

AI’de insan benzeri bilişsel yeteneklere veya genel zekaya ulaşmak, yalnızca teknolojik ilerlemeleri değil, aynı zamanda hatırlama ile gerçek akıl yürütme arasındaki boşluğu köprülemek için nasıl bir yol izleneceğini anlamayı da gerektirir.

Bu yolda başarılı olursak, milyonlarca öğrencinin ve profesyonelin hayatlarını tamamen yeni bir yörüngeye sokabileceğimize eminim.

Peter, MathGPT.ai’nin yönetim kurulu başkanıdır. Aynı zamanda yaşamları iyileştiren etkili çözümler geliştirmeye kendini adamış deneyimli bir teknoloji girişimcisi ve mentördür. 1992 yılında Stanford’dan lisansüstü derece aldıktan sonra 30 yıl boyunca oyun, IoT, yazılım, yapay zekâ ve iklim inovasyonu alanlarında girişimler kurmuş ve desteklemiştir.

YouWeb Incubator’ın kurucusu olarak girişimlere finansman ve uygulamalı mentorluk sağlayarak önemli başarılar elde etmiştir. Peter ayrıca The Tech, GotIt! ve GotIt! AI’nin yönetim kurullarında görev yapmakta, UCLA’nın Karbon Yönetimi Enstitüsü’ne danışmanlık vermekte ve Dharma Karma Vakfı’na liderlik etmektedir.