AI’nin Sonraki Ölçeği: Daha Fazla Veri Değil, Daha İyi Dünya Modelleri

Yıllarca, yapay zeka endüstrisi basit ve acımasız bir kuralı takip etti: daha büyük, daha iyi. Devasa veri kümeleri üzerinde modelleri eğittik, parametre sayısını artırdık ve devasa hesaplama gücünü problema yönelttik. Bu formül çoğu zaman işe yaradı. GPT-3’ten GPT-4’e, kaba sohbet botlarından akıl yürütme motorlarına, “ölçeği yasası” basitçe makineye daha fazla metin beslediğimizde sonunda zeki olacağını öneriyordu.

Ama şimdi duvara çarpmaya başlıyoruz. İnternet sonlu. Yüksek kaliteli halka açık veri tükeniyor ve sadece modelleri büyütmekten gelen geri dönüşler azalıyor. Önde gelen AI araştırmacıları savunuyor ki, yapay zekadaki sonraki büyük sıçrama sadece daha fazla metin okumaktan gelmeyecek. Gerçekliğin arkasındaki gerçekliği anlama yoluyla gelecek. Bu inanç, AI’nin odaklanmasındaki temel bir değişimi sinyal veriyor ve Dünya Modeli çağını getiriyor.

Sonraki Token Tahmininin Sınırları

Neden yeni bir yaklaşıma ihtiyacımız olduğunu anlamak için, önce mevcut AI sistemlerinin neler yaptığını incelememiz gerekiyor. İmpresif yeteneklerine rağmen, ChatGPT veya Claude gibi modeller temel olarak istatistiksel motorlar. Bir dizi içindeki sonraki kelimeyi, önceki şeylerin olasılığına dayanarak tahmin ediyorlar. Düştüğünde bir camın kırılacağını anlamıyorlar; sadece milyonlarca hikayede “kırılmış” kelimesinin often “düştüğü cam” ifadesini takip ettiğini biliyorlar.

Bu yaklaşım, otoregresif modelleme olarak bilinir ve kritik bir kusuru vardır. Tamamen korelasyonlara, neden-sonuç ilişkilerine değil. Binlerce araba kazası tanımını bir LLM’ye eğittiğinizde, kaza dili öğrenir. Ama momentum, sürtünme veya kırılganlık fiziklerini asla öğrenmez. Bir seyirci, bir katılımcı değil.

Bu sınırlama “Veri Duvarı“na dönüşüyor.几乎 tüm kamu internetini kazıdık. Mevcut yöntemi kullanarak daha da ölçeklenmek için var olanın çok ötesinde daha fazla veriye ihtiyacımız olacak. Sentetik veri (yani AI tarafından üretilen metin) geçici bir çözüm sunuyor, ancak genellikle “model çökmesi“ne yol açıyor, burada sistem kendi önyargılarını ve hatalarını amplifiye ediyor. Sadece metin kullanarak Yapay Genel Zeka’ya (AGI) ölçeklenemeyiz, çünkü metin dünyasının düşük bant genişlikli bir sıkıştırmasıdır. Gerçekliği tanımlar, ancak kendisi gerçeklik değildir.

Dünya Modelleri Neden Önemlidir

AI liderleri gibi Yann LeCun, uzun süredir mevcut AI sistemlerinin insan bilişinin temel bir yönünden yoksun olduğunu savunuyorlar, ki bu genç çocukların doğal olarak sahip olduğu bir şeydir. Bu, dünyanın nasıl işlediğine ilişkin içsel bir modeli korumaya yönelik kapasitedir, thường olarak Dünya Modeli olarak adlandırılır. Bir Dünya Modeli sadece sonraki kelimeyi tahmin etmez; fiziksel çevrenin nasıl çalıştığını gösteren içsel zihinsel bir harita oluşturur. Bir topun kanepe arkasına yuvarlandığını gördüğümüzde, hala orada olduğunu biliriz. Önümüzdeki tarafta belireceğini biliriz, trừ ki durdurulursa. Bunu anlamak için bir ders kitabı okumaya ihtiyacımız yok; iç “dünya modelimize” dayanarak zihinsel bir simülasyon çalıştırırız.

AI ilerlemek için, istatistiksel taklitlerden bu tür iç simülasyonlara geçmesi gerekiyor. Olayların altındaki nedenleri, sadece metinsel açıklamalarını anlaması gerekiyor.

Joint Embedding Predictive Architecture (JEPA), bu paradigma değişiminin önemli bir örneğidir. LLM’lerin aksine, her bir pikseli veya kelimeyi (bu işlem hesaplama açısından pahalı ve gürültülüdür) tahmin etmeye çalışmak yerine, JEPA soyut représentasyonları tahmin eder. Ağacın üzerindeki individual yaprakların hareketi gibi öngörülemez ayrıntılara odaklanmaz ve ağaç, rüzgar, mevsim gibi yüksek seviye kavramlara odaklanır. Bu yüksek seviye durumların zaman içinde nasıl değiştiğini öğrenerek, AI dünyasının yapısını, yüzeydeki ayrıntılar yerine öğrenir.

Tahmin’den Simülasyona

Bu geçişi zaten video oluşturma modellerinde görüyoruz. OpenAI Sora’yı yayınladığında, sadece bir video aracı olarak değil, bir “dünya simülatörü” olarak tanımladılar.

Bu ayrım vital. Standart bir video oluşturucu, bir kişinin yürümesini, genellikle birbirinin yanındaki renkli pikselleri tahmin ederek yaratabilir. Bir dünya simülatörü ise, 3D tutarlılığı, aydınlatmayı ve nesne kalıcılığını zaman içinde korumaya çalışır. Bir kişinin duvara arkasını döndüğünde varoluşundan kaybolmayacağını “anlar”.

Mevcut video modelleri hala mükemmel değil, ancak yeni eğitim alanını temsil ediyorlar. Fiziksel dünya, metin dünyasından çok daha fazla bilgi içerir. Bir saniye video, fizik, ışık ve etkileşim hakkında milyonlarca görsel veri noktası içerir. Bu görsel gerçekliği modellemek için eğittiğimizde, AI’ye LLM’lerin şu anda缺kettiği “ortak akıl”ı öğretebiliriz.

Bu, yeni bir ölçek yasası oluşturur. Başarı, artık milyarlarca token okumakla ölçülmez. Simülasyonun doğruluğu ve çevredeki gelecek durumları tahmin etme yeteneğiyle ölçülür. Gelecek eylemlerinin sonuçlarını eylemi gerçekleştirmeden doğru bir şekilde simüle edebilen bir AI, planlayabilen, akıl yürütebilen ve güvenli bir şekilde davranabilen bir AI’dir.

Verimlilik ve AGI’ye Yol

Bu değişiklik, mevcut AI’nin sürdürülemez enerji maliyetlerini de ele alıyor. LLM’ler, tutarlı bir çıktı üretmek için her ayrıntıyı tahmin etmek zorunda olduklarından verimsizdir. Bir Dünya Modeli daha verimlidir, çünkü seçicidir. Bir insan sürücünün yolda odaklanıp gökyüzündeki bulut desenini görmezden geldiği gibi, bir Dünya Modeli ilgili neden-sonuç faktörlerine odaklanır.

LeCun, bu yaklaşımın modellerin çok daha hızlı öğrenmesini sağladığını savunuyor. V-JEPA (Video-Joint Embedding Predictive Architecture) gibi bir sistem, geleneksel yöntemlerden çok daha az eğitim iterasyonuyla bir çözüme ulaşabildiğini gösterdi. Verilerin kendilerini ezberlemek yerine verilerin “şeklini” öğrenerek, daha güçlü bir zeka türü oluşturur ve yeni, görülmemiş durumlara daha iyi genelleyebilir.

Sonuç

AI endüstrisi bir dönemeç noktasında. “Sadece daha fazla veri ekleyin” stratejisi mantıksal sonuna ulaşıyor. Sohbet botu çağından Simülatör çağına geçiyoruz.

AI’nin sonraki ölçeklenmesi, tüm interneti okumak hakkında olmayacak. Dünyayı izlemek, kurallarını anlamak ve gerçekliği yansıtan içsel bir mimari oluşturmak hakkında olacak. Bu, yalnızca teknik bir güncelleme değil, “öğrenme” olarak gördüğümüz şeyde temel bir değişim.

Kuruluşlar ve araştırmacılara gelince, odaklanmamız gereken yer değişmelidir. Parametre sayılarını ve modelimizin neden-sonuç ilişkilerini ne kadar iyi anladığını değerlendirmeye başlamalıyız. Geleceğin AI’sı size sadece neler olduğu hakkında bilgi vermeyecek, neler olabileceği ve neden olacağı hakkında da bilgi verecek. Bu, Dünya Modellerinin vaadi ve ilerlemek için tek yoludur.