Yapay Zekanın Bir Sonraki Ölçeklendirme Yasası: Daha Fazla Veri Değil, Daha İyi Dünya Modelleri

Yıllardır yapay zeka endüstrisi basit ama acımasız bir kuralı izledi: daha büyük daha iyidir. Modelleri devasa veri kümeleri üzerinde eğittik, parametre sayısını artırdık ve soruna muazzam bir hesaplama gücü uyguladık. Bu formül çoğu zaman işe yaradı. GPT-3'ten GPT-4'e ve kaba sohbet robotlarından mantık yürütme motorlarına kadar, "ölçekleme yasası"Makineye sürekli daha fazla metin beslersek, sonunda zekâ kazanacağını" öne sürdü.

Ama şimdi biz... duvara çarpmakİnternet sınırlıdır. Yüksek kaliteli kamu verileri tükenmekte ve modelleri büyütmenin getirisi giderek azalmaktadır. azalanÖnde gelen yapay zeka araştırmacıları tartışmak Yapay zekâda bir sonraki büyük atılımın yalnızca daha fazla metin okumaktan kaynaklanmayacağı, metnin ardındaki gerçeği anlamaktan kaynaklanacağı inancı, yapay zekânın odağında temel bir değişime işaret ediyor ve Dünya Modeli çağını başlatıyor.

Sonraki Token Tahmininin Sınırları

Yeni bir yaklaşıma neden ihtiyaç duyduğumuzu anlamak için öncelikle mevcut yapay zeka sistemlerinin aslında ne yaptığını incelemeliyiz. Etkileyici yeteneklerine rağmen, ChatGPT veya Claude gibi modeller temelde istatistiksel motorlarBir dizideki bir sonraki kelimeyi, önceki kelimenin olasılığına dayanarak tahmin ederler. Düşen bir bardağın kırılacağını anlamazlar; sadece milyonlarca hikayede "kırılmak" kelimesinin genellikle "düşen bardak" ifadesini takip ettiğini bilirler.

Bu yaklaşım, bilinen adıyla otoregresif modellemeBu modelin kritik bir kusuru var. Tamamen nedenselliğe değil, korelasyona dayanıyor. Bir LLM modelini binlerce araba kazası açıklamasıyla eğitirseniz, kazaların dilini öğrenir. Ancak momentumun, sürtünmenin veya kırılganlığın fiziğini asla öğrenmez. Katılımcı değil, izleyicidir.

Bu sınırlama giderek "Veri Duvarı“Herkesin erişebileceği internetin neredeyse tamamını taradık. Mevcut yöntemle daha da genişletmek için, var olan veriden kat kat daha fazla veriye ihtiyacımız olurdu. Sentetik veri (yani yapay zeka tarafından üretilen metin) geçici bir çözüm sunuyor, ancak genellikle şu sonuçlara yol açıyor:model çöküşüBu durum, sistemin kendi önyargılarını ve hatalarını daha da güçlendirdiği bir ortam yaratır. Yalnızca metin kullanarak Yapay Genel Zekaya (YZ) ulaşamayız çünkü metin, dünyanın düşük bant genişliğine sahip bir sıkıştırmasıdır. Gerçekliği tanımlar, ancak gerçekliğin kendisi değildir.

Dünya Modelleri Neden Önemlidir?

AI liderleri Yann LeCun gibi isimler uzun zamandır mevcut yapay zeka sistemlerinin, küçük çocukların bile doğal olarak sahip olduğu insan bilişinin temel bir yönünden yoksun olduğunu savunuyorlar. Bu, dünyanın nasıl işlediğine dair içsel bir model oluşturma kapasitemizdir ve bunu genellikle "bilişsel algı" olarak adlandırırlar. Dünya ModeliBir Dünya Modeli sadece bir sonraki kelimeyi tahmin etmekle kalmaz; fiziksel çevrenin nasıl işlediğine dair içsel bir zihinsel harita oluşturur. Bir topun kanepenin arkasına yuvarlandığını gördüğümüzde, hala orada olduğunu biliriz. Durdurulmadığı sürece diğer tarafta görüneceğini de biliriz. Bunu anlamak için bir ders kitabı okumamıza gerek yok; fizik ve nesne kalıcılığına dair içsel "dünya modelimize" dayalı zihinsel bir simülasyon çalıştırırız.

Yapay zekanın ilerlemesi için istatistiksel taklitten bu tür içsel simülasyona geçmesi gerekiyor. Olayların yalnızca metinsel tanımlarını değil, altında yatan nedenleri de anlaması şart.

MKS Ortak Gömülü Tahmin Mimarisi (JEPA) Bu paradigma değişiminin en önemli örneklerinden biridir. Her bir pikseli veya kelimeyi tahmin etmeye çalışan (hesaplama açısından pahalı ve gürültülü bir süreç olan) LLM'lerin aksine, JEPA soyut temsilleri tahmin eder. Bir ağaçtaki tek tek yaprakların hareketi gibi tahmin edilemeyen ayrıntıları göz ardı eder ve ağaç, rüzgar ve mevsim gibi üst düzey kavramlara odaklanır. Yapay zeka, bu üst düzey durumların zaman içinde nasıl değiştiğini tahmin etmeyi öğrenerek, yüzeysel ayrıntılar yerine dünyanın yapısını öğrenir.

Tahminden Simülasyona

Bu geçişin ilk belirtilerini video üretim modellerinde şimdiden görüyoruz. OpenAI, Sora'yı piyasaya sürdüğünde, onu sadece bir video aracı olarak değil, aynı zamanda bir "dünya simülatörü".

Bu ayrım hayati önem taşıyor. Standart bir video oluşturucu, hangi renkli piksellerin genellikle yan yana geldiğini tahmin ederek bir kişinin yürümesini gösteren bir video oluşturabilir. Ancak bir dünya simülatörü, zaman içinde 3 boyutlu tutarlılığı, aydınlatmayı ve nesne kalıcılığını korumaya çalışır. Kişi bir duvarın arkasına geçtiğinde, varoluştan kaybolmaması gerektiğini "anlar".

Mevcut video modelleri henüz mükemmel olmaktan çok uzak olsa da, yeni bir eğitim alanı oluşturuyorlar. Fiziksel dünya, metinsel dünyaya göre önemli ölçüde daha fazla bilgi içeriyor. Bir saniyelik video, fizik, ışık ve etkileşimle ilgili milyonlarca görsel veri noktası içeriyor. Modelleri bu görsel gerçeklik üzerinde eğiterek, yapay zekaya şu anda LLM'lerin sahip olmadığı "sağduyuyu" öğretebiliriz.

Bu, yeni bir ölçeklendirme yasası yaratıyor. Başarı artık bir modelin kaç trilyon token okuduğuyla ölçülmeyecek. Simülasyonunun doğruluğu ve ortamın gelecekteki durumlarını tahmin etme yeteneğiyle ölçülecek. Bir eylemi gerçekleştirmek zorunda kalmadan o eylemin sonuçlarını doğru bir şekilde simüle edebilen bir yapay zeka, güvenli bir şekilde plan yapabilen, akıl yürütebilen ve hareket edebilen bir yapay zekadır.

Verimlilik ve Yapay Genel Zekaya Giden Yol

Bu değişim aynı zamanda sürdürülemez olan sorunları da ele alıyor. enerji maliyetleri Mevcut yapay zekânın bir örneği olan LLM'ler, tutarlı bir çıktı üretmek için her detayı tahmin etmek zorunda oldukları için verimsizdir. Bir Dünya Modeli ise seçici olduğu için daha verimlidir. Tıpkı bir insan sürücünün yola odaklanıp gökyüzündeki bulutların düzenini görmezden gelmesi gibi, bir Dünya Modeli de bir görevin ilgili nedensel faktörlerine odaklanır.

LeCun, bu yaklaşımın modellerin çok daha hızlı öğrenmesini sağladığını savunmuştur. Örneğin, bir sistem gibi. V-JEPA (Video-Joint Embedding Predictive Architecture), geleneksel yöntemlere göre çok daha az eğitim yinelemesiyle bir çözüme ulaşabileceğini göstermiştir. Verinin kendisini ezberlemek yerine verinin "şeklini" öğrenerek, Dünya Modelleri yeni, görülmemiş durumlara daha iyi genelleme yapan daha sağlam bir zeka biçimi oluşturur.

Bu, yapay genel zekâ (AGI) için eksik olan bağlantıdır. Gerçek zekâ, yönlendirme gerektirir. Bir ajanın bir hedefe bakmasını, dünyanın içsel modelini kullanarak bu hedefe ulaşmak için farklı yolları simüle etmesini ve ardından başarı olasılığı en yüksek olan yolu seçmesini gerektirir. Metin üreteçleri bunu yapamaz; sadece bir plan yazabilirler, onu uygulamanın kısıtlamalarını anlayamazlar.

Alt çizgi

Yapay zekâ sektörü bir dönüm noktasında. "Sadece daha fazla veri ekle" stratejisi mantıksal sonuna ulaşıyor. Sohbet robotları çağından simülatörler çağına geçiyoruz.

Yeni nesil yapay zekâ ölçeklendirmesi, internetin tamamını okumakla ilgili olmayacak. Dünyayı izlemek, kurallarını anlamak ve gerçekliği yansıtan bir iç mimari inşa etmekle ilgili olacak. Bu sadece teknik bir yükseltme değil; "öğrenme" olarak adlandırdığımız şeyde temel bir değişimdir.

İşletmeler ve araştırmacılar için odak noktası değişmeli. Parametre sayılarına takıntılı olmaktan vazgeçip, sistemlerimizin neden-sonuç ilişkisini ne kadar iyi anladığını değerlendirmeye başlamalıyız. Geleceğin yapay zekası sadece ne olduğunu söylemeyecek; ne olabileceğini ve nedenini de gösterecek. Dünya Modellerinin vaadi budur ve ilerlemenin tek yolu da budur.