Yapay Zeka Dünya Modelleri Gerçekten Fiziksel Yasaları Anlayabilir Mi?

İnsanların ve makinelerin fiziksel yasaları anlaması arasındaki büyük umut, yapay zeka modellerinin bir gün daha büyük özerklik ve esneklik kazanacağı ve fiziksel yasaları aynı şekilde içselleştireceği yönündedir.

Örneğin, çocukların top oyunları, hareket kinetiği ve yüzey dokusunun traijektorya üzerindeki etkisine ilişkin bir anlayış geliştirmeye eğilimlidir. Aynı şekilde, banyolar, dökülen içecekler, okyanus, yüzme havuzları ve diğer çeşitli sıvı gövdeler gibi ortak senaryolara etkileşimler, yerçekimi altında sıvıların davranışına ilişkin esnek ve ölçeklenebilir bir anlayış kazandırır.

Daha az ortak olan fenomenlerin postülatları – Örneğin, yanma, patlamalar ve mimari ağırlık dağılımı – TV programları ve filmler veya sosyal medya videoları aracılığıyla bilinçaltında emilir.

Bu sistemlerin arkasındaki ilkeleri akademik düzeyde incelediğimizde, aslında sadece içgüdüsel (ama bilgisiz) zihinsel modellerini “geri dönüştürüyoruz”.

Tek Ustalar

Şu anda, çoğu yapay zeka modeli, aksine, daha “özel”, ve birçokları belirli kullanım durumlarına özgü görüntü veya video veri kümeleri üzerinde ince ayarlanmış veya sıfırdan eğitilmiştir.

Diğerleri, fiziksel yasaları anlama izlenimini verebilir; ancak aslında, gerçekten hareket fiziği gibi alanların temellerini anlamak yerine, eğitim sırasında gördükleri veri örneklerini yeniden üretiyor olabilirler.

Bu, yapay zeka sistemlerinin ürünleştirilmesi ve ticarileştirilmesi açısından kritik bir anda, bu yeni yapay zeka modellerinin pazarlama sunumlarını sınırlamalarından ayırt etmemiz gerekiyor.

Kasım ayının en ilginç makalelerinden biri, Bytedance Research tarafından yürütülen ve “tüm amaçlı” generatif modellerin görünür ve gerçek yetenekleri arasındaki boşluğu araştıran bir çalışma yayımlandı.

Çalışma, mevcut durumun, bu tür modellerin gerçekten fiziksel yasaları anladığına değil, eğitim veri örneklerini taklit ettiğine işaret ettiğini sonucuna vardı.

Makalede denir ki:

‘Bu modeller, “aldatıcı” eğitim örnekleri tarafından kolayca yanılabilir ve belirli koşullar altında “durum tabanlı” bir şekilde genelleme eğilimindedir. Bu olgu, büyük dil modellerinde de gözlemlendi ve bir modelin yeni görevleri çözerken benzer eğitim örneklerine atıfta bulunma eğilimini tanımlar.’

‘Örneğin, yüksek hızlı bir topun uniform lineer hareketini gösteren bir video modeli düşünün. Veri artırma, videoları yatay olarak çevirerek ters yön hareketi tanıtarak gerçekleştirilirse, model ilk karelerden sonra düşük hızlı bir topun yönünü tersine çevirebilecek bir senaryo üretebilir, bu davranış fiziksel olarak doğru değildir.’

Bu makaleyi – “Karar Verme için LLM ile Dünya Modellerini Değerlendirme” adlı makale – yakında daha yakından inceleyeceğiz. Ancak önce, bu görünür sınırlamaların arka planına bakalım.

Geçmişin Anısı

Genellemeye sahip olmadan, eğitilmiş bir yapay zeka modeli, aslında sadece eğitim verilerine referanslar içeren pahalı bir elektronik tablodan ibarettir: Uygun arama terimini bulun ve size eğitim sırasında gördüğü veri örneğinin bir kopyasını çağırabilirsiniz.

Bu senaryoda, model temel olarak bir “nöral arama motoru” gibi davranıyor, çünkü çıktı için soyut veya “yaratıcı” yorumlar üretemez, ancak eğitim sırasında gördüğü veri örneklerinin küçük varyasyonlarını yeniden üretebilir.

Bu, truly esnek ve yorumlayıcı yapay zeka modellerinin ayrıntılara sahip olmaya eğilimlidir, ancak özgünlük ve esneklikten yoksun olmaya eğilimlidir.

Eğitim verilerini taklit etme yeteneği, model yaratıcılarının bu verileri kullanma haklarına sahip olmadıkları durumlarda potansiyel bir yasal engel oluşturabilir ve bu verilerin faydaları, artan sayıda çıkarma yöntemi aracılığıyla gösterilebilir.

Öte yandan, model yaratıcıları eğitim için “güvenli” verileri kullanmaya özen gösterse bile, yetkisiz veri izleri, birden fazla eğitim sistemi boyunca “çiçek açan” ve “daisy-chained” bir şekilde kalabilir – sanki kasıtsız ve kalıcı bir su kağıdı gibi.

Dünya Modelleri

Ancak, eğitim verilerini taklit etmenin temel kullanım sorunu, yapay zeka modelinin gerçekten temel yasaları veya alanları genelleştirdiği izlenimini vermesidir.

Bu sorun, özellikle görüntü ve video alanında çok çeşitli ve pahalı şekilde eğitilmiş yapay zeka sistemlerine olan ilgi açısından önemlidir.

2023 yılında RunwayML, bu tür modellerin geliştirilmesi ve uygulanabilirliği konusunda bir araştırma girişimi başlattı; DeepMind, Sora adlı ünlü video modelinin yaratıcılarından birini bu tür bir model üzerinde çalışmak üzere işe aldı ve Higgsfield gibi şirketler, görüntü ve video sentezi için dünya modellerine önemli yatırımlar yapıyor.

Zor Kombinasyonlar

Yenilikçi gelişmelerin vaat ettiği şey, bu yapay zeka sistemlerinin temel fizik yasalarını öğrenme yeteneğidir.

Örneğin, bir model gerçekten fizik yasalarını anlarsa, gerçekten gerçekçi görsel efektler üretebilir ve patlamaları, selleri ve çarpışma olaylarını çeşitli nesneler arasında gerçekçi bir şekilde gösterebilir.

Öte yandan, bir yapay zeka sistemi, yalnızca eğitim veri örneklerini taklit ediyorsa, benzer bir sorgu için eğitim sırasında gördüğü veri örneklerini yeniden üretebilir, ancak sorgu, eğitim verisinde temsil edilmeyen birçok kavramı birleştirdiğinde başarısız olabilir.

Bu sınırlamalar, sistemi zorlu kombinasyonlarla zorlayana kadar hemen apparent olmayacaktır.

Bu, yeni bir generatif sistemin, etkileyici görünen ancak sistemin yetenekleri ve anlayış derinliği hakkında yanlış bir izlenim yaratabilecek viral video içeriği üretebilmesi anlamına gelir.

Örneğin, bir binanın yıkılması gibi nispeten yaygın ve yaygın bir olay, eğitim veri kümesinde birçok videoda bulunabilir, bu nedenle model bu kavramı iyi genelleştirebilir ve thậm chí eğitim verilerinden öğrenilen parametreler içinde gerçekten yeni çıktı üretebilir.

Bu, veri kümesinde birçok örnek bulunan bir “dağılım içi” örnektir.

Öte yandan, daha tuhaf veya şüpheli bir örnek istendiğinde, model, “metallürjik özellikler”, “patlama özellikleri”, “yerçekimi”, “rüzgar direnci” ve “uzay aracı” gibi çeşitli alanları birleştirmek zorunda kalacaktır.

Bu, birçok kavramı birleştiren bir “dağılım dışı” (OOD) örnektir.

Bu tür bir gösterim, yalnızca modelin gerçekten fizik yasalarını anladığı ve bunları yeni ve yaratıcı şekillerde uygulayabildiği takdirde mümkün olacaktır.

Fiziksel Kısıtlamalar

Yeni makale, Bytedance, Tsinghua Üniversitesi ve Technion arasındaki bir işbirliği, Sora gibi modellerin gerçekten deterministik fizik yasalarını içselleştirdiğini değil, aynı zamanda veri miktarını artırmanın bu konuda gerçek bir iyileşme sağlamadığını öne sürüyor.

Çalışma, belirli fizik yasalarının dışa aktarılmasındaki sınırlamaları ve bir modelin farklı fizik prensiplerinin temsil edilmesini birleştiren “kombinatoryal genelleme” yeteneğini araştırıyor.

Yeni makale özeti videosu. Kaynak: https://x.com/bingyikang/status/1853635009611219019

Araştırmacılar, parabolik hareket, uniform lineer hareket ve mükemmel esnek çarpışma gibi üç fizik yasasını incelediler.

Video yukarıda görüldüğü gibi, bulgular, Sora gibi modellerin gerçekten fizik yasalarını içselleştirmediklerini, ancak eğitim verilerini yeniden üretmeye eğilimlidir.

Araştırmacılar, renk ve şekil gibi özelliklerin, çıkarma zamanında o kadar iç içe geçebileceğini buldular ki, üretilen bir top, eğitim veri örneklerinde benzer bir hareketin bir kare değil de bir top olduğunu gösterdi (yukarıdaki videoda örnek görülebilir).

Makale şöyle diyor:

‘Çalışmamız, video oluşturma modellerinin temel fizik yasalarını keşfetmek için ölçeklendirme alone’ın yeterli olmadığını öne sürüyor…’

‘…bulgular, ölçeklendirme alone’ın OOD sorununu çözemediğini, ancak diğer senaryolarda performansı artırabileceğini gösteriyor.’

‘Derinlemesine analizimiz, video modeli genelleme davranışının evrensel kuralları öğrenmek yerine benzer eğitim örneklerine atıfta bulunmaya daha çok bağlı olduğunu gösteriyor. Renk > boyut > hız > şekil için bir “durum tabanlı” davranış öncelik sırası gözlemledik.’

‘Çalışmamız, video oluşturma modellerinin temel fizik yasalarını keşfetmek için ölçeklendirme alone’ın yeterli olmadığını öne sürüyor.’

Araştırmaya katılan yazarlardan biri, bu sorun için bir çözüm bulup bulmadıklarını sordu:

‘Maalesef, henüz bir çözüm bulamadık. Aslında, bu muhtemelen tüm yapay zeka topluluğunun misyonu.’

Yöntem ve Veri

Araştırmacılar, video örnekleri oluşturmak için Variational Autoencoder (VAE) ve DiT mimarilerini kullandılar. Bu kurulumda, VAE tarafından üretilen sıkıştırılmış gizli représentasyonlar, DiT’nin gürültü azaltma işleminin modellemesiyle birlikte çalışır.

Stable Diffusion V1.5-VAE üzerinde eğitilen videolar için, schema esas olarak değişmedi, ancak yalnızca son mimari iyileştirmeler yapıldı:

‘2D konvolüsyonun, grup normalize etme ve uzaysal boyutlardaki dikkat mekanizmalarının çoğunu koruruz.’

‘Bu yapıyı uzay-zamansal bir otokodleyiciye dönüştürmek için, kodlayıcı ve dekodörün son birkaç 2B aşağı örnek bloğunu 3B’ye dönüştürür ve zamanlı modelleme için birden fazla ek 1B katman kullanırız.’

Video modellemesini etkinleştirmek için, değiştirilen VAE, HQ görüntü ve video verisiyle birlikte eğitildi ve 2B Generative Adversarial Network (GAN) bileşeni, 3B için uyarlandı.

Kullanılan görüntü veri kümesi, Stable Diffusion’un orijinal kaynağı olan LAION-Aesthetics’ti ve DataComp ile birlikte filtrelenmişti. Video veri kümesi, Vimeo-90K, Panda-70m ve HDVG veri kümelerinden oluşturulan bir alt kümeydi.

Veri, bir milyon adımda eğitildi ve rastgele boyutlandırma ve rastgele yatay çevirme, veri artırma işlemleri olarak uygulandı.

Çevirme

Yukarıda bahsedildiği gibi, rastgele yatay çevirme veri artırma işlemi, gerçekçi hareket üretmesi amaçlanan bir sistem için bir handikap olabilir.

Bu, modelin çıktısının her iki yönde de nesneleri dikkate alması ve bu çelişkili veriyle başa çıkmaya çalışırken rasgele tersine çevirmelere neden olabileceği için böyle olabilir.

Öte yandan, yatay çevirme kapatılırsa, model daha olası bir şekilde yalnızca eğitim verilerinden öğrenilen tek bir yöne uygun çıktı üretecektir.

Çözüm, sistemin gerçekten her iki yöndeki hareket olanaklarının tümünü asimile etmesinden geçer – çocukların kolayca geliştirebildiği ancak yapay zeka modelleri için daha zor bir beceri.

Testler

İlk dizi deney için araştırmacılar, klasik mekaniğin yasalarına uygun hareket ve çarpışma videoları üreten 2B bir simülatör oluşturdular.

Üç temel senaryo – uniform lineer hareket, mükemmel esnek çarpışma ve parabolik hareket – testlerin odağıydı.

Farklı boyutlarda (30.000’den 3 milyona kadar) veri kümeleri, farklı boyutlarda ve karmaşıklıkta modelleri (DiT-S’den DiT-L’ye) eğitmek için kullanıldı.

Her video için ilk üç kare, koşullandırma için kullanıldı.

İlk dizi deney için eğitilen çeşitli modellerin ayrıntıları. Kaynak: https://arxiv.org/pdf/2411.02385

Araştırmacılar, dağılım içi (ID) sonuçların artan miktarda veri ile iyi ölçeklendiğini, ancak OOD üretimleri verbessmediğini buldular, bu da genelleme eksikliğini gösterdi.

İlk tur test sonuçları.

Yazarlar şöyle diyor:

‘Bu bulgular, OOD senaryolarında akıl yürütme gerçekleştirmek için ölçeklemenin yetmediğini gösteriyor.’

Sonraki testler, sistemlerin kombinatoryal genelleme yeteneğini sergileyip sergileyemeyeceğini test etti.

İki farklı hareketi birleştirerek, her bir ayrı hareketin arkasındaki fizik yasasına sadık kalınan birleşik bir hareket üretmeyi amaçladılar.

PHYRE simülatörünü kullandılar ve 2B bir ortam oluşturdular.

Değerlendirme metrikleri, Fréchet Video Distance (FVD), Structural Similarity Index (SSIM), Peak Signal-to-Noise Ratio (PSNR), Learned Perceptual Similarity Metrics (LPIPS) ve bir insan çalışması (sonuçlarda “anormal” olarak belirtilen) idi.

Üç farklı eğitim veri kümesi oluşturuldu: 100.000 video, 0,6 milyon video ve 3-6 milyon video.

DiT-B ve DiT-XL modelleri, videoların artan karmaşıklığı nedeniyle kullanıldı ve ilk kare, koşullandırma için kullanıldı.

Modeller, 256×256 çözünürlükte, her video için 32 kare ile bir milyon adımda eğitildi.

İkinci tur test sonuçları.

Test sonuçları, yalnızca veri hacminin artırılmasının yeterli olmadığını gösteriyor:

Makale şöyle diyor:

‘Bu sonuçlar, hem model kapasitesinin hem de kombinasyon uzayının kapsamının kombinatoryal genelleme için kritik olduğunu gösteriyor. Bu içgörü, video oluşturma için ölçekleme yasalarının veri hacmini artırma yerine kombinasyon çeşitliliğini artırma üzerinde odaklanması gerektiğini ima ediyor.’

Son olarak, araştırmacılar, video oluşturma modellerinin gerçekten fizik yasalarını asimile edip etmediğini veya yalnızca eğitim verilerini taklit edip etmediğini belirlemek için weitere testler yaptılar.

Özellikle, “durum tabanlı” genelleme örneklerini ve eğitim verilerinin yönünün, uniform hareket için modelin tahminlerini nasıl etkilediğini incelediler.

İki farklı eğitim veri kümesi oluşturuldu: uniform hareket ve çarpışma.

Her biri, 2,5 ila 4 birim arasındaki hızlarda uniform hareket videolarını gösteren videolardan oluşuyordu.

Sonuçlar şöyle:

Eğitim sırasında ‘hız’ değişkeni atlandığında uniform hareket oluşturma testleri için sonuçlar.

Yazarlar şöyle diyor:

‘Eğitim kümesinde büyük bir boşluk varsa, model, eğitim verilerine benzeyen videolar üretebilir, ancak orta aralıklı hızlar gösteren ilk kareler için yüksek veya düşük hızlarda kalabilir.’

Çarpışma testleri için daha fazla değişken vardı ve model, iki boyutlu bir非线性 fonksiyonu öğrenmek zorundaydı.

Çarpışma: üçüncü ve son tur test sonuçları.

Yazarlar, “aldatıcı” örneklerin, örneğin ters hareketin (yani bir topun yüzeyden sekip yönünü değiştirmesi) modeli fiziksel olarak yanlış tahminlere yönlendirebileceğini gözlemlediler.

SONUÇ

Eğer bir algoritma (yani, “pişirilmiş”, prosedürel bir yöntem) fiziksel fenomenlerin davranışına ilişkin matematiksel kurallara sahipse, doğru bir şekilde oluşturmak için sabit ve değişmez constants vardır.

Öte yandan, yeni makalenin bulguları, generatif modellerin eğitim sırasında tương đương bir ilişki veya klasik fizik yasalarının içselleştirilmesini geliştirmediğini, ve artan miktarda verinin bu sorunu çözmediğini, ancak çıkarma zamanında sistem için taklit edilebilecek daha fazla eğitim videosu sağladığını gösteriyor.

* Yazarların içsel alıntılarını hyperlinklere dönüştürdüm.

İlk olarak 26 Kasım 2024 Salı günü yayımlandı.