Yapay Zekâ Videolarına Geçmişten Birkaç Hatıra Kazandırmak

Mart ayında, üretken yapay zekâ videolarının gördükleri şeyleri ve yerleri hatırlayıp ikinci kez yeniden üretebilmekte ve görsel tutarlılık sağlayabilmekte yaşadığı zorluğu incelemiştik.

Sorunun sonucu şu: Yapay zekâ tarafından oluşturulmuş bir dünya modelinde bir kapıdan geçip on saniye sonra arkanızı döndüğünüzde, içinden geçtiğiniz kapının artık orada olmadığını görebilirsiniz.

Bu, kolayca giderilebilecek basit bir aksaklık değil: Üretken yapay zekâ videosu, baş etmek zorunda olduğu “bir sonraki şeyi” durmadan uydurduğundan, çok geride kalanları ya da dar bağlam penceresinden çıkmış şeyleri gerçekten hatırlayamıyor.

Eğitilmiş bir yapay zekâ dünya modelini keşfetmek, dokuları ve geometrisi sabit olan, vektör ve bitmap verileri olarak kaydedilen modellenmiş bir CGI ortamını keşfetmeye benzemez. Bunun yerine, yaklaşık olasılıkların rüyasında yürümek gibidir: Aynı şeyle iki kez karşılaşabilirsiniz, ancak bunun nedeni modelin onu yarattığını ya da gördüğünü gerçekten hatırlaması değil, bağlam aracılığıyla gizil uzaydan ikinci kez çağrılmış olmasıdır.

Dolayısıyla ortalama bir üretken yapay zekâ video dünya modeli, anterograd amnezi yaşayan birine benzer: Bu kişi felç ya da yaralanma gibi bir beyin olayından öncesini eksiksiz hatırlar, ancak olaydan sonra yeni anılar oluşturamaz. Bu durum, Christopher Nolan’ın Memento filminde Guy Pearce’ın canlandırdığı ve bu rahatsızlığı yaşayan karakterle tanınmıştır [2000], karakter ana makale görselinde de yer almıştır).

Bu nedenle video modelleri pek çok alanda derinlere işlemiş, kapsamlı bir anlayışı korur; ancak yeni bir şeyi hatırlama yeteneğinden yoksundur.

İz Sürme Yöntemi

Mart ayında ele aldığımız HyDRA çözümü, yapay zekâ tarafından oluşturulan karakterlerin ekran dışına çıkıp ilk görüldüklerindeki hâlleriyle geri dönmelerini sağlayan, sıkıştırılmış görsel belirteçlerden oluşan bir “bellek bankası” kullanıyordu.

Bu “iz bırakma” yaklaşımını kullanan başka yöntemler de var. Ancak karmaşık 3B geometriler oluşturup geride bırakmak sorunu çözerken dosya boyutu, yanıt verme hızı, gecikme ve diğer olası darboğazlar açısından bedel ödetiyor.

Bu “3B tabanlı dünya modelleri” arasında NVIDIA öncülüğündeki Gen3C de bulunuyor. Gen3C’nin HyDRA yaklaşımı, bu sorunu çözmek için en yaygın yöntemi kullanıyor: Modelin “gördüklerini”, özünde basitleştirilmiş 3B geometri olan nokta bulutlarına dönüştürmek:

Oynatmak için tıklayın. HyDRA yaklaşımı, video üretimine yön vermek için kalıcı bir 3B nokta bulutu önbelleği kullanır; kamera hareket ettikçe ve daha önce görülmüş alanlar yeniden belirdikçe sahne tutarlılığını korur. Kaynak

Oxford Üniversitesi’nin 2025 tarihli VMEM çalışması ve aynı dönemde Stanford öncülüğünde yürütülen SPMem işbirliği gibi benzer yaklaşımlar da var:

Oynatmak için tıklayın. Stanford öncülüğündeki SPMem işbirliğinden: Statik ortamın kalıcı bir 3B haritasını hareketi yansıtan güncel video kareleri ve görsel ayrıntıları sağlayan seçilmiş eski karelerle birleştiren bu yaklaşım, modelin bir yere yeniden gittiğinde o yeri hatırlamasına yardımcı olur. Kaynak 

Ancak her türlü 3B geometri oluşturma işi ağırdır ve çıkarım gereksinimlerini karşılamayı zorlaştırır. Bir ortamda dolaşırken, tıpkı bir bilgisayar grafikleri sanatçısının yapabileceği gibi, o ortamı sürekli “inşa etmek” kolay değildir. Üstelik başka kliplerin, bakış açılarının ya da çekimlerin de daha sonra oluşturulan geometriye başvurabilmesi gerekir; bunu sağlamak da zorlu bir iştir.

Daha Hafif Bellek İzleri

“Yapay zekâ video belleği” alanındaki en yeni çalışma, Tsinghua University öncülüğündeki yeni bir işbirliği. Çalışmanın başlığı Video Dünya Modelleri için Kalıcı Düzlemsel Bellek:

Oynatmak için tıklayın. Tsinghua öncülüğündeki PPMem girişiminin proje sitesinden, sistemin işleyişine bir örnek. PPMem, önceki SPMem projesinde kullanılan hacimsel 3B belleğin yerine daha kompakt bir düz yüzeyler koleksiyonu kullanıyor; kamera hareket ettikçe daha önce görülmüş ortamların tutarlılığını korumak için bu yüzeyleri güncelliyor ve yeniden kullanıyor. Kaynak 

Yukarıdaki video bölümünde* görüldüğü gibi PPMem, 3B ortamı daha kompakt biçimde temsil ederek önceki yaklaşımları geliştiriyor. Daha önce görülmüş ortamları yeniden oluşturmak için milyonlarca ayrı noktayı depolamak yerine sistem; duvarlar, zeminler ve mobilyalar gibi düz yüzeyleri belirliyor ve bunları yeniden kullanılabilir geometrik düzlemler, yani düzlem temel öğeleri olarak kaydediyor. Ortamın yeni bölümleri oluşturuldukça bu öğeler kalıcı bir yerel belleğe sürekli ekleniyor:

PPMem’in kalıcı bir 3B bellek oluştururken video üretmesine ilişkin iki örnek. Her örnekte solda bir girdi görüntüsü, altında ise kameranın izlemesi planlanan rota yer alıyor. Numaralandırılmış kareleri önce ilk sırada soldan sağa, ardından ikinci sırada okumak, kameranın bir dükkânı ya da bahçeyi keşfettiğini gösteriyor. Küçük renkli ek görüntüler, yolculuk ilerledikçe belleğe kaydedilen 3B yüzeylerin nasıl biriktiğini ve daha önce keşfedilen manzarayı nasıl koruduğunu ortaya koyuyor. Kaynak

Kamera daha önce bulunduğu bir konuma döndüğünde, kaydedilmiş düzlemler yeniden görüş alanına yansıtılarak yeni karelerin üretilmesine yön verir ve saklanıp işlenmesi gereken uzamsal bilgi miktarını azaltır. Bu, tanıdık nesnelerin ve çevrenin ziyaretler arasında değişmesini ya da kaybolmasını önlemeye de yardımcı olur.

Yazarların belirttiğine göre, düzlem ilkellerinin, yani matematiksel vektörlerle tanımlanan parametrik nesnelerin kullanılması, “kırıntı yaklaşımı”na daha çevik ve becerikli bir çözüm sunuyor:

“Yalnızca kısa klipler değil, bütün dünyalar üreten bir modelin, ürettiği şeylere ilişkin benzer şekilde kompakt ve yapılandırılmış bir belleğe ihtiyacı vardır. Düzlem ilkelleri bu iş için doğal bir adaydır.

“Her ilkel yalnızca 7 sayıyla parametreleştirilir (merkez derinliği, iki dikdörtgen boyutu ve bir dönüş kuaterniyonu). Bu sayılar 3B geometrik yapıyı açıkça temsil eder ve piksel başına temsillere kıyasla birkaç büyüklük mertebesi daha az yer kaplar.”

Gerekirse oynatmak için tıklayın.PPMem’in ürettiği düzlem ilkelciklerinden oluşan hafif yapılar, kamera dünya modelinde ilerlerken hem ayrıntıları hem de genel geometrik yapıyı yakalayıp bellekte koruyabilir. Yukarıda yeşil olarak görselleştirilen bölümler, koyudan>yeşile eşlendikçe bellekte tutulur.

Bu tür düzlemlerin keşfedilmiş bir dünyayı ne ölçüde temsil edebileceği, doğal olarak bellek ve öngörülebilir diğer darboğazlarla sınırlıdır. Dolayısıyla dünyada saatlerce dolaşıp geri döndüğünüzde her şeyi bıraktığınız gibi bulmanız mümkün olmaz. Ancak güçlü fakat sınırlı yerel kaynakları en iyi sonuçları çoğunlukla en kısıtlı koşullarda veren video oyunu meraklıları, bu tür “seviyeye dayalı” kısıtlamalara aşinadır:

Oynatmak için tıklayın. PPMem’de kamera bir ortamda ilerlerken gördüklerini temsil eden hafif “düzlemler” (yeşil alanlarla gösterilmiştir) bırakır; kamera yeniden o bölgeye dönerse bu düzlemler hâlâ orada olur.

Dolayısıyla yukarıda, böyle bir seviyenin oda oda “haritalandığını”, tüm kat yeşile bürünüp serbestçe keşfedilebilir hâle gelene kadar görebiliriz; bu noktada daha fazla düzlem üretme ihtiyacı azalır, ancak tamamen ortadan kalkmaz.

Yöntem

PPMem, HyDRA’nın kullandığı Wan2.1-T2V-1.3B yerine Wan2.2-TI2V-5B temel alınarak geliştirildi. Beş milyar parametreli bu video difüzyon modeline Plana3R’dan uyarlanan bir geometri tahmin sistemi eklendi. Mevcut video omurgası korunurken, modelin iç temsillerinden geometrik bilgi çıkarmak için ayrı bir işleme yolu oluşturuldu:

PPMem’in video üretimi ve 3B bellek sisteminin şeması. Üst yol videoyu üretirken alt yol, görünür yüzeylerin şekillerini ve konumlarını kaydeder. Bunlar sağdaki kayıtlı belleğe eklenir; bu bellek de videonun sonraki bölümüne yön vermek için kullanılır. Alttaki oklar, bu bilginin sisteme nasıl geri beslendiğini gösterir.

İki eğitim aşamasının ilkinde Wan 2.2, amaçlanan kamera hareketini belirlemek için kaynak görüntünün ve önceki karelerin yansıtılmış görünümlerinden yararlanılarak kamera kontrollü video üretimi için ince ayardan geçirildi. Ardından video omurgası donduruldu ve yeni geometri bileşenleri bağımsız olarak eğitildi.

Eğitimde DL3DV ve RealEstate10K veri kümelerinden alınan 80.000’den fazla klip 576×1024 çözünürlükte kullanıldı. Referans derinlik bilgisi MoGe-2’den elde edildi; tahmin edilen mesafeler, VGGT tarafından oluşturulan 3B yeniden yapılandırmalarla hizalandı.

Böylece PPMem’in düzlem tahmin sistemi, yüzey derinliğini ve yönelimini tahmin edecek şekilde eğitildi; çıktılar referans geometriyle karşılaştırılarak denetlendi. Yeniden oluşturulan sahnelerle uyumlarını artırmak için işlenmiş yüzeylere ek eğitim uygulandı.

Temel video modelini değiştirmeden geometriye özgü işlemeyi sisteme eklemek için Düşük Sıralı Uyarlama (LoRA) kullanıldı.

Çıkarım sırasında normal video üretim süreci bu uyarlamalar devre dışı bırakılarak tamamlanır; ardından geometriyi çıkarmak için ayrı bir işleme geçişi gerçekleştirilir. Böylece iki işlem büyük ölçüde birbirinden bağımsız kalır.

Video daha sonra yaklaşık 25 karelik bölümler hâlinde oluşturulur. Her yeni sekans için gereken görsel ve uzamsal bilgiler, hedeflenen kamera hareketlerinden yararlanılarak hazırlanır. Bunlar arasında daha önce oluşturulmuş sahnelerin izdüşümleri, hangi alanların görünür olduğunu gösteren maskeler ve birikmiş geometriden elde edilen derinlik bilgileri yer alır.

Yeni yüzeylerin tahminini iyileştirmek için depolanan derinlik bilgileri, modelin sahneye ilişkin mevcut anlayışıyla birleştirilir. Bu işlemde DINOv2-Base tabanlı görsel bir dönüştürücü kullanılır.

Eğitim sırasında derinlik haritalarının bazı bölümleri seçici maskeleme yoluyla gizlendi. Böylece modelin eksik uzamsal verilerden yüzey geometrisini tahmin etmesi gerekti ve genelleme becerisi geliştirildi.

Yeni geometri oluşturulduktan sonra düzlem havuzu, çakışan ve örtülen yüzeyler denetlenerek iyileştirilir; daha güvenilir gözlemler elde edildiğinde güvenilirliği daha düşük tahminler kaldırılır. Böylece depolanan temsil, kamera hareket ettikçe her yüzey tahminini süresiz olarak biriktirmek yerine aşamalı olarak düzeltilir.

Sonuçlar

Yöntem, testlerde Gen3C, Voyager, VMEM ve SPMem ile karşılaştırıldı; tümü, depolarındaki varsayılan kod ve parametrelerle çalıştırıldı.

Kullanılan ölçütler şunlardı: Tepe Sinyal-Gürültü Oranı (PSNR), Öğrenilmiş Algısal Benzerlik Ölçütleri (LPIPS), CLIP benzerliği ve DINOv2 benzerliği (ayrıntılı istisnalar için makaleye bakın).

İlk testte PPMem, DL3DV ve RealEstate10K veri kümelerinde diğer yöntemlerle karşılaştırıldı; video kalitesi 49 ve 121 karelik sekanslarda değerlendirildi:

PPMem, Gen3C, Voyager, VMem ve SPMem’in DL3DV ve RealEstate10K üzerinde, 49 ve 121 kare boyunca video kalitesi karşılaştırması. PPMem dört ölçütün tamamında en iyi ya da ortak en iyi sonuçları elde etti; sekanslar uzadıkça avantajı genel olarak arttı.

Yazarlar bu sonuçlarla ilgili olarak şunları belirtiyor:

‘PPMem, Gen3C’ye (Cosmos 7B) ve Voyager’a (HunyuanVideo ∼13B) kıyasla daha küçük bir temel model (Wan 2.2 5B) kullanmasına rağmen, her iki veri kümesinde ve her iki kare sayısında tüm ölçütlerde en iyi sonuçları elde ediyor. T’

PPMem, nesnelerin ve yüzeylerin kameraya olan uzaklığını tahmin etme becerisi bakımından da test edildi. Yazarlar, DL3DV’den alınan 121 karede, video ile derinlik bilgisini birlikte üretebilen rakip modellerin tek örneği olan Voyager’dan daha doğru derinlik tahminleri elde edildiğini belirtiyor.

İkinci, nitel testte, rakip yöntemlerin DL3DV sahnelerinde kamera 300–400 kare boyunca hareket ederken sahne görünümünü tutarlı biçimde koruma becerileri karşılaştırıldı. PPMem, daha önce görülen çevrenin görünümünü ve yapısını rakip modellerden daha başarılı biçimde korudu; sekanslar ilerledikçe avantajı daha da arttı:

Oynatmak için tıklayın. Sonuçları özgününden daha düşük çözünürlükte sunabiliyor olsak da videonun, makaledeki durağan sonuçlardan daha iyi bir anlatım sunduğunu düşündük. Okurları, PPMem’in proje sitesindeki daha yüksek kaliteli sürüme yönlendiriyoruz.

Yazarlar burada şunları belirtiyor:

‘PPMem, algısal aslına uygunluğu süreç boyunca en yüksek düzeyde koruyor ve aradaki fark zamanla açılıyor; bu durum en belirgin biçimde DINOv2’de görülüyor. PPMem, 300. karede en iyi ikinci yöntemin ∼0,27 önünde.’

288 karelik bir sekansın altı farklı anında Gen3C, VMem, SPMem, Voyager ve PPMem tarafından oluşturulan video karelerinin özgün görüntülerle (Ground Truth) karşılaştırması. Kamera hareket ettikçe PPMem çiçek tarhının görünümünü ve çevresindeki sahneyi daha tutarlı biçimde korurken rakip yöntemlerde bozulmalar artıyor ve ayrıntılar giderek kayboluyor.

Makalede, yaklaşık 400 karelik videonun ardından keşfedilmiş bir sahnenin tamamının PPMem’de yaklaşık 100.000 düzlem ilkel öğesiyle temsil edilebildiği ve yalnızca 5 MB bellek kapladığı belirtiliyor.

Aynı sahneyi yoğun bir 3B nokta bulutundaki tek tek noktalar olarak depolamaktan yaklaşık bin kat daha verimli olduğu için, literatürde yerleşik bir araştırma çizgisine yönelik küçük bir ilerleme olarak görülebilecek bu çalışma, görünüşe göre bu mimarinin pratik işleyişinde kayda değer bir iyileşme sunuyor.

Sonuç

Yeni makale, hedef problemin sınırları ve parametreleri içinde heyecan verici bir gelişme olsa da, dünya modelinin gizil uzayında rastgele keşfin inatçı köpük gibi etrafa geometri saçtığı bir paradigma içinde hâlâ çalışıyoruz; bu geometrinin daha sonraki sahnelerde veya bağlamlarda yeniden elde edilmesi gerekebilir.

Bu geometriyi yeniden elde etme işlemi, geleneksel CGI ağlarını ve kaplanmış dokuları içe aktarmaktan çok daha karmaşıktır. Bu yaklaşımın tümüyle “biraz geriye dönük” olduğu ileri sürülebilir: Yapay zekâ modelleri, gizil uzayda hareket etmenin esnekliğini ve yaratıcı özgürlüğünü korurken, sabit varlıkları ideal olarak bir tür RAG veya arama sistemi aracılığıyla bulup bunlara başvurabilmelidir.

Çıtayı epey yükseltiyor, ancak “ekmek kırıntısı” yöntemi bana Wright kardeşlerden önce ortaya atılan tuhaf çözümlere denk gibi geliyor.

* Videonun tamamı için proje sitesine bakın.

İlk kez 20 Ekim 2026 Salı günü yayımlandı