Memberi Video AI Kenangan tentang Masa Lalu

Pada bulan Maret, kami menelaah kesulitan yang dihadapi video AI generatif dalam mengingat hal-hal dan tempat-tempat yang pernah dilihatnya, agar dapat menampilkannya kembali dan menjaga konsistensi visual.

Akibatnya, Anda mungkin melewati sebuah pintu dalam model dunia AI, berbalik sepuluh detik kemudian, lalu mendapati pintu yang tadi Anda lewati sudah tidak ada lagi.

Gangguan ini tidak mudah diatasi: karena video AI generatif terus-menerus menciptakan “hal berikutnya” yang harus dihadapinya, model itu tidak benar-benar dapat mengingat kejadian yang sudah lama berlalu atau apa pun yang telah keluar dari jendela konteksnya yang sempit.

Artinya, menjelajahi model dunia AI yang telah dilatih tidak sama dengan menjelajahi lingkungan CGI yang dimodelkan, dengan tekstur dan geometri tetap yang disimpan sebagai data vektor dan bitmap. Sebaliknya, pengalaman itu seperti berjalan menembus mimpi yang berisi probabilitas perkiraan—Anda mungkin menemukan hal yang persis sama dua kali, tetapi itu hanya karena hal tersebut dimunculkan kembali dari ruang laten melalui konteks, bukan karena model benar-benar ingat pernah membuat atau melihatnya.

Dengan demikian, model dunia video AI generatif pada umumnya mirip seseorang yang mengalami amnesia anterograd: ia memiliki ingatan yang utuh tentang masa sebelum peristiwa di otak—seperti stroke atau cedera—tetapi tidak dapat membentuk ingatan baru sejak peristiwa tersebut (kondisi ini dikenal luas berkat tokoh yang diperankan Guy Pearce dan mengalaminya dalam film Christopher Nolan, Memento [2000], yang ditampilkan dalam gambar utama artikel).

Dengan demikian, model video menyimpan pemahaman mendalam dan tertanam kuat tentang banyak ranah, tetapi tidak mampu mengingat hal baru.

Jejak Penanda

Solusi HyDRA yang kami bahas pada bulan Maret mengandalkan “bank memori” berisi token visual terkompresi. Cara ini memungkinkan karakter yang dihasilkan AI bergerak ke luar layar, lalu kembali dengan tampilan yang sama seperti saat pertama kali terlihat.

Ada sejumlah metode lain yang menggunakan pendekatan “jejak penanda” ini. Namun, membuat dan meninggalkan geometri 3D yang kompleks memang dapat mengatasi masalah tersebut, tetapi konsekuensinya adalah ukuran berkas yang lebih besar, respons yang lebih lambat, latensi, serta potensi hambatan lainnya.

Model dunia berbasis geometri 3D ini mencakup Gen3C yang dipimpin NVIDIA. Pendekatan HyDRA-nya menggunakan metode yang paling umum untuk mengatasi masalah khusus ini: mengubah apa yang “dilihatnya” menjadi kumpulan titik, yang pada dasarnya merupakan geometri 3D sederhana:

Klik untuk memutar. Pendekatan HyDRA menggunakan tembolok kumpulan titik 3D yang persisten untuk memandu pembuatan video, menjaga konsistensi adegan saat kamera bergerak dan area yang pernah terlihat muncul kembali. Sumber

Ada pendekatan serupa lainnya, seperti VMEM dari Oxford University pada 2025 dan kolaborasi SPMem yang dipimpin Stanford dari periode yang sama:

Klik untuk memutar. Dari kolaborasi SPMem yang dipimpin Stanford, yang memadukan peta 3D persisten dari pemandangan statis dengan bingkai video terbaru untuk menangkap gerakan, serta bingkai lama pilihan untuk detail visual. Cara ini membantu model mengingat tempat saat mengunjunginya kembali. Sumber 

Namun, semua geometri 3D membutuhkan banyak pekerjaan dan membebani kebutuhan inferensi. Tidak mudah menjelajahi suatu lingkungan sambil terus-menerus “membangunnya” seperti yang mungkin dilakukan seniman grafis komputer. Selain itu, klip, sudut pandang, atau pengambilan gambar lain harus dapat merujuk pada geometri yang telah dibuat itu di kemudian hari, dan hal tersebut bukan perkara mudah.

Catatan yang Lebih Ringan

Proyek terbaru yang menggarap “memori video AI” adalah kolaborasi baru yang dipimpin Tsinghua University, berjudul Memori Planar Persisten untuk Model Dunia Video:

Klik untuk memutar. Dari situs proyek inisiatif PPMem yang dipimpin Tsinghua, berikut contoh sistem tersebut saat digunakan. PPMem menggantikan memori 3D volumetrik yang digunakan proyek sebelumnya, SPMem, dengan kumpulan permukaan datar yang lebih ringkas. Permukaan ini diperbarui dan digunakan kembali saat kamera bergerak untuk menjaga konsistensi lingkungan yang pernah terlihat. Sumber 

Seperti terlihat dalam cuplikan video di atas*, PPMem menyempurnakan pendekatan sebelumnya dengan menggunakan representasi lingkungan 3D yang lebih ringkas. Alih-alih menyimpan jutaan titik individual untuk merekonstruksi lingkungan yang pernah dilihat, sistem ini mengidentifikasi permukaan datar, seperti dinding, lantai, dan perabot, lalu menyimpannya sebagai bidang geometris yang dapat digunakan kembali, yang disebut primitif bidang. Bidang-bidang ini terus ditambahkan ke memori lokal persisten seiring terbentuknya bagian-bagian baru dari lingkungan tersebut:

Dua contoh PPMem menghasilkan video sambil membangun memori 3D yang persisten. Setiap contoh dimulai dengan gambar masukan di sebelah kiri, dengan rute kamera yang direncanakan ditampilkan di bawahnya. Urutan bingkai bernomor dari kiri ke kanan pada baris pertama, lalu baris kedua, memperlihatkan kamera menjelajahi toko atau taman. Sisipan kecil berwarna menunjukkan bagaimana permukaan 3D yang tersimpan terus bertambah seiring perjalanan, sambil mempertahankan pemandangan yang sebelumnya telah dijelajahi. Sumber

Saat kamera kembali ke lokasi yang pernah dikunjungi, bidang-bidang yang tersimpan diproyeksikan kembali ke bidang pandangnya, memandu pembuatan bingkai baru sekaligus mengurangi jumlah informasi spasial yang harus disimpan dan diproses. Hal ini juga membantu mencegah objek dan lingkungan yang sudah dikenal berubah atau menghilang di antara kunjungan.

Penggunaan primitif bidang—objek parametrik yang ditentukan oleh vektor matematis—menawarkan penyelesaian yang lebih gesit dan efektif untuk “pendekatan penanda jejak”, menurut para penulis:

“Model yang menghasilkan dunia secara utuh, bukan sekadar klip pendek, membutuhkan memori terstruktur yang ringkas untuk menyimpan apa yang telah dihasilkannya. Primitif bidang merupakan pilihan yang wajar untuk peran ini.

“Setiap primitif hanya ditentukan oleh 7 angka (kedalaman titik pusat, dua ukuran bidang persegi panjang, dan kuaternion rotasi), yang secara eksplisit merepresentasikan struktur geometris 3D dan beberapa orde magnitudo lebih ringkas daripada representasi per piksel.”

Klik untuk memutar jika perlu. Rangkaian primitif bidang ringan yang dihasilkan PPMem dapat menangkap dan mempertahankan detail maupun geometri skala luas saat kamera melintasi model dunia. Bagian berwarna hijau yang divisualisasikan di atas disimpan dalam memori saat dipetakan dari gelap>hijau.

Sejauh mana bidang-bidang tersebut dapat merepresentasikan dunia yang telah dijelajahi tentu dibatasi oleh kapasitas memori dan kendala lain yang dapat diperkirakan. Artinya, kita tidak bisa menjelajahi dunia selama berjam-jam lalu kembali dan mendapati semuanya tetap seperti semula. Namun, pembatasan “berbasis level” semacam ini sudah akrab bagi penggemar gim video, yang perangkat lokalnya bertenaga tetapi memiliki sumber daya terbatas sehingga cenderung memberikan hasil terbaik dalam kondisi yang lebih terbatas:

Klik untuk memutar. Di PPMem, saat kamera melintasi lingkungan, kamera meninggalkan “bidang” ringan (ditunjukkan oleh area berwarna hijau) yang merepresentasikan apa yang dilihatnya dan akan tetap ada jika kamera kembali menjelajah ke sana.

Karena itu, di atas kita dapat melihat sebuah level “dipetakan” dari satu ruangan ke ruangan lain, hingga seluruh lantainya berwarna hijau dan dapat dijelajahi dengan bebas, dengan kebutuhan yang lebih kecil—tetapi tidak sampai nol—untuk menghasilkan bidang tambahan.

Metode

PPMem dikembangkan dari Wan2.2-TI2V-5B (bukan Wan2.1-T2V-1.3B yang digunakan HyDRA), sebuah model difusi video dengan lima miliar parameter, yang dilengkapi sistem prediksi geometri yang diadaptasi dari Plana3R. Tulang punggung video yang sudah ada tetap dipertahankan, sementara jalur pemrosesan terpisah ditambahkan untuk mengekstrak informasi geometris dari representasi internalnya:

Skema sistem pembuatan video dan memori 3D PPMem. Jalur atas menghasilkan video, sedangkan jalur bawah mencatat bentuk dan posisi permukaan yang terlihat. Informasi ini ditambahkan ke memori tersimpan di sebelah kanan, yang kemudian digunakan untuk memandu bagian video berikutnya. Panah di bagian bawah menunjukkan bagaimana informasi ini dimasukkan kembali ke dalam sistem.

Pada tahap pertama dari dua tahap pelatihan, Wan 2.2 dilatih ulang secara khusus untuk menghasilkan video yang dikendalikan kamera, dengan menggunakan tampilan proyeksi gambar sumber dan bingkai-bingkai sebelumnya untuk menetapkan pergerakan kamera yang diinginkan. Setelah itu, tulang punggung video dibekukan, lalu komponen geometri baru dilatih secara terpisah.

Untuk pelatihan, digunakan lebih dari 80.000 klip dari DL3DV dan RealEstate10K pada resolusi 576×1024. Informasi kedalaman acuan diperoleh dari MoGe-2, dengan jarak yang diperkirakan diselaraskan dengan rekonstruksi 3D yang dihasilkan oleh VGGT.

Dengan demikian, sistem prediksi bidang PPMem dilatih untuk memperkirakan kedalaman dan orientasi permukaan, dengan hasilnya diperiksa terhadap geometri acuan. Pelatihan tambahan diterapkan pada permukaan hasil render untuk meningkatkan kesesuaiannya dengan pemandangan yang direkonstruksi.

Adaptasi Peringkat Rendah (LoRA) digunakan untuk menambahkan pemrosesan khusus geometri tanpa mengubah model video yang mendasarinya.

Saat inferensi, proses pembuatan video normal dijalankan dengan adaptasi ini dinonaktifkan, lalu dilakukan tahap pemrosesan terpisah untuk mengekstrak geometri, sehingga kedua operasi tersebut pada dasarnya tetap berjalan secara independen.

Video kemudian dihasilkan dalam segmen-segmen yang masing-masing terdiri atas sekitar 25 frame, dengan menggunakan gerakan kamera yang direncanakan untuk menyiapkan informasi visual dan spasial yang diperlukan bagi setiap sekuens baru. Informasi ini mencakup tampilan proyeksi dari latar yang telah dihasilkan sebelumnya; mask yang menunjukkan area mana saja yang terlihat; serta informasi kedalaman yang diperoleh dari geometri yang telah terakumulasi.

Untuk meningkatkan prediksi permukaan baru, informasi kedalaman yang tersimpan kemudian digabungkan dengan pemahaman model yang sudah ada tentang adegan tersebut, menggunakan transformer visual berbasis DINOv2-Base.

Selama pelatihan, sebagian peta kedalaman disembunyikan melalui pemaskaan selektif, sehingga model harus memprediksi geometri permukaan berdasarkan data spasial yang tidak lengkap. Hal ini meningkatkan kemampuan generalisasi.

Setelah geometri baru dihasilkan, kumpulan bidang disempurnakan dengan memeriksa permukaan yang saling tumpang tindih atau tertutup, serta menghapus perkiraan yang kurang andal saat pengamatan yang lebih baik tersedia. Dengan demikian, representasi yang tersimpan dapat dikoreksi secara bertahap seiring pergerakan kamera, alih-alih sekadar terus menumpuk setiap prediksi permukaan tanpa batas.

Hasil

Untuk pengujian, metode ini diuji dibandingkan dengan Gen3C; Voyager; VMEM; dan SPMem, semuanya menggunakan kode repositori dan parameter bawaan masing-masing.

Metrik yang digunakan adalah Rasio Sinyal terhadap Derau Puncak (PSNR); Metrik Kemiripan Perseptual Terpelajar (LPIPS); kemiripan CLIP; dan kemiripan DINOv2 (lihat makalah untuk mengetahui pengecualian secara terperinci).

Dalam pengujian pertama, PPMem dibandingkan dengan model-model pesaing menggunakan set data DL3DV dan RealEstate10K, dengan kualitas video dievaluasi pada sekuens sepanjang 49 dan 121 frame:

Perbandingan kualitas video PPMem, Gen3C, Voyager, VMem, dan SPMem pada DL3DV dan RealEstate10K, untuk sekuens sepanjang 49 dan 121 frame. PPMem meraih skor terbaik atau setara terbaik pada keempat metrik, dan keunggulannya umumnya semakin besar pada sekuens yang lebih panjang.

Mengenai hasil ini, para penulis menyatakan:

‘PPMem meraih hasil terbaik pada semua metrik di kedua set data dan untuk kedua panjang sekuens, meskipun menggunakan model dasar yang lebih kecil (Wan 2.2 5B) dibandingkan Gen3C (Cosmos 7B) dan Voyager (HunyuanVideo ∼13B). T’

PPMem juga diuji untuk mengetahui kemampuannya memperkirakan jarak objek dan permukaan dari kamera. Menurut para penulis, pada 121 frame dari DL3DV, model ini menghasilkan perkiraan kedalaman yang lebih akurat daripada Voyager, satu-satunya model pesaing yang mampu menghasilkan video dan informasi kedalaman sekaligus.

Dalam pengujian kualitatif kedua, kemampuan model-model pesaing untuk mempertahankan konsistensi latar saat kamera bergerak melewati adegan DL3DV selama 300–400 frame dibandingkan. PPMem lebih berhasil mempertahankan tampilan dan struktur lingkungan yang telah terlihat sebelumnya daripada model-model pesaing, dan keunggulannya semakin besar seiring berlanjutnya sekuens:

Klik untuk memutar. Kami hanya dapat menampilkan ulang hasilnya pada resolusi yang lebih rendah daripada versi aslinya. Namun, kami menilai video lebih baik untuk menggambarkan hasil tersebut dibandingkan gambar diam dalam makalah, dan mengarahkan pembaca ke versi dengan kualitas lebih tinggi di situs proyek PPMem.

Berikut pernyataan para penulis:

‘PPMem mempertahankan fidelitas perseptual tertinggi sepanjang waktu, dengan selisih keunggulan yang semakin besar — paling mencolok pada DINOv2, ketika PPMem unggul ∼0.27 atas metode terbaik berikutnya pada frame ke-300.’

Perbandingan frame video yang dihasilkan oleh Gen3C, VMem, SPMem, Voyager, dan PPMem pada enam titik dalam sekuens sepanjang 288 frame, disertai rekaman asli (Ground Truth). PPMem mempertahankan tampilan hamparan bunga dan pemandangan di sekitarnya dengan lebih konsisten saat kamera bergerak, sementara metode pesaing semakin banyak mengubah atau kehilangan detail.

Makalah tersebut mencatat bahwa setelah sekitar 400 frame video, seluruh adegan yang telah dijelajahi dapat direpresentasikan dalam PPMem oleh sekitar 100.000 primitif bidang, dengan penggunaan memori hanya 5 MB.

Karena representasi ini kira-kira seribu kali lebih ringkas daripada menyimpan pemandangan yang sama sebagai titik-titik individual dalam awan titik 3D padat, makalah yang mungkin dianggap sebagai kemajuan inkremental dalam jalur penelitian yang sudah mapan ini ternyata menawarkan peningkatan substantif dalam aspek operasional arsitektur tersebut.

Kesimpulan

Meskipun makalah baru ini merupakan perkembangan yang menggembirakan dalam batasan dan parameter masalah yang dituju, kita masih berkutat dalam paradigma ketika eksplorasi acak terhadap ruang laten model dunia menyebarkan geometri ke mana-mana seperti busa yang tak kunjung hilang; geometri yang mungkin perlu dipulihkan oleh adegan-adegan berikutnya atau untuk konteks di kemudian hari.

Operasi pemulihan itu jauh lebih rumit daripada memasukkan mesh CGI tradisional dan tekstur yang membungkusnya. Pendekatan ini secara keseluruhan bisa dianggap “agak terbalik”: idealnya, model AI dapat mengambil dan merujuk aset tetap melalui suatu bentuk RAG atau sistem pencarian, sembari tetap memiliki fleksibilitas dan kebebasan kreatif untuk bergerak di ruang laten.

Banyak yang harus diminta, tetapi menurut saya metode “breadcrumb” ini tampaknya setara dengan solusi-solusi ganjil yang muncul sebelum Wright bersaudara.

* Silakan kunjungi situs proyek untuk menonton video lengkapnya.

Pertama kali diterbitkan pada Selasa, 20 Oktober 2026