Надаючи відео зі штучним інтелектом здатність пам’ятати минуле

Ще в березні ми розглядали труднощі, з якими генеративне відео зі штучним інтелектом стикається, коли має запам’ятовувати побачені речі й місця, щоб відтворити їх згодом і забезпечити візуальну узгодженість.

У результаті цієї проблеми можна пройти крізь двері у світовій моделі ШІ, за десять секунд озирнутися й виявити, що дверей, крізь які ви щойно пройшли, більше немає.

Цю помилку не так просто виправити: генеративне відео зі штучним інтелектом постійно вигадує «наступну подію», з якою має дати собі раду, тож воно не здатне по-справжньому пам’ятати те, що було давно, або те, що випало з його вузького контекстного вікна.

Отже, дослідження натренованої світової моделі ШІ — це не те саме, що дослідження змодельованого середовища CGI, де текстури й геометрія незмінні та збережені у вигляді векторних і растрових даних. Радше це схоже на прогулянку сном, побудованим на приблизних імовірностях: можна двічі натрапити на цілком той самий предмет, але лише тому, що його вдруге викликали з латентного простору за допомогою контексту, а не тому, що модель справді пам’ятає, як створила його чи побачила.

Отже, середня світова модель генеративного відео зі штучним інтелектом схожа на людину з антероградною амнезією: вона досконало пам’ятає все, що сталося до ураження мозку — наприклад, інсульту чи травми, — але не може створювати нові спогади після цієї події (про цей стан стало широко відомо завдяки персонажеві Ґая Пірса, який страждає на нього у фільмі Крістофера Нолана Memento [2000], зображеному на головному фото статті).

Таким чином, відеомоделі зберігають глибоке й міцно закріплене розуміння багатьох сфер, але не мають здатності запам’ятовувати щось нове.

Слід із хлібних крихт

Рішення HyDRA, яке ми розглядали в березні, ґрунтувалося на використанні «банку пам’яті» зі стисненими візуальними токенами. Він давав змогу персонажам, згенерованим ШІ, виходити за межі кадру й повертатися в тому самому вигляді, у якому їх побачили вперше.

Є й низка інших методів, що використовують такий підхід із «хлібними крихтами». Однак створення та збереження складної 3D-геометрії розв’язує проблему ціною збільшення розміру файлів, зниження швидкодії, зростання затримок та появи інших потенційних вузьких місць.

До «світових моделей із 3D-опорою» належить розроблена за провідної участі NVIDIA модель Gen3C. Її підхід HyDRA використовує найтиповіший спосіб розв’язання цієї конкретної проблеми: перетворює побачене на хмари точок, тобто спрощену 3D-геометрію:

Натисніть, щоб відтворити. Підхід HyDRA використовує постійний кеш 3D-хмари точок, щоб спрямовувати генерацію відео й зберігати узгодженість сцени під час руху камери та повторної появи раніше побачених ділянок. Джерело

Є й інші подібні підходи, зокрема VMEM Оксфордського університету 2025 року та співпраця SPMem під керівництвом Стенфорда того самого періоду:

Натисніть, щоб відтворити. У відео зі спільного проєкту SPMem, створеного за провідної участі Стенфорда, поєднано постійну 3D-карту нерухомого оточення з останніми відеокадрами, що передають рух, і вибраними старішими кадрами, які додають візуальних деталей. Це допомагає моделі запам’ятовувати місця, коли вона повертається до них. Джерело 

Але робота з будь-якою 3D-геометрією потребує значних зусиль і створює велике навантаження на ресурси, необхідні для інференції. Нелегко обходити середовище й постійно його «будувати», як це робив би художник комп’ютерної графіки. До того ж інші ролики, ракурси чи дублі мають згодом мати змогу звертатися до створеної геометрії, а забезпечити це непросто.

Легші нотатки

Остання розробка у сфері «пам’яті відео зі штучним інтелектом» — це нова співпраця під керівництвом Tsinghua University під назвою Persistent Planar Memory for Video World Models:

Натисніть, щоб відтворити. На сайті проєкту ініціативи PPMem під керівництвом Tsinghua University наведено приклад роботи системи. PPMem замінює об’ємну 3D-пам’ять, яку використовував попередній проєкт SPMem, компактнішим набором пласких поверхонь і оновлює та повторно використовує їх під час руху камери, щоб зберігати узгодженість раніше побачених середовищ. Джерело 

Як видно з наведеного вище фрагмента відео*, PPMem удосконалює попередні підходи завдяки компактнішому представленню 3D-середовища. Замість того щоб зберігати мільйони окремих точок для відтворення раніше побачених середовищ, система виявляє пласкі поверхні, як-от стіни, підлогу й меблі, та зберігає їх у вигляді багаторазово використовуваних геометричних площин, які називають площинами-примітивами. Нові такі площини безперервно додаються до постійної локальної пам’яті в міру генерації нових частин середовища:

Два приклади генерування відео за допомогою PPMem зі створенням постійної 3D-пам’яті. Кожен приклад починається з вхідного зображення ліворуч, а запланований маршрут камери показано під ним. Якщо читати пронумеровані кадри зліва направо спочатку в першому ряду, а потім у другому, видно, як камера досліджує магазин або сад. Невеликі кольорові вставки показують, як у міру руху накопичуються збережені 3D-поверхні, фіксуючи вже досліджені ділянки. Джерело

Коли камера повертається до місця, де вже була, збережені площини знову проєктуються в її поле зору, допомагаючи генерувати нові кадри та зменшуючи обсяг просторової інформації, яку потрібно зберігати й обробляти. Це також допомагає запобігти зміні або зникненню знайомих об’єктів і оточення між відвідинами.

Використання площинних примітивів — параметричних об’єктів, визначених математичними векторами, — забезпечує гнучкіше й ефективніше розв’язання проблеми «підходу з хлібними крихтами», стверджують автори:

«Модель, що генерує цілі світи, а не лише короткі ролики, потребує аналогічної компактної структурованої пам’яті про те, що вона створила. Площинні примітиви — природний вибір для цієї ролі.

«Кожен примітив задається лише 7 числами (глибиною центра, двома розмірами прямокутника та кватерніоном обертання), які безпосередньо представляють 3D-геометричну структуру, і є на порядки компактнішим за попіксельні представлення».

Натиснітьза потреби, щоб відтворити. Легкі набори площинних примітивів, згенеровані PPMem, можуть фіксувати й зберігати як деталі, так і загальну геометрію, поки камера рухається світом моделі. Зелені ділянки, зображені вище, зберігаються в пам’яті, коли їх колір змінюється з темного>зеленого.

Здатність таких площин представляти досліджений світ природно обмежена обсягом пам’яті та іншими передбачуваними вузькими місцями. Тож неможливо годинами мандрувати світом, а потім повернутися й побачити, що все залишилося таким, як було; утім, такі обмеження, зумовлені «рівнями», добре знайомі прихильникам відеоігор, чиї потужні, але обмежені локальні ресурси зазвичай дають найкращі результати за найстисліших умов:

Натисніть, щоб відтворити. У PPMem камера, рухаючись середовищем, залишає легкі «площини» (показані зеленими ділянками), що представляють побачене нею і залишатимуться на місці, якщо камера згодом повернеться.

Отже, вище ми бачимо, як такий рівень «картографують» кімната за кімнатою, доки вся підлога не стане зеленою і її можна буде вільно досліджувати, майже не потребуючи генерувати додаткові площини, хоча така потреба не зникає повністю.

Метод

PPMem розробили на основі Wan2.2-TI2V-5B (а не Wan2.1-T2V-1.3B, який використовує HyDRA) — відеомоделі дифузії з п’ятьма мільярдами параметрів, доповнивши її системою прогнозування геометрії, адаптованою з Plana3R. Основу наявної відеомоделі збережено, а для отримання геометричної інформації з її внутрішніх представлень додано окремий шлях обробки:

Схема системи PPMem для генерування відео та зберігання 3D-пам’яті. Верхній шлях створює відео, а нижній фіксує форми й положення видимих поверхонь. Їх додають до збереженої праворуч пам’яті, яку потім використовують для керування наступним фрагментом відео. Стрілки внизу показують, як ця інформація повертається в систему.

На першому з двох етапів навчання Wan 2.2 доопрацювали для генерування відео з керуванням камерою, використовуючи проєкції вихідного зображення та попередніх кадрів, щоб задати запланований рух камери. Після цього основу відеомоделі заморозили, а нові компоненти геометрії навчали окремо.

Для навчання використали понад 80 000 кліпів із DL3DV і RealEstate10K з роздільною здатністю 576×1024. Еталонні дані про глибину отримали від MoGe-2, а оцінені відстані узгодили з 3D-реконструкціями, створеними за допомогою VGGT.

Таким чином, систему прогнозування площин PPMem навчали оцінювати глибину й орієнтацію поверхонь, а результати перевіряли за еталонною геометрією. Для відтворених поверхонь провели додаткове навчання, щоб поліпшити їхню відповідність реконструйованим сценам.

Для впровадження обробки, спеціалізованої на геометрії, без зміни базової відеомоделі використали низькорангову адаптацію (LoRA).

Під час інференсу звичайний процес генерування відео виконують із вимкненими цими адаптаціями, а потім окремим проходом обробки отримують геометрію, що дає змогу залишити ці дві операції практично незалежними.

Потім відео генерується фрагментами приблизно по 25 кадрів, а заплановані рухи камери використовуються для підготовки візуальної та просторової інформації, потрібної для кожної нової послідовності. До неї належать проєкції раніше згенерованих декорацій, маски, що позначають видимі ділянки, і інформація про глибину, отримана на основі накопиченої геометрії.

Щоб точніше прогнозувати нові поверхні, збережену інформацію про глибину поєднують із наявним у моделі розумінням сцени за допомогою візуального трансформера, побудованого на основі DINOv2-Base.

Під час навчання частину карт глибини приховували за допомогою вибіркового маскування, змушуючи модель прогнозувати геометрію поверхонь за неповними просторовими даними та покращуючи її здатність до узагальнення.

Після генерації нової геометрії набір площин уточнюють, перевіряючи, чи не накладаються поверхні одна на одну та чи не перекриваються ними інші поверхні; менш надійні оцінки вилучають, коли з’являються точніші спостереження. Це дає змогу поступово коригувати збережене представлення в міру руху камери, а не безкінечно накопичувати кожен прогноз поверхні.

Результати

Під час тестування метод порівнювали з Gen3C, Voyager, VMEM і SPMem, використовуючи для всіх стандартний код репозиторію та параметри.

Використовували такі метрики: пікове співвідношення сигнал/шум (PSNR), метрики перцептивної схожості, що навчаються (LPIPS), схожість CLIP і схожість DINOv2 (детальні винятки наведено в статті).

У першому тесті PPMem порівнювали з іншими моделями на наборах даних DL3DV і RealEstate10K, оцінюючи якість відео в послідовностях із 49 і 121 кадру:

Порівняння якості відео, створеного PPMem, Gen3C, Voyager, VMem і SPMem на наборах даних DL3DV і RealEstate10K у послідовностях із 49 і 121 кадру. PPMem показала найкращі або спільно найкращі результати за всіма чотирма метриками, причому її перевага зазвичай зростала в довших послідовностях.

Щодо цих результатів автори зазначають:

«PPMem показує найкращі результати за всіма метриками на обох наборах даних і для обох тривалостей послідовностей, хоча використовує меншу базову модель (Wan 2.2 5B), ніж Gen3C (Cosmos 7B) і Voyager (HunyuanVideo ∼13B). T’

PPMem також перевірили на здатність оцінювати відстань від камери до об’єктів і поверхонь. За словами авторів, на 121 кадрі з DL3DV вдалося отримати точніші оцінки глибини, ніж за допомогою Voyager — єдиної конкуруючої моделі, здатної одночасно генерувати відео й інформацію про глибину.

У другому, якісному тесті порівнювали здатність моделей зберігати сталість декорацій під час руху камери сценами DL3DV у послідовностях тривалістю 300–400 кадрів. PPMem краще за конкуруючі моделі зберігала вигляд і структуру раніше побаченого оточення, причому її перевага зростала в міру продовження послідовностей:

Натисніть, щоб відтворити. Хоча ми можемо відтворити результати лише з нижчою роздільною здатністю, ніж в оригіналі, на нашу думку, відео ілюструє їх краще, ніж статичні результати зі статті. Переглянути відео у вищій якості можна на сайті проєкту PPMem.

Тут автори зазначають:

«PPMem зберігає найвищу перцептивну точність упродовж усього відео, а розрив із часом збільшується — особливо помітно за оцінкою DINOv2, де PPMem випереджає наступний за результатами метод на ∼0.27 на 300-му кадрі».

Порівняння кадрів відео, згенерованого Gen3C, VMem, SPMem, Voyager і PPMem, у шести точках послідовності з 288 кадрів, а також оригінального відео (Ground Truth). PPMem послідовніше зберігає вигляд клумби та навколишніх декорацій під час руху камери, тоді як конкуруючі методи дедалі більше спотворюють зображення або втрачають деталі.

У статті зазначено, що після приблизно 400 кадрів відео всю досліджену сцену в PPMem можна представити приблизно 100 000 примітивами-площинами, які займають лише 5 МБ пам’яті.

Оскільки це приблизно в тисячу разів компактніше, ніж зберігати ті самі декорації у вигляді окремих точок у щільній 3D-хмарі точок, стаття, яку можна було б вважати черговим невеликим кроком у межах усталеного напряму досліджень, схоже, пропонує суттєво ефективнішу організацію цієї архітектури.

Висновок

Хоча нова наукова праця є захопливим досягненням у межах цільової задачі та її параметрів, ми досі працюємо в парадигмі, де випадкове дослідження латентного простору моделі світу розкидає навколо геометрію, наче стійку піну; можливо, цю геометрію доведеться відновлювати в наступних сценах або для подальших контекстів.

Відновити її набагато складніше, ніж завантажити традиційні CGI-сітки та текстури, накладені на них. Увесь цей підхід можна назвати «дещо хибним»: в ідеалі моделі ШІ мали б отримувати й використовувати фіксовані ресурси за допомогою певної системи RAG або пошуку, водночас зберігаючи гнучкість і творчу свободу переміщення латентним простором.

Це чимало вимагати, але, на мою думку, метод «хлібних крихт» — це щось на кшталт тих химерних рішень, до яких вдавалися до братів Райт.

* Повне відео дивіться на сайті проєкту.

Уперше опубліковано у вівторок, 20 жовтня 2026 року