Чтобы видео с ИИ помнило прошлое

Ещё в марте мы рассматривали трудности, с которыми сталкивается генеративное видео с ИИ, пытаясь запоминать увиденные объекты и места, чтобы впоследствии воспроизводить их и обеспечивать визуальную согласованность.

В результате этой проблемы можно пройти через дверь в смоделированном ИИ мире, через десять секунд обернуться и обнаружить, что двери, через которую вы прошли, больше нет.

Это не какая-то мелкая ошибка, которую легко исправить: генеративное видео с ИИ постоянно придумывает «следующее событие», с которым ему предстоит иметь дело, поэтому оно не может по-настоящему помнить то, что было давно, или то, что уже вышло за пределы его узкого контекстного окна.

Это значит, что исследовать обученную модель мира на основе ИИ — не то же самое, что исследовать смоделированную среду компьютерной графики, где текстуры и геометрия заданы заранее и сохранены в виде векторных и растровых данных. Скорее, это похоже на прогулку по сновидению, сотканному из приблизительных вероятностей: можно дважды увидеть одно и то же, но лишь потому, что оно было вызвано из латентного пространства повторно, благодаря контексту, а не потому, что модель действительно помнит, как создала или увидела его.

Таким образом, среднестатистическая модель мира на основе генеративного видео с ИИ похожа на человека с антероградной амнезией: до события, повредившего мозг, например инсульта или травмы, он сохраняет полную память, но после него не может формировать новые воспоминания (это состояние получило известность благодаря персонажу Гая Пирса, страдающему от него, в фильме Кристофера Нолана Memento [2000], изображённому на главном изображении статьи).

Так видеомодели сохраняют глубокое и прочно укоренённое понимание многих областей, но не способны запоминать что-либо новое.

След из хлебных крошек

Решение HyDRA, которое мы рассматривали в марте, основано на использовании «банка памяти» из сжатых визуальных токенов. Он позволяет персонажам, созданным ИИ, уходить за пределы экрана и возвращаться в том же виде, в каком они появились впервые.

Существует ряд других методов, использующих этот подход со «следом из хлебных крошек». Однако создание и сохранение сложной трёхмерной геометрии решает проблему ценой увеличения размера файлов, а также снижения отзывчивости, роста задержки и возникновения других потенциальных узких мест.

К таким «3D-моделям мира» относится созданная при ведущей роли NVIDIA Gen3C, в которой подход HyDRA использует наиболее распространённый способ решения именно этой задачи — преобразует увиденное в облака точек, то есть упрощённые геометрические модели в 3D:

Нажмите, чтобы воспроизвести. В подходе HyDRA используется постоянный кэш трёхмерного облака точек, направляющий генерацию видео и сохраняющий согласованность сцены при движении камеры и повторном появлении ранее увиденных областей. Источник

Существуют и другие подобные подходы, например разработанная Оксфордским университетом в 2025 году VMEM и созданная в тот же период коллаборация Стэнфордского университета SPMem:

Нажмите, чтобы воспроизвести. В совместном проекте SPMem под руководством Стэнфордского университета постоянная трёхмерная карта статичных элементов сцены сочетается с последними кадрами видео, передающими движение, и отдельными более ранними кадрами, сохраняющими визуальные детали. Это помогает модели запоминать места и узнавать их при повторном посещении. Источник 

Однако работа с любой трёхмерной геометрией требует больших ресурсов и создаёт серьёзную нагрузку при инференсе. Непросто постоянно «строить» окружение по мере перемещения по нему, как это мог бы делать художник по компьютерной графике. Кроме того, другие видеоролики, ракурсы или дубли должны иметь возможность позднее обращаться к созданной геометрии, а это непростая задача.

Более лёгкие заметки

Новая работа в области «памяти для видео с ИИ» — это новое совместное исследование под руководством Университета Цинхуа под названием «Постоянная планарная память для видеомоделей мира»:

Нажмите, чтобы воспроизвести. На сайте проекта инициативы PPMem под руководством Университета Цинхуа показан пример работы системы. PPMem заменяет объёмную трёхмерную память, использовавшуюся в предыдущем проекте SPMem, более компактным набором плоских поверхностей. По мере движения камеры система обновляет и повторно использует их, сохраняя согласованность ранее увиденного окружения. Источник 

Как показано в приведённом выше видеофрагменте*, PPMem превосходит предыдущие подходы благодаря более компактному представлению трёхмерного окружения. Вместо хранения миллионов отдельных точек для восстановления ранее увиденных мест система распознаёт плоские поверхности, например стены, полы и мебель, и сохраняет их в виде повторно используемых геометрических плоскостей, называемых плоскими примитивами. По мере генерации новых участков окружения они непрерывно добавляются в постоянную локальную память:

Два примера того, как PPMem генерирует видео и одновременно создает постоянную трехмерную память. Каждый пример начинается с входного изображения слева, а под ним показан запланированный маршрут камеры. Если читать пронумерованные кадры слева направо: сначала в верхнем ряду, затем в нижнем, — видно, как камера исследует магазин или сад. Небольшие цветные вставки показывают, как по мере продвижения накапливаются сохраненные трехмерные поверхности, удерживая в памяти уже исследованные участки. Источник

Когда камера возвращается в ранее посещенное место, сохраненные плоскости вновь проецируются в ее поле зрения, помогая генерировать новые кадры и сокращая объем пространственной информации, которую необходимо сохранять и обрабатывать. Это также помогает предотвратить изменение или исчезновение знакомых объектов и окружения между посещениями.

Использование плоских примитивов — параметрических объектов, определяемых математическими векторами, — как утверждают авторы, позволяет более гибко и эффективно решить проблему «подхода с хлебными крошками»:

«Модели, генерирующей целые миры, а не только короткие ролики, нужна аналогичная компактная структурированная память о том, что она создала. Плоские примитивы — естественный кандидат на эту роль.

«Для задания каждого примитива достаточно всего 7 чисел (глубина центра, две величины прямоугольника и кватернион поворота). Они явно представляют трехмерную геометрическую структуру и на порядки компактнее попиксельных представлений».

Нажмите, чтобы воспроизвести, если необходимо. Лёгкие наборы плоских примитивов, создаваемые PPMem, позволяют фиксировать и сохранять в памяти как детали, так и общую геометрию по мере движения камеры по модели мира. Зелёные участки, показанные выше, сохраняются в памяти по мере отображения на карте с переходом от тёмного>зелёного.

Возможность таких плоскостей представлять исследованный мир, естественно, ограничена объемом памяти и другими предсказуемыми узкими местами. Это означает, что нельзя будет часами бродить по миру, а затем обнаружить, что все осталось таким, каким было; однако подобные ограничения, связанные с «уровнями», хорошо знакомы любителям видеоигр: мощные, но конечные локальные ресурсы обычно дают наилучшие результаты в наиболее ограниченных условиях:

Нажмите для воспроизведения. В PPMem камера, перемещаясь по окружению, оставляет легковесные «плоскости» (показаны зелеными участками), представляющие увиденное; они останутся на месте, если камера снова вернется туда.

Таким образом, выше мы видим, как такой уровень «картируют» комнату за комнатой, пока весь этаж не становится зеленым и не оказывается доступным для свободного исследования, при этом необходимость создавать новые плоскости снижается, хотя и не исчезает полностью.

Метод

PPMem создан на основе Wan2.2-TI2V-5B, а не Wan2.1-T2V-1.3B, использованной HyDRA. Это модель диффузии видео с пятью миллиардами параметров, дополненная системой предсказания геометрии, адаптированной из Plana3R. Существующую базовую модель генерации видео сохранили, добавив отдельный конвейер обработки для извлечения геометрической информации из ее внутренних представлений:

Схема системы генерации видео и трехмерной памяти PPMem. Верхний конвейер создает видео, а нижний фиксирует форму и положение видимых поверхностей. Эти данные добавляются в хранящуюся справа память, которая затем используется для управления генерацией следующего фрагмента видео. Стрелки внизу показывают, как эта информация возвращается в систему.

На первом из двух этапов обучения Wan 2.2 дообучили для генерации видео с управлением камерой, используя проекции исходного изображения и предыдущих кадров, чтобы задать предполагаемое движение камеры. Затем базовую модель генерации видео заморозили, а новые компоненты геометрии обучали отдельно.

Для обучения использовали более 80 000 клипов из DL3DV и RealEstate10K с разрешением 576×1024. Эталонные данные о глубине получали с помощью MoGe-2, а рассчитанные расстояния сопоставляли с трехмерными реконструкциями, созданными VGGT.

Таким образом, систему предсказания плоскостей PPMem обучали оценивать глубину и ориентацию поверхностей, проверяя результаты по эталонной геометрии. Для повышения соответствия реконструированным сценам дополнительно обучали визуализированные поверхности.

Для добавления обработки, специфичной для геометрии, без изменения базовой модели видео использовали адаптацию низкого ранга (LoRA).

Во время инференса обычный процесс генерации видео выполняется с отключенными этими адаптациями, после чего отдельный проход обработки извлекает геометрию. Благодаря этому обе операции остаются практически независимыми.

Затем видео генерируется сегментами примерно по 25 кадров, а заданные движения камеры используются для подготовки визуальной и пространственной информации, необходимой для каждой новой последовательности. Она включает проекции ранее созданных сцен, маски, показывающие, какие области видны, и информацию о глубине, полученную на основе накопленной геометрии.

Чтобы точнее предсказывать новые поверхности, сохранённая информация о глубине объединяется с имеющимся у модели представлением о сцене с помощью визуального трансформера на основе DINOv2-Base.

Во время обучения части карт глубины скрывали с помощью выборочного маскирования. Это заставляло модель предсказывать геометрию поверхностей по неполным пространственным данным и улучшало её способность к обобщению.

После создания новой геометрии набор плоскостей уточняется: система проверяет, не перекрывают ли поверхности друг друга и не заслонены ли они, и удаляет менее надёжные оценки, когда появляются более точные наблюдения.  Благодаря этому сохранённое представление постепенно корректируется по мере движения камеры, а не просто бесконечно пополняется предсказаниями поверхностей.

Результаты

В ходе тестирования метод сравнили с Gen3C, Voyager, VMEM и SPMem, используя для всех исходный код репозитория и параметры по умолчанию.

Использовались следующие метрики: пиковое отношение сигнала к шуму (PSNR), обученные метрики перцептивного сходства (LPIPS), сходство по CLIP и сходство по DINOv2 (подробные исключения см. в статье).

В первом тесте PPMem сравнили с конкурентами на наборах данных DL3DV и RealEstate10K. Качество видео оценивали на последовательностях длиной 49 и 121 кадр:

Сравнение качества видео, созданного PPMem, Gen3C, Voyager, VMem и SPMem, на наборах данных DL3DV и RealEstate10K для последовательностей длиной 49 и 121 кадр. PPMem показала лучшие или сопоставимые лучшие результаты по всем четырём метрикам; её преимущество, как правило, возрастало на более длинных последовательностях.

Авторы отмечают следующие результаты:

‘PPMem показывает лучшие результаты по всем метрикам на обоих наборах данных и при обоих бюджетах кадров, несмотря на использование меньшей базовой модели (Wan 2.2 5B) по сравнению с Gen3C (Cosmos 7B) и Voyager (HunyuanVideo ∼13B). T’

PPMem также проверили на способность оценивать расстояние от камеры до объектов и поверхностей. По данным авторов, на 121 кадре из DL3DV модель точнее оценивала глубину, чем Voyager — единственная конкурирующая модель, способная одновременно генерировать видео и информацию о глубине.

Во втором, качественном тесте сравнили способность конкурирующих моделей сохранять последовательность сцен при движении камеры по сценам DL3DV на протяжении 300–400 кадров. PPMem успешнее конкурирующих моделей сохраняла внешний вид и структуру ранее увиденных областей; по мере продолжения последовательностей её преимущество возрастало:

Нажмите, чтобы воспроизвести. Хотя мы можем показать результат только в разрешении ниже исходного, мы решили, что видео иллюстрирует результаты лучше, чем статичные изображения из статьи. Полную версию в более высоком качестве можно посмотреть на сайте проекта PPMem.

Авторы отмечают:

‘PPMem сохраняет наивысшую перцептивную точность на протяжении всего теста, и со временем разрыв увеличивается — особенно заметно это на DINOv2: PPMem опережает ближайший по качеству метод на ∼0.27 на 300-м кадре.’

Сравнение кадров видео, созданного Gen3C, VMem, SPMem, Voyager и PPMem, в шести точках последовательности длиной 288 кадров и исходного видео (Ground Truth). По мере движения камеры PPMem лучше сохраняет внешний вид цветника и окружающей сцены, тогда как конкурирующие методы всё сильнее искажают изображение или теряют детали.

В статье отмечается, что после примерно 400 кадров видео всю исследованную сцену в PPMem можно представить примерно 100 000 плоскими примитивами, занимающими всего 5 МБ памяти.

Поскольку такой способ примерно в тысячу раз компактнее хранения той же сцены в виде отдельных точек плотного трёхмерного облака, эту работу, которую можно было бы счесть очередным небольшим шагом в давно существующем направлении исследований, по-видимому, следует рассматривать как существенное улучшение практической стороны реализации этой архитектуры.

Заключение

Хотя эта новая работа — важный шаг в рамках поставленной задачи и её ограничений, мы всё ещё работаем в парадигме, где случайное исследование латентного пространства модели мира разбрасывает геометрию вокруг, словно пену, которая долго не оседает; впоследствии эту геометрию, возможно, придётся восстанавливать для новых сцен или контекстов.

Восстановить её гораздо сложнее, чем загрузить традиционные CGI-сетки и текстуры, наложенные на них. Весь этот подход можно назвать «в некотором смысле ошибочным»: в идеале модели ИИ должны уметь получать доступ к фиксированным ресурсам и обращаться к ним через RAG или какую-либо систему поиска, сохраняя при этом гибкость и творческую свободу перемещения по латентному пространству.

Это довольно смелое требование, но, на мой взгляд, метод «хлебных крошек» — своего рода аналог странных решений, которые предшествовали братьям Райт.

* Полную версию видео смотрите на сайте проекта.

Впервые опубликовано во вторник, 20 октября 2026 года