Donner à la vidéo générée par l’IA le souvenir des choses passées

En mars, nous avons examiné la difficulté qu’éprouve la vidéo générative par IA à se souvenir des choses et des lieux qu’elle a vus, afin de pouvoir les reproduire une deuxième fois et d’offrir une cohérence visuelle.

Au bout du compte, il se peut que vous franchissiez une porte dans un monde généré par un modèle d’IA, que vous vous retourniez dix secondes plus tard et que vous constatiez que la porte par laquelle vous êtes passé a disparu.

Ce n’est pas un simple bogue à corriger : comme la vidéo générative par IA invente sans cesse « la prochaine chose » à laquelle elle doit faire face, elle ne peut pas vraiment se souvenir de ce qui remonte à trop longtemps ni de ce qui est sorti de sa fenêtre de contexte limitée.

Cela signifie que, si vous explorez un monde généré par un modèle d’IA entraîné, vous ne vous trouvez pas dans un environnement CGI modélisé, où les textures et la géométrie sont fixes et enregistrées sous forme de données vectorielles et bitmap. C’est plutôt comme parcourir un rêve fait de probabilités approximatives : vous pouvez retrouver exactement la même chose deux fois, mais uniquement parce qu’elle a été invoquée une seconde fois depuis l’espace latent grâce au contexte, et non parce que le modèle se souvient réellement de l’avoir créée ou vue.

Ainsi, le modèle de monde vidéo moyen fondé sur l’IA générative ressemble à une personne atteinte d’amnésie antérograde, qui se souvient parfaitement de tout ce qui s’est passé avant un événement cérébral — comme un AVC ou une blessure — mais ne peut pas former de nouveaux souvenirs depuis cet événement (une affection popularisée par le personnage de Guy Pearce qui en souffre dans Memento de Christopher Nolan [2000], à l’affiche sur l’image principale de l’article).

Ainsi, les modèles vidéo conservent une compréhension profonde et profondément ancrée de nombreux domaines, mais sont incapables de mémoriser quoi que ce soit de nouveau.

Semer des cailloux blancs

La solution HyDRA que nous avons examinée en mars reposait sur une « banque de mémoire » constituée de jetons visuels compressés, qui permettaient aux personnages générés par l’IA de sortir du champ et d’y revenir sous la même apparence que lors de leur première apparition.

Plusieurs autres méthodes reprennent cette approche des « cailloux blancs ». Toutefois, générer une géométrie 3D complexe et la laisser derrière soi résout le problème au prix d’une augmentation de la taille des fichiers, ainsi que d’une dégradation de la réactivité et de la latence, et de l’apparition d’autres goulots d’étranglement potentiels.

Parmi ces « modèles de monde ancrés en 3D » figure Gen3C, dirigé par NVIDIA, dont l’approche HyDRA recourt à la méthode la plus courante pour résoudre ce problème précis : convertir ce qu’il « voit » en nuages de points, c’est-à-dire en une géométrie 3D simplifiée :

Cliquez pour lire la vidéo. L’approche HyDRA s’appuie sur un cache persistant de nuages de points 3D pour guider la génération vidéo, préserver la cohérence de la scène lorsque la caméra se déplace et faire réapparaître les zones déjà vues. Source

Il existe d’autres approches similaires, comme VMEM, présentée par l’Université d’Oxford en 2025, et la collaboration SPMem, dirigée par Stanford et datant de la même période :

Cliquez pour lire la vidéo. Issue de la collaboration SPMem dirigée par Stanford, cette approche associe une carte 3D persistante des éléments statiques du décor à des images vidéo récentes pour représenter le mouvement et à une sélection d’images plus anciennes pour les détails visuels, aidant ainsi le modèle à se souvenir des lieux lorsqu’il les revisite. Source 

Toutefois, la géométrie 3D exige un travail considérable et sollicite fortement les ressources nécessaires à l’inférence. Il n’est pas facile de parcourir un environnement tout en le « construisant » en permanence, comme pourrait le faire un artiste en images de synthèse. En outre, tous les autres clips, points de vue ou prises devront pouvoir réutiliser ultérieurement la géométrie créée, ce qui représente un véritable défi.

Des souvenirs plus légers

La dernière proposition dans le domaine de la « mémoire vidéo de l’IA » est une nouvelle collaboration dirigée par l’Université Tsinghua, intitulée Persistent Planar Memory for Video World Models :

Cliquez pour lire la vidéo. Voici un exemple de fonctionnement du système, tiré du site du projet PPMem dirigé par Tsinghua. PPMem remplace la mémoire 3D volumétrique utilisée par le projet précédent SPMem par un ensemble plus compact de surfaces planes, qu’il met à jour et réutilise à mesure que la caméra se déplace, afin de préserver la cohérence des environnements déjà vus. Source 

Comme le montre l’extrait vidéo ci-dessus*, PPMem améliore les approches précédentes en utilisant une représentation plus compacte de l’environnement 3D. Au lieu de stocker des millions de points individuels pour reconstituer les environnements déjà vus, le système repère des surfaces planes, comme les murs, les sols et les meubles, puis les enregistre sous forme de plans géométriques réutilisables, appelés primitives planes. Ces dernières sont ensuite continuellement ajoutées à une mémoire locale persistante à mesure que de nouvelles parties de l’environnement sont générées :

Deux exemples de PPMem générant une vidéo tout en construisant une mémoire 3D persistante. Chaque exemple commence par une image d’entrée à gauche, avec en dessous le parcours prévu de la caméra. En lisant les images numérotées de gauche à droite sur la première rangée, puis sur la deuxième, on voit la caméra explorer un magasin ou un jardin. Les petites vignettes colorées montrent comment les surfaces 3D mémorisées s’accumulent au fil du parcours et préservent les paysages déjà explorés. Source

Lorsque la caméra revient dans un lieu déjà visité, les plans mémorisés sont reprojetés dans son champ de vision. Ils orientent ainsi la génération de nouvelles images et réduisent la quantité d’informations spatiales à conserver et à traiter. Cela contribue également à empêcher les objets et les décors familiers de changer ou de disparaître entre deux visites.

Selon les auteurs, le recours à des primitives planes — des objets paramétriques définis par des vecteurs mathématiques — permet de résoudre avec plus d’agilité et d’efficacité le problème de « l’approche par miettes de pain » :

« Un modèle capable de générer des mondes entiers, et pas seulement de courts clips, a besoin d’une mémoire structurée et compacte, analogue, de ce qu’il a produit. Les primitives planes constituent un choix naturel pour remplir ce rôle.

« Chaque primitive est paramétrée par seulement 7 nombres (une profondeur centrale, deux dimensions rectangulaires et un quaternion de rotation), qui représentent explicitement la structure géométrique 3D et sont des ordres de grandeur plus compacts que les représentations par pixel. »

Cliquez pour lancer la lecture si nécessaire. Les assemblages légers de primitives planes générés par PPMem peuvent saisir et conserver les détails aussi bien que la géométrie générale, tandis que la caméra parcourt le modèle du monde. Les zones vertes représentées ci-dessus sont conservées en mémoire à mesure qu’elles passent du foncé>vert.

La capacité de ces plans à représenter un monde exploré est naturellement limitée par la mémoire et d’autres contraintes prévisibles. Il serait donc impossible de parcourir le monde pendant des heures puis de retrouver tout tel qu’on l’avait laissé. Toutefois, ce type de restriction « par niveaux » est familier aux amateurs de jeux vidéo : leurs ressources locales, puissantes mais limitées, donnent généralement les meilleurs résultats dans les environnements les plus restreints :

Cliquez pour lancer la lecture. Dans PPMem, lorsque la caméra traverse un environnement, elle laisse derrière elle des « plans » légers (représentés par les zones vertes) qui figurent ce qu’elle a vu et restent en place si elle revient explorer les lieux.

On peut donc voir ci-dessus un tel niveau se faire « cartographier », pièce par pièce, jusqu’à ce que tout l’étage soit vert et puisse être exploré librement, avec un moindre besoin — mais non nul — de générer davantage de plans.

Méthode

PPMem a été développé à partir de Wan2.2-TI2V-5B (plutôt que de Wan2.1-T2V-1.3B, utilisé par HyDRA), un modèle de diffusion vidéo de cinq milliards de paramètres, auquel a été ajouté un système de prédiction géométrique adapté de Plana3R. L’architecture vidéo existante a été conservée, tandis qu’une voie de traitement distincte a été introduite pour extraire des informations géométriques de ses représentations internes :

Schéma du système de génération vidéo et de mémoire 3D de PPMem. La voie supérieure produit la vidéo, tandis que la voie inférieure consigne les formes et les positions des surfaces visibles. Ces données sont ajoutées à la mémoire stockée à droite, qui sert ensuite à guider la séquence vidéo suivante. Les flèches en bas montrent comment ces informations sont réinjectées dans le système.

Lors de la première de deux étapes d’entraînement, Wan 2.2 a été affiné pour générer des vidéos contrôlées par la caméra, en utilisant des vues projetées de l’image source et des images précédentes afin de définir le mouvement prévu de la caméra. L’architecture vidéo a ensuite été figée, et les nouveaux composants géométriques ont été entraînés indépendamment.

Pour l’entraînement, plus de 80 000 clips issus de DL3DV et de RealEstate10K ont été utilisés à une résolution de 576×1024. Les informations de profondeur de référence provenaient de MoGe-2, et les distances estimées ont été alignées sur des reconstructions 3D produites par VGGT.

Le système de prédiction des plans de PPMem a ainsi été entraîné à estimer la profondeur et l’orientation des surfaces, ses résultats étant comparés à une géométrie de référence. Un entraînement supplémentaire a été appliqué aux surfaces rendues afin d’améliorer leur concordance avec les scènes reconstruites.

La décomposition de rang faible (LoRA) a servi à introduire un traitement spécifique à la géométrie, sans modifier le modèle vidéo sous-jacent.

Lors de l’inférence, le processus habituel de génération vidéo est exécuté avec ces adaptations désactivées, puis une passe de traitement distincte est effectuée pour extraire la géométrie, ce qui permet aux deux opérations de rester essentiellement indépendantes.

La vidéo est ensuite générée par segments d’environ 25 images. Les mouvements de caméra prévus servent à préparer les informations visuelles et spatiales nécessaires à chaque nouvelle séquence. Celles-ci comprennent des vues projetées de décors déjà générés, des masques indiquant les zones visibles et des informations de profondeur déduites de la géométrie accumulée.

Pour mieux prédire les nouvelles surfaces, les informations de profondeur stockées sont ensuite combinées à la compréhension de la scène déjà acquise par le modèle, à l’aide d’un transformeur visuel basé sur DINOv2-Base.

Pendant l’entraînement, certaines parties des cartes de profondeur ont été masquées de manière sélective. Le modèle devait donc prédire la géométrie des surfaces à partir de données spatiales incomplètes, ce qui a amélioré sa capacité de généralisation.

Une fois la nouvelle géométrie générée, l’ensemble de plans est affiné en vérifiant le chevauchement et l’occultation des surfaces. Les estimations les moins fiables sont éliminées lorsque de meilleures observations deviennent disponibles. Cela permet de corriger progressivement la représentation stockée à mesure que la caméra se déplace, au lieu d’accumuler indéfiniment toutes les prédictions de surface.

Résultats

Pour les tests, la méthode a été comparée à Gen3C, à Voyager, à VMEM et à SPMem, en utilisant pour chacun le code du dépôt et les paramètres par défaut.

Les métriques utilisées étaient le rapport signal/bruit de crête (PSNR), les mesures de similarité perceptuelle apprises (LPIPS), la similarité CLIP et la similarité DINOv2 (voir l’article pour connaître les exceptions détaillées).

Lors du premier test, PPMem a été comparé aux autres méthodes sur les jeux de données DL3DV et RealEstate10K. La qualité vidéo a été évaluée sur des séquences de 49 et de 121 images :

Comparaison de la qualité vidéo de PPMem, Gen3C, Voyager, VMem et SPMem sur DL3DV et RealEstate10K, pour des séquences de 49 et de 121 images. PPMem obtient les meilleurs scores, ou arrive à égalité en tête, pour les quatre métriques, et son avantage s’accentue généralement avec la longueur des séquences.

À propos de ces résultats, les auteurs indiquent :

« PPMem obtient les meilleurs résultats pour toutes les métriques, sur les deux jeux de données et avec les deux budgets d’images, malgré l’utilisation d’un modèle de base plus petit (Wan 2.2 5B) que Gen3C (Cosmos 7B) et Voyager (HunyuanVideo ∼13B). T’

PPMem a également été testé pour évaluer sa capacité à estimer la distance entre la caméra et les objets et les surfaces. Sur 121 images de DL3DV, les auteurs indiquent que les estimations de profondeur obtenues étaient plus précises qu’avec Voyager, le seul modèle concurrent capable de générer simultanément une vidéo et des informations de profondeur.

Le deuxième test, qualitatif, a comparé la capacité des méthodes concurrentes à préserver la cohérence des décors lorsque la caméra se déplaçait dans des scènes de DL3DV sur des séquences de 300 à 400 images. PPMem a mieux préservé l’apparence et la structure des environnements déjà observés que les modèles concurrents, et son avantage s’est accru au fil des séquences :

Cliquez pour lire la vidéo. Bien que nous ne puissions reproduire les résultats qu’à une résolution inférieure à celle de l’original, nous avons estimé que la vidéo les illustrait mieux que les résultats statiques de l’article. Nous invitons donc le lecteur à consulter la version de meilleure qualité sur le site du projet PPMem.

Les auteurs indiquent ici :

« PPMem maintient la meilleure fidélité perceptuelle tout au long de la séquence, et l’écart se creuse avec le temps — de façon particulièrement marquée sur DINOv2, où PPMem devance la méthode suivante de ∼0,27 à l’image 300. »

Comparaison des images vidéo générées par Gen3C, VMem, SPMem, Voyager et PPMem à six moments d’une séquence de 288 images, avec la séquence originale (Ground Truth). À mesure que la caméra se déplace, PPMem préserve plus fidèlement l’apparence du parterre de fleurs et des environs, tandis que les méthodes concurrentes déforment ou perdent de plus en plus de détails.

L’article indique qu’après environ 400 images vidéo, une scène entièrement explorée peut être représentée dans PPMem par environ 100 000 primitives planes, qui n’occupent que 5 Mo de mémoire.

Comme cette représentation est environ mille fois plus compacte que le stockage du même décor sous forme de points individuels dans un nuage de points 3D dense, cet article, qui aurait pu être considéré comme une avancée incrémentale dans un courant de recherche bien établi, semble apporter une amélioration substantielle à la logistique de cette architecture.

Conclusion

Bien que ce nouvel article constitue une avancée enthousiasmante dans le cadre et les limites du problème visé, nous travaillons toujours selon un paradigme où l’exploration aléatoire de l’espace latent d’un modèle du monde disperse la géométrie comme une mousse persistante ; cette géométrie pourrait devoir être reconstituée dans des scènes ultérieures ou pour des contextes à venir.

Cette opération de reconstitution est bien plus complexe que l’ingestion de maillages CGI traditionnels et de textures plaquées. On pourrait qualifier toute cette approche de « quelque peu rétrograde » : idéalement, les modèles d’IA devraient pouvoir retrouver et référencer des ressources fixes au moyen d’une forme de RAG ou d’un système de recherche, tout en conservant la souplesse et la liberté créative qu’offre l’exploration de l’espace latent.

C’est beaucoup demander, mais la méthode des « miettes de pain » me semble équivaloir aux solutions extravagantes qui ont précédé les frères Wright.

* Veuillez consulter le site du projet pour visionner la vidéo complète.

Première publication le mardi 20 octobre 2026