Dare ai video generati dall’IA memoria del passato

A marzo abbiamo esaminato le difficoltà che i video generati dall’IA incontrano nel ricordare cose e luoghi già visti, così da poterli riprodurre una seconda volta e offrire coerenza visiva.

L’effetto concreto è che potresti attraversare una porta in un modello del mondo basato sull’IA, voltarti dieci secondi dopo e scoprire che la porta da cui sei passato non c’è più.

Non si tratta di un difetto banale da correggere: poiché i video generati dall’IA inventano continuamente «la cosa successiva» con cui devono fare i conti, non possono davvero ricordare nulla che risalga a molto tempo prima, né ciò che è uscito dalla loro ristretta finestra di contesto.

Questo significa che esplorare un modello del mondo addestrato con l’IA non è come esplorare un ambiente CGI modellato, in cui texture e geometria sono fisse e salvate come dati vettoriali e bitmap; è piuttosto come camminare in un sogno fatto di probabilità approssimative: potresti trovare esattamente la stessa cosa due volte, ma solo perché è stata evocata una seconda volta dallo spazio latente tramite il contesto, non perché il modello ricordi davvero di averla creata o vista.

Il modello medio di un mondo video generato con l’IA è quindi simile a una persona affetta da amnesia anterograda, che ricorda perfettamente tutto ciò che è accaduto prima di un evento cerebrale, come un ictus o una lesione, ma non riesce a formare nuovi ricordi dopo l’incidente (una condizione resa nota dal personaggio interpretato da Guy Pearce, che ne soffre in Memento [2000], presente nell’immagine principale dell’articolo).

In questo modo, i modelli video conservano una comprensione profonda e radicata di molti ambiti, ma non sono in grado di ricordare nulla di nuovo.

La scia di briciole

La soluzione HyDRA di cui abbiamo parlato a marzo si basava sull’uso di una «banca della memoria» di token visivi compressi, che consentiva ai personaggi generati dall’IA di uscire dall’inquadratura e tornare con lo stesso aspetto che avevano quando erano stati visti per la prima volta.

Esistono diversi altri metodi che adottano questo approccio della «scia di briciole»; tuttavia, generare e lasciare dietro di sé geometrie 3D complesse risolve il problema a scapito delle dimensioni dei file, della reattività, della latenza e di altri possibili colli di bottiglia.

Tra questi «modelli del mondo basati su geometrie 3D» figura Gen3C, guidato da NVIDIA, il cui approccio HyDRA ricorre al metodo più comune per risolvere questo specifico problema: trasformare ciò che «vede» in nuvole di punti, ossia geometrie 3D essenzialmente semplificate:

Fai clic per riprodurre. L’approccio HyDRA utilizza una cache persistente di nuvole di punti 3D per guidare la generazione video, mantenendo la coerenza della scena mentre la telecamera si sposta e le aree già viste riappaiono. Fonte

Esistono altri approcci simili, come VMEM del 2025 dell’Università di Oxford e la collaborazione SPMem, guidata da Stanford e risalente allo stesso periodo:

Fai clic per riprodurre. Dalla collaborazione SPMem guidata da Stanford, che combina una mappa 3D persistente degli scenari statici con i fotogrammi video recenti per il movimento e alcuni fotogrammi più vecchi selezionati per i dettagli visivi, aiutando il modello a ricordare i luoghi quando vi fa ritorno. Fonte 

Ma tutte le geometrie 3D comportano un lavoro oneroso e richiedono molto in fase di inferenza. Non è facile muoversi in un ambiente e «costruirlo» continuamente, come farebbe un artista di computer grafica. Inoltre, qualsiasi altra clip, punto di vista o ripresa dovrà poter fare riferimento in seguito alla geometria creata, il che rappresenta una sfida considerevole.

Appunti più leggeri

L’ultimo progetto dedicato alla «memoria video dell’IA» è una nuova collaborazione guidata da Tsinghua University, intitolata Memoria planare persistente per i modelli del mondo video:

Fai clic per riprodurre. Dal sito del progetto dell’iniziativa PPMem, guidata da Tsinghua, un esempio del sistema in azione. PPMem sostituisce la memoria 3D volumetrica impiegata dal precedente progetto SPMem con una raccolta più compatta di superfici piane, aggiornandole e riutilizzandole man mano che la telecamera si sposta, così da mantenere coerenti gli ambienti già visti. Fonte 

Come mostra il segmento video qui sopra*, PPMem migliora gli approcci precedenti adottando una rappresentazione più compatta dell’ambiente 3D. Invece di archiviare milioni di singoli punti per ricostruire gli ambienti già visti, il sistema individua superfici piane, come pareti, pavimenti e mobili, e le memorizza sotto forma di piani geometrici riutilizzabili, chiamati primitive planari; questi vengono poi aggiunti continuamente a una memoria locale persistente man mano che si generano nuove parti dell’ambiente:

Due esempi di PPMem che genera video creando al contempo una memoria 3D persistente. Ciascun esempio inizia con un’immagine di input a sinistra, sotto la quale è mostrato il percorso pianificato della telecamera. Leggendo i fotogrammi numerati da sinistra a destra nella prima riga e poi nella seconda, si vede la telecamera esplorare un negozio o un giardino. I piccoli riquadri colorati mostrano come le superfici 3D memorizzate si accumulino man mano che il percorso procede, preservando gli scenari già esplorati. Fonte

Quando la telecamera torna in un luogo visitato in precedenza, i piani memorizzati vengono proiettati nuovamente nel suo campo visivo, guidando la generazione di nuovi fotogrammi e riducendo la quantità di informazioni spaziali da conservare ed elaborare. Ciò contribuisce anche a impedire che oggetti e ambienti familiari cambino o scompaiano tra una visita e l’altra.

L’uso di primitive planari – oggetti parametrici definiti da vettori matematici – consente di affrontare il «metodo delle briciole di pane» in modo più agile ed efficace, sostengono gli autori:

«Un modello che genera interi mondi, e non soltanto brevi clip, ha bisogno di una memoria compatta e strutturata, analoga, di ciò che ha prodotto. Le primitive planari sono una scelta naturale per questo ruolo.

«Ogni primitiva è parametrizzata con appena 7 numeri (una profondità del centro, due dimensioni del rettangolo e un quaternione di rotazione), che rappresentano esplicitamente la struttura geometrica 3D e sono di ordini di grandezza più compatti delle rappresentazioni basate sui singoli pixel.»

Clicca per riprodurre, se necessario. Gli insiemi leggeri di primitive planari generati da PPMem possono acquisire e conservare sia i dettagli sia la geometria d’insieme mentre la telecamera attraversa il modello del mondo. Le sezioni verdi visualizzate sopra vengono conservate in memoria man mano che sono mappate da scure>verdi.

La misura in cui tali piani possono rappresentare un mondo esplorato è naturalmente limitata dalla memoria e da altri colli di bottiglia prevedibili. Ciò significa che non sarebbe possibile girovagare per il mondo per ore e ritrovarlo tutto come lo si era lasciato; tuttavia, gli appassionati di videogiochi conosceranno bene questo tipo di restrizione «a livelli», in cui le potenti ma limitate risorse locali tendono a dare i risultati migliori negli ambienti più circoscritti:

Fai clic per riprodurre. In PPMem, mentre la telecamera attraversa un ambiente, lascia dietro di sé dei «piani» leggeri (indicati dalle aree verdi) che rappresentano ciò che ha visto e che saranno ancora lì se la telecamera dovesse tornare a esplorare quei luoghi.

Possiamo quindi vedere sopra un livello che viene «mappato» stanza per stanza, finché l’intero piano diventa verde e può essere esplorato liberamente, con una minore necessità (ma non senza necessità) di generare altri piani.

Metodo

PPMem è stato sviluppato a partire da Wan2.2-TI2V-5B (anziché da Wan2.1-T2V-1.3B, utilizzato da HyDRA), un modello di diffusione video da cinque miliardi di parametri, a cui è stato aggiunto un sistema di previsione geometrica adattato da Plana3R. Il modello di base video esistente è stato mantenuto, mentre è stato introdotto un percorso di elaborazione separato per estrarre informazioni geometriche dalle sue rappresentazioni interne:

Schema del sistema di generazione video e memoria 3D di PPMem. Il percorso superiore produce il video, mentre quello inferiore registra le forme e le posizioni delle superfici visibili. Queste vengono aggiunte alla memoria archiviata a destra, che viene poi utilizzata per guidare la sezione successiva del video. Le frecce in basso mostrano come queste informazioni vengono reinserite nel sistema.

Nella prima delle due fasi di addestramento, Wan 2.2 è stato ottimizzato per generare video controllati dalla telecamera, utilizzando le viste proiettate dell’immagine di partenza e dei fotogrammi precedenti per definire il movimento previsto della telecamera. Il modello di base video è stato quindi congelato e i nuovi componenti geometrici sono stati addestrati in modo indipendente.

Per l’addestramento sono state utilizzate oltre 80.000 clip tratte da DL3DV e RealEstate10K, con una risoluzione di 576×1024. Le informazioni di profondità di riferimento sono state ottenute da MoGe-2, allineando le distanze stimate alle ricostruzioni 3D prodotte da VGGT.

Il sistema di previsione dei piani di PPMem è stato quindi addestrato a stimare la profondità e l’orientamento delle superfici, confrontando i risultati con la geometria di riferimento. Sono stati inoltre applicati ulteriori cicli di addestramento alle superfici renderizzate per migliorarne la corrispondenza con le scene ricostruite.

Per introdurre un’elaborazione specifica per la geometria senza modificare il modello video sottostante, è stata utilizzata la decomposizione a basso rango (LoRA).

Durante l’inferenza, il normale processo di generazione video viene completato con questi adattamenti disattivati; successivamente viene eseguito un passaggio di elaborazione separato per estrarre la geometria, così da mantenere le due operazioni essenzialmente indipendenti.

Il video viene quindi generato in segmenti di circa 25 fotogrammi, usando i movimenti di camera previsti per preparare le informazioni visive e spaziali necessarie a ogni nuova sequenza. Queste comprendono le proiezioni degli scenari generati in precedenza, maschere che indicano quali aree sono visibili e informazioni sulla profondità ricavate dalla geometria accumulata.

Per migliorare la previsione delle nuove superfici, le informazioni sulla profondità memorizzate vengono combinate con la comprensione della scena già acquisita dal modello, utilizzando un trasformatore visivo basato su DINOv2-Base.

Durante l’addestramento, alcune porzioni delle mappe di profondità sono state escluse tramite mascheramento selettivo, costringendo il modello a prevedere la geometria delle superfici a partire da dati spaziali incompleti e migliorandone la capacità di generalizzazione.

Una volta generata la nuova geometria, l’insieme dei piani viene perfezionato verificando la presenza di superfici sovrapposte o nascoste ed eliminando le stime meno affidabili quando diventano disponibili osservazioni migliori. In questo modo, la rappresentazione memorizzata può essere corretta progressivamente man mano che la camera si sposta, invece di accumulare semplicemente all’infinito ogni previsione delle superfici.

Risultati

Nei test, il metodo è stato confrontato con Gen3C, Voyager, VMEM e SPMem, utilizzando per tutti il codice e i parametri predefiniti dei rispettivi repository.

Le metriche utilizzate sono state il rapporto segnale-rumore di picco (PSNR), le metriche apprese di similarità percettiva (LPIPS), la similarità CLIP e la similarità DINOv2 (per le eccezioni dettagliate, si rimanda all’articolo).

Nel primo test, PPMem è stato confrontato con i metodi concorrenti sui dataset DL3DV e RealEstate10K, valutando la qualità video su sequenze di 49 e 121 fotogrammi:

Confronto della qualità video di PPMem, Gen3C, Voyager, VMem e SPMem sui dataset DL3DV e RealEstate10K, su sequenze di 49 e 121 fotogrammi. PPMem ha ottenuto i risultati migliori, o a pari merito, in tutte e quattro le metriche, e il suo vantaggio è generalmente aumentato con il prolungarsi delle sequenze.

A proposito di questi risultati, gli autori affermano:

‘PPMem ottiene i risultati migliori in tutte le metriche, su entrambi i dataset e con entrambi i numeri di fotogrammi, pur utilizzando un modello di base più piccolo (Wan 2.2 5B) rispetto a Gen3C (Cosmos 7B) e Voyager (HunyuanVideo ∼13B). T’

PPMem è stato inoltre testato per valutarne la capacità di stimare la distanza degli oggetti e delle superfici dalla camera: secondo gli autori, su 121 fotogrammi di DL3DV sono state ottenute stime della profondità più accurate rispetto a Voyager, l’unico modello concorrente in grado di generare insieme video e informazioni sulla profondità.

Nel secondo test, di tipo qualitativo, è stata confrontata la capacità dei metodi concorrenti di mantenere coerenti gli scenari mentre la camera si spostava attraverso le scene di DL3DV, su sequenze di 300–400 fotogrammi. PPMem ha conservato l’aspetto e la struttura degli ambienti già visti meglio dei modelli concorrenti, con un vantaggio che è aumentato man mano che le sequenze proseguivano:

Fai clic per riprodurre. Sebbene possiamo riprodurre i risultati solo a una risoluzione inferiore a quella originale, abbiamo ritenuto che il video fosse un’illustrazione più efficace rispetto ai risultati statici dell’articolo e rimandiamo i lettori alla versione di qualità superiore sul sito del progetto PPMem.

Ecco cosa affermano gli autori:

‘PPMem mantiene la più alta fedeltà percettiva per tutta la sequenza, e il divario aumenta nel tempo — soprattutto secondo DINOv2, dove PPMem supera il metodo secondo classificato di ∼0.27 al fotogramma 300.’

Confronto tra i fotogrammi video generati da Gen3C, VMem, SPMem, Voyager e PPMem in sei punti di una sequenza di 288 fotogrammi, affiancati alle riprese originali (Ground Truth). Mentre la camera si sposta, PPMem conserva con maggiore coerenza l’aspetto dell’aiuola e dello scenario circostante, mentre i metodi concorrenti distorcono sempre più le immagini o perdono dettagli.

L’articolo osserva che, dopo circa 400 fotogrammi di video, in PPMem un’intera scena esplorata può essere rappresentata da circa 100.000 primitive planari, occupando appena 5 MB di memoria.

Poiché questa rappresentazione è circa mille volte più compatta rispetto alla memorizzazione dello stesso scenario come singoli punti in una nuvola di punti 3D densa, un articolo che avrebbe potuto essere considerato un progresso incrementale in un filone di ricerca già consolidato sembra invece offrire un miglioramento sostanziale nella gestione di questa architettura.

Conclusione

Sebbene il nuovo articolo rappresenti uno sviluppo entusiasmante entro i confini e i parametri del problema in esame, continuiamo a operare secondo un paradigma in cui l’esplorazione casuale dello spazio latente di un modello del mondo sparge geometrie tutt’intorno come schiuma persistente: geometrie che potrebbero dover essere recuperate in scene successive o per contesti futuri.

Questa operazione di recupero è molto più caotica dell’acquisizione di mesh CGI tradizionali e texture mappate. Si potrebbe sostenere che questo approccio sia «in qualche modo regressivo»: idealmente, i modelli di IA dovrebbero poter recuperare e consultare risorse fisse tramite una qualche forma di RAG o un sistema di ricerca, mantenendo al contempo la flessibilità e la libertà creativa offerte dal muoversi nello spazio latente.

È una richiesta impegnativa, ma il metodo delle «briciole di pane» mi sembra equivalente alle soluzioni bizzarre che precedettero i fratelli Wright.

* Per guardare il video completo, visita il sito del progetto.

Pubblicato per la prima volta martedì 20 ottobre 2026