Fuori Vista, Fuori Mente: Affrontare il Problema Più Grande nei Video di Intelligenza Artificiale

Il problema più grande con anche i migliori generatori di video di intelligenza artificiale è che hanno una forma di amnesia cronica – una sfida che una nuova ricerca cinese sta ora affrontando.

Il problema più grande con anche i migliori e più avanzati sistemi di generazione di video di intelligenza artificiale è che tutti hanno amnesia cronica: se la telecamera si allontana da ciò che sta focalizzando e poi si avvicina di nuovo, non troverà mai ciò che c’era all’inizio – i personaggi saranno scomparsi, cambieranno aspetto e/o tipo di movimento e lo sfondo sarà probabilmente cambiato.

Questo è perché il sistema di generazione basato sulla diffusione ha una finestra di attenzione a scorrimento limitata, e perché si occupa sempre di ciò che può vedere in quel momento; in una vera e propria messa in scena del solipsismo, ciò che è al di fuori dell’inquadratura non esiste per l’intelligenza artificiale generativa – viene letteralmente cancellato dalla memoria.

Questo non è mai stato un problema nella grafica computerizzata tradizionale, che può sempre fare riferimento e ricreare con precisione un soggetto, compreso l’aspetto e il movimento, in qualsiasi punto di un video renderizzato in cui potrebbe essere necessario di nuovo:

Le mesh e le texture bitmap della grafica computerizzata tradizionale possono sempre essere disegnate nuovamente in un render, fornendo un aspetto coerente – un trucco che è molto più difficile da realizzare negli approcci di intelligenza artificiale, poiché non c’è un equivalente ‘riferimento piatto’ o raccolta di file correlati.

Questo è perché gli elementi costitutivi della grafica computerizzata, come la mesh e le texture (vedi immagine sopra), nonché i file di movimento e altri comportamenti dinamici, possono vivere discretamente su disco e essere disegnati in una composizione in qualsiasi momento.

Non c’è un tale ‘repository piatto’ nella grafica video di intelligenza artificiale; la cosa più vicina a questa funzionalità è LoRAs – file aggiuntivi specialmente addestrati che possono essere addestrati su attrezzature consumer, consentendo di ‘forzare’ personaggi e abbigliamento specifici nel video:

Clicca per riprodurre. Il problema del solipsismo della grafica video di intelligenza artificiale può essere mitigato in una certa misura utilizzando LoRAs – ma i risultati possono essere schiaccianti.

Questo non è un’ideale soluzione, però. Per una cosa, LoRAs sono legati a una versione esatta di un modello di base (come Wan2+ o Hunyuan Video), e hanno bisogno di essere ricreati ogni volta che il modello di base cambia. Per un’altra, LoRAs tendono a distorcere i pesi del modello di base, in modo che l’identità addestrata di LoRA venga imposta su tutti i personaggi in una scena. Inoltre, i metodi di fine-tuning di questo tipo sono molto sensibili a dataset non curati.

Riprese Accurate

Ora, una nuova collaborazione accademica/industriale dalla Cina sta offrendo il primo rimedio significativo che è venuto alla mia attenzione in oltre tre anni di reporting su questo problema. Il metodo utilizza ciò che i ricercatori chiamano memoria ibrida per mantenere il personaggio fuori schermo e il suo ambiente diretto attivi e accurati nello spazio latente del modello, in modo che quando il nostro punto di vista ritorna su di loro, l’effetto sia coerente:

Clicca per riprodurre. Dal sito del progetto per il nuovo articolo, due esempi di personaggi generati da intelligenza artificiale (WAN) che escono dall’inquadratura e rientrano con accuratezza. Fonte 

È importante sottolineare che questo non è la stessa cosa che raggiungere coerenza dei personaggi in diverse riprese – qualcosa che è stato affermato di essere stato raggiunto un anno fa nella versione Gen 4 di Runway, e che rimane un obiettivo in corso nella letteratura di ricerca.

Al contrario, ciò che è risolto qui è qualcosa che nessun framework commerciale o sperimentale che abbia visto è stato in grado di raggiungere – la riapparizione visivamente coerente dell’aspetto, del movimento e dell’ambiente di un personaggio fuori schermo:

Clicca per riprodurre. Gli altri due principali esempi forniti nel sito del progetto.

È ovvio che i principi in atto qui possono essere applicati in modo equivalente ad altri domini, come l’esplorazione urbana, la guida in prima persona o altri tipi di rendering non caratteristici.

È importante sottolineare anche che questo nuovo approccio non risolve o affronta il problema che Runway Gen4 e altre piattaforme closed-source affermano di aver risolto, ricreando personaggi in diverse riprese; invece, fa ciò che nessuno di loro ha ancora raggiunto – mantenere un personaggio e un ambiente in memoria, senza doverli mantenere visibili al pubblico in ogni momento.

Il nuovo lavoro comprende un dataset dedicato generato attraverso Unreal Engine, nonché metriche personalizzate per il problema del solipsismo*, e un framework generativo personalizzato costruito su WAN. Nei test contro i pochi sistemi analoghi disponibili, gli autori affermano risultati di stato dell’arte, e commentano:

‘[La memoria] meccanismi sono emersi come una frontiera critica nell’avanzamento dei modelli del mondo, poiché la capacità di memoria detta la coerenza spaziale e temporale del contenuto generato.

‘In particolare, è l’ancora cognitiva che consente al modello di mantenere il contesto storico durante gli spostamenti del punto di vista o l’estrapolazione a lungo termine.

‘Senza una robusta memoria, un mondo simulato si dissolve rapidamente in frame caotici e disconnessi.’

L’articolo è intitolato Fuori Vista, ma non Fuori Mente: Memoria Ibrida per Modelli del Mondo Video Dinamici, e proviene da sette ricercatori dell’Università di Scienza e Tecnologia di Huazhong e del team Kling di Kuaishou Technology.

Metodo

Il pilastro centrale del nuovo lavoro è memoria ibrida, che facilita l’estrapolazione ‘fuori vista’ – il mantenimento dei personaggi e dei loro contesti mentre il pubblico ‘guarda altrove’ (o mentre il personaggio stesso esce dall’inquadratura). In questo scenario, il framework è richiesto di eseguire decoupling spaziotemporale, in cui si concentra contemporaneamente sulla generazione visibile al pubblico e sull’esistenza fuori schermo del personaggio ora fuori vista.

Esempi di moto della telecamera di entrata/uscita. In questi casi, è il movimento della telecamera che causa l’uscita del personaggio dall’inquadratura, ma in campioni diversi possiamo anche osservare il personaggio stesso che si propelle temporaneamente fuori schermo. Fonte

Gli autori notano che negli embedding latenti della diffusione, le caratteristiche che devono essere estratte e utilizzate sono fortemente intrecciate con altre caratteristiche e proprietà; e che tentare di estrarle spesso causa il ‘congelamento’ del soggetto nello sfondo. Pertanto, hanno progettato e curato il dataset HM-World, specificamente finalizzato all’addestramento della memoria ibrida**:

Dal paper, campioni dalle quattro categorie contenute nel dataset HM-World.

La raccolta è costruita lungo quattro dimensioni: traiettorie dei soggetti, traiettorie della telecamera, scene e soggetti.

I dati sintetici in HM-World presentano 17 scene e 49 soggetti, tra cui persone di aspetto diverso, nonché animali di molte specie. Combinazioni di questi sono collocate proceduralmente in una scena tramite Unreal Engine, ognuna con un’animazione di movimento distinta, e poi impostate su una traiettoria casualmente selezionata.

Gli autori affermano che un insieme variegato di eventi di uscita/entrata sono rappresentati nel dataset, con 28 diverse traiettorie della telecamera incluse, ognuna con più punti di partenza.

La raccolta finale comprende 59.225 clip video, ognuna annotata dal MiniCPM-V Multimodal Large Language Model (MLLM).

Gli autori sottolineano i vantaggi statistici della loro raccolta rispetto ai dataset precedenti WorldScore; Context-As-Memory; Multi-Cam Video; e 360° Motion:

Confronto tra dataset esistenti e il dataset HM-World, dove ‘Soggetto Dinamico’ indica la presenza di entità in movimento, ‘Uscita/Entrata del Soggetto’ denota clip che contengono soggetti che lasciano e rientrano nell’inquadratura, e ‘Posa del Soggetto’ si riferisce all’inclusione di pose 3D annotate.

Il Sentiero Meno Battuto

Dati diversi frame precedenti e un percorso della telecamera noto, il compito è prevedere future vedute mentre il punto di vista del pubblico si sposta, tenendo conto dei soggetti che si muovono in modo indipendente e possono lasciare l’inquadratura prima di rientrare. Ciò richiede più che mantenere uno sfondo stabile, poiché il modello deve anche mantenere un registro interno coerente di come ogni soggetto in movimento appaia e si comporti, anche durante i periodi in cui non è visibile.

Il metodo Hybrid Dynamic Retrieval Attention (HyDRA) degli autori affronta questo problema introducendo un percorso di memoria dedicato che separa i soggetti dinamici dalla rappresentazione della scena statica, consentendo loro di persistere nel tempo e di rientrare con aspetto e movimento coerenti:

Schema concettuale per il modello HyDRA.

HyDRA è costruito su Wan2.1-T2V-1.3B, con il core del pipeline di diffusione lasciato sostanzialmente intatto, mentre introduce un blocco di trasformazione modificato che incorpora l’attenzione di recupero dinamico. Ciò consente al modello di richiamare selettivamente indizi di movimento e aspetto da frame precedenti, piuttosto che affidarsi a contesto fisso o locale.

Questo processo utilizza un obiettivo di addestramento Flow Matching adattato al posto della perdita di diffusione standard.

Per mantenere le scene allineate con il movimento della telecamera, le traiettorie della telecamera vengono iniettate come segnale di condizionamento esplicito, con ogni frame definito da rotazione e traslazione, e poi convertito in una rappresentazione compatta che cattura come il punto di vista evolve nel tempo.

In linea con l’iniziativa precedente (Kling) ReCamMaster, il risultato è poi analizzato da un encoder della telecamera, implementato come un Multi-Layer Perceptron, poi trasmesso e aggiunto alle caratteristiche del Diffusion Transformer, consentendo al modello di mantenere la posizione degli oggetti coerente mentre la telecamera si muove.

Tokenizzazione

I latenti della diffusione grezza mescolano il movimento del soggetto, l’aspetto e lo sfondo in una rappresentazione intrecciata, e tentare di recuperare direttamente da questo spazio rischia di introdurre contesto non pertinente o causare i soggetti in movimento a ‘confondersi’ con lo sfondo.

HyDRA affronta questo problema con un tokenizzatore di memoria basato su convoluzione 3D che elabora lo spazio e il tempo insieme – piuttosto che inoltrare le storie dei latenti completi, li comprime in token di memoria compatibili e consapevoli del movimento che mantengono l’aspetto e il movimento dei soggetti:

Panoramica di HyDRA. A sinistra, il tokenizzatore di memoria converte i frame precedenti in token di memoria compatibili e consapevoli del movimento; a destra, l’attenzione di recupero dinamico valuta la query attuale contro questi token, recupera quelli più rilevanti e li utilizza per ripristinare l’aspetto e il movimento coerenti nel frame generato.

Questi token formano una memoria ibrida strutturata che filtra il rumore mentre mantiene la dinamica a lungo raggio. Passati al modulo di attenzione di recupero dinamico, questi consentono al modello di richiamare selettivamente i soggetti fuori schermo, in modo che riappaiano con aspetto, movimento e contesto coerenti.

Attenzione di Recupero Dinamico

Il meccanismo di memoria duale di HyDRA utilizza anche l’attenzione di recupero dinamico in un ruolo distinto ma complementare all’interno del framework.

La tokenizzazione della memoria comprime le rappresentazioni latenti precedenti in token strutturati e consapevoli del movimento che separano i soggetti dinamici dal contenuto della scena statica, riducendo l’intreccio che spesso causa i soggetti a confondersi con lo sfondo. Questi token formano una banca di memoria persistente piuttosto che una storia completa del frame.

L’attenzione di recupero dinamico opera quindi su questa banca durante la generazione, valutando la query attuale contro i token archiviati e richiamando selettivamente quelli più rilevanti per il frame in evoluzione. Ciò consente ai soggetti fuori schermo di continuare la loro evoluzione latente (ad esempio, di continuare a camminare, correre, quando non li si vede), e di riapparire con aspetto e movimento coerenti quando ritornano in vista, invece di azzerarsi o degradarsi.

Dati e Test

Nei test, il sistema HyDRA basato su Wan ha codificato e campionato 77 frame di contesto prima di analizzarli con un VAE a 3D, mentre il tokenizzatore di memoria menzionato utilizzava la convoluzione 3D a una dimensione del kernel di 2x4x4.

Il modello è stato addestrato su HW-World per 10.000 iterazioni su 32 (non specificate) GPU, con una dimensione del batch di 32.

Un numero insolitamente alto di metriche è stato utilizzato nei test: oltre al consueto rapporto segnale/rumore di picco (PSNR), indice di similarità strutturale (SSIM) e metriche di similarità percettiva apprese (LPIPS), gli autori hanno anche utilizzato coerenza del soggetto e coerenza dello sfondo dalla suite VBench, per valutare la coerenza del frame.

Inoltre, hanno ideato una metrica personalizzata intitolata Coerenza del Soggetto Dinamico (DSC), che utilizza le caselle delimitanti da YOLO V11, per creare regioni ritagliate che presentano soggetti in movimento, dalle quali sono estratte caratteristiche semantiche e calcolate le loro somiglianze.

HyDRA è stato confrontato con Diffusion Forcing Transformer (DFoT) e Context-As-Memory, su un modello di base Wan2.1-T2V-1.3B dotato di un encoder della telecamera (per rappresentare il punto di vista soggettivo comune a tutte le clip). Tutti i modelli sono stati addestrati su HW-World e WorldPlay è stato utilizzato come raccolta di test secondaria zero-shot:

Nei confronti iniziali quantitativi, HyDRA ha superato tutte le baseline, aumentando il PSNR da 18,696 a 20,357 e l’SSIM da 0,517 a 0,606. Ha anche raggiunto i punteggi di coerenza contestuale e di verità più alti, 0,827 e 0,849, con la coerenza del soggetto e dello sfondo che raggiunge 0,926 e 0,932:

Risultati del confronto quantitativo iniziale con gli approcci precedenti.

DFoT ha raggiunto un PSNR di 17,693 e Context-as-Memory 18,921, con i guadagni attribuiti alla tokenizzazione della memoria combinata con l’attenzione di recupero dinamico:

Confronto quantitativo che mette a confronto HyDRA con lo stato attuale dell’arte.

Per quanto riguarda i test contro WorldPlay, gli autori affermano:

‘Il nostro metodo supera WorldPlay in tutte le metriche, con un divario PSNR notevole di 5,502. Sebbene WorldPlay mostri prestazioni più basse nelle metriche di riferimento GT (ad esempio, PSNR di 14,855, DSCGT di 0,832) a causa della lacuna di distribuzione del dominio e della mancanza di fine-tuning specifico, dimostra una notevole robustezza nelle metriche di riferimento del contesto raggiungendo un DSCctx di 0,822.

‘Questa osservazione non solo conferma che i modelli ampiamente addestrati possiedono una coerenza ibrida equa, ma valida anche indirettamente la razionalità delle nostre metriche DSC proposte nel riflettere la coerenza del soggetto dinamico.

‘Alla fine, questi risultati impressionanti mettono in luce le capacità eccezionali del nostro modello, dimostrando la sua superiorità anche sui modelli commerciali stabiliti.’

L’articolo offre una rappresentazione statica dei confronti qualitativi intrapresi per i test:

Confronto qualitativo di uscita e rientro sotto moto della telecamera. Gli autori affermano che HyDRA mantiene l’identità del soggetto, la posa e la continuità del movimento dopo aver lasciato e rientrato nell’inquadratura, corrispondendo strettamente alla verità, mentre i metodi di confronto mostrano deriva, moto incoerente o degrado del soggetto, evidenziati in rosso (le riprese coerenti sono segnalate in verde).

Di questi risultati, gli autori commentano:

‘Nel caso di eventi di uscita e rientro complessi, la baseline e Context-as-Memory mostrano distorsione del soggetto grave e incoerenza del movimento. DFoT non mantiene l’integrità del soggetto, portando a una scomparsa completa. Mentre WorldPlay riesce a mantenere la coerenza dell’aspetto del soggetto, soffre di movimenti a scatti e azioni innaturali.

‘Al contrario, il nostro metodo mantiene con successo la coerenza ibrida, preservando sia l’identità del soggetto che la coerenza del movimento dopo che il soggetto rientra nell’inquadratura.’

Ulteriori risultati possono essere visti in formato video sul sito supplementare, dei quali i primi quattro esempi sono stati assemblati (da noi) nel video seguente:

Clicca per riprodurre. Quattro dei sei risultati di test presentati nel sito del progetto. Fonte 

Conclusione

Mentre qualsiasi tentativo di affrontare uno dei più grandi problemi della generazione di video di intelligenza artificiale è benvenuto, sembra inevitabile che la soluzione ottimale per problemi di uscita/rientro di questo tipo si dimostrerà essere, come lo è stato per la CGI, nella forma di materiali di riferimento distinti che possono essere modificati discretamente e portati in uno spazio di composizione.

Questo affare di mantenere un embedding vivo in modo ad hoc e sul momento sembra estenuante, e non offre alcun modo chiaro per andare avanti alla coerenza intra-ripresa ora offerta da vari portali black-box come Runway. Se si scopre che una ripresa successiva richiederà l’accesso allo spazio latente della ripresa precedente, perché non avere entrambe le istanze che inseriscono un embedding di carattere discreto e separato?

* Nessun altro lo ha nominato, e la discussione è difficile senza termini comuni.

** Attualmente segnalato come ‘in arrivo’, nella pagina del progetto.

Pubblicato per la prima volta venerdì, 27 marzo 2026