Din vedere, din minte: Abordarea celei mai mari probleme din videoul generat de IA

Cea mai mare problemă cu generatorii de videouri AI, chiar și cu cei mai avansați, este că au o amnezie cronică – o provocare pe care o abordează o nouă cercetare din China.

Cea mai mare problemă cu generatorii de videouri AI, chiar și cu cei mai avansați și de ultimă generație, este că toți au amnezie cronică: dacă camera se îndepărtează de ceea ce este focalizat și apoi se întoarce, nu va găsi niciodată ceea ce era acolo la început – personajele vor dispărea, vor schimba aspectul și/sau tipul de mișcare, iar fundalul va fi, de asemenea, modificat.

Acest lucru se datorează faptului că sistemul de generare bazat pe difuzie are o fereastră de atenție limitată și că este întotdeauna preocupat de ceea ce poate vedea în acel moment; într-o adevărată înfăptuire a solipsismului, ceea ce este în afara cadrelor nu există pentru IA generativă – este literalmente eliminat din memorie.

Acest lucru nu a fost niciodată o problemă în CGI-ul tradițional, care poate întotdeauna să se refere și să recreeze cu acuratețe un subiect, inclusiv aspectul și mișcarea, în orice punct al unui videoclip în care ar putea fi necesar din nou:

Mesh-urile și texturile bitmapate din CGI-ul tradițional pot fi întotdeauna desenate înapoi într-un render, oferind un aspect consistent – un truc care este mult mai greu de realizat în abordările IA, deoarece nu există un fișier de referință ‘plat’ echivalent.

Acest lucru se datorează faptului că elementele componente ale CGI-ului, cum ar fi mesh-urile și texturile (vezi imaginea de mai sus), precum și fișierele de mișcare și alte comportamente dinamice, pot exista discret pe disc și pot fi desenate într-o compoziție în orice moment.

În IA de videouri generative nu există un astfel de “repositoriu plat”; cel mai aproape de această funcționalitate sunt LoRAs – fișiere auxiliare special antrenate care pot fi antrenate pe echipamente de consum, permițând personajelor și îmbrăcămintei noi să fie “forțate” în videoclip:

Apăsați pentru a reda. Problema de solipsism a IA de videouri poate fi atenuată într-o anumită măsură prin utilizarea LoRAs – dar rezultatele pot fi copleșitoare.

Acesta nu este un ideal, însă. În primul rând, LoRAs sunt legate de o versiune exactă a unui model de bază (cum ar fi Wan2+ sau Hunyuan Video) și au nevoie de a fi recreate de fiecare dată când modelul de bază se schimbă. În al doilea rând, LoRAs tind să distorsioneze greutățile modelului de bază, astfel încât identitatea antrenată a LoRA este impusă asupra tuturor personajelor dintr-o scenă. În plus, metodele de fine-tuning de acest tip sunt foarte sensibile la seturi de date prost curate.

Reapariții precise

Acum, o nouă colaborare academică și industrială din China oferă primul remediu semnificativ care a venit în atenția mea în ultimii trei ani de raportare cu privire la această problemă. Metoda utilizează ceea ce cercetătorii numesc memorie hibridă pentru a păstra personajele și mediul lor direct active și precise în spațiul latent al modelului, astfel încât, atunci când punctul nostru de vedere se întoarce la ele, efectul este consistent:

Apăsați pentru a reda. De pe site-ul proiectului pentru noul articol, două exemple de personaje generate de IA (WAN) care ies din cadru și reintră cu precizie. Sursă 

Ar trebui subliniat că acest lucru nu este același lucru cu realizarea consistenței personajelor în diferite cadre – ceva care a fost pretins a fi fost realizat anul trecut în lansarea Gen 4 a Runway și care rămâne o pursuită în curs în literatura de cercetare.

În schimb, ceea ce este rezolvat aici este ceva pe care niciun cadru comercial sau experimental pe care l-am văzut nu a putut să-l realizeze – reapariția vizual-consistentă a aspectului anterior, mișcării și mediului unui personaj care a ieșit din cadru:

Apăsați pentru a reda. Celelalte două exemple principale prezentate pe site-ul proiectului noului inițiativ.

Este evident că principiile care funcționează aici pot fi aplicate în mod egal și în alte domenii, cum ar fi explorarea urbană, conducerea din punct de vedere, sau alte tipuri de renderizări non-personaj.

Ar trebui subliniat, de asemenea, că această nouă abordare nu rezolvă sau nu abordează problema pe care Runway Gen4 și alte platforme cu sursă închisă pretind că au rezolvat-o, prin recrearea personajelor în diferite cadre; în schimb, face ceea ce niciunul dintre ele nu a reușit încă – persistența unui personaj și a mediului în memorie, fără a necesita ca acestea să rămână vizibile spectatorului în orice moment.

Noul studiu cuprinde un set de date dedicat generat prin Unreal Engine, precum și metrice personalizate pentru problema de solipsism*, și un cadru generativ personalizat construit peste WAN. În testele împotriva celor câteva sisteme analoge disponibile, autorii pretind rezultate de ultimă generație și comentă:

‘[Mecanismele de memorie] au apărut ca o frontieră critică în avansarea modelelor de lume, deoarece capacitatea de memorare dictează consistența spațială și temporală a conținutului generat.

‘În special, este ancora cognitivă care permite modelului să păstreze contextul istoric în timpul schimbărilor de perspectivă sau a extrapolării pe termen lung.

‘Fără o memorie robustă, o lume simulată se destramă rapid în cadre haotice și desconectate.’

Articolul nou se intitulează Din vedere, dar nu din minte: Memorie hibridă pentru modele de lume video dinamice și provine de la șapte cercetători de la Universitatea de Știință și Tehnologie Huazhong și de la echipa Kling de la Kuaishou Technology.

Metodă

Elementul central al noului studiu este memoria hibridă, care facilitează “extrapolarea din afara câmpului vizual” – păstrarea personajelor și a contextelor lor în timp ce spectatorul “se uită în altă parte” (sau în timp ce personajul însuși iese din vedere). În acest scenariu, cadrul este necesar să efectueze decuplarea spațio-temporală, în care este simultan focalizat pe generarea vizibilă a spectatorului și pe existența off-screen a personajului care a ieșit din vedere.

Exemple de mișcări de cameră de intrare/ieșire. În aceste cazuri, este mișcarea camerei care face ca personajul să iasă din cadru, dar în mostre diverse putem observa, de asemenea, personajul însuși care se propulsează temporar în afara ecranului. Sursă

Autorii notează că, în reprezentările latente de difuzie, caracteristicile care trebuie extrase și utilizate sunt puternic împletite cu alte caracteristici și proprietăți; și că încercarea de a le extrage adesea cauzează subiectul să “înghețe” în fundal. Prin urmare, au conceput și curatoriat setul de date HM-World, destinat în mod special antrenării memoriei hibride**:

Din articol, mostre din cele patru categorii conținute în setul de date HM-World.

Colecția este construită de-a lungul a patru dimensiuni: traiectorii de subiect, traiectorii de cameră, scene și subiecte.

Datele sintetice din HM-World prezintă 17 scene și 49 de subiecte, incluzând oameni cu aspect divers, precum și animale de mai multe specii. Combinații ale acestora sunt plasate procedural într-o scenă prin Unreal Engine, fiecare cu o animație de mișcare distinctă, și apoi plasate pe o traiectorie aleasă aleator.

Autorii afirmă că o varietate de evenimente de intrare/ieșire sunt reprezentate în setul de date, cu 28 de traiectorii de cameră incluse, fiecare cu multiple puncte de start.

Colecția finală cuprinde 59.225 de clipuri video, fiecare annotată de modelul de limbaj mare multimodal MiniCPM-V.

Cercetătorii subliniază avantajele statistice ale colecției lor față de seturile de date anterioare WorldScore; Context-As-Memory; Multi-Cam Video; și 360° Motion**:

Comparație între seturile de date existente și setul de date HM-World, unde ‘Subiect dinamic’ indică prezența entităților mobile, ‘Intrare/ieșire a subiectului’ denotă clipuri care conțin subiecte care părăsesc și reintră în cadru, și ‘Poziția subiectului’ se referă la includerea unor poziții 3D annotate.

Drumul mai puțin umblat

Dat fiind câteva cadre anterioare și o cale de cameră cunoscută, sarcina este de a prezice viitoarele cadre în timp ce perspectiva spectatorului se schimbă, ținând cont de subiecte care se mișcă independent și pot părăsi cadru înainte de a reintra. Acest lucru necesită mai mult decât menținerea unui fundal stabil, deoarece modelul trebuie să păstreze, de asemenea, o înregistrare internă coerentă a modului în care fiecare subiect mobil arată și se comportă, chiar și în perioadele în care nu este vizibil.

Metoda Hybrid Dynamic Retrieval Attention a autorilor abordează acest lucru prin introducerea unei căi de memorie dedicate care separă subiectele dinamice de reprezentarea scenică statică, permițându-le să persiste în timp și să reapară cu aspect și mișcare consistente:

Scheme conceptuală pentru modelul HyDRA.

HyDRA este construit peste Wan2.1-T2V-1.3B, cu pipeline-ul de difuzie central lăsat în mare măsură intact, în timp ce introduce un bloc de transformator modificat care incorporează atenția de recuperare dinamică. Acest lucru permite modelului să recheme selectiv indicii de mișcare și aspect din cadrele anterioare, în loc de a se baza pe contextul fix sau local.

Acest proces utilizează un obiectiv de antrenare Flow Matching adaptat în locul pierderii standard de difuzie.

Pentru a menține scenele aliniate cu mișcarea camerei, traiectoriile de cameră sunt injectate ca un semnal de condiționare explicit, cu fiecare cadru definit de rotație și translație, și apoi convertit într-o reprezentare compactă care captează modul în care punctul de vedere evoluează în timp.

În conformitate cu inițiativa anterioară (Kling) ReCamMaster, rezultatul este apoi parsat de un codator de cameră, implementat ca un Perceptron Multi-Layer, și apoi difuzat și adăugat la caracteristicile Transformatorului de Difuzie, permițând modelului să mențină plasarea obiectelor coerentă în timp ce camera se mișcă.

Tokenizare

Reprezentările latente brute de difuzie amestecă mișcarea subiectului, aspectul și fundalul într-o singură reprezentare împletită, și încercarea de a recupera direct din acest spațiu riscă să introducă contextul irrelevant sau să facă subiectele mobile să “se amestece” în fundal.

HyDRA abordează acest lucru prin intermediul unui tokenizator de memorie bazat pe convoluții 3D care procesează spațiul și timpul împreună – în loc de a înainta istoricul complet de latente, le comprimă în tokeni de memorie compacți și conștienți de mișcare care păstrează modul în care subiectele arată și se mișcă:

Prezentare generală a HyDRA. Stânga, tokenizatorul de memorie convertește cadrele anterioare în tokeni de memorie compacți și conștienți de mișcare; dreapta, atenția de recuperare dinamică evaluează cererea curentă împotriva acestor tokeni, recuperează cei mai relevanți și îi folosește pentru a restaura aspectul și mișcarea consistentă în cadru generat.

Acești tokeni formează o memorie hibridă structurată care filtrează zgomotul în timp ce păstrează dinamica pe termen lung. Transmiși la modulul de atenție de recuperare dinamică, aceștia permit modelului să recheme selectiv subiectele din afara ecranului, astfel încât acestea să reapară cu aspect, mișcare și context consistent.

Atenție de recuperare dinamică

Mecanismul de memorie duală al HyDRA utilizează, de asemenea, atenția de recuperare dinamică într-un rol distinct, dar complementar, în cadrul.

Tokenizarea memoriei comprimă reprezentările latente anterioare în tokeni structurați și conștienți de mișcare care separă subiectele dinamice de conținutul scenic static, reducând împletirea care adesea cauzează subiectele să se amestece în fundal. Acești tokeni formează o bancă de memorie persistentă, mai degrabă decât o istorie completă de cadre.

Atenția de recuperare dinamică funcționează apoi peste această bancă în timpul generării, evaluând cererea curentă împotriva tokenilor stocați și rechemând selectiv cei mai relevanți pentru cadrul în evoluție. Acest lucru permite subiectelor din afara ecranului să continue evoluția lor latentă (de exemplu, să continue să meargă, să alerge, atunci când nu le puteți vedea), și să reapară cu aspect și mișcare consistentă atunci când revin în vedere, în loc de a reseta sau degrada.

Date și teste

În teste, sistemul HyDRA bazat pe Wan a codat și a redus 77 de cadre de context înainte de a le parsa cu un Autoencoder 3D Variational, în timp ce tokenizatorul de memorie a utilizat convoluții 3D la o dimensiune a nucleului de 2x4x4.

Modelul a fost antrenat pe HM-World timp de 10.000 de iterații pe 32 de unități de procesare grafică (GPU) ne specificate, la o dimensiune a lotului de 32.

Un număr neobișnuit de mare de metrice a fost utilizat în teste: pe lângă raportul standard de semnal-la-zgomot (PSNR), indicele de similaritate structurală (SSIM) și metricele de similaritate perceptuală învățate (LPIPS), autorii au utilizat, de asemenea, consistența subiectului și consistența fundalului din suita VBench, pentru a evalua coerența la nivel de cadru.

În plus, au conceput o metrică personalizată intitulată Consistența subiectului dinamic (DSC), care utilizează cutii de delimitare din YOLO V11, pentru a crea regiuni decupate care conțin subiecte mobile, din care au fost extrase caracteristici semantice și calculate asemănările.

HyDRA a fost comparat cu Transformatorul de Difuzie Forțată (DFoT) și Context-As-Memory, împotriva unui model de bază Wan2.1-T2V-1.3B echipat cu un codator de cameră (pentru a reprezenta punctul de vedere subiectiv comun tuturor clipurilor). Toate modelele au fost antrenate pe HM-World, iar WorldPlay a fost utilizat, de asemenea, ca o colecție de testare secundară zero-shot:

În comparațiile cantitative inițiale, HyDRA a depășit toate liniile de bază, ridicând PSNR de la 18,696 la 20,357 și SSIM de la 0,517 la 0,606. Acesta a realizat, de asemenea, cele mai mari scoruri de consistență contextuală și de referință, 0,827 și 0,849, cu consistența subiectului și a fundalului atingând 0,926 și 0,932:

Rezultatele comparației cantitative inițiale împotriva abordărilor anterioare.

DFoT a atins un PSNR de 17,693, iar Context-As-Memory a atins 18,921, cu câștigurile atribuite tokenizării de memorie combinată cu atenția de recuperare dinamică:

Comparație cantitativă care prezintă HyDRA împotriva stadiului actual al tehnologiei.

În ceea ce privește testele împotriva WorldPlay, autorii afirmă:

‘Metoda noastră depășește WorldPlay în toate metricele, cu o diferență notabilă de PSNR de 5,502. Deși WorldPlay prezintă o performanță mai scăzută în metricele de referință (de exemplu, PSNR de 14,855, DSCGT de 0,832) din cauza decalajului de distribuție a domeniului și a lipsei de finisare specifică, demonstrează o robustețe remarcabilă în metricele de context, atingând un DSCctx de 0,822.

‘Această observație nu numai că confirmă faptul că modelele extensiv antrenate posedă o consistență hibridă echitabilă, dar validează, de asemenea, raționalitatea metricilor noastre propuse DSC în reflectarea consistenței subiectului dinamic.

‘În cele din urmă, aceste rezultate impresionante subliniază capacitățile excepționale ale modelului nostru, demonstrând superioritatea sa chiar și față de modelele comerciale stabilite.’

Articolul oferă o reprezentare statică a comparațiilor calitative întreprinse pentru testele:

Comparație calitativă a intrării și ieșirii sub mișcarea camerei. Autorii afirmă că HyDRA păstrează identitatea subiectului, poziția și continuitatea mișcării după ce subiectul iese și reintră în cadru, apropiindu-se îndeaproape de imaginea de referință, în timp ce metodele concurente prezintă derapaje, mișcări incoerente sau degradări ale subiectului, evidențiate în roșu (recuperările consistente sunt marcate în verde).

Despre aceste rezultate, autorii comentează:

‘În cazul evenimentelor de intrare/ieșire complexe, liniile de bază și Context-As-Memory prezintă o distorsionare severă a subiectului și o incoerență a mișcării. DFoT nu reușește să mențină integritatea subiectului, ceea ce duce la dispariția completă. În timp ce WorldPlay reușește să păstreze consistența aspectului subiectului, suferă de mișcări sacadate și acțiuni ne naturale.

‘În contrast, metoda noastră reușește să mențină consistența hibridă, păstrând atât identitatea, cât și coerența mișcării subiectului după ce acesta reintră în cadru.’

Mai multe rezultate pot fi văzute în format video la site-ul suplimentar, din care primele patru exemple au fost asamblate (de noi) în videoclipul de mai jos:

Apăsați pentru a reda. Patru dintre cele șase rezultate testate prezentate pe site-ul proiectului. Sursă 

Concluzie

Deși orice încercare de a aborda una dintre cele mai mari probleme ale generatorului de videouri IA este binevenită, pare inevitabil pentru mine că soluția optimă pentru problemele de intrare/ieșire de acest tip va fi, așa cum a fost și în cazul CGI-ului, sub forma unor materiale de referință distincte care pot fi editate și aduse într-un spațiu de compozit.

Acest lucru de a încerca să păstreze o încorporare vie într-un mod ad-hoc și pe loc pare epuizant și nu oferă nicio cale clară de urmat pentru consistența intra-cadru oferită acum la diverse portaluri black-box, cum ar fi Runway. Dacă se dovedește că o următoare cadru va necesita acces la spațiul latent al cadrului anterior, de ce nu avea ambele instanțe un încorporare distinctă și separată a caracterului?

* Nimeni altcineva nu a numit-o, și discuția este dificilă fără termeni comuni.

** Este raportat în prezent ca fiind ‘curând’, pe pagina proiectului.

Publicat pentru prima dată vineri, 27 martie 2026