Să dăm videoclipurilor generate de IA amintiri despre trecut

În martie, am analizat dificultatea pe care o întâmpină videoclipurile generate de IA când vine vorba să-și amintească lucrurile și locurile pe care le-au văzut, pentru a le putea reproduce a doua oară și a oferi coerență vizuală.

În practică, problema face ca, într-un model al lumii generat de IA, să poți trece printr-o ușă, să te întorci zece secunde mai târziu și să constați că ușa pe care ai traversat-o nu mai este acolo.

Nu este o eroare banală de remediat: pentru că videoclipurile generate de IA inventează în permanență „următorul lucru” cu care trebuie să se confrunte, nu pot să-și amintească prea bine lucrurile din trecut sau orice a ieșit din restrânsa lor fereastră de context.

Asta înseamnă că explorarea unui model al lumii antrenat cu IA nu seamănă cu explorarea unui mediu CGI construit prin modelare, în care texturile și geometria sunt fixe și salvate ca date vectoriale și bitmap. În schimb, seamănă cu o plimbare printr-un vis alcătuit din probabilități aproximative: s-ar putea să întâlnești de două ori exact același lucru, dar numai pentru că a fost recreat a doua oară din spațiul latent, pe baza contextului, nu pentru că modelul își amintește că l-a creat sau l-a văzut.

Astfel, modelul mediu al lumii pentru videoclipuri generate cu IA seamănă cu o persoană care suferă de amnezie anterogradă, cu memorie perfectă pentru tot ce s-a întâmplat înaintea unui eveniment cerebral — cum ar fi un accident vascular cerebral sau o leziune —, dar care nu poate forma amintiri noi de la incident încoace (o afecțiune făcută cunoscută de personajul interpretat de Guy Pearce în Memento [2000], prezentat în imaginea principală a articolului).

Prin urmare, modelele video păstrează o înțelegere profundă și puternic înrădăcinată a numeroase domenii, dar nu au capacitatea de a-și aminti nimic nou.

Urma firimiturilor de pâine

Soluția HyDRA despre care am scris în martie se baza pe folosirea unei „bănci de memorie” cu jetoane vizuale comprimate, care le-ar fi permis personajelor generate de IA să iasă din cadru și să revină cu aceeași înfățișare ca la prima apariție.

Există și alte metode care folosesc această abordare a „firimiturilor de pâine”; totuși, generarea și păstrarea în urmă a unei geometrii 3D complexe rezolvă problema cu prețul unui fișier mai mare, al unei reactivități reduse, al unei latențe mai ridicate și al altor posibile blocaje.

Printre aceste „modele ale lumii ancorate în 3D” se numără Gen3C, coordonat de NVIDIA, a cărui abordare HyDRA folosește metoda cea mai obișnuită pentru a rezolva această problemă: transformă ceea ce „vede” în nori de puncte, adică, în esență, o geometrie 3D simplificată:

Faceți clic pentru redare. Abordarea HyDRA folosește o memorie cache persistentă cu nori de puncte 3D pentru a ghida generarea video, păstrând coerența scenei pe măsură ce camera se deplasează și zonele văzute anterior reapar. Sursa

Există și alte abordări similare, precum VMEM, lansată de Universitatea Oxford în 2025, și colaborarea SPMem, coordonată de Universitatea Stanford, din aceeași perioadă:

Faceți clic pentru redare. Din colaborarea SPMem, coordonată de Universitatea Stanford, care combină o hartă 3D persistentă a decorului static cu cadre video recente pentru redarea mișcării și cu anumite cadre mai vechi pentru detalii vizuale, ajutând modelul să-și amintească locurile când le vizitează din nou. Sursa 

Dar orice geometrie 3D presupune multă muncă și solicită intens resursele necesare inferenței. Nu este ușor să te deplasezi printr-un mediu și să-l „construiești” în permanență, așa cum ar putea face un artist CGI. În plus, orice alte clipuri, perspective sau cadre vor trebui să poată face trimitere ulterior la geometria creată, ceea ce este dificil de realizat.

Note mai ușoare

Cea mai recentă inițiativă în domeniul „memoriei video pentru IA” este o nouă colaborare coordonată de Tsinghua University, intitulată Memorie planară persistentă pentru modele video ale lumii:

Faceți clic pentru redare. Pe site-ul proiectului inițiativei PPMem, coordonate de Tsinghua, este prezentat un exemplu de funcționare a sistemului. PPMem înlocuiește memoria volumetrică 3D folosită de proiectul anterior SPMem cu o colecție mai compactă de suprafețe plane, pe care le actualizează și le reutilizează pe măsură ce se deplasează camera, pentru a păstra coerența mediilor văzute anterior. Sursa 

După cum se vede în secvența video de mai sus*, PPMem îmbunătățește abordările anterioare folosind o reprezentare mai compactă a mediului 3D. În loc să stocheze milioane de puncte individuale pentru a reconstrui mediile văzute anterior, sistemul identifică suprafețe plane, precum pereți, podele și mobilier, și le stochează ca planuri geometrice reutilizabile, numite primitive plane. Acestea sunt adăugate continuu într-o memorie locală persistentă, pe măsură ce sunt generate părți noi ale mediului:

Două exemple în care PPMem generează video construind, în același timp, o memorie 3D persistentă. Fiecare exemplu începe cu o imagine de intrare în stânga, iar dedesubt este indicat traseul planificat al camerei. Urmărind cadrele numerotate de la stânga la dreapta pe primul rând, apoi pe al doilea, vedem camera explorând un magazin sau o grădină. Inserțiile mici și colorate arată cum se acumulează suprafețele 3D stocate pe măsură ce camera înaintează, păstrând decorurile explorate anterior. Sursa

Când camera revine într-un loc vizitat anterior, planurile stocate sunt proiectate din nou în câmpul său vizual, ghidând generarea unor cadre noi și reducând volumul de informații spațiale care trebuie păstrat și procesat. Acest lucru ajută, de asemenea, la împiedicarea modificării sau dispariției obiectelor și decorurilor familiare între vizite.

Utilizarea primitivelor plane – obiecte parametrice definite prin vectori matematici – oferă o soluție mai agilă și mai eficientă la „abordarea bazată pe firimituri de pâine”, susțin autorii:

„Un model care generează lumi întregi, nu doar clipuri scurte, are nevoie de o memorie compactă și structurată, similară, a ceea ce a produs. Primitivele plane sunt o alegere firească pentru acest rol.

„Fiecare primitivă este definită de doar 7 numere (o adâncime centrală, două dimensiuni ale dreptunghiului și un cuaternion de rotație), care reprezintă explicit structura geometrică 3D și o fac cu ordine de mărime mai compactă decât reprezentările per pixel.”

Faceți clic pentru redare dacă este necesar. Ansamblurile ușoare de primitive plane generate de PPMem pot surprinde și păstra atât detalii, cât și geometria de ansamblu, pe măsură ce camera traversează modelul lumii. Porțiunile verzi ilustrate mai sus sunt păstrate în memorie pe măsură ce sunt transformate din întunecat>verde.

Măsura în care astfel de planuri pot reprezenta o lume explorată este, în mod firesc, limitată de memorie și de alte blocaje previzibile. Prin urmare, nu ar fi posibil să cutreieri lumea ore întregi și să te întorci găsind totul așa cum ai lăsat; totuși, acest tip de restricție „bazată pe niveluri” le va fi familiar pasionaților de jocuri video, ale căror resurse locale, puternice, dar finite, tind să ofere cele mai bune rezultate în condiții cât mai restrânse:

Faceți clic pentru redare. În PPMem, pe măsură ce camera traversează un mediu, lasă în urmă „planuri” ușoare (reprezentate de zonele verzi), care redau ceea ce a văzut și vor fi în continuare acolo dacă aceasta se întoarce să exploreze din nou zona.

Așadar, mai sus putem vedea cum este „cartografiat” un astfel de nivel, cameră cu cameră, până când întregul etaj devine verde și poate fi explorat liber, fiind nevoie mai puțin (dar nu deloc) să fie generate alte planuri.

Metodă

PPMem a fost dezvoltat pornind de la Wan2.2-TI2V-5B (și nu de la Wan2.1-T2V-1.3B, utilizat de HyDRA), un model de difuzie video cu cinci miliarde de parametri, la care a fost adăugat un sistem de predicție geometrică adaptat din Plana3R. Arhitectura video de bază existentă a fost păstrată, iar pentru extragerea informațiilor geometrice din reprezentările sale interne a fost introdusă o cale de procesare separată:

Schema sistemului PPMem de generare video și memorare 3D. Calea de sus produce videoclipul, în timp ce calea de jos înregistrează formele și pozițiile suprafețelor vizibile. Acestea sunt adăugate în memoria stocată în dreapta, care este apoi folosită pentru a ghida următoarea secvență video. Săgețile de jos arată cum sunt transmise înapoi în sistem aceste informații.

În prima dintre cele două etape de antrenare, Wan 2.2 a fost ajustat fin pentru generarea video controlată de cameră, folosind vederi proiectate ale imaginii-sursă și ale cadrelor anterioare pentru a stabili mișcarea dorită a camerei. Apoi, arhitectura video de bază a fost înghețată, iar noile componente geometrice au fost antrenate independent.

Pentru antrenare au fost folosite peste 80,000 de clipuri din DL3DV și RealEstate10K, la o rezoluție de 576×1024. Informațiile de adâncime de referință au fost obținute cu ajutorul MoGe-2, iar distanțele estimate au fost aliniate la reconstrucțiile 3D produse de VGGT.

Prin urmare, sistemul PPMem de predicție a planurilor a fost antrenat să estimeze adâncimea și orientarea suprafețelor, iar rezultatele au fost verificate prin comparare cu geometria de referință. Suprafețele redate au fost supuse unei antrenări suplimentare pentru a le îmbunătăți concordanța cu scenele reconstruite.

Pentru a introduce procesarea specifică geometriei fără a modifica modelul video de bază, a fost folosită adaptarea de rang redus (LoRA).

În timpul inferenței, procesul obișnuit de generare video este finalizat cu aceste adaptări dezactivate, apoi se efectuează o etapă separată de procesare pentru extragerea geometriei, astfel încât cele două operații să rămână, în esență, independente.

Videoclipul este apoi generat în segmente de aproximativ 25 de cadre, folosind mișcările de cameră prevăzute pentru a pregăti informațiile vizuale și spațiale necesare fiecărei secvențe noi. Acestea includ vederi proiectate ale decorurilor generate anterior, măști care indică zonele vizibile și informații despre adâncime derivate din geometria acumulată.

Pentru a îmbunătăți predicția suprafețelor noi, informațiile despre adâncime stocate sunt apoi combinate cu înțelegerea deja existentă a scenei de către model, cu ajutorul unui transformator vizual bazat pe DINOv2-Base.

În timpul antrenării, anumite porțiuni din hărțile de adâncime au fost omise prin mascarea selectivă, obligând modelul să prezică geometria suprafețelor pe baza unor date spațiale incomplete și îmbunătățindu-i capacitatea de generalizare.

După generarea geometriei noi, setul de plane este rafinat prin verificarea suprafețelor suprapuse și ascunse, eliminând estimările mai puțin fiabile atunci când devin disponibile observații mai bune. Astfel, reprezentarea stocată poate fi corectată treptat pe măsură ce se deplasează camera, în loc să acumuleze pur și simplu, la nesfârșit, fiecare predicție a suprafețelor.

Rezultate

În cadrul testelor, metoda a fost evaluată în comparație cu Gen3C, Voyager, VMEM și SPMem, folosind codul și parametrii impliciți din depozitul de cod al fiecăruia.

Metricile utilizate au fost raportul semnal-zgomot de vârf (PSNR), metricile de similaritate perceptuală învățate (LPIPS), similaritatea CLIP și similaritatea DINOv2 (pentru excepții detaliate, consultați lucrarea).

În primul test, PPMem a fost comparat cu celelalte metode pe seturile de date DL3DV și RealEstate10K, iar calitatea videoclipurilor a fost evaluată pe secvențe de 49 și 121 de cadre:

Comparație a calității videoclipurilor generate de PPMem, Gen3C, Voyager, VMem și SPMem pe seturile de date DL3DV și RealEstate10K, pentru secvențe de 49 și 121 de cadre. PPMem a obținut cele mai bune scoruri sau scoruri la egalitate pe toate cele patru metrici, iar avantajul său a crescut, în general, odată cu lungimea secvențelor.

Despre aceste rezultate, autorii afirmă:

„PPMem obține cele mai bune rezultate la toate metricile, pe ambele seturi de date și pentru ambele lungimi ale secvențelor, deși folosește un model de bază mai mic (Wan 2.2 5B) decât Gen3C (Cosmos 7B) și Voyager (HunyuanVideo ∼13B).”

PPMem a fost testat și pentru capacitatea de a estima distanțele dintre cameră și obiecte sau suprafețe. Pe parcursul a 121 de cadre din DL3DV, au fost obținute estimări mai precise ale adâncimii decât cu Voyager, singurul model concurent capabil să genereze simultan videoclipuri și informații despre adâncime, notează autorii.

În cel de-al doilea test, de natură calitativă, a fost comparată capacitatea metodelor de a menține decoruri coerente pe măsură ce camera se deplasa prin scenele DL3DV, pe parcursul a 300–400 de cadre. PPMem a păstrat mai bine aspectul și structura împrejurimilor văzute anterior decât modelele concurente, iar avantajul său a crescut pe măsură ce secvențele au continuat:

Apasă pentru redare. Deși putem reproduce rezultatele doar la o rezoluție mai mică decât cea originală, am considerat că videoclipul ilustrează mai bine rezultatele decât imaginile statice din lucrare și îndrumăm cititorii către versiunea de calitate superioară de pe site-ul proiectului PPMem.

Autorii afirmă:

„PPMem menține cea mai mare fidelitate perceptuală pe tot parcursul secvenței, iar diferența crește în timp — cel mai pronunțat în cazul DINOv2, unde PPMem depășește următoarea cea mai bună metodă cu ∼0,27 la cadrul 300.”

Comparație între cadrele video generate de Gen3C, VMem, SPMem, Voyager și PPMem în șase puncte ale unei secvențe de 288 de cadre, alături de înregistrarea originală (materialul de referință). Pe măsură ce camera se deplasează, PPMem păstrează mai consecvent aspectul stratului de flori și al decorului înconjurător, în timp ce metodele concurente distorsionează tot mai mult imaginea sau pierd detalii.

Lucrarea menționează că, după aproximativ 400 de cadre video, o întreagă scenă explorată poate fi reprezentată în PPMem prin aproximativ 100.000 de primitive de plan, ocupând doar 5 MB de memorie.

Deoarece aceasta este de aproximativ o mie de ori mai compactă decât stocarea aceluiași decor sub formă de puncte individuale într-un nor de puncte 3D dens, lucrarea, care ar fi putut fi considerată un progres incremental într-o direcție de cercetare deja consacrată, pare să aducă o îmbunătățire substanțială aspectelor logistice ale acestei arhitecturi.

Concluzie

Deși noua lucrare reprezintă o evoluție interesantă în limitele și parametrii problemei vizate, încă lucrăm într-o paradigmă în care explorarea aleatorie a spațiului latent al unui model al lumii împrăștie geometrii în toate părțile, asemenea spumei persistente; geometrii care ar putea fi necesar să fie recuperate în scene ulterioare sau pentru contexte viitoare.

Operațiunea de recuperare este mult mai haotică decât importarea mesh-urilor CGI tradiționale și a texturilor aplicate pe acestea. S-ar putea susține că întreaga abordare este „oarecum pe dos”: în mod ideal, modelele AI ar trebui să poată regăsi și consulta elemente fixe printr-un anumit tip de sistem RAG sau de căutare, păstrând în același timp flexibilitatea și libertatea creativă de a naviga prin spațiul latent.

E mult de cerut, dar metoda „firimiturilor” mi se pare echivalentul soluțiilor bizare care au precedat apariția fraților Wright.

* Pentru videoclipul integral, accesați site-ul proiectului.

Publicat pentru prima dată marți, 20 octombrie 2026