At give AI-video lidt erindring om svundne tider

Tilbage i marts undersøgte vi, hvor svært det er for generativ AI-video at huske ting og steder, den har set, så den kan genskabe dem endnu en gang og sikre visuel konsistens.

I praksis betyder problemet, at du kan gå gennem en dør i en AI-verdensmodel, vende dig om ti sekunder senere og opdage, at døren, du kom igennem, ikke længere er der.

Det er ikke en bagatel, der er let at rette: Generativ AI-video opfinder hele tiden »det næste«, den skal forholde sig til, og kan derfor ikke rigtig huske noget, der ligger ret langt tilbage, eller noget, der er faldet uden for dens begrænsede kontekstvindue.

Det betyder, at det ikke er som at udforske et modelleret CGI-miljø, når man udforsker en trænet AI-verdensmodel. Her er teksturerne og geometrien faste og gemt som vektor- og bitmapdata. I stedet er det som at gå gennem en drøm af tilnærmede sandsynligheder – man kan måske finde præcis det samme to gange, men kun fordi det blev fremkaldt igen fra det latente rum via konteksten, ikke fordi modellen faktisk husker at have skabt eller set det.

Den gennemsnitlige genAI-verdensmodel minder således om en person med anterograd amnesi, som har fuld erindring om alt før en hændelse i hjernen – for eksempel et slagtilfælde eller en skade – men ikke kan danne nye minder siden hændelsen (en tilstand, der blev kendt af offentligheden gennem Guy Pearces karakter, som lider af den i Christopher Nolans Memento [2000], der optræder på hovedartiklens billede).

På den måde rummer videomodeller en dyb og solidt forankret forståelse af mange domæner, men mangler evnen til at huske noget nyt.

Spor af brødkrummer

HyDRAs løsning, som vi så nærmere på i marts, byggede på en »hukommelsesbank« med komprimerede visuelle tokens, der gjorde det muligt for AI-genererede figurer at bevæge sig uden for skærmen og vende tilbage i samme skikkelse som første gang, de blev set.

Der findes en række andre metoder, der anvender denne »brødkrummestrategi«. Men at generere og efterlade kompleks 3D-geometri løser problemet på bekostning af filstørrelse, reaktionsevne, forsinkelse og andre mulige flaskehalse.

Blandt disse »3D-forankrede verdensmodeller« er den NVIDIA-ledede Gen3C, hvis HyDRA-metode benytter den mest almindelige tilgang til at løse netop dette problem: Den omdanner det, den »ser«, til punktskyer, som i bund og grund er forenklet 3D-geometri:

Klik for at afspille. HyDRA-metoden bruger en vedvarende cache med 3D-punktskyer til at styre videogenereringen og bevare sammenhængen i scenen, mens kameraet bevæger sig, og tidligere sete områder dukker op igen. Kilde

Der findes andre lignende tilgange, for eksempel Oxford Universitys VMEM fra 2025 og det Stanford-ledede samarbejde SPMem fra samme periode:

Klik for at afspille. Fra det Stanford-ledede samarbejde SPMem, som kombinerer et vedvarende 3D-kort over statiske omgivelser med nyere videobilleder til bevægelse og udvalgte ældre billeder med visuelle detaljer, hvilket hjælper modellen med at huske steder, når den besøger dem igen. Kilde 

Men al 3D-geometri er ressourcekrævende og stiller store krav til inferensen. Det er ikke let at bevæge sig rundt i et miljø og hele tiden »bygge« det, sådan som en CG-kunstner måske ville gøre. Desuden skal andre klip, synsvinkler eller optagelser senere kunne trække på den skabte geometri, hvilket er en udfordring.

Lettere noter

Det seneste bidrag til »AI-videohukommelse« er et nyt samarbejde ledet af Tsinghua University med titlen Persistent Planar Memory for Video World Models:

Klik for at afspille. Her er et eksempel på systemet i brug fra projektsiden for det Tsinghua-ledede PPMem-initiativ. PPMem erstatter den volumetriske 3D-hukommelse, som det tidligere projekt SPMem brugte, med en mere kompakt samling af flade overflader. De opdateres og genbruges, efterhånden som kameraet bevæger sig, så tidligere sete miljøer forbliver sammenhængende. Kilde 

Som det fremgår af videoklippet ovenfor*, forbedrer PPMem de tidligere tilgange ved at bruge en mere kompakt repræsentation af 3D-miljøet. I stedet for at gemme millioner af individuelle punkter for at rekonstruere tidligere sete miljøer identificerer systemet flade overflader som vægge, gulve og møbler og gemmer dem som genanvendelige geometriske planer, kaldet planprimitive. Disse føjes løbende til en vedvarende lokal hukommelse, efterhånden som nye dele af miljøet genereres:

To eksempler på, hvordan PPMem genererer video, samtidig med at systemet opbygger en vedvarende 3D-hukommelse. Hvert eksempel begynder med et inputbillede til venstre, og kameraets planlagte rute vises nedenunder. Når man læser de nummererede billeder fra venstre mod højre i øverste række og derefter i nederste række, ser man kameraet udforske en butik eller en have. De små farvede indfelter viser, hvordan de lagrede 3D-overflader gradvist hober sig op undervejs, så allerede udforskede omgivelser bevares. Kilde

Når kameraet vender tilbage til et tidligere sted, projiceres de lagrede planer tilbage i dets synsfelt. Det guider genereringen af nye billeder og reducerer mængden af rumlig information, der skal gemmes og behandles. Det hjælper også med at forhindre, at velkendte genstande og omgivelser ændrer sig eller forsvinder mellem besøgene.

Brugen af planprimitive – parametriske objekter defineret ved hjælp af matematiske vektorer – giver ifølge forfatterne en mere smidig og effektiv løsning på »brødkrummemetoden«:

»En model, der genererer hele verdener og ikke kun korte klip, har brug for en tilsvarende kompakt, struktureret hukommelse over det, den har skabt. Planprimitive er et oplagt valg til denne opgave.

»Hver primitiv beskrives med blot 7 tal (en centerdybde, to rektangulære udstrækninger og en rotationskvaternion), som eksplicit repræsenterer den tredimensionelle geometriske struktur, og er flere størrelsesordener mere kompakt end repræsentationer pr. pixel.«

Klik for at afspille, hvis det er nødvendigt. Lette samlinger af planprimitive, der genereres af PPMem, kan indfange og fastholde både detaljer og overordnet geometri, mens kameraet bevæger sig gennem verdensmodellen. De grønne områder, der er visualiseret ovenfor, bevares i hukommelsen, efterhånden som de kortlægges fra mørk>grøn.

Hvor meget sådanne planer kan repræsentere af en udforsket verden, begrænses naturligt af hukommelsen og andre forudsigelige flaskehalse. Det betyder, at man ikke kan vandre rundt i verden i timevis og vende tilbage til alt, præcis som man efterlod det. Men denne form for »niveauopdelt« begrænsning vil være velkendt for videospilsentusiaster, hvis kraftfulde, men begrænsede lokale ressourcer typisk giver de bedste resultater under de mest afgrænsede forhold:

Klik for at afspille. I PPMem efterlader kameraet lette »planer« (vist med de grønne områder), mens det bevæger sig gennem et miljø. Planerne repræsenterer det, kameraet så, og er stadig til stede, hvis kameraet senere skulle bevæge sig tilbage.

Ovenfor kan vi derfor se et sådant niveau blive »kortlagt« rum for rum, indtil hele etagen er grøn og kan udforskes frit, uden at der er lige så stort behov for at generere flere planer – selvom behovet ikke forsvinder helt.

Metode

PPMem blev udviklet med udgangspunkt i Wan2.2-TI2V-5B (i stedet for Wan2.1-T2V-1.3B, som HyDRA bruger), en videogenereringsmodel baseret på diffusion med fem milliarder parametre, og med tilføjelse af et system til geometriforudsigelse, der er tilpasset fra Plana3R. Den eksisterende videomodel blev bevaret, mens der blev indført en separat behandlingsvej til at udtrække geometriske oplysninger fra modellens interne repræsentationer:

Diagram over PPMems system til videogenerering og 3D-hukommelse. Den øverste vej genererer videoen, mens den nederste registrerer de synlige overfladers former og positioner. Disse føjes til den lagrede hukommelse til højre, som derefter bruges til at styre det næste videosegment. Pilene nederst viser, hvordan disse oplysninger føres tilbage ind i systemet.

I den første af to træningsfaser blev Wan 2.2 finjusteret til kamerastyret videogenerering. Projicerede visninger af kildebilledet og tidligere billeder blev brugt til at fastlægge den tilsigtede kamerabevægelse. Derefter blev videomodellens parametre frosset, og de nye geometrikomponenter blev trænet uafhængigt.

Til træningen blev der brugt mere end 80.000 klip fra DL3DV og RealEstate10K i en opløsning på 576×1024. Referencedybdeoplysninger blev hentet fra MoGe-2, og de estimerede afstande blev tilpasset 3D-rekonstruktioner fremstillet af VGGT.

PPMems system til forudsigelse af planer blev således trænet til at estimere overfladers dybde og orientering, og resultaterne blev kontrolleret i forhold til referencegeometrien. Der blev desuden trænet yderligere på de gengivne overflader for at få dem til bedre at stemme overens med de rekonstruerede scener.

Lavrangsadaptation (LoRA) blev brugt til at indføre geometrispecifik behandling uden at ændre den underliggende videomodel.

Under inferens gennemføres den normale videogenerering med disse tilpasninger slået fra. Derefter udføres en separat behandlingsrunde for at udtrække geometrien, så de to operationer forbliver stort set uafhængige.

Videoen genereres derefter i segmenter på cirka 25 billeder, hvor de tilsigtede kamerabevægelser bruges til at forberede de visuelle og rumlige oplysninger, der er nødvendige for hver ny sekvens. Det omfatter projicerede visninger af tidligere genererede omgivelser, masker, der angiver, hvilke områder der er synlige, samt dybdeinformation udledt af den opsamlede geometri.

For at forbedre forudsigelsen af nye overflader kombineres de lagrede dybdeoplysninger derefter med modellens eksisterende forståelse af scenen ved hjælp af en visuel transformer baseret på DINOv2-Base.

Under træningen blev dele af dybdekortene holdt tilbage ved hjælp af selektiv maskering, så modellen blev nødt til at forudsige overfladegeometrien ud fra ufuldstændige rumlige data, hvilket forbedrede generaliseringen.

Når den nye geometri er genereret, forfines puljen af planflader ved at kontrollere, om overflader overlapper eller skjules, og mindre pålidelige estimater fjernes, når der bliver tilgængelige bedre observationer. Det gør det muligt at korrigere den lagrede repræsentation løbende, efterhånden som kameraet bevæger sig, i stedet for blot at ophobe alle overfladeforudsigelser på ubestemt tid.

Resultater

I testene blev metoden afprøvet mod Gen3C, Voyager, VMEM og SPMem, alle med standardkoden og -parametrene fra deres respektive kodearkiver.

De anvendte målinger var maksimalt signal-støj-forhold (PSNR), indlærte perceptuelle lighedsmål (LPIPS), CLIP-lighed og DINOv2-lighed (se artiklen for detaljer om undtagelser).

I den første test blev PPMem sammenlignet med de øvrige modeller på datasættene DL3DV og RealEstate10K, hvor videokvaliteten blev vurderet over sekvenser på 49 og 121 billeder:

Sammenligning af videokvaliteten for PPMem, Gen3C, Voyager, VMem og SPMem på DL3DV og RealEstate10K over 49 og 121 billeder. PPMem opnåede de bedste eller delt bedste resultater på alle fire målinger, og fordelen blev generelt større i længere sekvenser.

Om disse resultater skriver forfatterne:

‘PPMem opnår de bedste resultater på alle målinger på begge datasæt og med begge billedbudgetter, selv om den bruger en mindre grundmodel (Wan 2.2 5B) end Gen3C (Cosmos 7B) og Voyager (HunyuanVideo ∼13B). T’

PPMem blev også testet for sin evne til at estimere afstanden fra kameraet til objekter og overflader. Forfatterne bemærker, at der på tværs af 121 billeder fra DL3DV blev opnået mere præcise dybdeestimater end med Voyager, den eneste konkurrerende model, der kan generere video og dybdeinformation på samme tid.

I den anden, kvalitative test blev de konkurrerende modellers evne til at bevare ensartede omgivelser sammenlignet, mens kameraet bevægede sig gennem scener fra DL3DV over 300–400 billeder. PPMem bevarede udseendet og strukturen af tidligere sete omgivelser bedre end de konkurrerende modeller, og fordelen blev større, efterhånden som sekvenserne fortsatte:

Klik for at afspille. Selvom vi kun kan gengive resultaterne i en lavere opløsning end originalen, syntes vi, at videoen illustrerede dem bedre end de statiske resultater i artiklen. Vi henviser derfor læserne til versionen i højere kvalitet på PPMems projektside.

Her skriver forfatterne:

‘PPMem bevarer den højeste perceptuelle troværdighed hele vejen igennem, og forskellen bliver større med tiden – mest markant på DINOv2, hvor PPMem fører med ∼0.27 i forhold til den næstbedste metode ved billede 300.’

Sammenligning af videobilleder genereret af Gen3C, VMem, SPMem, Voyager og PPMem på seks tidspunkter i en sekvens på 288 billeder sammen med de oprindelige optagelser (Ground Truth). PPMem bevarer blomsterbedets udseende og de omkringliggende omgivelser mere konsekvent, efterhånden som kameraet bevæger sig, mens de konkurrerende metoder i stigende grad forvrænger eller mister detaljer.

Artiklen bemærker, at efter omkring 400 videobilleder kan en hel udforsket scene repræsenteres i PPMem af cirka 100.000 planprimitive, som kun optager 5 MB hukommelse.

Da dette er omkring tusind gange mere kompakt end at lagre de samme omgivelser som individuelle punkter i en tæt 3D-punktsky, ser en artikel, der kunne være blevet betragtet som et mindre fremskridt inden for et etableret forskningsspor, ud til at byde på en væsentlig forbedring af denne arkitekturs praktiske ressourceforbrug.

Konklusion

Selvom den nye artikel er en spændende udvikling inden for målproblemets rammer og parametre, arbejder vi stadig inden for et paradigme, hvor tilfældig udforskning af en verdensmodels latente rum spreder geometri omkring sig som vedvarende skum – geometri, der måske skal genskabes i senere scener eller til senere sammenhænge.

Den genskabelsesproces er langt mere rodet end at indlæse traditionelle CGI-netmasker og teksturer med indpakning. Man kan argumentere for, at hele denne tilgang er »lidt bagvendt«: AI-modeller burde ideelt set kunne hente og referere til faste aktiver via en eller anden form for RAG- eller opslagssystem, samtidig med at de bevarer fleksibiliteten og den kreative frihed ved at bevæge sig gennem det latente rum.

Det er meget at forlange, men »brødkrum Jesporet« forekommer mig at svare til de besynderlige løsninger, der gik forud for Wright-brødrene.

* Se projektets websted for hele videoen.

Først offentliggjort tirsdag den 20. oktober 2026