Å gi AI-videoen minner om fortiden

I mars så vi nærmere på hvor vanskelig det er for generativ AI-video å huske ting og steder den har sett, slik at den kan gjenskape dem senere og sørge for visuell konsistens.

Resultatet av problemet er at du kan gå gjennom en dør i en AI-verdensmodell, snu deg ti sekunder senere og oppdage at døren du kom gjennom, ikke lenger er der.

Det er ikke en bagatellmessig feil som er enkel å rette: Generativ AI-video finner stadig på «det neste» den må forholde seg til, og kan derfor ikke egentlig huske noe særlig langt tilbake eller noe som har falt utenfor det begrensede kontekstvinduet.

Det betyr at det å utforske en trent AI-verdensmodell ikke er som å utforske et modellert CGI-miljø, der teksturer og geometri er fastlagt og lagret som vektor- og punktgrafikkdata. Det er snarere som å gå gjennom en drøm basert på tilnærmede sannsynligheter – du kan finne nøyaktig det samme to ganger, men det er bare fordi det ble hentet fram på nytt fra det latente rommet ved hjelp av kontekst, ikke fordi modellen faktisk husker at den skapte eller så det.

Den gjennomsnittlige generative AI-verdensmodellen ligner dermed på en person med anterograd amnesi, som husker alt fra før en hjerneskade – for eksempel et hjerneslag eller en skade – men ikke kan danne nye minner etter hendelsen (en tilstand som ble kjent for et bredere publikum gjennom Guy Pearces rollefigur, som lider av den, i Christopher Nolans Memento [2000], som er avbildet i hovedartikkelens bilde).

På denne måten har videomodeller en dyp og grunnfestet forståelse av mange fagområder, men mangler evnen til å huske noe nytt.

Spor av brødsmuler

HyDRA-løsningen vi så nærmere på i mars, bygde på en «minnebank» med komprimerte visuelle symboler, som skulle gjøre det mulig for AI-genererte figurer å bevege seg ut av bildet og komme tilbake i samme skikkelse som da de først ble sett.

Det finnes en rekke andre metoder som bruker denne «brødsmule»-tilnærmingen. Å generere og etterlate seg kompleks 3D-geometri løser imidlertid problemet på bekostning av filstørrelse, responstid, forsinkelse og andre mulige flaskehalser.

Blant disse «verdensmodellene med 3D-grunnlag» finner vi den NVIDIA-ledede Gen3C. HyDRA-tilnærmingen der bruker den vanligste metoden for å løse akkurat dette problemet: Den gjør det modellen «ser», om til punktskyer, som i praksis er forenklet 3D-geometri:

Klikk for å spille av. HyDRA-tilnærmingen bruker en vedvarende hurtigbuffer med 3D-punktskyer til å styre videogenereringen. Den bevarer scenens konsistens mens kameraet beveger seg og tidligere viste områder dukker opp igjen. Kilde

Det finnes andre lignende tilnærminger, som Oxford Universitys VMEM fra 2025 og det Stanford-ledede samarbeidet SPMem fra samme periode:

Klikk for å spille av. Fra det Stanford-ledede samarbeidet SPMem, som kombinerer et vedvarende 3D-kart over statiske omgivelser med nyere videobilder som viser bevegelse, og utvalgte eldre bilder med visuelle detaljer. Dette hjelper modellen med å huske steder når den besøker dem på nytt. Kilde 

Men all 3D-geometri er krevende arbeid og stiller store krav til inferens. Det er ikke lett å bevege seg rundt i et miljø og hele tiden «bygge» det opp, slik en CG-kunstner kanskje ville gjort. I tillegg må andre klipp, synsvinkler og opptak kunne vise til geometrien som er opprettet, noe som er krevende å få til.

Lettere notater

Det nyeste bidraget til «AI-videominne» er et nytt samarbeid ledet av Tsinghua University, med tittelen Persistent Planar Memory for Video World Models:

Klikk for å spille av. Her er et eksempel på systemet i bruk, hentet fra prosjektnettstedet til det Tsinghua-ledede PPMem-initiativet. PPMem erstatter det volumetriske 3D-minnet fra det tidligere prosjektet SPMem med en mer kompakt samling flate overflater. Disse oppdateres og gjenbrukes etter hvert som kameraet beveger seg, slik at tidligere viste miljøer forblir konsistente. Kilde 

Som vist i videoklippet ovenfor* forbedrer PPMem de tidligere tilnærmingene ved å bruke en mer kompakt representasjon av 3D-miljøet. I stedet for å lagre millioner av enkeltpunkter for å rekonstruere miljøer som er vist tidligere, identifiserer systemet flate overflater, som vegger, gulv og møbler, og lagrer dem som gjenbrukbare geometriske plan, kalt planprimitive. Disse legges fortløpende til et vedvarende lokalt minne etter hvert som nye deler av miljøet genereres:

To eksempler på hvordan PPMem genererer video samtidig som det bygger opp et vedvarende 3D-minne. Hvert eksempel begynner med et inndatabilde til venstre, med kameraets planlagte rute vist nedenfor. Når man leser de nummererte bildene fra venstre mot høyre i første rad og deretter i andre rad, ser man kameraet utforske en butikk eller en hage. De små fargede innfelte bildene viser hvordan de lagrede 3D-overflatene bygger seg opp etter hvert som kameraet beveger seg, og bevarer landskapet som allerede er utforsket. Kilde

Når kameraet vender tilbake til et sted det har vært tidligere, projiseres de lagrede flatene tilbake inn i synsfeltet, der de bidrar til å styre genereringen av nye bilder og redusere mengden romlig informasjon som må lagres og behandles. Dette bidrar også til å hindre at kjente objekter og omgivelser endrer seg eller forsvinner mellom besøkene.

Bruken av planprimitiver – parametriske objekter definert av matematiske vektorer – gir en mer fleksibel og smidig løsning på «brødsmuletilnærmingen», hevder forfatterne:

«En modell som genererer hele verdener, ikke bare korte klipp, trenger et tilsvarende kompakt og strukturert minne over det den har produsert. Planprimitiver er et naturlig valg for denne rollen.

«Hver primitiv beskrives med bare 7 tall (en senterdybde, to rektangulære utstrekninger og en rotasjonskvaternion), som uttrykkelig representerer en geometrisk 3D-struktur, og er flere størrelsesordener mer kompakt enn representasjoner per piksel.»

Klikk for å spille av hvis nødvendig. Lette samlinger av planprimitiver generert av PPMem kan fange opp og bevare detaljer så vel som overordnet geometri mens kameraet beveger seg gjennom verdensmodellen. De grønne områdene som vises ovenfor, beholdes i minnet etter hvert som de kartlegges fra mørk>grønn.

Hvor godt slike plan kan representere en utforsket verden, begrenses naturlig nok av minne og andre forutsigbare flaskehalser. Det betyr at man ikke kan vandre rundt i verden i timevis og komme tilbake til alt slik man forlot det. Denne typen «nivåbasert» begrensning vil imidlertid være kjent for dataspillentusiaster, som med kraftige, men begrensede lokale ressurser ofte oppnår de beste resultatene under mest mulig avgrensede forhold:

Klikk for å spille av. I PPMem etterlater kameraet lette «plan» (vist som grønne områder) som representerer det det har sett, mens det beveger seg gjennom et miljø. Disse vil fortsatt være der hvis kameraet skulle vende tilbake.

Ovenfor kan vi altså se et slikt nivå bli «kartlagt», rom for rom, helt til hele etasjen er grønn og kan utforskes fritt, med mindre (men ikke helt uten) behov for å generere flere plan.

Metode

PPMem ble utviklet med utgangspunkt i Wan2.2-TI2V-5B (i stedet for Wan2.1-T2V-1.3B, som HyDRA bruker), en videodiffusjonsmodell med fem milliarder parametere, og med et system for geometriprediksjon tilpasset fra Plana3R. Den eksisterende videobasisarkitekturen ble beholdt, samtidig som det ble lagt til en separat behandlingsbane for å hente ut geometrisk informasjon fra modellens interne representasjoner:

Skjematisk fremstilling av PPMems system for videogenerering og 3D-minne. Den øvre banen produserer videoen, mens den nedre registrerer formene og posisjonene til synlige overflater. Disse legges til i minnet som er lagret til høyre, og brukes deretter til å styre den neste videosekvensen. Pilene nederst viser hvordan denne informasjonen føres tilbake inn i systemet.

I den første av to treningsfaser ble Wan 2.2 finjustert for videogenerering styrt av kameraet. Projiserte visninger av kildebildet og tidligere bilder ble brukt til å fastsette den planlagte kamerabevegelsen. Deretter ble videobasisarkitekturen fryst, og de nye geometrikomponentene ble trent uavhengig.

Til treningen ble det brukt mer enn 80 000 klipp fra DL3DV og RealEstate10K med en oppløsning på 576×1024. Referansedybdeinformasjon ble hentet fra MoGe-2, og de estimerte avstandene ble tilpasset 3D-rekonstruksjoner produsert av VGGT.

PPMems system for prediksjon av plan ble dermed trent til å estimere overflatedybde og -orientering, og resultatene ble kontrollert mot referansegeometri. Overflatene som ble gjengitt, ble også trent ytterligere for å samsvare bedre med de rekonstruerte scenene.

Lavrangsadaptasjon (LoRA) ble brukt til å innføre geometrispesifikk behandling uten å endre den underliggende videomodellen.

Under inferens gjennomføres den vanlige videogenereringsprosessen med disse tilpasningene deaktivert. Deretter kjøres en separat behandlingsrunde for å hente ut geometrien, slik at de to operasjonene i hovedsak kan forbli uavhengige.

Videoen genereres deretter i sekvenser på omtrent 25 bilder, der de planlagte kamerabevegelsene brukes til å klargjøre den visuelle og romlige informasjonen som trengs for hver nye sekvens. Dette omfatter projiserte visninger av tidligere generert landskap, masker som viser hvilke områder som er synlige, og dybdeinformasjon utledet fra den akkumulerte geometrien.

For å forbedre prediksjonen av nye overflater kombineres den lagrede dybdeinformasjonen deretter med modellens eksisterende forståelse av scenen ved hjelp av en visuell transformer basert på DINOv2-Base.

Under treningen ble deler av dybdekartene holdt tilbake ved hjelp av selektiv maskering. Dermed måtte modellen predikere overflategeometri ut fra ufullstendige romlige data, noe som forbedret generaliseringsevnen.

Når ny geometri er generert, finjusteres planbassenget ved å kontrollere om overflater overlapper eller er skjult. Mindre pålitelige estimater fjernes når bedre observasjoner blir tilgjengelige. Dette gjør at den lagrede representasjonen kan korrigeres trinnvis etter hvert som kameraet beveger seg, i stedet for at alle prediksjoner av overflater bare samles opp på ubestemt tid.

Resultater

I testene ble metoden prøvd mot Gen3C, Voyager, VMEM og SPMem, alle med standardkoden og standardparameterne fra de respektive repositoriene.

Målemetodene som ble brukt, var toppforholdet mellom signal og støy (PSNR), innlærte mål på perseptuell likhet (LPIPS), CLIP-likhet og DINOv2-likhet (se artikkelen for detaljer om unntak).

I den første testen ble PPMem sammenlignet med konkurrentene på datasettene DL3DV og RealEstate10K, og videokvaliteten ble vurdert over sekvenser på 49 og 121 bilder:

Sammenligning av videokvaliteten til PPMem, Gen3C, Voyager, VMem og SPMem på DL3DV og RealEstate10K over 49 og 121 bilder. PPMem oppnådde de beste eller delt beste resultatene på alle fire måleparametrene, og forspranget økte generelt med lengre sekvenser.

Om disse resultatene skriver forfatterne:

‘PPMem oppnår de beste resultatene på alle måleparametrene i begge datasettene og med begge sekvenslengdene, selv om basismodellen er mindre (Wan 2.2 5B) enn Gen3C (Cosmos 7B) og Voyager (HunyuanVideo ∼13B). T’

PPMem ble også testet for evnen til å anslå avstanden fra kameraet til objekter og overflater. Forfatterne påpeker at modellen ga mer nøyaktige dybdeestimater enn Voyager på tvers av 121 bilder fra DL3DV. Voyager var den eneste konkurrerende modellen som kunne generere video og dybdeinformasjon samtidig.

I den andre, kvalitative testen sammenlignet man hvor godt konkurrentene klarte å bevare et konsistent landskap mens kameraet beveget seg gjennom DL3DV-scener over 300–400 bilder. PPMem bevarte utseendet og strukturen til tidligere viste omgivelser bedre enn de konkurrerende modellene, og forspranget økte etter hvert som sekvensene fortsatte:

Klikk for å spille av. Selv om vi bare kan gjengi resultatene med lavere oppløsning enn originalen, syntes vi videoen illustrerte resultatene bedre enn de statiske bildene i artikkelen. Vi viser derfor til versjonen med bedre kvalitet på PPMems prosjektside.

Her skriver forfatterne:

‘PPMem opprettholder den høyeste perseptuelle nøyaktigheten gjennom hele sekvensen, og forspranget øker over tid – tydeligst for DINOv2, der PPMem leder den nest beste metoden med ∼0.27 ved bilde 300.’

Sammenligning av videobilder generert av Gen3C, VMem, SPMem, Voyager og PPMem på seks tidspunkter i en sekvens på 288 bilder, sammen med originalopptaket (Ground Truth). PPMem bevarer blomsterbedets utseende og omgivelsene mer konsekvent etter hvert som kameraet beveger seg, mens de konkurrerende metodene i økende grad forvrenger eller mister detaljer.

Artikkelen påpeker at etter omtrent 400 videobilder kan en hel utforsket scene representeres i PPMem av omtrent 100 000 planprimitive, som bare opptar 5 MB minne.

Siden dette er omtrent tusen ganger mer kompakt enn å lagre det samme landskapet som enkeltpunkter i en tett 3D-punktsky, ser det ut til at artikkelen – som kunne ha blitt oppfattet som et mindre fremskritt innenfor et etablert forskningsfelt – faktisk gir en vesentlig forbedring av logistikken i denne arkitekturen.

Konklusjon

Selv om den nye artikkelen er en spennende utvikling innenfor rammene og parameterne til det aktuelle problemet, arbeider vi fortsatt innenfor et paradigme der tilfeldig utforskning av en verdensmodells latente rom sprer geometri rundt seg som et seigt skum – geometri som senere scener eller kontekster kanskje må hente tilbake.

Denne gjenopprettingsoperasjonen er langt mer uoversiktlig enn å lese inn tradisjonelle CGI-nettmasker og påførte teksturer. Det kan hevdes at hele denne tilnærmingen er «noe bakvendt»: Ideelt sett burde KI-modeller kunne hente fram og referere til faste ressurser gjennom en eller annen form for RAG eller et oppslagssystem, samtidig som de beholder fleksibiliteten og den kreative friheten til å bevege seg gjennom det latente rommet.

Det er mye å be om, men «brødsmulemetoden» virker for meg å tilsvare de bisarre løsningene som kom før Wright-brødrene.

* Se prosjektets nettsted for hele videoen.

Først publisert tirsdag 20. oktober 2026