Att ge AI-video ett minne av det förflutna

I mars tittade vi på svårigheten generativ AI-video har att komma ihåg saker och platser som den har sett, så att den kan återge dem en andra gång och erbjuda visuell konsekvens.

Den praktiska följden av problemet är att du kan gå genom en dörr i en AI-världsmodell, vända dig om tio sekunder senare och upptäcka att dörren du kom igenom inte längre finns där.

Det är inte ett trivialt fel att åtgärda: eftersom generativ AI-video hela tiden hittar på ”nästa sak” som den måste förhålla sig till kan den egentligen inte minnas något som ligger särskilt långt tillbaka i tiden, eller något som har fallit utanför dess begränsade kontextfönster.

Det betyder att om du utforskar en tränad AI-världsmodell är det inte som att utforska en datoranimerad miljö, där texturer och geometri är fasta och sparade som vektor- och bitmappsdata. I stället är det som att vandra genom en dröm av ungefärliga sannolikheter – du kan stöta på exakt samma sak två gånger, men då beror det bara på att den återskapats från den latenta rymden med hjälp av kontext, inte på att modellen faktiskt minns att den har skapat eller sett den.

Den genomsnittliga generativa AI-videovärldsmodellen liknar alltså någon med anterograd amnesi, som har fullständiga minnen från tiden före en hjärnhändelse – exempelvis en stroke eller en skada – men inte kan skapa nya minnen efter händelsen (ett tillstånd som uppmärksammades genom Guy Pearces rollfigur, som lider av det, i Christopher Nolans Memento [2000], som förekommer i artikelns huvudbild).

På så sätt har videomodeller en djup och djupt förankrad förståelse för många områden, men saknar förmågan att minnas något nytt.

Brödsmulspår

Den HyDRA-lösning som vi tittade på i mars byggde på en ”minnesbank” med komprimerade visuella token, som gjorde det möjligt för AI-genererade figurer att lämna bildrutan och återvända med samma utseende som när de först visades.

Det finns flera andra metoder som använder den här ”brödsmulemetoden”. Att generera och lämna kvar komplex 3D-geometri löser dock problemet på bekostnad av filstorlek, responsivitet, svarstid och andra möjliga flaskhalsar.

Till dessa ”3D-förankrade världsmodeller” hör det NVIDIA-ledda Gen3C, vars HyDRA-metod använder det vanligaste sättet att lösa just det här problemet: att omvandla det modellen ”ser” till punktmoln, som i grunden är förenklad 3D-geometri:

Klicka för att spela upp. HyDRA-metoden använder en beständig cache med 3D-punktmoln för att styra videogenereringen och bevara enhetligheten i scenen när kameran rör sig och tidigare sedda områden dyker upp igen. Källa

Det finns andra liknande metoder, till exempel Oxford Universitys VMEM från 2025 och det Stanford-ledda SPMem-samarbetet från samma period:

Klicka för att spela upp. Från det Stanford-ledda samarbetet SPMem, som kombinerar en beständig 3D-karta över statiska miljöer med de senaste videobilderna för rörelse och utvalda äldre bildrutor för visuella detaljer. Det hjälper modellen att minnas platser när den återvänder till dem. Källa 

Men all 3D-geometri är beräkningsmässigt krävande och ställer höga krav på inferensen. Det är inte lätt att röra sig genom en miljö och hela tiden ”bygga upp” den, som en CG-konstnär kanske skulle göra. Dessutom måste andra klipp, kameravinklar och tagningar kunna hänvisa till den skapade geometrin senare, vilket är en utmaning.

Lättare anteckningar

Det senaste bidraget till arbetet med ”AI-videominne” är ett nytt samarbete lett av Tsinghua University, med titeln Persistent Planar Memory for Video World Models:

Klicka för att spela upp. Här är ett exempel på systemet i bruk, hämtat från projektsajten för det Tsinghua-ledda PPMem-initiativet. PPMem ersätter det volymbaserade 3D-minne som användes i det tidigare projektet SPMem med en mer kompakt samling plana ytor. Ytorna uppdateras och återanvänds när kameran rör sig, så att tidigare sedda miljöer förblir enhetliga. Källa 

Som videoklippet ovan* visar förbättrar PPMem de tidigare metoderna genom att använda en mer kompakt representation av 3D-miljön. I stället för att lagra miljontals enskilda punkter för att återskapa miljöer som setts tidigare identifierar systemet plana ytor, som väggar, golv och möbler, och lagrar dem som återanvändbara geometriska plan, så kallade planprimitiver. Dessa läggs fortlöpande till i ett beständigt lokalt minne när nya delar av miljön genereras:

Två exempel på hur PPMem genererar video samtidigt som systemet bygger upp ett beständigt 3D-minne. Varje exempel börjar med en indatabild till vänster, med kamerans planerade bana visad nedanför. Om man läser de numrerade bildrutorna från vänster till höger i den första raden och sedan i den andra ser man hur kameran utforskar en butik eller en trädgård. De små färgade infällningarna visar hur de lagrade 3D-ytorna byggs upp under färdens gång och bevarar miljöer som redan har utforskats. Källa

När kameran återvänder till en tidigare plats projiceras de lagrade planen tillbaka in i dess synfält. Det vägleder genereringen av nya bildrutor och minskar mängden rumslig information som måste bevaras och bearbetas. Det bidrar också till att bekanta föremål och omgivningar inte förändras eller försvinner mellan besöken.

Användningen av planprimitiver – parametriska objekt som definieras av matematiska vektorer – ger en smidigare och mer ändamålsenlig lösning på ”brödsmulestrategin”, hävdar författarna:

”En modell som genererar hela världar, inte bara korta klipp, behöver ett motsvarande kompakt och strukturerat minne av det den har skapat. Planprimitiver är ett naturligt val för den här uppgiften.

”Varje primitiv beskrivs med endast 7 tal (ett djupvärde för centrum, två rektangulära utsträckningar och en rotationskvaternion), som uttryckligen representerar den tredimensionella geometriska strukturen och är flera storleksordningar mer kompakta än representationer per pixel.”

Klicka för att spela upp vid behov. Lätta sammansättningar av planprimitiver som genereras av PPMem kan fånga och bevara detaljer såväl som övergripande geometri när kameran rör sig genom världsmodellen. De gröna områden som visas ovan sparas i minnet när de kartläggs från mörkt>grönt.

Hur mycket av en utforskad värld sådana plan kan återge begränsas naturligtvis av minnet och andra förutsägbara flaskhalsar. Det innebär att det inte skulle vara möjligt att röra sig runt i världen i timmar och återvända till en plats där allt är som man lämnade det. Men den här typen av begränsning på ”nivåbasis” är välbekant för tv-spelsentusiaster, vars kraftfulla men begränsade lokala resurser tenderar att ge bäst resultat under de mest begränsade förhållandena:

Klicka för att spela upp. I PPMem lämnar kameran lätta ”plan” (visade som gröna områden) som representerar det den har sett när den rör sig genom en miljö. Planen finns kvar om kameran skulle komma tillbaka och utforska området igen.

Ovan kan vi alltså se hur en sådan nivå ”kartläggs”, rum för rum, tills hela våningsplanet är grönt och kan utforskas fritt, med mindre – men inte obefintligt – behov av att skapa fler plan.

Metod

PPMem utvecklades från Wan2.2-TI2V-5B (i stället för Wan2.1-T2V-1.3B, som HyDRA använder), en videodiffusionsmodell med fem miljarder parametrar, kompletterad med ett system för geometriprognoser som anpassats från Plana3R. Den befintliga videobasmodellen behölls, samtidigt som en separat bearbetningsväg infördes för att extrahera geometrisk information ur dess interna representationer:

Schema över PPMems system för videogenerering och 3D-minne. Den övre vägen skapar videon, medan den nedre registrerar synliga ytors former och positioner. Dessa läggs till i det lagrade minnet till höger, som sedan används för att vägleda nästa videosekvens. Pilarna längst ned visar hur informationen matas tillbaka in i systemet.

I det första av två träningssteg finjusterades Wan 2.2 för kamerastyrd videogenerering, med projicerade vyer av källbilden och tidigare bildrutor för att fastställa den avsedda kamerarörelsen. Därefter frystes videobasmodellen, och de nya geometrikomponenterna tränades separat.

För träningen användes mer än 80 000 klipp från DL3DV och RealEstate10K med upplösningen 576×1024. Referensinformation om djup hämtades från MoGe-2, och de uppskattade avstånden anpassades till 3D-rekonstruktioner som skapats med VGGT.

PPMems system för planprediktion tränades därmed att uppskatta ytornas djup och orientering, och dess resultat kontrollerades mot referensgeometri. Ytterligare träning tillämpades på de renderade ytorna för att förbättra överensstämmelsen med de rekonstruerade scenerna.

Ranglåg anpassning (LoRA) användes för att införa geometrispecifik bearbetning utan att ändra den underliggande videomodellen.

Under inferensen genomförs den vanliga videogenereringen med dessa anpassningar inaktiverade. Därefter körs en separat bearbetningsomgång för att extrahera geometrin, så att de två operationerna förblir i stort sett oberoende.

Videon genereras sedan i sekvenser på cirka 25 bildrutor, där de avsedda kamerarörelserna används för att ta fram den visuella och spatiala information som behövs för varje ny sekvens. Det omfattar projicerade vyer av tidigare genererade miljöer, masker som visar vilka områden som är synliga samt djupinformation som härleds från den ackumulerade geometrin.

För att förbättra förutsägelsen av nya ytor kombineras den lagrade djupinformationen sedan med modellens befintliga förståelse av scenen, med hjälp av en visuell transformermodell baserad på DINOv2-Base.

Under träningen hölls delar av djupkartorna tillbaka genom selektiv maskning, vilket tvingade modellen att förutsäga ytgeometri utifrån ofullständiga spatiala data och förbättrade generaliseringsförmågan.

När ny geometri har genererats förfinas planetpoolen genom kontroller av överlappande och skymda ytor, och mindre tillförlitliga uppskattningar tas bort när bättre observationer blir tillgängliga.  Detta gör att den lagrade representationen kan korrigeras successivt när kameran rör sig, i stället för att bara samla på sig varje ytprognos utan slut.

Resultat

I tester jämfördes metoden med Gen3C, Voyager, VMEM och SPMem, samtliga med standardkod och standardparametrar från respektive kodförråd.

De mått som användes var toppförhållandet mellan signal och brus (PSNR), inlärda perceptuella likhetsmått (LPIPS), CLIP-likhet och DINOv2-likhet (se artikeln för detaljerade undantag).

I det första testet jämfördes PPMem med de andra metoderna på datamängderna DL3DV och RealEstate10K, och videokvaliteten bedömdes i sekvenser med 49 respektive 121 bildrutor:

Jämförelse av videokvaliteten hos PPMem, Gen3C, Voyager, VMem och SPMem på DL3DV och RealEstate10K, i sekvenser med 49 respektive 121 bildrutor. PPMem fick de bästa eller delat bästa resultaten för samtliga fyra mått, och fördelen ökade i allmänhet med sekvensernas längd.

Om resultaten skriver författarna:

‘PPMem uppnår de bästa resultaten för samtliga mått på båda datamängderna och med båda sekvenslängderna, trots att basmodellen är mindre (Wan 2.2 5B) än Gen3C (Cosmos 7B) och Voyager (HunyuanVideo ∼13B). T’

PPMem testades också för sin förmåga att uppskatta avstånden från kameran till föremål och ytor. För 121 bildrutor från DL3DV fick man, enligt författarna, mer exakta djupuppskattningar än med Voyager, den enda konkurrerande modellen som kan generera video och djupinformation samtidigt.

I det andra, kvalitativa testet jämfördes de konkurrerande modellernas förmåga att bevara en konsekvent miljö när kameran rörde sig genom DL3DV-scener under 300–400 bildrutor. PPMem bevarade utseendet och strukturen hos omgivningar som redan hade visats bättre än de konkurrerande modellerna, och fördelen blev större ju längre sekvenserna fortsatte:

Klicka för att spela upp. Även om vi bara kan återge resultaten i lägre upplösning än originalet tyckte vi att videon illustrerade dem bättre än de stillbilder som visas i artikeln. Vi hänvisar därför läsaren till versionen med högre kvalitet på PPMems projektsida.

Här skriver författarna:

‘PPMem bibehåller den högsta perceptuella återgivningstroheten genom hela sekvensen, och skillnaden ökar med tiden – tydligast på DINOv2, där PPMem leder den näst bästa metoden med ∼0,27 vid bildruta 300.’

Jämförelse av videobildrutor som genererats av Gen3C, VMem, SPMem, Voyager och PPMem vid sex tidpunkter i en sekvens på 288 bildrutor, tillsammans med originalmaterialet (Ground Truth). PPMem bevarar blomsterbäddens utseende och den omgivande miljön mer konsekvent när kameran rör sig, medan de konkurrerande metoderna i allt högre grad förvränger eller tappar detaljer.

Artikeln nämner att en helt utforskad scen efter omkring 400 videobildrutor kan representeras i PPMem av cirka 100 000 planprimitiver, som bara upptar 5 MB minne.

Eftersom detta är ungefär tusen gånger mer kompakt än att lagra samma miljö som enskilda punkter i ett tätt 3D-punktmoln, verkar artikeln – som hade kunnat betraktas som ett stegvis framsteg inom ett etablerat forskningsspår – innebära en betydande förbättring av den här arkitekturens resursåtgång.

Slutsats

Även om den nya artikeln är en spännande utveckling inom målproblemets ramar och förutsättningar arbetar vi fortfarande inom ett paradigm där slumpmässig utforskning av en världsmodells latenta rum sprider ut geometri omkring sig som ett seglivat skum – geometri som senare scener eller sammanhang kan behöva återskapa.

Den återskapningsprocessen är betydligt mer rörig än att läsa in traditionella CGI-polygonnät och tillhörande texturer. Hela det här tillvägagångssättet skulle kunna beskrivas som ”något bakvänt”: AI-modeller borde helst kunna hämta och hänvisa till fasta tillgångar med någon form av RAG eller uppslagssystem, samtidigt som de behåller flexibiliteten och den kreativa friheten att röra sig genom det latenta rummet.

Det är mycket begärt, men metoden med ”brödsmulor” tycks mig motsvara de bisarra lösningar som föregick bröderna Wright.

* Besök projektets webbplats för att se hela videon.

Först publicerad tisdagen den 20 oktober 2026