AI-video iets van herinnering aan vroeger meegeven

In maart keken we al naar de moeilijkheid die generatieve AI-video heeft om dingen en plekken te onthouden die het heeft gezien, zodat het die opnieuw kan weergeven en visuele consistentie kan bieden.

Het praktische gevolg van dit probleem is dat je in een AI-wereldmodel door een deur kunt lopen, je tien seconden later kunt omdraaien en kunt ontdekken dat de deur waar je doorheen kwam er niet meer is.

Dit is geen triviale fout om op te lossen: omdat generatieve AI-video voortdurend ‘het volgende’ bedenkt waarmee het rekening moet houden, kan het zich niet echt iets herinneren dat lang geleden is gebeurd, of iets wat uit zijn beperkte contextvenster is verdwenen.

Dat betekent dat het verkennen van een getraind AI-wereldmodel niet hetzelfde is als het verkennen van een gemodelleerde CGI-omgeving, waarin de texturen en geometrie vastliggen en zijn opgeslagen als vector- en bitmapgegevens. Het is eerder alsof je door een droom van benaderende waarschijnlijkheden loopt: je kunt precies hetzelfde twee keer tegenkomen, maar alleen omdat het een tweede keer vanuit de latente ruimte is opgeroepen op basis van de context, niet omdat het model zich daadwerkelijk herinnert dat het dit heeft gemaakt of gezien.

Het gemiddelde generatieve AI-videowereldmodel lijkt dan ook op iemand met anterograde amnesie, die alles van vóór een hersenincident — zoals een beroerte of verwonding — nog weet, maar sinds het incident geen nieuwe herinneringen meer kan vormensinds (een aandoening die bekendheid kreeg door het personage van Guy Pearce, dat eraan lijdt in Memento [2000], te zien op de hoofdafbeelding bij dit artikel).

Zo behouden videomodellen een diepgaand en diep verankerd begrip van veel domeinen, maar missen ze het vermogen om iets nieuws te onthouden.

Een spoor van broodkruimels

De HyDRA-oplossing waar we in maart naar keken, was gebaseerd op een ‘geheugenbank’ met gecomprimeerde visuele tokens. Daarmee konden door AI gegenereerde personages buiten beeld bewegen en terugkeren in dezelfde gedaante als waarin ze eerder te zien waren.

Er zijn verschillende andere methoden die deze aanpak met ‘broodkruimels’ gebruiken. Het genereren en achterlaten van complexe 3D-geometrie lost het probleem echter op ten koste van de bestandsgrootte, de reactiesnelheid, de latentie en andere mogelijke knelpunten.

Tot deze ‘3D-gegronde wereldmodellen’ behoort het door NVIDIA geleide Gen3C. De HyDRA-aanpak daarvan gebruikt de meest gangbare methode om dit specifieke probleem op te lossen: wat het model ‘ziet’ omzetten in puntenwolken, in feite uitgeklede 3D-geometrie:

Klik om af te spelen. De HyDRA-aanpak gebruikt een blijvende cache met 3D-puntenwolken om de videogeneratie te sturen. Zo blijft de scène consistent wanneer de camera beweegt en eerder bekeken gebieden opnieuw verschijnen. Bron

Er zijn ook andere vergelijkbare benaderingen, zoals VMEM van de Universiteit van Oxford uit 2025 en de SPMem-samenwerking onder leiding van Stanford uit dezelfde periode:

Klik om af te spelen. De door Stanford geleide samenwerking SPMem combineert een blijvende 3D-kaart van het statische landschap met recente videoframes voor beweging en geselecteerde oudere frames voor visuele details. Zo kan het model plaatsen onthouden wanneer het er opnieuw komt. Bron 

Maar alle 3D-geometrie vergt veel werk en stelt hoge eisen aan inferentie. Het is niet eenvoudig om door een omgeving te lopen en die voortdurend op te bouwen, zoals een CGI-artiest dat zou kunnen doen. Bovendien moeten andere clips, gezichtspunten of opnamen later naar de gemaakte geometrie kunnen verwijzen, wat een flinke uitdaging is.

Lichtere notities

De nieuwste bijdrage aan het onderzoek naar ‘geheugen voor AI-video’ komt voort uit een nieuwe samenwerking onder leiding van Tsinghua University, met als titel Persistent vlakgeheugen voor videowereldmodellen:

Klik om af te spelen. Een voorbeeld van het systeem in actie, afkomstig van de projectwebsite van het door Tsinghua geleide PPMem-initiatief. PPMem vervangt het volumetrische 3D-geheugen van het eerdere project SPMem door een compactere verzameling vlakke oppervlakken. Die worden bijgewerkt en opnieuw gebruikt terwijl de camera beweegt, zodat eerder bekeken omgevingen consistent blijven. Bron 

Zoals te zien is in het bovenstaande videofragment*, verbetert PPMem eerdere benaderingen door een compactere weergave van de 3D-omgeving te gebruiken. In plaats van miljoenen afzonderlijke punten op te slaan om eerder geziene omgevingen te reconstrueren, herkent het systeem vlakke oppervlakken, zoals muren, vloeren en meubels, en slaat die op als herbruikbare geometrische vlakken, ook wel vlakprimitieven genoemd. Deze worden voortdurend toegevoegd aan een blijvend lokaal geheugen wanneer nieuwe delen van de omgeving worden gegenereerd:

Twee voorbeelden van PPMem dat video genereert en tegelijk een blijvend 3D-geheugen opbouwt. Elk voorbeeld begint met een invoerafbeelding links, met daaronder de geplande route van de camera. De genummerde beelden van links naar rechts in de eerste rij en vervolgens in de tweede rij laten zien hoe de camera een winkel of tuin verkent. De kleine gekleurde inzetafbeeldingen tonen hoe de opgeslagen 3D-oppervlakken zich tijdens de tocht opstapelen en het eerder verkende landschap behouden. Bron

Wanneer de camera terugkeert naar een eerdere locatie, worden de opgeslagen vlakken teruggeprojecteerd in het gezichtsveld. Zo sturen ze de generatie van nieuwe beelden aan en neemt de hoeveelheid ruimtelijke informatie die moet worden bewaard en verwerkt af. Dit helpt ook voorkomen dat vertrouwde objecten en omgevingen tussen bezoeken door veranderen of verdwijnen.

Het gebruik van vlakprimitieven – parametrische objecten die met wiskundige vectoren zijn gedefinieerd – biedt volgens de auteurs een wendbaardere en doeltreffendere oplossing voor de ‘kruimelpadbenadering’:

‘Een model dat complete werelden genereert, en niet alleen korte clips, heeft een vergelijkbaar compact, gestructureerd geheugen nodig van wat het heeft geproduceerd. Vlakprimitieven zijn hiervoor een logische keuze.’

‘Elke primitief wordt gedefinieerd door slechts 7 getallen (een middendiepte, twee rechthoekige afmetingen en een rotatiequaternion). Daarmee wordt de 3D-geometrische structuur expliciet weergegeven en is de representatie vele ordes van grootte compacter dan een representatie per pixel.’

Klik zo nodig om af te spelen. Lichtgewicht samenstellingen van vlakprimitieven die door PPMem worden gegenereerd, kunnen zowel details als grootschalige geometrie vastleggen en behouden terwijl de camera door het wereldmodel beweegt. De hierboven gevisualiseerde groene delen blijven in het geheugen bewaard terwijl ze van donker>groen in kaart worden gebracht.

In hoeverre zulke vlakken een verkende wereld kunnen weergeven, wordt vanzelfsprekend beperkt door het geheugen en andere voorspelbare knelpunten. Het is dus niet mogelijk om urenlang door de wereld te dwalen en terug te keren naar een omgeving die er nog precies zo uitziet als bij vertrek. Maar dit soort ‘levelgebonden’ beperkingen is videogameliefhebbers vertrouwd: hun krachtige maar eindige lokale middelen leveren doorgaans de beste resultaten op onder de meest beperkte omstandigheden:

Klik om af te spelen. In PPMem laat de camera tijdens het doorkruisen van een omgeving lichtgewicht ‘vlakken’ achter (weergegeven als groene gebieden) die vastleggen wat de camera heeft gezien en er nog steeds zijn als de camera later terugkeert.

Hierboven zien we dus hoe zo’n level kamer voor kamer in kaart wordt gebracht, totdat de hele verdieping groen is en vrij kan worden verkend, met minder behoefte om nieuwe vlakken te genereren (maar die behoefte verdwijnt niet helemaal).

Methode

PPMem is ontwikkeld op basis van Wan2.2-TI2V-5B (in plaats van Wan2.1-T2V-1.3B, dat door HyDRA wordt gebruikt), een videodiffusiemodel met vijf miljard parameters, waaraan een geometrievoorspellingssysteem is toegevoegd dat is aangepast op basis van Plana3R. De bestaande video-backbone bleef behouden, terwijl een afzonderlijk verwerkingspad werd toegevoegd om geometrische informatie uit de interne representaties ervan te halen:

Schema van PPMems systeem voor videogeneratie en 3D-geheugen. Het bovenste pad genereert de video, terwijl het onderste pad de vormen en posities van zichtbare oppervlakken registreert. Die worden toegevoegd aan het opgeslagen geheugen rechts, dat vervolgens wordt gebruikt om het volgende videofragment aan te sturen. De pijlen onderaan laten zien hoe deze informatie terug het systeem in wordt gevoerd.

In de eerste van twee trainingsfasen werd Wan 2.2 bijgetraind voor cameragestuurde videogeneratie. Daarbij werden geprojecteerde weergaven van de bronafbeelding en eerdere beelden gebruikt om de beoogde camerabeweging vast te leggen. Vervolgens werd de video-backbone bevroren en werden de nieuwe geometriecomponenten afzonderlijk getraind.

Voor de training werden meer dan 80.000 clips uit DL3DV en RealEstate10K gebruikt, met een resolutie van 576×1024. De referentiegegevens voor diepte waren afkomstig van MoGe-2; de geschatte afstanden werden afgestemd op 3D-reconstructies die met VGGT waren gemaakt.

Het vlakkenvoorspellingssysteem van PPMem werd zo getraind om de diepte en oriëntatie van oppervlakken te schatten, waarbij de uitvoer werd gecontroleerd aan de hand van de referentiegeometrie. De gerenderde oppervlakken kregen een aanvullende training om ze beter te laten overeenkomen met de gereconstrueerde scènes.

Adaptatie met lage rang (LoRA) werd gebruikt om geometriespecifieke verwerking toe te voegen zonder het onderliggende videomodel aan te passen.

Tijdens de inferentie wordt het gebruikelijke proces voor videogeneratie uitgevoerd terwijl deze aanpassingen zijn uitgeschakeld. Daarna wordt een afzonderlijke verwerkingsstap uitgevoerd om de geometrie te extraheren, zodat de twee bewerkingen in wezen onafhankelijk van elkaar blijven.

De video wordt vervolgens gegenereerd in segmenten van ongeveer 25 frames. De beoogde camerabewegingen worden gebruikt om de visuele en ruimtelijke informatie voor elke nieuwe reeks voor te bereiden. Dit omvat geprojecteerde weergaven van eerder gegenereerde omgevingen, maskers die aangeven welke gebieden zichtbaar zijn en dieptegegevens die zijn afgeleid van de opgebouwde geometrie.

Om nieuwe oppervlakken beter te voorspellen, worden opgeslagen dieptegegevens gecombineerd met het bestaande begrip van de scène door het model, met behulp van een visuele transformer op basis van DINOv2-Base.

Tijdens de training werden delen van de dieptekaarten buiten beschouwing gelaten door selectieve maskering. Daardoor moest het model de oppervlaktegeometrie voorspellen op basis van onvolledige ruimtelijke gegevens, wat de generalisatie verbeterde.

Wanneer nieuwe geometrie is gegenereerd, wordt de verzameling vlakken verfijnd door te controleren op overlappende en aan het zicht onttrokken oppervlakken. Minder betrouwbare schattingen worden verwijderd zodra betere waarnemingen beschikbaar komen. Zo kan de opgeslagen representatie stapsgewijs worden gecorrigeerd terwijl de camera beweegt, in plaats van dat iedere voorspelling van een oppervlak onbeperkt wordt toegevoegd.

Resultaten

Voor de tests werd de methode vergeleken met Gen3C, Voyager, VMEM en SPMem, telkens met de standaardcode en -parameters uit de repository.

De gebruikte meetwaarden waren de piek-signaal-ruisverhouding (PSNR), geleerde perceptuele-gelijkenismetrieken (LPIPS), CLIP-overeenkomst en DINOv2-overeenkomst (zie het artikel voor gedetailleerde uitzonderingen).

In de eerste test werd PPMem vergeleken met de andere methoden op de datasets DL3DV en RealEstate10K. De videokwaliteit werd beoordeeld over reeksen van 49 en 121 frames:

Vergelijking van de videokwaliteit van PPMem, Gen3C, Voyager, VMem en SPMem op DL3DV en RealEstate10K, over 49 en 121 frames. PPMem behaalde op alle vier meetwaarden de beste of gedeeld beste scores. Het voordeel nam over het algemeen toe naarmate de reeksen langer werden.

Over deze resultaten schrijven de auteurs:

‘PPMem behaalt op beide datasets en bij beide aantallen frames de beste resultaten voor alle meetwaarden, ondanks het gebruik van een kleiner basismodel (Wan 2.2 5B) dan Gen3C (Cosmos 7B) en Voyager (HunyuanVideo ∼13B). T’

PPMem werd ook getest op zijn vermogen om de afstand van objecten en oppervlakken tot de camera te schatten. Volgens de auteurs leverde het over 121 frames uit DL3DV nauwkeurigere diepteschattingen op dan Voyager, het enige concurrerende model dat zowel video als dieptegegevens kan genereren.

In de tweede, kwalitatieve test werd het vermogen van de methoden vergeleken om de omgeving consistent te houden terwijl de camera gedurende 300–400 frames door DL3DV-scènes bewoog. PPMem behield het uiterlijk en de structuur van eerder waargenomen omgevingen beter dan de concurrerende modellen. Het voordeel werd groter naarmate de reeksen langer werden:

Klik om af te spelen. Hoewel we de resultaten alleen met een lagere resolutie dan het origineel kunnen weergeven, vonden we de video een betere illustratie dan de statische resultaten in het artikel. We verwijzen de lezer daarom naar de versie van hogere kwaliteit op de projectwebsite van PPMem.

De auteurs schrijven hierover:

‘PPMem behoudt gedurende de hele reeks de hoogste perceptuele getrouwheid, waarbij het verschil mettertijd groter wordt — het duidelijkst bij DINOv2, waar PPMem bij frame 300 de op één na beste methode met ∼0,27 voorblijft.’

Vergelijking van videoframes gegenereerd door Gen3C, VMem, SPMem, Voyager en PPMem op zes momenten in een reeks van 288 frames, naast de oorspronkelijke beelden (Ground Truth). PPMem behoudt het uiterlijk van het bloembed en de omringende omgeving consistenter terwijl de camera beweegt, terwijl concurrerende methoden steeds meer details vervormen of verliezen.

Het artikel vermeldt dat een volledig verkende scène in PPMem na ongeveer 400 videoframes kan worden weergegeven met circa 100.000 vlakprimitieven, die slechts 5 MB geheugen in beslag nemen.

Omdat dit ongeveer duizend keer compacter is dan wanneer dezelfde omgeving wordt opgeslagen als afzonderlijke punten in een dichte 3D-puntenwolk, lijkt dit artikel — dat had kunnen worden gezien als een kleine stap vooruit binnen een gevestigde onderzoekslijn — een substantiële verbetering te bieden in de praktische efficiëntie van deze architectuur.

Conclusie

Hoewel het nieuwe artikel een spannende ontwikkeling is binnen de grenzen en parameters van het beoogde probleem, werken we nog steeds binnen een paradigma waarin willekeurige verkenning van de latente ruimte van een wereldmodel geometrie in het rond spuit als hardnekkig schuim; geometrie die later mogelijk moet worden teruggehaald voor volgende scènes of in andere contexten.

Dat terughaalproces is een stuk rommeliger dan het inlezen van traditionele CGI-meshes en om modellen gewikkelde textures. Je zou kunnen stellen dat deze hele aanpak ‘enigszins achterhaald’ is: AI-modellen zouden idealiter vaste assets moeten kunnen ophalen en raadplegen via een vorm van RAG of een opzoeksysteem, terwijl ze de flexibiliteit en creatieve vrijheid behouden om zich door de latente ruimte te bewegen.

Het is nogal wat om te vragen, maar de ‘kruimelspoor’-methode lijkt mij wel het equivalent van de zonderlinge oplossingen die aan de gebroeders Wright voorafgingen.

* Bekijk de projectwebsite voor de volledige video.

Voor het eerst gepubliceerd op dinsdag 20 oktober 2026