Uit het zicht, uit het hoofd: het aanpakken van het grootste probleem in AI-video

Het grootste probleem met zelfs de beste AI-videogeneratoren is dat ze een chronische geheugenstoornis hebben – een uitdaging die nu wordt aangepakt door nieuw onderzoek uit China.

Het grootste probleem met zelfs de beste en meest geavanceerde AI-videogeneratiesystemen is dat ze allemaal chronische geheugenstoornis hebben: als de camera wegdraait van wat hij focust en dan terugdraait, zal hij nooit vinden wat er aanvankelijk was – personages zullen zijn verdwenen, van uiterlijk en/of beweging zijn veranderd en de achtergrond zal waarschijnlijk ook zijn veranderd.

Dit komt doordat het diffusie-gebaseerde generatiesysteem een beperkt rollend venster van aandacht heeft, en omdat het altijd bezig is met wat het op dat moment kan zien; in een ware verwezenlijking van solipsisme, is wat buiten het kader valt, niet-bestaand voor generatieve AI – het wordt letterlijk uit het geheugen gewist.

Dit is nooit een probleem geweest in traditionele CGI, die altijd kan verwijzen naar en nauwkeurig een onderwerp kunnen reconstrueren, inclusief uiterlijk en beweging, op elk punt in een gerenderde video waar ze mogelijk opnieuw nodig zijn:

Traditionele CGI-meshes en bitmapped textures kunnen altijd worden getekend in een render, waardoor een consistente verschijning wordt geboden – een truc die veel moeilijker is om te bereiken in AI-benaderingen, omdat er geen equivalent ‘plat referentie’-bestand of verzameling van verwante bestanden is.

Dit komt doordat de componenten van CGI, zoals de mesh en textures (zie afbeelding hierboven), evenals bewegingsbestanden en andere dynamische gedragingen, discreet op schijf kunnen worden opgeslagen en op elk moment in een compositie kunnen worden getekend.

Er is geen dergelijke ‘platte repository’ in generatieve video-AI; het dichtstbijzijnde dat het kan komen, is LoRAs – speciaal getrainde adjunct-bestanden die op consumentenapparatuur kunnen worden getraind, waardoor nieuwe personages en specifieke kleding in de video kunnen worden ‘gedwongen’:

Klik om af te spelen. Het solipsisme-probleem van AI-video kan tot op zekere hoogte worden gemitigeerd door het gebruik van LoRAs – maar de resultaten kunnen overweldigend zijn.

Dit is geen ideale oplossing, echter. Ten eerste zijn LoRAs gekoppeld aan een exacte specifieke versie van een basismodel (zoals Wan2+ of Hunyuan Video), en moeten opnieuw worden gemaakt elke keer dat het basismodel verandert. Ten tweede vervormen LoRAs de gewichten van het basismodel, zodat de getrainde identiteit van de LoRA wordt opgelegd aan alle personages in een scène. Bovendien zijn fijne afstelling methoden van deze soort zeer gevoelig voor slecht gecuratede datasets.

Accurate Encores

Nu biedt een nieuwe academische/industriële samenwerking uit China de eerste significante remedie die ik in meer dan drie jaar van rapporteren over dit onderwerp heb aangetroffen. De methode gebruikt wat de onderzoekers hybride geheugen noemen om het personage buiten het scherm en zijn directe omgeving actief en nauwkeurig te houden in de latent ruimte van het model, zodat wanneer ons gezichtspunt terugkeert naar hen, het effect consistent is:

Klik om af te spelen. Van de projectsite voor het nieuwe artikel, twee voorbeelden van AI-gegenereerde (WAN) personages die het kader verlaten en nauwkeurig terugkeren. Bron 

Er moet worden benadrukt dat dit niet hetzelfde is als het bereiken van personageconsistentie over verschillende shots – iets dat een jaar geleden werd beweerd te zijn bereikt in Runway’s Gen 4-release, en dat nog steeds een gaande poging is in de onderzoeksliteratuur.

Integendeel, wat hier wordt opgelost, is iets dat geen enkel commercieel of experimenteel kader dat ik heb gezien, heeft kunnen bereiken – de visueel-consistente heropkomst van een personage dat buiten het scherm is geweest:

Klik om af te spelen. De andere twee belangrijkste voorbeelden die op de projectsite van de nieuwe initiatief worden gegeven.

Het is duidelijk dat de principes die hier werken, ook kunnen worden toegepast op andere domeinen, zoals stedelijke exploratie, POV-rijden of andere soorten niet-personage rendering.

Er moet ook worden benadrukt dat deze nieuwe benadering het probleem dat Runway Gen4 en andere gesloten bronplatforms claimen te hebben aangepakt, niet oplost of aanpakt, door personages over verschillende shots te reconstrueren; in plaats daarvan doet het wat geen van hen heeft kunnen bereiken – het behoud van een personage en omgeving in het geheugen, zonder dat ze altijd zichtbaar hoeven te zijn voor de kijker.

Het nieuwe werk bestaat uit een speciaal gegenereerde dataset via Unreal Engine, evenals aangepaste metrics voor het solipsisme-probleem*, en een aangepaste generatieve framework gebouwd over WAN. In tests tegen de weinige analoog systemen die beschikbaar zijn, claimen de auteurs state-of-the-art resultaten, en ze merken op:

‘[Geheugen] mechanismen zijn geëmergeerd als een kritieke frontier in het vooruitgang van wereldmodellen, aangezien de geheugencapaciteit de ruimtelijke en temporele consistentie van gegenereerde inhoud dicteert.

‘In het bijzonder is het de cognitieve anker die het model in staat stelt om historische context te behouden tijdens gezichtspuntverschuivingen of langetermijnextrapolatie.

‘Zonder robuust geheugen, valt een gesimuleerde wereld snel uiteen in niet-verbonden, chaotische frames.’

Het nieuwe artikel heet Uit het zicht, maar niet uit het hoofd: Hybride geheugen voor dynamische video-wereldmodellen, en komt van zeven onderzoekers uit Huazhong University of Science and Technology, en het Kling Team bij Kuaishou Technology.

Methode

Het centrale onderdeel van het nieuwe werk is hybride geheugen, dat ‘uit het zicht extrapolatie’ mogelijk maakt – het behoud van personages en hun contexten terwijl de kijker ‘wegkijkt’ (of terwijl het personage zelf het zicht verlaat). In deze situatie moet het kader spatiotemporele ontbinding uitvoeren, waarbij het tegelijkertijd gefocust is op de zichtbare generatie en het bestaan van het personage buiten het zicht.

Voorbeelden van entry/exit camerabeweging. In deze gevallen is het de camerabeweging die het personage uit het kader doet verdwijnen, maar in diverse samples kunnen we ook observeren dat het personage zelf tijdelijk uit het zicht verdwijnt. Bron

De auteurs merken op dat in diffusie-latente embeddings, de kenmerken die moeten worden geëxtraheerd en gebruikt, zwaar verward zijn met andere kenmerken en eigenschappen; en dat het proberen om ze te extraheren vaak ervoor zorgt dat het onderwerp ‘bevriest’ in de achtergrond. Daarom hebben ze de HM-World dataset* ontwikkeld en gecurated, specifiek gericht op het trainen van hybride geheugen:

De minder gebruikte weg

Gegeven meerdere voorgaande frames en een bekende camerapad, is de taak om toekomstige views te voorspellen terwijl het gezichtspunt van de kijker verschuift, en rekening houdend met personages die onafhankelijk bewegen en mogelijk het kader verlaten voordat ze terugkeren. Dit vereist meer dan het behoud van een stabiele achtergrond, aangezien het model ook een coherent intern record moet behouden van hoe elk bewegend personage eruitziet en zich gedraagt, zelfs tijdens perioden dat het niet zichtbaar is.

De Hybride Dynamische Oproep Aandacht (HyDRA) methode van de auteurs adresseert dit door een speciaal geheugenpad in te voeren dat dynamische personages scheidt van de statische scène-weergave, waardoor ze over tijd kunnen blijven bestaan en opnieuw kunnen verschijnen met consistente verschijning en beweging:

Conceptueel schema voor het HyDRA-model.

HyDRA is gebouwd over Wan2.1-T2V-1.3B, met de core diffusiepijpleiding grotendeels intact gelaten, terwijl een gemodificeerde transformer block wordt geïntroduceerd dat dynamische oproep aandacht incorporeert. Dit stelt het model in staat om selectief beweging en verschijning hints uit voorgaande frames te herinneren, in plaats van te vertrouwen op vaste of lokale context.

Dit proces maakt gebruik van een aangepaste Flow Matching trainingsdoel in plaats van standaard diffusie verlies.

Om scènes te laten aansluiten bij camerabeweging, worden cameratrajecten ingevoerd als een expliciete conditioneringsseñal, met elke frame’s pose gedefinieerd door rotatie en translatie, en vervolgens omgezet in een compacte weergave die vastlegt hoe het gezichtspunt evolueert over tijd.

In lijn met de vorige (Kling) ReCamMaster initiatief, is het resultaat vervolgens geparsed door camera encoder, geïmplementeerd als een Multi-Layer Perceptron, vervolgens uitgezonden en toegevoegd aan de Diffusion Transformer kenmerken, waardoor het model consistent object-plaatsing kan behouden terwijl de camera beweegt.

Tokenisatie

Ruwe diffusie-latente mengt personagebeweging, verschijning en achtergrond in een enkele verwarde weergave; en het proberen om rechtstreeks uit deze ruimte op te halen, riskeert het introduceren van irrelevante context, of het laten ‘bevriezen’ van het onderwerp in de achtergrond.

HyDRA adresseert dit met een 3D-convolutie-gebaseerde Geheugen Tokenizer die ruimte en tijd samen verwerkt – in plaats van volledige latent geschiedenissen door te sturen, comprimeert het ze in compacte, bewegingsbewuste geheugentokens die behouden hoe personages eruitzien en zich bewegen:

Overzicht van HyDRA. Links, de Geheugen Tokenizer converteert voorgaande frames in compacte, bewegingsbewuste geheugentokens; rechts, Dynamische Oproep Aandacht evalueert de huidige query tegen deze tokens, haalt de meest relevante op en gebruikt ze om consistente verschijning en beweging in de gegenereerde frame te herstellen.

Deze tokens vormen een gestructureerd hybride geheugen dat ruis filtert terwijl het lange-afstands dynamiek behoudt. Doorgegeven aan de Dynamische Oproep Aandacht module, stellen deze het model in staat om selectief personages buiten het zicht op te roepen, zodat ze opnieuw verschijnen met consistente verschijning, beweging en context.

Dynamische Oproep Aandacht

HyDRA’s dubbele geheugenmechanisme gebruikt ook dynamische oproep aandacht in een afzonderlijke maar complementaire rol binnen het kader.

Geheugen tokenisatie comprimeert voorgaande latente weergaven in gestructureerde, bewegingsbewuste tokens die dynamische personages scheiden van statische scène-inhoud, waardoor de verwardheid die vaak personages laat ‘bevriezen’ in de achtergrond, wordt verminderd. Deze tokens vormen een persistent geheugenbank in plaats van een volledige framegeschiedenis.

Dynamische Oproep Aandacht werkt vervolgens over deze bank tijdens generatie, waarbij het de huidige query evalueert tegen opgeslagen tokens en selectief de meest relevante oproept. Dit stelt het model in staat om personages buiten het zicht te laten voortbestaan (d.w.z. om te blijven lopen, rennen, wanneer je ze niet kunt zien), en om opnieuw te verschijnen met consistente verschijning en beweging wanneer ze terugkeren in zicht, in plaats van te resetten of te degraderen.

Gegevens en Tests

In tests, werd het Wan-gebaseerde HyDRA-systeem gecodeerd en gedownsampeld 77 context frames voordat het werd geparsed met een 3D Variational Autoencoder (VAE), terwijl de eerdergenoemde geheugen tokenizer 3D convolutie gebruikte bij een kernelgrootte van 2x4x4.

Het model werd getraind op HW-World voor 10.000 iteraties op 32 (niet gespecificeerde) GPUs, bij een batchgrootte van 32.

Een ongebruikelijk hoog aantal metrics werd gebruikt in de tests: naast de gebruikelijke Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM), en Learned Perceptual Similarity Metrics (LPIPS), gebruikten de auteurs ook onderwerpconsistentie en achtergrondconsistentie van de VBench suite, om frame-niveau coherente te evalueren.

Daarnaast ontwikkelden ze een aangepaste metric getiteld Dynamische Onderwerp Consistentie (DSC), die gebruik maakt van bounding boxes van YOLO V11, om gecropte regio’s te creëren met bewegende onderwerpen, waaruit semantische kenmerken werden geëxtraheerd en hun overeenkomsten werden berekend.

HyDRA werd getest tegen Diffusie Forcing Transformer (DFoT), en Context-As-Memory, tegen een baseline Wan2.1-T2V-1.3B model uitgerust met een camera encoder (om het subjectieve gezichtspunt te vertegenwoordigen dat algemeen is voor alle clips). Alle modellen werden getraind op HW-World, en WorldPlay werd ook gebruikt als een zero-shot, secundaire testcollectie:

In initiële kwantitatieve vergelijkingen, overtrof HyDRA alle baselines, waardoor PSNR steeg van 18.696 tot 20.357, en SSIM van 0.517 tot 0.606. Het bereikte ook de hoogste contextuele en grondwaarheidsdice scores, 0.827 en 0.849, met Onderwerp en Achtergrond Consistentie bereikte 0.926 en 0.932:

Resultaten van de initiële kwantitatieve vergelijking tegen eerdere benaderingen.

DFoT bereikte 17.693 PSNR en Context as Memory 18.921, met de winst toegeschreven aan geheugen tokenisatie in combinatie met dynamische oproep aandacht:

Kwantitatieve vergelijking waarin HyDRA wordt getest tegen de huidige stand van de techniek.

Conclusie

Terwijl elke poging om een van de grootste problemen van AI-videogeneratie aan te pakken, welkom is, lijkt het mij onvermijdelijk dat de optimale oplossing voor exit/re-entry problemen van deze soort, zal blijken te zijn, net als bij CGI, in de vorm van distincte referentiematerialen die discreet kunnen worden bewerkt en in een componistenruimte kunnen worden gebracht.

Dit alles om proberen een embedding in leven te houden op een ad-hoc en op-het-vliegt manier, lijkt uitputtend, en biedt ook geen duidelijke manier om vooruit te komen naar de intra-shot consistentie die nu wordt aangeboden op verschillende black-box portals zoals Runway. Als het blijkt dat een follow-up shot toegang nodig heeft tot de latent ruimte van de vorige shot, waarom niet beide instanties een discrete en afzonderlijke karakter embedding plaatsen?

* Niemand anders heeft het genoemd, en discussie is moeilijk zonder gemeenschappelijke termen.

** Wordt momenteel gemeld als ‘binnenkort beschikbaar’, op de projectpagina.

First published Friday, 27 maart 2026