Uten syn, uten sinn: Tackling det største problemet i AI-video

Det største problemet med selv de beste AI-videogeneratorer er at de har kronisk hukommelsestap – en utfordring som ny forskning fra Kina nå tar tak i.

Det største problemet med selv de beste og mest avanserte AI-videogenereringssystemer er at de alle har kronisk hukommelsestap: hvis kameraet panorere vekk fra hva det fokuserer på og deretter panorere tilbake, vil det aldri finne hva som var der fra starten – karakterer vil ha forsvunnet, endret utseende og/eller bevegelsesmønster, og bakgrunnen vil sannsynligvis også ha endret seg.

Dette skyldes at diffusjonsbasert genereringssystem har et begrenset rullende vindu av oppmerksomhet, og fordi det alltid håndterer hva det kan se i dette øyeblikket; i en sann oppføring av solipsisme, er det utenfor rammen ikke-eksisterende for generativ AI – det blir bokstavelig talt dumpet fra minnet.

Dette har aldri vært et problem i tradisjonell CGI, som alltid kan referere til og nøyaktig genskape et emne, inkludert utseende og bevegelse, på et hvilket som helst punkt i en renderet video hvor de kan være nødvendig igjen:

Tradisjonell CGI-mesh og bitmapped teksturer kan alltid tegnes inn i en render, og gi en konsekvent utseende – en trikk som er mye vanskeligere å oppnå i AI-tilnærmingen, fordi det ikke finnes noen ekvivalent ‘flat referanse’ fil, eller en samling relaterte filer.

Dette skyldes at CGI-komponenter, som mesh og teksturer (se bildet ovenfor), samt bevegelsesfiler og andre dynamiske atferder, kan eksistere uavhengig på disk, og tegnes inn i en komposisjon når som helst.

Det finnes ingen slik ‘flat repository’ i generativ video-AI; det nærmeste det kan komme til denne funksjonaliteten er LoRAs – spesialtrente hjelpefiler som kan trenes på forbrukerutstyr, og som tillater nye karakterer og bestemt klær å bli ‘tvangt’ inn i videoen:

Klikk for å spille. AI-videos solipsismeproblem kan mildnes til en viss grad ved å bruke LoRAs – men resultater kan være overveldende.

Dette er ikke en ideell løsning, dog. For det første er LoRAs knyttet til en eksakt spesifikk versjon av en grunnmodell (slik som Wan2+, eller Hunyuan Video), og trenger å bli gjenskapt hver gang grunnmodellen endres. For det andre, LoRAs tenderer til å forvrengte vekter i grunnmodellen, så at LoRAs trente identitet blir påtvunget alle karakterer i en scene. I tillegg er finjustering metoder av denne typen svært følsomme overfor dårlig kurerte datasett.

Nøyaktige gjentakelser

Nå, et nytt akademisk/industrielt samarbeid fra Kina tilbyr den første betydelige kur mot dette problemet som har kommet til min oppmerksomhet i over tre år med rapportering om dette spørsmålet. Metoden bruker hva forskerne kaller hybrid minne for å holde karakteren utenfor skjermen og dens direkte omgivelser aktive og nøyaktige i latent rommet i modellen, så at når vår synsvinkel returnerer til dem, er effekten konsekvent:

Klikk for å spille. Fra prosjektets nettsted for den nye artikkelen, to eksempler på AI-genererte (WAN) karakterer som forlater rammen og går tilbake inn med nøyaktighet. Kilde 

Det bør understrekes at dette ikke er det samme som å oppnå karakterkonsistens over forskjellige skudd – noe som ble hevdet å ha blitt oppnådd for et år siden i Runways Gen 4-utgave, og som fortsatt er en pågående forskning i faglitteraturen.

Snarere, hva som er løst her, er noe som ingen kommersiell eller eksperimentell ramme jeg har sett har kunnet oppnå – visuelt konsistent gjenopptreden av en karakter utenfor skjermens tidligere utseende, bevegelse og kontekst:

Klikk for å spille. De andre to hovedeksemplene gitt på prosjektets nettsted.

Det er åpenbart at prinsippene som virker her kan bli like godt anvendt på andre domener, som byutforskning, POV-kjøring eller andre typer ikke-karakter renderinger.

Det bør også understrekes at denne nye tilnærmingen ikke løser eller berører problemet som Runway Gen4 og andre lukkede plattformer hevder å ha løst, ved å genskape karakterer over forskjellige skudd; i stedet gjør den hva ingen av dem har klart å gjøre – å vedlikeholde en karakter og miljø i minnet, uten å trenge å holde dem synlige for tilskueren hele tiden.

Det nye arbeidet består av en dedikert datasett generert gjennom Unreal Engine, samt egne metrikker for solipsismeproblemet*, og en skreddersydd generativ ramme bygget over WAN. I tester mot de få analoge systemer som er tilgjengelige, hevder forfatterne stat-of-the-art resultater, og de kommenterer:

‘[Minne] mekanismer har oppstått som en kritisk grense i å fremme verdensmodeller, ettersom minnekapasitet bestemmer den romlige og tidsmessige konsistensen av generert innhold.

‘Spesifikt er det den kognitive ankret som tillater modellen å beholde historisk kontekst under synsvinkelsskift eller langtids ekstrapolasjon.

‘Uten robust minne, løser en simuleringsverden raskt opp i uavhengige, kaotiske rammeverk.’

Den nye artikkelen har tittelen Uten syn, uten sinn: Hybrid minne for dynamiske videoverdensmodeller, og kommer fra syv forskere på Huazhong University of Science and Technology, og Kling Team på Kuaishou Technology.

Metode

Hovedplanken i det nye arbeidet er hybrid minne, som muliggjør ‘utenfor-syn-ekstrapolasjon’ – vedlikehold av karakterer og deres kontekst mens tilskueren ‘ser vekk’ (eller mens karakteren selv forlater synsfeltet). I denne scenarien, må rammeverket utføre romlig-tidsmessig dekobling, hvor det samtidig fokuserer på tilskuer-synlig generering, og karakterens utenfor-syns eksistens.

Eksempler på kamera-bevegelse ved inn- og utgang. I disse tilfellene er det kameraets bevegelse som får karakteren til å forlate rammen, men i diverse prøver kan vi også observere at karakteren selv midlertidig forflytter seg utenfor skjermen. Kilde

Forfatterne påpeker at i diffusjons-latente innlejring, er funksjonene som må trekkes ut og brukes tungt sammenflettet med andre funksjoner og egenskaper; og at forsøk på å trekke dem ut ofte får karakteren til å ‘fryse’ inn i bakgrunnen. Derfor utviklet og kurerte de HM-World datasettet**, spesifikt rettet mot å trene hybrid minne:

Fra artikkelen, prøver fra de fire kategoriene i HM-World-datasettet.

Samlingen er konstruert langs fire dimensjoner: karakterbaner, kamera-baner, scener og karakterer.

De syntetiske data i HM-World inneholder 17 scener og 49 karakterer, inkludert mennesker med ulik utseende, samt dyr av flere arter. Kombinasjoner av disse plasseres prosessuelt i en scene via Unreal Engine, hver med en unik bevegelsesanimasjon, og deretter satt på en tilfeldig valgt bane.

Forfatterne påpeker at en variert samling av utgang-inngang hendelser er avbildet i datasettet, med 28 forskjellige kamera-baner inkludert, hver med flere startpunkter.

Den endelige samlingen kommer til 59 225 video-klipp, hver enkelt annotert av MiniCPM-V Multimodal Large Language Model (MLLM).

Forskerne påpeker de statistiske fordelene til deres samling mot tidligere datasett WorldScore; Context-As-Memory; Multi-Cam Video; og 360° Motion:

Sammenligning mellom eksisterende datasett og HM-World-datasettet, hvor ‘Dynamisk karakter’ indikerer tilstedeværelse av bevegelige enheter, ‘Karakter utgang-inngang’ betegner klipp som inneholder karakterer som forlater og går tilbake inn i rammen, og ‘Karakter pose’ refererer til inkludering av annoterte 3D-pose.

Den mindre vanlige veien

Gitt flere tidligere rammeverk og en kjent kamera-bane, er oppgaven å forutsi fremtidige visninger mens tilskuernes perspektiv skifter, samtidig som man tar hensyn til karakterer som beveger seg uavhengig og kan forlate rammen før de returnerer. Dette krever mer enn å bevare en stabil bakgrunn, ettersom modellen også må bevare en samlet intern registrering av hvordan hver bevegelig karakter ser ut og oppfører seg, selv under perioder hvor den ikke er synlig.

Forfatternes Hybrid Dynamisk Gjenopprettings Oppmerksomhet (HyDRA) metode løser dette ved å innføre en dedikert minnevei som skiller dynamiske karakterer fra den statiske scene-representasjonen, og lar dem bestå over tid, og gjenopptre med konsekvent utseende og bevegelse:

Konseptuell skjema for HyDRA-modellen.

HyDRA er bygget over Wan2.1-T2V-1.3B, med den sentrale diffusjons-pipeline intakt, samtidig som det introduserer en modifisert transformator blokk som inkorporerer dynamisk gjenopprettings-oppmerksomhet. Dette tillater modellen å selektivt gjenkalle bevegelse og utseende-hint fra tidligere rammeverk, i stedet for å stole på fast eller lokal kontekst.

Dette prosessen bruker en tilpasset Flow Matching trening-mål i stedet for standard diffusjons-tap.

For å holde scener sammen med kamera-bevegelse, injiseres kamera-baner som en eksplisitt kondisjonssignal, med hver rammes pose definert av rotasjon og translasjon, og deretter konvertert til en kompakt representasjon som fanger hvordan synsvinkelen utvikler seg over tid.

I tråd med den tidligere (Kling) ReCamMaster initiativet, er resultatet deretter parsert av kamera-encoder, implementert som en Multi-Layer Perceptron, deretter broadcastet og lagt til Diffusion Transformer funksjoner, og lar modellen bevare konsekvent objekt-plassering mens kameraet beveger seg.

Tokenisering

Rå diffusjons-latente blandingsfunksjoner sammen karakter-bevegelse, utseende og bakgrunn i en enkelt sammenflettet representasjon, og forsøk på å gjenkalle direkte fra dette rommet risikerer å introdusere irrelevant kontekst, eller får bevegelige karakterer til å ‘blande seg inn’ i bakgrunnen.

HyDRA løser dette med en 3D-convolusjons-basert Minne-Tokenisator som prosesserer rom og tid sammen – i stedet for å fremme fullstendige latente historier, komprimerer den dem til kompakte, bevegelses-oppmerksomme minne-token som bevare hvordan karakterer ser ut og beveger seg:

Oversikt over HyDRA. Venstre, Minne-Tokenisatoren konverterer tidligere rammeverk til kompakte, bevegelses-oppmerksomme minne-token; høyre, Dynamisk Gjenopprettings Oppmerksomhet evaluerer den nåværende forespørselen mot disse tokenene, gjenkaller de mest relevante, og bruker dem til å gjenopprette konsekvent utseende og bevegelse i den genererte rammen.

Disse tokenene danner en strukturert hybrid-minne som filterer støy mens den bevare lange rekkevidde-dynamikk. Passert til Dynamisk Gjenopprettings Oppmerksomhet-modulen, lar disse modellen selektivt gjenkalle karakterer utenfor skjermen, så de gjenopptre med konsekvent utseende, bevegelse og kontekst.

Dynamisk Gjenopprettings Oppmerksomhet

HyDRAs doble minne-mekanisme bruker også dynamisk gjenopprettings-oppmerksomhet i en distinkt, men komplementær rolle i rammeverket.

Minne-tokenisering komprimerer tidligere latente representasjoner til strukturerte, bevegelses-oppmerksomme token som skiller dynamiske karakterer fra statisk scene-innhold, og reduserer sammenflettingen som ofte får karakterer til å blande seg inn i bakgrunnen. Disse tokenene danner en varig minnebank i stedet for en fullstendig rammeverkshistorie.

Dynamisk Gjenopprettings Oppmerksomhet opererer deretter over denne banken under generering, og evaluerer den nåværende forespørselen mot lagrede token, og selektivt gjenkaller de som er mest relevante for den utviklende rammen. Dette lar karakterer utenfor skjermen fortsette deres latente utvikling (dvs. å fortsette å gå, løpe, når du ikke kan se dem), og gjenopptre med konsekvent utseende og bevegelse når de returnerer til synsfeltet, i stedet for å tilbakestille eller forverre.

Data og tester

I tester, ble Wan-basert HyDRA-system kodet og nedskalert til 77 kontekst-rammeverk før de ble parsert med en 3D Variational Autoencoder (VAE), mens den ovennevnte minne-tokenisatoren brukte 3D konvolusjon med en kernel-størrelse på 2x4x4.

Modellen ble trent på HW-World i 10 000 iterasjoner på 32 (uspesifiserte) GPU-er, med en batch-størrelse på 32.

Et usedvanlig høyt antall metrikker ble brukt i testene: foruten de vanlige Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM), og Learned Perceptual Similarity Metrics (LPIPS), brukte forfatterne også karakter-konsistens og bakgrunn-konsistens fra VBench suiten, for å evaluere rammeverks-kohærens.

I tillegg utviklet de en egen metrikk kalt Dynamisk Karakter-Konsistens (DSC), som bruker avgrensende bokser fra YOLO V11, for å skape avkortede regioner som viser bevegelige karakterer, og deretter trekke ut semantiske funksjoner og beregne deres likheter.

HyDRA ble sammenlignet med Diffusjons-Forcing-Transformator (DFoT), og Context-As-Memory, mot en basis Wan2.1-T2V-1.3B modell utstyrt med en kamera-encoder (for å representere den subjektive synsvinkel som er felles for alle klippene). Alle modellene ble trent på HW-World, og WorldPlay ble også brukt som en null-skudd, sekundær test-samling:

I initielle kvantitative sammenligninger, overgikk HyDRA alle basislinjer, og økte PSNR fra 18,696 til 20,357, og SSIM fra 0,517 til 0,606. Den oppnådde også de høyeste kontekstuelle og bakgrunns-sannhets Dice-poeng, 0,827 og 0,849, med Karakter- og Bakgrunn-Konsistens som nådde 0,926 og 0,932:

Resultater fra den initielle kvantitative sammenligningen mot tidligere tilnærming.

DFoT nådde 17,693 PSNR og Context-as-Memory 18,921, med gevinstene tilskrevet minne-tokenisering kombinert med dynamisk gjenopprettings-oppmerksomhet:

Kvantitativ sammenligning som sammenligner HyDRA med den nåværende stat-of-the-art.

Konklusjon

Mens ethvert forsøk på å løse ett av de største problemene i AI-videogenerering er velkommen, synes det uunngåelig for meg at den optimale løsningen for utgang/inngang-problemer av denne typen vil vise seg å være, som det var med CGI, i form av distinkte referansemateriell som kan redigeres og bringes inn i en komposisjon-rom.

Dette forsøket på å holde en innlejring i live på en ad-hoc og på-the-fly måte, ser ut til å være utmattende, og tilbyr ingen klar fremtid for intra-skudd-konsistens som nå er tilgjengelig på forskjellige svarte-boks-portaler som Runway. Hvis det viser seg at en påfølgende skudd vil trenge tilgang til latent-rommet fra den forrige skuddet, hvorfor ikke la begge instanser plassere en diskret og separat karakter-innlejring?

* Ingen andre har navngitt det, og diskusjon er vanskelig uten felles termer.

** Det rapporteres for tiden å være ‘kommer snart’, på prosjektets side.

Først publisert fredag, 27. mars 2026