Mimo dohled, mimo mysl: řešení největšího problému v AI videu

Největší problém i s nejlepšími generátory AI videa je, že trpí chronickou amnézií – výzvou, kterou nyní řeší nová výzkum z Číny.

Největší problém i s nejlepšími a nejmodernějšími systémy generování AI videa je, že všechny trpí chronickou amnézií: pokud se kamera odvrátí od toho, na co se zaměřuje, a poté se vrátí, nikdy nenajde to, co tam bylo na začátku – postavy zmizí, změní vzhled a/nebo typ pohybu, a pozadí se také pravděpodobně změní.

To je způsobeno tím, že systém generování založený na difuzi má omezené posuvné okno pozornosti, a protože se vždy zabývá tím, co může vidět v daném okamžiku; v pravém smyslu solipsismu, co je mimo rámec neexistuje pro generativní AI – je doslova vyhozeno z paměti.

To nikdy nebyl problém v tradičním CGI, které může vždy odkázat a přesně reprodukovat předmět, včetně vzhledu a pohybu, v jakémkoli bodě renderovaného videa, kde by mohl být opět potřebný:

Tradiční CGI mřížky a bitmapové textury mohou být vždy nakresleny do renderu, poskytující konzistentní vzhled – trik, který je mnohem těžší dosáhnout v AI přístupech, protože neexistuje ekvivalentní ‘rovinatá reference’ soubor nebo kolekce souvisejících souborů.

To je způsobeno tím, že komponenty CGI, jako je mřížka a textury (viz obrázek výše), stejně jako soubory pohybu a další dynamické chování, mohou žít samostatně na disku a být nakresleny do kompozice kdykoli.

Neexistuje žádný takový ‘rovinatý repozitář’ v generativním AI videu; nejbližší, co se mu může přiblížit, je LoRA – speciálně vyškolené pomocné soubory, které lze vyškolit na spotřebitelském zařízení, umožňující nové postavy a specifické oblečení „vynutit“ do videa:

Kliknutím se spustí. Problém solipsismu AI videa lze do jisté míry zmírnit pomocí LoRAs – ale výsledky mohou být přehlušující.

To není ideální řešení, ovšem. Jedním z důvodů je, že LoRAs jsou vázané na určitou verzi základního modelu (jako Wan2+ nebo Hunyuan Video), a potřebují být znovu vytvořeny pokaždé, když se změní základní model. Další důvod je, že LoRAs tendují zkreslit váhy základního modelu, takže LoRA’s trénovaná identita se vynucuje na všechny postavy v scéně. Kromě toho metody jemného ladění tohoto druhu jsou velmi citlivé na špatně kurátorovaná data.

Přesné opakování

Nyní, nová akademicko-průmyslová spolupráce z Číny nabízí první významné řešení, které jsem zaznamenal za více než tři roky reportování o této otázce. Metoda používá takzvanou hybridní paměť, aby udržela postavy a jejich přímé okolí aktivní a přesné v latentním prostoru modelu, takže když se naše perspektiva vrátí k nim, efekt je konzistentní:

Kliknutím se spustí. Z webu projektu pro novou práci, dvě ukázky AI generovaných (WAN) postav, které opouštějí rámec a přesně se vracejí. Zdroj 

Mělo by být zdůrazněno, že se nejedná o totéž, jako dosažení konzistence postav napříč různými záběry – něco, co bylo údajně dosaženo před rokem v Runway’s Gen 4 vydání, a které zůstává aktuální výzkum v literatuře.

Rather, co je zde vyřešeno, je něco, co žádná komerční nebo experimentální rámcová není schopna dosáhnout – vizuálně konzistentní znovuzjevení bývalého vzhledu, pohybu a prostředí postavy:

Kliknutím se spustí. Další dvě hlavní ukázky uvedené na webu nového projektu.

Zjevně principy, které zde fungují, lze aplikovat také na jiná doména, jako je urbanistická prozkoumání, POV řízení, nebo jiné druhy renderování.

Mělo by být zdůrazněno také, že tento nový přístup neřeší nebo nezabývá se otázkou, kterou Runway Gen4 a další uzavřené platformy tvrdí, že vyřešily, tím, že znovuvytvořily postavy napříč různými záběry; místo toho dělá to, co dosud nikdo z nich nedokázal – udržuje postavy a prostředí v paměti, bez nutnosti, aby zůstaly viditelné pro diváka neustále.

Nová práce sestává z věnovaného datasetu vygenerovaného prostřednictvím Unreal Engine, stejně jako zvláštních metrik pro problém solipsismu*, a zvláštní generativní rámec postavený nad WAN. V testech proti několika analogickým systémům dostupným, autoři prohlašují špičkové výsledky, a komentují:

‘[Paměť] mechanismy se objevily jako kritická hranice při pokroku ve světě modelech, protože kapacita paměti určuje prostorovou a časovou konzistenci generovaného obsahu.

‘Konkrétně je to kognitivní kotva, která umožňuje modelu zachovat historický kontext během posunu perspektivy nebo dlouhodobé extrapolace.

‘Bez robustní paměti se simulovaný svět rychle rozpadá na nespojené, chaotické snímky.’

Nová práce je nazvána Mimo dohled, ale ne z mysli: Hybridní paměť pro dynamické video světové modely, a pochází od sedmi výzkumníků napříč Huazhong University of Science and Technology a Kling Team na Kuaishou Technology.

Metoda

Centrální část nové práce je hybridní paměť, která umožňuje ‘mimo zobrazení extrapolaci’ – uchování postav a jejich kontextů, zatímco divák ‘odhlíží’ (nebo zatímco postava sama opouští zobrazení). V tomto scénáři je rámec vyžadován k provedení prostorově-časového odpojování, kdy se soustředí na viditelnou generaci a na mimo zobrazení existenci postavy.

Ukázky vstupní/odcházející kamery. V těchto případech je to pohyb kamery, který způsobuje, že postava opouští rámec, ale v různých vzorcích můžeme také pozorovat, že postava sama dočasně opouští zobrazení. Zdroj

Autoři poznamenávají, že v difuzních latentních vložených, funkce, které je třeba extrahovat a použít, jsou silně propletené s jinými funkcemi a vlastnostmi; a že pokus o extrahování často způsobuje, že předmět ‘zamrzne’ do pozadí. Proto vytvořili a kurátorovali HM-World dataset**, specificky zaměřený na trénování hybridní paměti:

Z práce, vzorky ze čtyř kategorií obsažených v datasetu HM-World.

Sbírka je konstruována podél čtyř dimenzí: traektorie subjektů, traektorie kamery, scény, a subjekty.

Syntetická data v HM-World obsahuje 17 scén a 49 subjektů, včetně lidí různých vzhledů, stejně jako zvířat různých druhů. Kombinace těchto jsou procedurálně umístěny do scény prostřednictvím Unreal Engine, každá s jedinečnou animací pohybu, a poté nastaveny na náhodně vybranou trajektorii.

Autoři prohlašují, že variovaná sada vstupní/odcházející událostí je zobrazena v datasetu, s 28 různými kamerovými trajektoriemi, každá s více startovacími body.

Konečná sbírka se skládá z 59 225 video klipů, každý z nich anotován MiniCPM-V Multimodálním velkým jazykovým modelem (MLLM).

Výzkumníci poukazují na statistické výhody své sbírky proti předchozím datasetům WorldScore; Context-As-Memory; Multi-Cam Video; a 360° Motion:

Srovnání mezi existujícími datasety a datasetem HM-World, kde ‘Dynamický subjekt’ označuje přítomnost pohyblivých entit, ‘Subjekt vstupní/odcházející’ označuje klipy obsahující subjekty, které opouštějí a znovu vstupují do rámce, a ‘Subjekt pose’ se týká zahrnutí anotovaných 3D póz.

Méně cestovaný

Dané několik předchozích snímků a známé kamery, úkolem je předpovědět budoucí pohledy, jak se divákova perspektiva mění, zatímco se zohledňují subjekty, které se pohybují nezávisle a mohou opustit rámec, než se vrátí. To vyžaduje více než zachování stabilního pozadí, protože model musí také uchovat vnitřní záznam o tom, jak vypadají a chovají se jednotlivé pohyblivé subjekty, i během období, kdy nejsou viditelné.

Autoři’ Hybrid Dynamic Retrieval Attention (HyDRA) metoda řeší tuto otázku tím, že zavádí věnovanou paměťovou cestu, která odděluje dynamické subjekty od statické scény, umožňující jim trvat v čase a znovu se objevit s konzistentním vzhledem a pohybem:

Konceptuální schéma pro model HyDRA.

HyDRA je postaven nad Wan2.1-T2V-1.3B, s jádrem difuzního potrubí ponechaným převážně nedotčeným, zatímco zavádí modifikovaný transformer blok, který zahrnuje dynamickou attention. To umožňuje modelu selektivně vyvolat pohybové a vzhledové podněty z předchozích snímků, spíše než spoléhat se na pevný nebo lokální kontext.

Tento proces využívá adaptovaného Flow Matching trénovacího cíle místo standardního difuzního ztrátového cíle.

Pro zachování scén v souladu s kamerovým pohybem jsou kamery trajektorie vloženy jako explicitní kondicionální signál, s každým snímkem definovaným rotací a translací, a poté převeden do kompaktní reprezentace zachycující, jak se perspektiva vyvíjí v čase.

V souladu s předchozím (Kling) ReCamMaster iniciativou, výsledkem je pak analyzován kamerovým kodérem, implementovaným jako Multi-Layer Perceptron, a poté broadcast a přidán k Difuznímu Transformeru funkcím, umožňující modelu zachovat konzistentní umístění objektů, zatímco kamera se pohybuje.

Tokenizace

Surové difuzní latenty kombinují pohyb subjektu, vzhled a pozadí do jednoho propleteného reprezentace, a pokus o přímou extrakci z tohoto prostoru riskuje zavedení irelevantního kontextu, nebo způsobuje, že se pohyblivé subjekty ‘slévají’ do pozadí.

HyDRA řeší tuto otázku 3D-convolution-based Memory Tokenizer, který zpracovává prostor a čas společně – spíše než předávání kompletních latentních historií, komprimuje je do kompaktních, pohybově-aware paměťových tokenů, které uchovávají, jak vypadají a pohybují se subjekty:

Přehled HyDRA. Vlevo, Memory Tokenizer převádí předchozí snímky na kompaktní, pohybově-aware paměťové tokeny; vpravo, Dynamic Retrieval Attention vyhodnocuje aktuální dotaz proti těmto tokenům, extrahuje nejrelevantnější z nich a používá je k obnovení konzistentního vzhledu a pohybu v generovaném snímku.

Tyto tokeny tvoří strukturovanou hybridní paměť, která filtruje šum, zatímco uchovává dlouhodobou dynamiku. Přenesené do modulu Dynamic Retrieval Attention, tyto tokeny umožňují modelu selektivně vyvolat subjekty mimo zobrazení, takže se znovu objevují s konzistentním vzhledem, pohybem a kontextem.

Dynamická attention

HyDRA’s duální paměťový mechanismus také využívá dynamickou attention v odlišné, ale komplementární roli v rámci.

Paměťová tokenizace komprimuje předchozí latentní reprezentace do strukturovaných, pohybově-aware tokenů, které odděluje dynamické subjekty od statického scénického obsahu, snižují propletení, které často způsobuje, že subjekty ‘slévají’ do pozadí. Tyto tokeny tvoří trvalou paměťovou banku, spíše než kompletní historii snímků.

Dynamická attention poté funguje nad touto bankou během generování, vyhodnocuje aktuální dotaz proti uloženým tokenům a selektivně vyvolává ty, které jsou nejrelevantnější pro se vyvíjející snímek. To umožňuje subjektům mimo zobrazení pokračovat ve své latentní evoluci (tj. pokračovat v chůzi, běhu, když je nelze vidět), a znovu se objevit s konzistentním vzhledem a pohybem, když se vrátí do zobrazení, místo aby resetovali nebo se zhoršovali.

Data a testy

V testech, Wan-založený HyDRA systém kódovaný a downsamplovaný 77 kontextových snímků před tím, než je rozložil 3D Variational Autoencoder (VAE), zatímco výše zmíněný paměťový tokenizér využil 3D konvoluci při velikosti jádra 2x4x4.

Model byl trénován na HW-World po dobu 10 000 iterací na 32 (nespecifikovaných) GPU, při velikosti batche 32.

Neobvykle velký počet metrik byl použit v testech: kromě obvyklého Peak Signal-to-Noise Ratio (PSNR), Structural Similarity Index (SSIM), a Learned Perceptual Similarity Metrics (LPIPS), autoři také použili konzistenci subjektu a konzistenci pozadí z VBench sady, pro vyhodnocení rámcové koherence.

Dále vytvořili vlastní metriku nazvanou Dynamická konzistence subjektu (DSC), která využívá bounding boxy z YOLO V11, pro vytvoření ořezaných oblastí obsahujících pohyblivé subjekty, z nichž byly extrahovány sémantické funkce a jejich podobnosti poté vypočteny.

HyDRA byl porovnán s Diffusion Forcing Transformer (DFoT), a Context-As-Memory, proti základnímu modelu Wan2.1-T2V-1.3B vybavenému kamerovým kodérem (pro reprezentaci subjektivní perspektivy společné všem klipům). Všechny modely byly trénovány na HW-World, a WorldPlay byl také použit jako nulový testovací kolekce:

V počátečních kvantitativních srovnáních, HyDRA překonal všechny základní modely, zvýšil PSNR z 18,696 na 20,357, a SSIM z 0,517 na 0,606. Také dosáhl nejvyšších kontextových a ground truth Dice skóre, 0,827 a 0,849, s Konzistencí subjektu a pozadí dosahující 0,926 a 0,932:

Výsledky počátečního kvantitativního srovnání proti předchozím přístupům.

DFoT dosáhl 17,693 PSNR a Context as Memory 18,921, s výhody připsané tokenizaci paměti v kombinaci s dynamickou attention:

Kvantitativní srovnání, ve kterém HyDRA soutěží se současným stavem umění.

Ohledně testů proti WorldPlay, autoři prohlašují:

‘Naše metoda překonává WorldPlay ve všech metrikách, s pozoruhodnou mezerou PSNR 5,502. Ačkoli WorldPlay vykazuje nižší výkon na GT-referenčních metrikách (například PSNR 14,855, DSCGT 0,832) kvůli rozdílu v distribuci domény a chybějícímu specifickému jemnému ladění, prokazuje pozoruhodnou odolnost na kontext-referenčních metrikách, dosahující DSCctx 0,822.

‘Tento pozoruhodný výsledek nejen potvrzuje, že široce trénované modely mají spravedlivou hybridní konzistenci, ale také nepřímo ověřuje racionalitu našich navrhovaných DSC metrik při odrážení dynamické konzistence subjektu.

‘Nakonec, tyto působivé výsledky zdůrazňují výjimečné schopnosti našeho modelu, demonstrují jeho nadřazenost i nad etablovanými komerčními modely.’

Práce nabízí statické reprezentace kvalitativních srovnání provedených pro testy:

Kvalitativní srovnání vstupu a opětovného vstupu pod kamerovým pohybem. Autoři prohlašují, že HyDRA uchovává identitu subjektu, pózu a kontinuitu pohybu po opuštění a opětovném vstupu do rámce, úzce se shodující s ground truth, zatímco konkurenční metody vykazují drift, nekonzistentní pohyb nebo degradaci subjektu, zvýrazněné červeně (konzistentní obnovení jsou označena zeleně).

Ohledně těchto výsledků, autoři komentují:

‘V případě komplexních vstupních/odcházejících událostí, základní model a Context-as-Memory vykazují vážné zkreslení subjektu a nekonzistentní pohyb. DFoT selhává v udržení integrity subjektu, vedoucí k úplnému zmizení. Zatímco WorldPlay dokáže uchovat konzistenci vzhledu subjektu, trpí třesavou pohyby a nepřirozenými akcemi.

‘Naopak, naše metoda úspěšně uchovává hybridní konzistenci, uchovává jak identitu subjektu, tak i konzistenci pohybu po opětovném vstupu subjektu do rámce.’

Další výsledky lze vidět ve formátu videa na doprovodné webové stránce, z nichž první čtyři příklady byly sestaveny (nimi) do videa níže:

Kliknutím se spustí. Čtyři z šesti testovacích výsledků uvedených na webu projektu. Zdroj 

Závěr

Zatímco jakýkoli pokus o řešení jednoho z největších problémů AI videa je vítán, zdá se nevyhnutelné, že optimální řešení pro problémy vstupu/odchodu tohoto druhu bude, stejně jako u CGI, ve formě distinctních referenčních materiálů, které lze samostatně editovat a vložit do kompozice.

Tohle snažení se uchovat vložené v paměti ad hoc a na vyžádání se zdá vyčerpávající, a také nenabízí žádný jasný způsob vpřed pro intra-shot konzistenci, která je nyní nabízena na různých black-box portálech, jako je Runway. Pokud se ukáže, že následný záběr bude vyžadovat přístup k latentnímu prostoru předchozího záběru, proč neumožnit obě instance umístit samostatnou a oddělenou charakteristiku vložení?

* Nikdo jiný to nepojmenoval, a diskuse je obtížná bez společných termínů.

** V současné době je uváděno, že bude ‘brzy’, na projektové stránce.

Poprvé zveřejněno v pátek, 27. března 2026