Dopřát videu generovanému umělou inteligencí vzpomínky na minulost

Už v březnu jsme se podívali na to, jak obtížné je pro generativní video s umělou inteligencí pamatovat si věci a místa, která už vidělo, aby je mohlo znovu zobrazit a zachovat přitom vizuální konzistenci.

Výsledkem je, že můžete projít dveřmi ve světovém modelu s umělou inteligencí, za deset sekund se otočit a zjistit, že dveře, kterými jste prošli, už tam nejsou.

Nejde o drobnou chybu, kterou lze snadno opravit: generativní video s umělou inteligencí neustále vymýšlí „další věc“, se kterou se musí vypořádat, a proto si nedokáže skutečně pamatovat nic, co se stalo příliš dávno, ani nic, co se už nevejde do jeho úzkého kontextového okna.

To znamená, že když prozkoumáváte natrénovaný světový model s umělou inteligencí, není to jako procházet vymodelované prostředí CGI, v němž jsou textury a geometrie pevně dané a uložené jako vektorová a bitmapová data. Je to spíš jako procházet se snem o přibližných pravděpodobnostech – můžete dvakrát narazit přesně na totéž, ale jen proto, že se to podruhé znovu vynořilo z latentního prostoru na základě kontextu, nikoli proto, že by si model skutečně pamatoval, že to vytvořil nebo viděl.

Průměrný světový model generativního videa se tedy podobá člověku s anterográdní amnézií, který si dokonale pamatuje vše před událostí, jež postihla mozek – například před mrtvicí nebo úrazem –, ale nedokáže si vytvářet nové vzpomínky od této události (tento stav zpopularizovala postava Guye Pearce, která jím trpí ve filmu Christophera Nolana Memento [2000], jenž je zobrazen na hlavním obrázku článku).

Video modely tak mají hluboké a pevně zakořeněné znalosti mnoha oblastí, ale nedokážou si zapamatovat nic nového.

Stopa drobečků

Řešení HyDRA, o kterém jsme psali v březnu, využívalo „paměťovou banku“ komprimovaných vizuálních tokenů, díky níž se postavy vytvořené umělou inteligencí mohly vzdálit mimo záběr a vrátit se v podobě, v jaké se objevily poprvé.

Existuje řada dalších metod využívajících tento přístup založený na „stopě drobečků“. Vytváření a ukládání složité 3D geometrie však problém řeší za cenu větší velikosti souborů, nižší odezvy, vyšší latence a dalších možných úzkých míst.

Mezi tyto „světové modely založené na 3D geometrii“ patří také Gen3C vedený společností NVIDIA. Jeho přístup HyDRA využívá nejběžnější metodu řešení tohoto konkrétního problému – převádí to, co „vidí“, na mračna bodů, což je v podstatě zjednodušená 3D geometrie:

Kliknutím spustíte přehrávání. Přístup HyDRA využívá trvalou mezipaměť 3D mračna bodů, která řídí generování videa a zachovává konzistenci scény při pohybu kamery i při opětovném zobrazení již viděných míst. Zdroj

Existují i další podobné přístupy, například VMEM z Oxfordské univerzity z roku 2025 a spolupráce SPMem vedená Stanfordovou univerzitou ze stejného období:

Kliknutím spustíte přehrávání. Ukázka ze spolupráce SPMem vedené Stanfordovou univerzitou, která kombinuje trvalou 3D mapu statického prostředí s nedávnými videozáběry zachycujícími pohyb a vybranými staršími snímky s vizuálními detaily. Model si tak může zapamatovat místa, když se na ně znovu vrací. Zdroj 

Veškerá 3D geometrie je však náročná na zpracování a klade vysoké nároky na inferenci. Není snadné procházet prostředím a neustále ho „budovat“, jako by to dělal grafik vytvářející počítačovou grafiku. Navíc musí mít možnost odkazovat se na vytvořenou geometrii později i další klipy, pohledy nebo záběry, což je obtížně řešitelný problém.

Lehčí záznamy

Nejnovějším příspěvkem k „paměti videa s umělou inteligencí“ je nová spolupráce vedená univerzitou Tsinghua s názvem „Trvalá rovinná paměť pro světové modely videa“:

Kliknutím spustíte přehrávání. Ukázka fungování systému ze stránky projektu PPMem vedeného univerzitou Tsinghua. PPMem nahrazuje objemovou 3D paměť použitou v předchozím projektu SPMem kompaktnější sadou plochých povrchů, které při pohybu kamery průběžně aktualizuje a znovu využívá, aby zachoval konzistenci již viděných prostředí. Zdroj 

Jak ukazuje výše uvedená část videa*, PPMem vylepšuje předchozí přístupy tím, že používá kompaktnější reprezentaci 3D prostředí. Namísto ukládání milionů jednotlivých bodů pro rekonstrukci již viděných prostředí systém rozpoznává ploché povrchy, například stěny, podlahy a nábytek, a ukládá je jako opakovaně použitelné geometrické roviny zvané rovinné primitivy. Ty se průběžně přidávají do trvalé lokální paměti, jak se generují nové části prostředí:

Dva příklady generování videa systémem PPMem při vytváření trvalé 3D paměti. Každý příklad začíná vstupním obrázkem vlevo, pod kterým je znázorněna plánovaná trasa kamery. Číslované snímky se čtou zleva doprava, nejprve v horní řadě a potom ve spodní; ukazují, jak kamera prozkoumává obchod nebo zahradu. Malé barevné výřezy znázorňují, jak se během postupu hromadí uložené 3D povrchy a zachovávají dříve prozkoumané prostředí. Zdroj

Když se kamera vrátí na dříve navštívené místo, uložené roviny se promítnou zpět do jejího zorného pole a navedou generování nových snímků. Tím se snižuje množství prostorových informací, které je třeba uchovávat a zpracovávat. Pomáhá to také předcházet tomu, aby se známé objekty a okolí při opakovaných návštěvách měnily nebo mizely.

Použití elementárních rovin – parametrických objektů definovaných matematickými vektory – podle autorů umožňuje pružněji a účinněji řešit „přístup založený na drobečkové stopě“:

„Model, který vytváří celé světy, nejen krátké klipy, potřebuje obdobně kompaktní a strukturovanou paměť toho, co vytvořil. Elementární roviny jsou pro tuto roli přirozenou volbou.

„Každá elementární rovina je parametrizována pouhými 7 čísly (hloubkou středu, dvěma rozměry obdélníku a rotačním kvaternionem), která výslovně reprezentují 3D geometrickou strukturu; její kompaktnost je přitom řádově vyšší než u reprezentací založených na jednotlivých pixelech.“

Kliknutím spusťte přehrávání, je-li to nutné. Lehké sestavy plošných primitiv generované systémem PPMem mohou při průchodu kamery modelem světa zachycovat a uchovávat jak detaily, tak celkovou geometrii. Zelené úseky znázorněné výše se uchovávají v paměti při mapování z tmavé>zelené.

Rozsah, v jakém mohou takové roviny reprezentovat prozkoumaný svět, přirozeně omezují kapacita paměti a další předvídatelná úzká hrdla. Nebylo by tedy možné bloudit světem celé hodiny a po návratu zjistit, že vše zůstalo tak, jak jste to opustili. Podobná omezení „podle úrovní“ však znají příznivci videoher: jejich výkonné, ale omezené místní zdroje obvykle přinášejí nejlepší výsledky v co nejuzavřenějších podmínkách:

Kliknutím spustíte přehrávání. V systému PPMem kamera při průchodu prostředím zanechává lehké „roviny“ (znázorněné zelenými plochami), které představují to, co viděla, a zůstanou na místě, i když se kamera později vrátí.

Výše tedy můžeme sledovat, jak se taková úroveň mapuje místnost po místnosti, dokud není celé podlaží zelené a volně prozkoumatelné, přičemž je méně (nikoli však nulově) zapotřebí generovat další roviny.

Metoda

PPMem vznikl na základě modelu Wan2.2-TI2V-5B (nikoli modelu Wan2.1-T2V-1.3B, který používá HyDRA), pětimiliardového modelu pro difuzi videa, k němuž byl přidán systém predikce geometrie upravený podle modelu Plana3R. Stávající páteřní síť pro video zůstala zachována a byla zavedena samostatná výpočetní větev, která z jejích interních reprezentací získává geometrické informace: parametrů

Schéma systému PPMem pro generování videa a 3D paměť. Horní větev vytváří video, zatímco spodní zaznamenává tvary a polohy viditelných povrchů. Ty se přidávají do uložené paměti vpravo, která se pak používá k řízení další části videa. Šipky dole znázorňují, jak se tyto informace vracejí zpět do systému.

V první ze dvou fází trénování byl model Wan 2.2 doladěn pro generování videa řízené kamerou. K určení zamýšleného pohybu kamery se použily promítnuté pohledy na zdrojový obrázek a předchozí snímky. Video páteřní síť se poté zmrazila a nové geometrické komponenty se trénovaly samostatně.

Při trénování se použilo více než 80 000 klipů z datových sad DL3DV a RealEstate10K v rozlišení 576×1024. Referenční informace o hloubce byly získány pomocí modelu MoGe-2; odhadované vzdálenosti byly zarovnány s 3D rekonstrukcemi vytvořenými modelem VGGT.

Systém PPMem pro predikci rovin se tak trénoval k odhadování hloubky a orientace povrchů; jeho výstup se porovnával s referenční geometrií. Vykreslené povrchy se navíc dále trénovaly, aby lépe odpovídaly rekonstruovaným scénám.

K zavedení zpracování specifického pro geometrii se použila metoda nízkohodnostní adaptace (LoRA), aniž by se měnil základní video model.

Při inferenci se běžný proces generování videa provede s těmito adaptacemi vypnutými a následně se v samostatném kroku zpracování extrahuje geometrie, takže obě operace zůstávají v zásadě nezávislé.

Video se poté generuje po úsecích o přibližně 25 snímcích. Zamýšlené pohyby kamery slouží k přípravě vizuálních a prostorových informací potřebných pro každou novou sekvenci. Patří mezi ně promítnuté pohledy na dříve vygenerovanou scenérii, masky označující viditelné oblasti a informace o hloubce odvozené z nashromážděné geometrie.

Aby se zlepšila predikce nových povrchů, ukládané informace o hloubce se následně kombinují s dosavadní znalostí scény, kterou model má, a to pomocí vizuálního transformeru založeného na modelu DINOv2-Base.

Během trénování byly části map hloubky pomocí selektivního maskování záměrně skryty. Model tak musel předpovídat geometrii povrchů z neúplných prostorových dat, což zlepšilo jeho schopnost zobecňovat.

Po vytvoření nové geometrie se množina rovin zpřesňuje kontrolou překrývajících se a zakrytých povrchů; méně spolehlivé odhady se odstraňují, jakmile jsou k dispozici lepší pozorování. Uloženou reprezentaci tak lze s pohybem kamery průběžně zpřesňovat, místo aby se do ní bez omezení přidávala každá predikce povrchu.

Výsledky

Při testování byla metoda porovnána s modely Gen3C, Voyager, VMEM a SPMem; všechny pracovaly s výchozím kódem repozitáře a parametry.

Použité metriky zahrnovaly špičkový poměr signálu k šumu (PSNR), naučené metriky percepční podobnosti (LPIPS), podobnost CLIP a podobnost DINOv2 (podrobnosti o výjimkách uvádí článek).

V prvním testu byl model PPMem porovnán s konkurenčními modely na datových sadách DL3DV a RealEstate10K. Kvalita videa se hodnotila v sekvencích o 49 a 121 snímcích:

Srovnání kvality videa modelů PPMem, Gen3C, Voyager, VMem a SPMem na datových sadách DL3DV a RealEstate10K v sekvencích o 49 a 121 snímcích. PPMem dosáhl nejlepších nebo společně nejlepších výsledků ve všech čtyřech metrikách a jeho náskok se v delších sekvencích obecně zvětšoval.

Autoři k těmto výsledkům uvádějí:

‘PPMem dosahuje nejlepších výsledků ve všech metrikách na obou datových sadách a při obou délkách sekvence, přestože používá menší základní model (Wan 2.2 5B) než Gen3C (Cosmos 7B) a Voyager (HunyuanVideo ∼13B). T’

PPMem se také testoval z hlediska schopnosti odhadovat vzdálenost objektů a povrchů od kamery. Autoři uvádějí, že v průběhu 121 snímků z datové sady DL3DV získal přesnější odhady hloubky než Voyager, jediný konkurenční model, který dokáže současně generovat video i informace o hloubce.

Druhý, kvalitativní test porovnával schopnost konkurenčních modelů zachovat konzistentní scenérii při pohybu kamery scénami z datové sady DL3DV v sekvencích o 300–400 snímcích. PPMem zachovával vzhled a strukturu již spatřeného okolí úspěšněji než konkurenční modely a jeho náskok se s pokračujícími sekvencemi zvětšoval:

Kliknutím přehrajete. Výsledky dokážeme reprodukovat pouze v nižším rozlišení, než mělo původní video. Měli jsme však za to, že video ilustruje výsledky lépe než statické ukázky v článku, a odkazujeme proto čtenáře na kvalitnější verzi na webu projektu PPMem.

Autoři zde uvádějí:

‘PPMem si po celou dobu zachovává nejvyšší percepční věrnost a rozdíl se postupně zvětšuje — nejvýrazněji u DINOv2, kde má PPMem ve snímku 300 náskok ∼0.27 oproti další nejlepší metodě.’

Srovnání videozáběrů vygenerovaných modely Gen3C, VMem, SPMem, Voyager a PPMem v šesti bodech 288snímkové sekvence vedle původního záznamu (Ground Truth). PPMem zachovává vzhled záhonu i okolní scenérie konzistentněji, když se kamera pohybuje, zatímco konkurenční metody stále více zkreslují nebo ztrácejí detaily.

Článek uvádí, že po přibližně 400 snímcích videa lze celou prozkoumanou scénu v PPMem reprezentovat přibližně 100 000 rovinnými primitivy, které zabírají pouhých 5 MB paměti.

Protože je tato reprezentace zhruba tisíckrát úspornější než ukládání téže scenérie jako jednotlivých bodů v hustém 3D mračnu bodů, článek, který by se mohl jevit jako dílčí pokrok v zavedeném směru výzkumu, podle všeho přináší podstatné zlepšení provozní efektivity této architektury.

Závěr

Ačkoli je tato nová studie v rámci omezení a parametrů daného problému vzrušujícím pokrokem, stále pracujeme v paradigmatu, v němž náhodné prozkoumávání latentního prostoru světového modelu rozstřikuje geometrii do okolí jako trvalá pěna; tuto geometrii může být později třeba obnovit v dalších scénách nebo pro jiné kontexty.

Tento proces obnovy je mnohem komplikovanější než načítání tradičních CGI sítí a textur mapovaných na jejich povrch. Celý tento přístup by se dal označit za „poněkud obrácený“: modely AI by měly být v ideálním případě schopné vyhledávat a odkazovat na pevně daná aktiva prostřednictvím nějaké formy RAG nebo vyhledávacího systému a zároveň si zachovat flexibilitu a tvůrčí svobodu při pohybu latentním prostorem.

Je toho hodně, co od toho očekávat, ale metoda „drobečkové cestičky“ mi připadá jako obdoba bizarních řešení, která předcházela bratrům Wrightovým.

* Celé video najdete na webu projektu.

Poprvé publikováno v úterý 20. října 2026