Dajmy filmom AI pamięć o przeszłości

W marcu przyjrzeliśmy się trudności, jaką generatywne wideo AI ma z zapamiętywaniem rzeczy i miejsc, które już widziało, aby móc odtworzyć je ponownie i zachować spójność wizualną.

W praktyce problem polega na tym, że możesz przejść przez drzwi w świecie modelowanym przez AI, odwrócić się dziesięć sekund później i odkryć, że drzwi, przez które przeszedłeś, już nie ma.

To nie jest błaha usterka, którą łatwo naprawić: generatywne wideo AI nieustannie wymyśla „następną rzecz”, z którą musi sobie poradzić, więc nie potrafi tak naprawdę pamiętać niczego, co wydarzyło się dużo wcześniej, ani tego, co wypadło z jego wąskiego okna kontekstowego.

Oznacza to, że eksplorowanie wytrenowanego modelu świata AI nie przypomina zwiedzania wymodelowanego środowiska CGI, w którym tekstury i geometria są stałe oraz zapisane w postaci danych wektorowych i bitmapowych. Bardziej przypomina wędrówkę przez sen złożony z przybliżonych prawdopodobieństw — możesz dwa razy natknąć się na dokładnie to samo, ale tylko dlatego, że zostało ponownie przywołane z przestrzeni ukrytej dzięki kontekstowi, a nie dlatego, że model naprawdę pamięta, iż je stworzył lub widział.

Przeciętny model świata generatywnego wideo AI przypomina więc osobę z amnezją następczą, która doskonale pamięta wszystko sprzed zdarzenia neurologicznego — takiego jak udar lub uraz — ale nie potrafi tworzyć nowych wspomnień od chwili tego zdarzenia (schorzenie spopularyzowane przez postać graną przez Guya Pearce’a w filmie Christophera Nolana Memento [2000], którego kadr pojawia się na głównym zdjęciu artykułu).

Dzięki temu modele wideo zachowują głęboką i mocno zakorzenioną wiedzę z wielu dziedzin, ale nie potrafią zapamiętywać niczego nowego.

Ślad okruszków

Omówione przez nas w marcu rozwiązanie HyDRA opierało się na wykorzystaniu „banku pamięci” ze skompresowanymi tokenami wizualnymi, dzięki którym postacie generowane przez AI mogły znikać z ekranu, a następnie wracać w tej samej postaci, w jakiej widziano je wcześniej.

Istnieje wiele innych metod wykorzystujących to podejście oparte na „okruszkach”; generowanie i pozostawianie za sobą złożonej geometrii 3D rozwiązuje jednak problem kosztem rozmiaru plików, szybkości reakcji, opóźnień i innych potencjalnych wąskich gardeł.

Do „modeli świata opartych na geometrii 3D” należy Gen3C, projekt kierowany przez NVIDIA Gen3C, którego podejście HyDRA wykorzystuje najpopularniejszą metodę rozwiązania tego konkretnego problemu: przekształcanie tego, co model „widzi”, w chmury punktów, czyli w zasadzie uproszczoną geometrię 3D:

Kliknij, aby odtworzyć. Metoda HyDRA wykorzystuje trwałą pamięć podręczną 3D w postaci chmury punktów, aby kierować generowaniem wideo. Dzięki temu zachowuje spójność sceny, gdy kamera się porusza, a wcześniej widziane obszary pojawiają się ponownie. Źródło

Istnieją też inne podobne rozwiązania, takie jak VMEM VMEM Uniwersytetu Oksfordzkiego z 2025 roku oraz powstała w tym samym okresie współpraca SPMem SPMem, kierowana przez Stanford:

Kliknij, aby odtworzyć. Projekt SPMem powstał w ramach współpracy kierowanej przez Stanford. Łączy trwałą mapę 3D statycznego otoczenia z niedawnymi klatkami wideo przedstawiającymi ruch oraz wybranymi starszymi klatkami zawierającymi szczegóły wizualne, dzięki czemu model może zapamiętywać miejsca i rozpoznawać je podczas ponownych odwiedzin. Źródło 

Jednak praca z geometrią 3D jest bardzo wymagająca i stawia wysokie wymagania podczas wnioskowania. Trudno przemierzać środowisko i nieustannie je „budować”, jak mógłby to robić artysta CGI. Co więcej, inne klipy, ujęcia z różnych punktów widzenia czy duble muszą mieć później możliwość odwoływania się do utworzonej geometrii, co stanowi poważne wyzwanie.

Lżejsze ślady

Najnowszym projektem w dziedzinie „pamięci wideo AI” jest nowa współpraca kierowana przez Tsinghua University, zatytułowana Trwała pamięć planarna dla modeli świata wideo:

Kliknij, aby odtworzyć. Przykład działania systemu ze strony projektu PPMem kierowanego przez Tsinghua. PPMem zastępuje wolumetryczną pamięć 3D wykorzystywaną w poprzednim projekcie SPMem bardziej zwartym zbiorem płaskich powierzchni. Aktualizuje je i ponownie wykorzystuje w miarę ruchu kamery, aby zachować spójność wcześniej widzianych środowisk. Źródło 

Jak pokazano w powyższym fragmencie wideo*, PPMem udoskonala wcześniejsze podejścia, wykorzystując bardziej zwartą reprezentację środowiska 3D. Zamiast przechowywać miliony pojedynczych punktów, by odtwarzać wcześniej widziane środowiska, system identyfikuje płaskie powierzchnie, takie jak ściany, podłogi i meble, a następnie zapisuje je jako wielokrotnego użytku płaszczyzny geometryczne, nazywane prymitywami płaszczyznowymi. Są one stale dodawane do trwałej pamięci lokalnej w miarę generowania kolejnych części środowiska:

Dwa przykłady generowania wideo przez PPMem przy jednoczesnym budowaniu trwałej pamięci 3D. Każdy przykład zaczyna się od obrazu wejściowego po lewej stronie, a poniżej pokazano planowaną trasę kamery. Numerowane kadry, oglądane od lewej do prawej — najpierw w pierwszym rzędzie, a następnie w drugim — pokazują, jak kamera eksploruje sklep lub ogród. Małe kolorowe wstawki pokazują, jak w miarę postępu podróży gromadzą się zapisane powierzchnie 3D, zachowując wcześniej poznane otoczenie. Źródło

Gdy kamera wraca w odwiedzone wcześniej miejsce, zapisane płaszczyzny są ponownie rzutowane w jej pole widzenia, co pomaga ukierunkować generowanie nowych kadrów i ogranicza ilość informacji przestrzennych, które trzeba zachować i przetwarzać. Pomaga to także zapobiegać zmianom lub znikaniu znanych obiektów i elementów otoczenia między kolejnymi wizytami.

Zastosowanie prymitywów płaszczyznowych — parametrycznych obiektów zdefiniowanych za pomocą wektorów matematycznych — pozwala, jak twierdzą autorzy, elastyczniej i sprawniej rozwiązać problem „podejścia opartego na okruszkach chleba”:

„Model generujący całe światy, a nie tylko krótkie klipy, potrzebuje analogicznej, zwartej i uporządkowanej pamięci tego, co już wytworzył. Prymitywy płaszczyznowe są naturalnym rozwiązaniem w tej roli.

„Każdy prymityw jest opisany zaledwie 7 liczbami (głębokością środka, dwoma wymiarami prostokąta i kwaternionem obrotu), które jawnie reprezentują strukturę geometryczną 3D, a jego zapis jest o rzędy wielkości bardziej zwarty niż reprezentacja piksel po pikselu”.

Kliknij, aby odtworzyć, jeśli to konieczne. Lekkie układy prymitywów płaszczyznowych generowane przez PPMem mogą rejestrować i zachowywać zarówno szczegóły, jak i ogólną geometrię, gdy kamera porusza się po modelowanym świecie. Widoczne powyżej zielone fragmenty są zachowywane w pamięci, gdy ich kolor zmienia się z ciemnego>zielonego.

Zakres, w jakim takie płaszczyzny mogą reprezentować eksplorowany świat, jest naturalnie ograniczony przez pamięć i inne przewidywalne wąskie gardła. Oznacza to, że nie da się przemierzać świata przez wiele godzin, a potem wrócić i zastać wszystko w takim stanie, w jakim się to zostawiło. Tego rodzaju ograniczenia „oparte na poziomach” będą jednak dobrze znane miłośnikom gier wideo: ich wydajne, lecz ograniczone zasoby lokalne zwykle dają najlepsze efekty w najbardziej ograniczonych warunkach:

Kliknij, aby odtworzyć. W PPMem kamera, przemierzając otoczenie, pozostawia lekkie „płaszczyzny” (zaznaczone na zielono), które reprezentują to, co zobaczyła, i nadal będą tam, gdy kamera ponownie się tam zapuści.

Powyżej możemy więc zobaczyć, jak taki poziom jest „mapowany” pokój po pokoju, aż cała podłoga staje się zielona i można ją swobodnie eksplorować, przy mniejszej — choć niezerowej — potrzebie generowania kolejnych płaszczyzn.

Metoda

PPMem opracowano na bazie modelu Wan2.2-TI2V-5B (zamiast modelu Wan2.1-T2V-1.3B używanego przez HyDRA) — modelu dyfuzji wideo o 5 miliardach parametrów — dodając system przewidywania geometrii zaadaptowany z Plana3R. Zachowano dotychczasowy model bazowy wideo, a osobną ścieżkę przetwarzania wprowadzono w celu wydobywania informacji geometrycznych z jego wewnętrznych reprezentacji:

Schemat systemu generowania wideo i pamięci 3D PPMem. Górna ścieżka generuje wideo, a dolna zapisuje kształty i położenie widocznych powierzchni. Są one dodawane do pamięci przechowywanej po prawej stronie, która następnie służy do ukierunkowania kolejnego fragmentu wideo. Strzałki na dole pokazują, jak te informacje są przekazywane z powrotem do systemu.

W pierwszym z dwóch etapów treningu model Wan 2.2 dostrojono do generowania wideo sterowanego ruchem kamery, wykorzystując rzutowane widoki obrazu źródłowego i wcześniejszych kadrów, aby określić zamierzony ruch kamery. Następnie zamrożono model bazowy wideo, a nowe komponenty geometryczne trenowano niezależnie.

Do treningu wykorzystano ponad 80 000 klipów ze zbiorów DL3DV i RealEstate10K w rozdzielczości 576×1024. Referencyjne informacje o głębi uzyskano z MoGe-2, a oszacowane odległości dopasowano do rekonstrukcji 3D utworzonych przez VGGT.

System przewidywania płaszczyzn PPMem trenowano zatem tak, by szacował głębokość i orientację powierzchni, a jego wyniki porównywano z geometrią referencyjną. Zastosowano też dodatkowy trening renderowanych powierzchni, aby lepiej odpowiadały zrekonstruowanym scenom.

Do wprowadzenia przetwarzania dostosowanego do geometrii, bez modyfikowania bazowego modelu wideo, wykorzystano adaptację niskiego rzędu (LoRA).

Podczas wnioskowania standardowy proces generowania wideo jest wykonywany przy wyłączonych tych adaptacjach, a następnie przeprowadzany jest osobny etap przetwarzania, który wydobywa geometrię. Dzięki temu obie operacje pozostają zasadniczo niezależne.

Następnie wideo generowane jest w segmentach liczących około 25 klatek, a planowane ruchy kamery służą do przygotowania informacji wizualnych i przestrzennych potrzebnych w każdej nowej sekwencji. Obejmuje to projekcje wcześniej wygenerowanej scenografii, maski wskazujące widoczne obszary oraz informacje o głębi wynikające ze zgromadzonej geometrii.

Aby poprawić przewidywanie nowych powierzchni, zapisane informacje o głębi łączy się z istniejącą wiedzą modelu o scenie za pomocą wizualnego transformera opartego na DINOv2-Base.

Podczas treningu część map głębi była pomijana przez selektywne maskowanie, co wymagało od modelu przewidywania geometrii powierzchni na podstawie niepełnych danych przestrzennych i poprawiało zdolność uogólniania.

Po wygenerowaniu nowej geometrii pula płaszczyzn jest udoskonalana przez sprawdzanie, czy powierzchnie się pokrywają lub są zasłonięte; mniej wiarygodne szacunki są usuwane, gdy pojawiają się lepsze obserwacje. Dzięki temu zapisaną reprezentację można stopniowo korygować w miarę ruchu kamery, zamiast bez końca gromadzić wszystkie przewidywane powierzchnie.

Wyniki

W testach metodę porównano z Gen3C, Voyager, VMEM i SPMem, korzystając w każdym przypadku z domyślnego kodu repozytorium i parametrów.

Zastosowane metryki to stosunek sygnału do szumu szczytowego (PSNR), wyuczone metryki podobieństwa percepcyjnego (LPIPS), podobieństwo CLIP oraz podobieństwo DINOv2 (szczegółowe wyjątki opisano w artykule).

W pierwszym teście porównano PPMem z konkurencyjnymi metodami na zbiorach danych DL3DV i RealEstate10K, oceniając jakość wideo w sekwencjach liczących 49 i 121 klatek:

Porównanie jakości wideo generowanego przez PPMem, Gen3C, Voyager, VMem i SPMem na zbiorach DL3DV i RealEstate10K, w sekwencjach liczących 49 i 121 klatek. PPMem uzyskał najlepsze lub ex aequo najlepsze wyniki we wszystkich czterech metrykach, a jego przewaga na ogół rosła wraz z długością sekwencji.

Autorzy tak komentują te wyniki:

„PPMem osiąga najlepsze wyniki we wszystkich metrykach na obu zbiorach danych i przy obu długościach sekwencji, mimo że wykorzystuje mniejszy model bazowy (Wan 2.2 5B) niż Gen3C (Cosmos 7B) i Voyager (HunyuanVideo ∼13B). T’

PPMem przetestowano również pod kątem zdolności szacowania odległości obiektów i powierzchni od kamery. Jak zauważają autorzy, w 121 klatkach z DL3DV uzyskano dokładniejsze szacunki głębi niż w przypadku Voyagera, jedynego konkurencyjnego modelu, który potrafi jednocześnie generować wideo i informacje o głębi.

W drugim, jakościowym teście porównano zdolność konkurencyjnych metod do zachowania spójności scenografii podczas ruchu kamery w scenach z DL3DV na przestrzeni 300–400 klatek. PPMem skuteczniej niż konkurencyjne modele zachowywał wygląd i strukturę wcześniej widzianego otoczenia, a jego przewaga rosła wraz z długością sekwencji:

Kliknij, aby odtworzyć. Chociaż możemy odtworzyć wyniki jedynie w niższej rozdzielczości niż oryginał, uznaliśmy, że wideo lepiej je ilustruje niż statyczne obrazy z artykułu. Zachęcamy do obejrzenia wersji w wyższej jakości w serwisie projektu PPMem.

Autorzy stwierdzają:

„PPMem przez cały czas zachowuje najwyższą wierność percepcyjną, a różnica z czasem się powiększa — najbardziej wyraźnie w przypadku DINOv2, gdzie PPMem wyprzedza kolejną najlepszą metodę o ∼0.27 w 300. klatce”.

Porównanie klatek wideo wygenerowanych przez Gen3C, VMem, SPMem, Voyager i PPMem w sześciu punktach 288-klatkowej sekwencji, zestawione z oryginalnym nagraniem (Ground Truth). PPMem lepiej zachowuje wygląd klombu i otaczającej go scenografii podczas ruchu kamery, podczas gdy konkurencyjne metody coraz bardziej zniekształcają obraz lub gubią szczegóły.

W artykule zauważono, że po około 400 klatkach wideo całą zbadaną scenę można przedstawić w PPMem za pomocą około 100 000 prymitywów płaszczyzn, zajmujących zaledwie 5 MB pamięci.

Ponieważ jest to mniej więcej tysiąc razy bardziej kompaktowe rozwiązanie niż zapisanie tej samej scenografii jako pojedynczych punktów w gęstej chmurze punktów 3D, artykuł, który można by uznać za niewielki postęp w ugruntowanym nurcie badań, najwyraźniej przynosi istotną poprawę w zakresie wymagań tej architektury.

Podsumowanie

Choć nowa praca stanowi ekscytujący postęp w ramach i granicach badanego problemu, nadal działamy w paradygmacie, w którym losowa eksploracja przestrzeni ukrytej modelu świata rozrzuca geometrię na wszystkie strony niczym trwała pianka — geometrię, którą być może trzeba będzie odtworzyć w późniejszych scenach lub na potrzeby późniejszych kontekstów.

Odtwarzanie jej jest znacznie bardziej kłopotliwe niż wczytywanie tradycyjnych siatek CGI i nałożonych na nie tekstur. Można by uznać, że całe to podejście jest „nieco postawione na głowie”: modele AI powinny w idealnym przypadku móc pobierać i przywoływać stałe zasoby za pomocą jakiejś formy RAG lub systemu wyszukiwania, zachowując jednocześnie elastyczność i swobodę twórczą, jakie daje poruszanie się w przestrzeni ukrytej.

To spore wymaganie, ale moim zdaniem metoda „okruszków” przypomina dziwaczne rozwiązania, które pojawiły się przed braćmi Wright.

* Pełny film można obejrzeć na stronie projektu.

Opublikowano po raz pierwszy we wtorek 20 października 2026 r.