KI-Videos eine Erinnerung an vergangene Dinge geben

Bereits im März haben wir uns angesehen, wie schwer es generativen KI-Videos fällt, sich an Dinge und Orte zu erinnern, die sie bereits gesehen haben, um sie ein zweites Mal wiedergeben und visuelle Konsistenz bieten zu können.

Das Ergebnis dieses Problems: Man kann in einem KI-Weltmodell durch eine Tür gehen, sich zehn Sekunden später umdrehen und feststellen, dass die Tür, durch die man gekommen ist, nicht mehr da ist.

Das lässt sich nicht mit einem einfachen Trick beheben: Da generative KI-Videos ständig das „nächste Ding“ erfinden, mit dem sie sich auseinandersetzen müssen, können sie sich an nichts erinnern, das weit zurückliegt oder aus ihrem begrenzten Kontextfenster herausgefallen ist.

Wenn man ein trainiertes KI-Weltmodell erkundet, ist das also nicht wie die Erkundung einer modellierten CGI-Umgebung, in der Texturen und Geometrie festgelegt und als Vektor- und Bitmapdaten gespeichert sind. Vielmehr ist es, als würde man durch einen Traum aus ungefähren Wahrscheinlichkeiten wandern: Man kann zwar zweimal genau dasselbe finden, aber nur, weil es mithilfe des Kontexts erneut aus dem latenten Raum heraufbeschworen wurde – nicht, weil sich das Modell tatsächlich daran erinnert, es erstellt oder gesehen zu haben.

Das durchschnittliche generative KI-Weltmodell ähnelt daher jemandem mit anterograder Amnesie, der vor einem zerebralen Ereignis – etwa einem Schlaganfall oder einer Verletzung – über ein vollständiges Erinnerungsvermögen verfügt, danach aber keine neuen Erinnerungen bilden kann, seit dem Vorfall (einen solchen Zustand machte Guy Pearces Figur in Christopher Nolans Memento bekannt [2000], das im Titelbild des Hauptartikels zu sehen ist).

Videomodelle verfügen also über ein tiefes und fest verankertes Verständnis vieler Bereiche, können sich aber nichts Neues merken.

Eine Spur aus Brotkrumen

Die HyDRA-Lösung, die wir uns im März angesehen haben, beruhte auf einer „Gedächtnisbank“ aus komprimierten visuellen Tokens. Sie sollte es KI-generierten Figuren ermöglichen, aus dem Bild zu verschwinden und später in derselben Gestalt zurückzukehren, in der sie zuvor zu sehen waren.

Es gibt eine Reihe weiterer Methoden, die diesen „Brotkrumen“-Ansatz nutzen. Das Erzeugen und Hinterlassen komplexer 3D-Geometrie löst das Problem jedoch auf Kosten der Dateigröße sowie der Reaktionsfähigkeit, der Latenz und anderer möglicher Engpässe.

Zu diesen „3D-verankerten Weltmodellen“ gehört das von NVIDIA geleitete Gen3C, dessen HyDRA-Ansatz die gängigste Methode zur Lösung dieses speziellen Problems nutzt: Es wandelt das, was es „sieht“, in Punktwolken um, also im Wesentlichen in vereinfachte 3D-Geometrie:

Zum Abspielen anklicken. Der HyDRA-Ansatz nutzt einen persistenten 3D-Punktwolken-Cache, um die Videogenerierung zu steuern. So bleibt die Szene konsistent, während sich die Kamera bewegt und zuvor gesehene Bereiche erneut auftauchen. Quelle

Ähnliche Ansätze sind unter anderem VMEM der University of Oxford aus dem Jahr 2025 VMEM und die im selben Zeitraum entstandene, von Stanford geleitete Zusammenarbeit SPMem:

Zum Abspielen anklicken. Aus der von Stanford geleiteten Zusammenarbeit SPMem, die eine persistente 3D-Karte statischer Umgebungen mit aktuellen Videobildern zur Darstellung von Bewegung und ausgewählten älteren Bildern für visuelle Details kombiniert. So kann sich das Modell beim erneuten Aufsuchen an Orte erinnern. Quelle 

Doch 3D-Geometrie ist stets mit hohem Aufwand verbunden und stellt hohe Anforderungen an die Inferenz. Es ist nicht einfach, eine Umgebung zu durchstreifen und sie dabei ständig aufzubauen, wie es ein CG-Künstler tun könnte. Außerdem müssen andere Clips, Perspektiven oder Aufnahmen später auf die erzeugte Geometrie zurückgreifen können – eine anspruchsvolle Aufgabe.

Leichtere Notizen

Der jüngste Beitrag zum Thema „KI-Videogedächtnis“ ist eine neue Zusammenarbeit unter der Leitung der Tsinghua University mit dem Titel Persistent Planar Memory for Video World Models:

Zum Abspielen anklicken. Auf der Projektwebsite der von der Tsinghua University geleiteten PPMem-Initiative ist das System in Aktion zu sehen. PPMem ersetzt das volumetrische 3D-Gedächtnis des Vorgängerprojekts SPMem durch eine kompaktere Sammlung flacher Oberflächen. Diese werden aktualisiert und wiederverwendet, während sich die Kamera bewegt, damit zuvor gesehene Umgebungen konsistent bleiben. Quelle 

Wie der obige Videoausschnitt* zeigt, verbessert PPMem die bisherigen Ansätze durch eine kompaktere Darstellung der 3D-Umgebung. Statt Millionen einzelner Punkte zu speichern, um zuvor gesehene Umgebungen zu rekonstruieren, erkennt das System flache Oberflächen wie Wände, Böden und Möbel und speichert sie als wiederverwendbare geometrische Ebenen, sogenannteEbenenprimitive. Neue Teile der Umgebung werden generiert und fortlaufend zum persistenten lokalen Gedächtnis hinzugefügt:

Zwei Beispiele dafür, wie PPMem Videos generiert und dabei ein persistentes 3D-Gedächtnis aufbaut. Jedes Beispiel beginnt links mit einem Eingabebild; darunter ist die geplante Route der Kamera dargestellt. Liest man die nummerierten Einzelbilder in der ersten Reihe von links nach rechts und anschließend ebenso in der zweiten Reihe, sieht man, wie die Kamera ein Geschäft oder einen Garten erkundet. Die kleinen farbigen Ausschnitte zeigen, wie sich die gespeicherten 3D-Oberflächen im Verlauf der Bewegung ansammeln und bereits erkundete Bereiche erhalten. Quelle

Kehrt die Kamera an einen zuvor besuchten Ort zurück, werden die gespeicherten Ebenen wieder in ihr Sichtfeld projiziert. Sie steuern die Generierung neuer Einzelbilder und verringern die Menge der räumlichen Informationen, die erhalten und verarbeitet werden muss. Dies trägt auch dazu bei, zu verhindern, dass vertraute Objekte und Umgebungen sich zwischen den Besuchen verändern oder verschwinden.

Die Verwendung von Ebenenprimitiven – parametrischen Objekten, die durch mathematische Vektoren definiert sind – ermöglicht eine flexiblere und geschicktere Umsetzung des „Brotkrumenansatzes“, wie die Autoren betonen:

„Ein Modell, das ganze Welten und nicht nur kurze Clips generiert, benötigt ein entsprechendes kompaktes, strukturiertes Gedächtnis für das, was es erzeugt hat. Ebenenprimitive sind dafür eine naheliegende Wahl.

„Jedes Primitiv wird durch nur 7 Zahlen parametrisiert (eine mittlere Tiefe, zwei rechteckige Ausdehnungen und ein Rotationsquaternion). Diese stellen die geometrische 3D-Struktur explizit dar und sind um Größenordnungen kompakter als Darstellungen auf Pixelebene.“

ZumAbspielen klicken, falls erforderlich. Leichtgewichtige Anordnungen von Ebenenprimitiven, die von PPMem erzeugt werden, können sowohl Details als auch die grobe Geometrie erfassen und dauerhaft speichern, während sich die Kamera durch das Weltmodell bewegt. Die oben dargestellten grünen Bereiche bleiben im Gedächtnis erhalten, während sie von dunkel>grün abgebildet werden.

Wie weit solche Ebenen eine erkundete Welt darstellen können, ist naturgemäß durch den Speicher und andere vorhersehbare Engpässe begrenzt. Es wäre also nicht möglich, stundenlang durch die Welt zu streifen und bei der Rückkehr alles so vorzufinden, wie man es verlassen hat. Eine solche „levelbasierte“ Beschränkung dürfte Videospielbegeisterten jedoch vertraut sein: Deren leistungsstarke, aber begrenzte lokale Ressourcen liefern in stärker eingegrenzten Umgebungen tendenziell die besten Ergebnisse:

Zum Abspielen klicken. In PPMem hinterlässt die Kamera beim Durchqueren einer Umgebung leichte „Ebenen“ (dargestellt durch die grünen Bereiche), die das Gesehene repräsentieren und auch dann noch vorhanden sind, wenn die Kamera später wieder dorthin zurückkehrt.

Oben sehen wir also, wie ein solches Level Raum für Raum „kartiert“ wird, bis die gesamte Ebene grün und frei erkundbar ist und weniger – wenn auch nicht gar keine – weiteren Ebenen mehr generiert werden müssen.

Methode

PPMem wurde auf Grundlage von Wan2.2-TI2V-5B entwickelt – und nicht auf Basis von Wan2.1-T2V-1.3B, das HyDRA verwendet –, einem Videodiffusionsmodell mit fünf Milliarden Parametern. Hinzu kam ein von Plana3R abgeleitetes Geometrievorhersagesystem. Die bestehende Videoarchitektur blieb erhalten; zusätzlich wurde ein separater Verarbeitungspfad eingeführt, um geometrische Informationen aus den internen Repräsentationen des Modells zu extrahieren:

Schema des Videoerzeugungs- und 3D-Gedächtnissystems von PPMem. Der obere Pfad erzeugt das Video, während der untere Pfad die Formen und Positionen sichtbarer Oberflächen erfasst. Diese werden dem rechts dargestellten gespeicherten Gedächtnis hinzugefügt, das anschließend den nächsten Videoabschnitt steuert. Die Pfeile am unteren Rand zeigen, wie diese Informationen in das System zurückgeführt werden.

In der ersten von zwei Trainingsphasen wurde Wan 2.2 für die kameragesteuerte Videogenerierung feinabgestimmt. Dabei wurden projizierte Ansichten des Ausgangsbilds und früherer Einzelbilder verwendet, um die vorgesehene Kamerabewegung festzulegen. Anschließend wurden die Gewichte der Videoarchitektur eingefroren und die neuen Geometriekomponenten unabhängig davon trainiert.

Für das Training wurden mehr als 80.000 Clips aus DL3DV und RealEstate10K mit einer Auflösung von 576×1024 verwendet. Referenz-Tiefeninformationen stammten von MoGe-2; die geschätzten Entfernungen wurden an 3D-Rekonstruktionen ausgerichtet, die mit VGGT erstellt worden waren.

Das Ebenenvorhersagesystem von PPMem wurde somit darauf trainiert, Oberflächentiefe und -ausrichtung zu schätzen; die Ergebnisse wurden anhand der Referenzgeometrie überprüft. Zusätzlich wurden die gerenderten Oberflächen weiter trainiert, damit sie besser mit den rekonstruierten Szenen übereinstimmen.

Zur Einführung geometriespezifischer Verarbeitung wurde Low-Rank-Anpassung (LoRA) verwendet, ohne das zugrunde liegende Videomodell zu verändern.

Während der Inferenz wird der normale Videogenerierungsprozess mit deaktivierten Anpassungen ausgeführt. Anschließend erfolgt ein separater Verarbeitungsschritt zur Extraktion der Geometrie, sodass die beiden Vorgänge im Wesentlichen unabhängig voneinander bleiben.

Das Video wird anschließend in Abschnitten von jeweils etwa 25 Bildern erzeugt. Dabei dienen die vorgesehenen Kamerabewegungen dazu, die visuellen und räumlichen Informationen für jede neue Sequenz aufzubereiten. Dazu gehören projizierte Ansichten zuvor generierter Szenerien, Masken, die angeben, welche Bereiche sichtbar sind, sowie aus der angesammelten Geometrie abgeleitete Tiefeninformationen.

Um die Vorhersage neuer Oberflächen zu verbessern, werden die gespeicherten Tiefeninformationen anschließend mithilfe eines visuellen Transformers, der auf DINOv2-Base basiert, mit dem vorhandenen Szenenverständnis des Modells kombiniert.

Während des Trainings wurden Teile der Tiefenkarten durch gezielte Maskierung zurückgehalten. Dadurch musste das Modell die Oberflächengeometrie aus unvollständigen räumlichen Daten vorhersagen, was die Generalisierungsfähigkeit verbesserte.

Nach der Erzeugung neuer Geometrie wird der Ebenenpool überprüft und verfeinert, um überlappende und verdeckte Oberflächen zu erkennen. Weniger zuverlässige Schätzungen werden entfernt, sobald bessere Beobachtungen vorliegen. So lässt sich die gespeicherte Repräsentation mit der Kamerabewegung schrittweise korrigieren, statt auf unbestimmte Zeit einfach jede Oberflächenvorhersage anzusammeln.

Ergebnisse

Für die Tests wurde das Verfahren mit Gen3C, Voyager, VMEM und SPMem verglichen. Bei allen kamen der Standardcode aus dem jeweiligen Repository und die Standardparameter zum Einsatz.

Als Metriken dienten das Spitzen-Signal-Rausch-Verhältnis (PSNR), gelernte Metriken zur perzeptuellen Ähnlichkeit (LPIPS), die CLIP-Ähnlichkeit und die DINOv2-Ähnlichkeit (Einzelheiten zu Ausnahmen finden sich in der Studie).

Im ersten Test wurde PPMem anhand der Datensätze DL3DV und RealEstate10K mit den Konkurrenzmodellen verglichen. Die Videoqualität wurde für Sequenzen mit 49 und 121 Bildern bewertet:

Vergleich der Videoqualität von PPMem, Gen3C, Voyager, VMem und SPMem anhand von DL3DV und RealEstate10K bei Sequenzen mit 49 und 121 Bildern. PPMem erzielte bei allen vier Metriken die besten oder gemeinsam besten Werte; sein Vorsprung nahm bei längeren Sequenzen im Allgemeinen zu.

Zu diesen Ergebnissen erklären die Autoren:

„PPMem erzielt bei beiden Datensätzen und beiden Sequenzlängen die besten Ergebnisse bei allen Metriken, obwohl es ein kleineres Basismodell (Wan 2.2 5B) verwendet als Gen3C (Cosmos 7B) und Voyager (HunyuanVideo ∼13B).“

PPMem wurde außerdem daraufhin getestet, wie genau es die Entfernungen von Objekten und Oberflächen zur Kamera schätzen kann. Den Autoren zufolge lieferte es über 121 Bilder aus DL3DV hinweg genauere Tiefenschätzungen als Voyager – das einzige Konkurrenzmodell, das Video und Tiefeninformationen gemeinsam erzeugen kann.

Im zweiten, qualitativen Test wurde verglichen, wie gut die Konkurrenzmodelle die Szenerie konstant hielten, während sich die Kamera 300–400 Bilder lang durch Szenen aus DL3DV bewegte. PPMem bewahrte das Erscheinungsbild und die Struktur zuvor gesehener Umgebungen erfolgreicher als die Konkurrenzmodelle; mit fortschreitender Sequenz wurde sein Vorsprung größer:

Zum Abspielen klicken. Obwohl wir die Ergebnisse nur in einer geringeren Auflösung als im Original wiedergeben können, hielten wir das Video für eine bessere Veranschaulichung als die statischen Ergebnisse der Studie. Wir verweisen daher auf die Version in höherer Qualität auf der Projektwebsite von PPMem.

Dazu schreiben die Autoren:

„PPMem bewahrt durchgehend die höchste perzeptuelle Wiedergabetreue, und der Abstand vergrößert sich mit der Zeit – besonders deutlich bei DINOv2, wo PPMem die nächstbeste Methode bei Bild 300 um ∼0,27 übertrifft.“

Vergleich von Videobildern, die Gen3C, VMem, SPMem, Voyager und PPMem an sechs Zeitpunkten einer 288 Bilder langen Sequenz erzeugt haben, neben der Originalaufnahme (Ground Truth). Während sich die Kamera bewegt, bewahrt PPMem das Erscheinungsbild des Blumenbeets und der umgebenden Szenerie gleichmäßiger. Die Konkurrenzmethoden verzerren zunehmend Details oder verlieren sie.

Laut der Studie lässt sich eine vollständig erkundete Szene nach etwa 400 Videobildern in PPMem durch ungefähr 100.000 Ebenenprimitive darstellen, die nur 5 MB Speicher belegen.

Da dies etwa tausendmal kompakter ist, als dieselbe Szenerie als einzelne Punkte in einer dichten 3D-Punktwolke zu speichern, stellt die Studie offenbar eine substanzielle Verbesserung des Speicheraufwands dieser Architektur dar – obwohl sie zunächst als inkrementeller Fortschritt in einem etablierten Forschungsgebiet hätte gelten können.

Fazit

Obwohl die neue Veröffentlichung innerhalb der Grenzen und Parameter des Zielproblems eine spannende Entwicklung darstellt, arbeiten wir noch immer in einem Paradigma, in dem die zufällige Erkundung des latenten Raums eines Weltmodells Geometrie wie hartnäckiger Schaum in alle Richtungen spritzt – Geometrie, die möglicherweise in späteren Szenen oder für spätere Kontexte wiederhergestellt werden muss.

Dieser Wiederherstellungsvorgang ist weitaus unübersichtlicher als das Einlesen herkömmlicher CGI-Netze und darauf aufgebrachter Texturen. Man könnte argumentieren, dass dieser gesamte Ansatz „einigermaßen rückständig“ ist: KI-Modelle sollten idealerweise über eine Form von RAG oder ein Nachschlagesystem auf feste Assets zugreifen und auf sie verweisen können, während sie sich zugleich die Flexibilität und kreative Freiheit bewahren, sich durch den latenten Raum zu bewegen.

Das ist viel verlangt, aber die „Brotkrumen“-Methode scheint mir dem zu entsprechen, was den Wright-Brüdern vorausging: absonderliche Lösungen.

* Das vollständige Video finden Sie auf der Projektwebsite.

Erstmals veröffentlicht am Dienstag, 20. Oktober 2026