Vergessenheitsneige bei KI-Modellen überwinden, um länger “dran zu bleiben”

Sprachmodelle können oft nicht das Gespräch von Anfang an merken. Eine neue Textkomprimierungsmethode könnte dies ändern und AI-Gespräche viel weniger frustrierend machen.

Konversationssysteme wie ChatGPT verlieren oft die Spur von früheren Teilen eines Gesprächs, wiederholen sich oder geben Antworten, die zuvor vereinbarte Regeln ignorieren.

Dies liegt daran, dass Large Language Models (LLMs) eine begrenzte Fähigkeit zur Konzentration haben, definiert als ein ‘Kontextfenster’ der Aufmerksamkeit – wie eine Taschenlampe, die nur das beleuchten kann, was direkt darauf gerichtet ist, und einige angrenzende Objekte.

Die Behebung solcher “amnestischer” Tendenzen, die durch diese Aufmerksamkeitsbeschränkungen verursacht werden, ist eine der wichtigsten Forschungsrichtungen bei sprachbasierten KI-Modellen – nicht zuletzt, weil dieses Syndrom die Möglichkeit von nützlichen und konsistenten Multi-Turn-Gesprächen stark einschränkt und die Nützlichkeit von LLMs in einer Vielzahl von Genauigkeits-kritischen Kontexten wie Medizin und Recht behindert.

Überwindung

Eine neue Forschung aus China^† schlägt eine neuartige Methode vor, um eine wesentlich größere Menge an Text in die begrenzten Ressourcen eines GPU-basierten KI-Modells zu komprimieren – mit Ergebnissen, die eine 20-fache Komprimierungsverbesserung bei gleichzeitiger Beibehaltung von 98% Genauigkeit erreichen:

Context Cascade Compression (C3) rekonstruiert lange Dokumente genauer als optische Komprimierungsmethoden wie DeepSeek-OCR, sogar wenn die Eingabe um bis zu vierzig Mal reduziert wird. Über eine Reihe von Dokumentlängen und Komprimierungseinstellungen hinweg bleibt die neue Methode nahezu perfekt, während der optische Ansatz scharf unter höherer Komprimierung abnimmt. Quelle

Mit einer Genauigkeit von 93%, die innerhalb der Arbeitsparameter liegt, kann die Textkomprimierung sogar ein 40-faches Komprimierungsverhältnis erreichen:

Drei Ansätze zur Komprimierung von Langtexten für die Eingabe von Sprachmodellen: die Basismethode (links) tokenisiert den Text direkt, was eine große Tokenzahl ergibt; der optische Weg (Mitte) wandelt den Text in ein Bild um und extrahiert visuelle Einbettungen mithilfe eines Vision Transformers, was eine 10-fache Komprimierung erreicht; und die neue C3-Methode (rechts) verwendet ein kleines Sprachmodell, um den Text direkt in nur 32 latente Token zu komprimieren, was eine 40-fache Komprimierung ohne visuelle Kodierung erreicht.

Dies bedeutet, dass die gesamte lange Konversation komprimiert und in regelmäßigen Abständen als Hintergrundkontextinformation in die Konversation eingefügt werden kann, wenn das LLM normalerweise frühere Fakten vergessen und in “amnestisches” Verhalten verfällt.

Obwohl dies eine verlustbehaftete Komprimierungsmethode ist, ist sogar die Art und Weise, wie der Verlust auftritt, nützlich: unter der neuen Methode tritt der Gedächtnisverlust am Ende eines Satzes auf und nicht gleichmäßig überall, wie bei der DeepSeek-OCR-Architektur, die den neuen Ansatz inspirierte; tatsächlich schlagen die Forscher hinter dem neuen Papier vor, dass ihre Methode auf die gleiche Weise wie das menschliche Gedächtnis abnimmt, anstatt zufällig:

Oben: Das menschliche Gedächtnis nimmt am Ende des Datenstroms ab; Mitte: DeepSeek-OCR nimmt zufällig ab, ohne Anker, die zur Behebung des Problems beitragen könnten; Unten: Die neue Methode nimmt auf die gleiche Weise wie das menschliche Gedächtnis ab, gegen das Ende des Datenstroms, und bietet Marker, die zur Verbesserung der Genauigkeit durch nachträgliche Verarbeitung beitragen können.

Dies bedeutet, dass man vorhersagen kann, wo die gemerkten Daten weniger zuverlässig sein könnten, und diese Kenntnis nutzen kann, um das Problem zu beheben – was möglicherweise eine massive Verbesserung der konversationellen Erinnerung und Kohärenz mit 100% Genauigkeit nach der Behebung bieten kann.

Der neue Ansatz wird Context Cascade Compression (C3) genannt und ist von der Art und Weise inspiriert, wie DeepSeek-OCR Text als Bilder komprimiert, um eine große Komprimierung zu erreichen. Durch die Verwendung von zwei (mittleren und großen) Sprachmodellen, um lange Texte direkt in latente Einbettungen zu komprimieren, erreicht die neue Methode eine bessere Leistung, indem sie den durch die Verwendung von Rasterbildern verursachten Nachteil ausschaltet.

Das Papier besagt:

‘Die überlegene Leistung von C3 kann ihrer grundlegenden architektonischen Gestaltung zugeschrieben werden. Die DeepSeek-OCR-Analyse geht davon aus, dass ihr Leistungsabfall auf Faktoren wie “komplexes Layout” und “Bildverschlechterung bei niedrigeren Auflösungen” zurückzuführen ist – inhärente Einschränkungen des optischen Pfads.

‘Unser C3-Paradigma, das direkt im Textbereich operiert, ist vollständig immun gegen diese visuellen Artefakte. Es vermeidet den Informationsverlust, der mit der Darstellung von Text in Pixeln und deren Kodierung verbunden ist. Stattdessen nutzt es das starke semantische Verständnis eines vorgebildeten LLM, um textuelle Informationen direkt in eine effiziente latente Repräsentation zu destillieren.’

Die neue Veröffentlichung trägt den Titel Context Cascade Compression: Exploring the Upper Limits of Text Compression und stammt von zwei Autoren^†, die C3 auch als Open-Source-Repository auf GitHub anbieten.

Methode

Um den neuen Ansatz zu verstehen, ist es hilfreich, zu wissen, was optische Zeichenerkennung (OCR) ist, da dies der Ausgangspunkt für die gesamte Idee ist.

OCR ist eine algorithmische Methode, die bis in die 1920er Jahre zurückreicht, obwohl sie in den 1990er Jahren populär wurde, bei der Mustererkennung es einem Computerprogramm ermöglicht, Rastertext (d. h. Text in Bildern, der nicht ausgewählt werden kann und nur als fotografischer Inhalt existiert) in bearbeitbaren Text umzuwandeln.

Die Erfinder von DeepSeek-OCR entdeckten, dass Text viel stärker komprimiert werden kann als Standard-Pipelines, indem OCR als Zwischenstufe verwendet wird. Mit anderen Worten: Anstatt Text selbst zu komprimieren, kann man durch die Komprimierung einer rasterisierten Version des Textes eine größere Dichte latenter Einbettungen (d. h. mehr Informationen) erreichen:

Aus der DeepSeek-OCR-Veröffentlichung, ein Schema für die Komprimierungspipeline, einschließlich 16×16-Raster-Patches als OCR-Komponente. Quelle

Die neue Veröffentlichung legt nahe, dass optische Ansätze wie DeepSeek-OCR möglicherweise die Quelle ihrer Komprimierungsgewinne falsch zuordnen. Anstatt dass der Wechsel von Text zu Bild der primäre Faktor ist, gehen die Autoren davon aus, dass der Schlüsselfaktor darin besteht, verbose Text-Token in effizientere latente Repräsentationen umzuwandeln.

Um dies zu testen, erstellten sie eine Pipeline, die zwei Sprachmodelle nutzt: das kleinere Qwen2.5 1.5B, das als Encoder fungiert und lange Passagen in eine kleine Menge latenter Token komprimiert; und das größere Qwen2.5 3B, das als Decoder fungiert und den ursprünglichen Text aus diesen Token rekonstruiert:

Im neuen C3-System komprimiert das kleinere Qwen2.5-1.5B-Modell eine lange Eingabe in eine feste Menge latenter Token, indem es trainierbare Abfrage-Einbettungen verwendet. Diese Token, zusammen mit einem Prompt, werden an das größere Qwen2.5-3B-Modell übergeben, das den ursprünglichen Text rekonstruiert. Diese Architektur ermöglicht eine hochwertige Rekonstruktion langer Sequenzen mit nur einem Bruchteil der ursprünglichen Tokenzahl.

Um die Komprimierungsstufe zu bewältigen, passten die Forscher das vorgebildete Qwen2.5-1.5B-Modell an, indem sie trainierbare Abfrage-Einbettungen einführten: abstrakte Prompts, die das Modell anleiten, den eingehenden langen Kontext in eine viel kleinere latente Repräsentation zu destillieren.

Anstatt die Architektur zu modifizieren, fütterten die Forscher den langen Text und die Abfrage-Einbettungen einfach zusammen als eine einzige Eingabe. Der Self-Attention-Mechanismus des Modells behandelt diese Elemente identisch, was es ermöglicht, eine feste Menge latenter Token ohne neue Schichten oder Designänderungen auszugeben; und diese Ausgabe wird dann an das größere Modell zur Rekonstruktion übergeben.

Um zu bewerten, wie viel Information die Komprimierung überlebt, instruierten die Forscher den Qwen2.5-3B-Decoder, den ursprünglichen Eingabetext mithilfe der latenten Token und des Prompts ‘den Text wiederholen’ zu rekonstruieren. Da die Aufgabe die exakte Reproduktion und nicht die Zusammenfassung oder Paraphrasierung beinhaltete, konnte jede Abweichung vom Original direkt auf den Informationsverlust bei der Komprimierung zurückgeführt werden, was einen sauberen und objektiven Test der Fidelität über die Encode-Decode-Pipeline hinweg ermöglichte.

Daten und Tests

Die Veröffentlichung besagt, dass die Autoren eine originale Datenbank von OCR-Materialien zusammengestellt haben, die aus einer Million Seiten im Internet besteht. Keine weiteren Details sind auf diesem Punkt erkennbar, und die Autoren scheinen auf diesem Punkt absichtlich vage zu sein.

Trotzdem bemerken sie, dass Datenengineering und -kuratierung für ihre Zwecke nicht notwendig waren und dass sie ihr Modell effektiv auf Proben von “verschiedener Länge” trainieren konnten; und sie behaupten, dass dies darauf hindeutet, dass ihre Architektur widerstandsfähig (und implizit, gut generalisiert, je nach Trainingsparameter) ist.

Das Modell wurde auf einem Hochleistungscluster aus acht NVIDIA H800-GPUs trainiert, von denen jeder mit 80 GB VRAM ausgestattet war, was insgesamt 640 GB VRAM-Ressourcen ergab. Jeder GPU konnte eine Batch-Größe von 2 aufnehmen, was eine globale Batch-Größe von 256 ergab, wenn man die 16 Akkumulationsschritte berücksichtigt. Der Optimierer war AdamW, über insgesamt 40.000 Schritte.

Um die Effektivität der C3-Architektur zu testen, folgten die Forscher dem gleichen Evaluierungsszenario, das im ursprünglichen DeepSeek-OCR-Papier verwendet wurde, und nutzten den Fox-Benchmark, um die Komprimierung und Rekonstruktionsgenauigkeit über eine Reihe von Dokumentlängen hinweg zu messen.

Englischsprachige Texte wurden ausgewählt, mit Passagen, die von 600 bis 1300 Token reichten, wobei die Tokenisierung mit dem Qwen-Tokenizer durchgeführt wurde.

Um einen fairen Vergleich zu ermöglichen, wurden äquivalente Komprimierungsniveaus vom (DeepSeek-OCR-) optischen Baseline verwendet, mit 64 und 100 latenten Token. Um die Grenzen der Methode zu erforschen, wurden zusätzliche Tests mit nur 32 latenten Token durchgeführt. In jedem Fall wurde die Rekonstruktion mit der Anweisung ‘den Text wiederholen:’ initialisiert:

Ergebnisse des ersten Tests. Rekonstruktionspräzision und Komprimierungsverhältnisse wurden über sieben Tokenbereiche hinweg mit 64 und 100 latenten Token gemessen, was eine konsistente Überlegenheit von C3 gegenüber DeepSeek-OCR zeigte, insbesondere bei höheren Komprimierungsstufen.

Die Veröffentlichung besagt:

‘Die Daten zeigen eindeutig, dass C3s direktes Text-zu-latenter-Komprimierungsparadigma die optische Komprimierungsmethode in allen getesteten Bedingungen deutlich übertrifft und einen neuen Stand der Technik bei der hochwertigen Kontextkomprimierung etabliert.’

Wenn beide Systeme auf längere Dokumente getestet wurden, begann DeepSeek-OCR, an Genauigkeit zu verlieren, wenn die Komprimierung zunahm, und fiel unter 60% in den extremsten Fällen. C3 behandelte die gleiche Komprimierungsstufe mit viel weniger Informationsverlust, blieb nahe bei 98%, sogar wenn die Eingabe auf ein zwanzigstel ihrer ursprünglichen Größe reduziert wurde.

Im anspruchsvollsten Test wurde der vollständige Text auf nur 32 Token komprimiert. Selbst dann konnte das Modell fast den gesamten ursprünglichen Inhalt wiederherstellen, wobei die Genauigkeit in vielen Fällen nahe bei 99% lag:

Rekonstruktionsgenauigkeit und Komprimierungsverhältnisse bei 32 latenten Token, was zeigt, dass selbst bei extremen Reduktionen (bis zu fast 40-facher Komprimierung) die Präzision über 93% bleibt.

Bei der extremsten Einstellung, bei der die Eingabe auf fast ein Vierzigstel ihrer Größe komprimiert wurde, erinnerte es sich immer noch an über 93%. Im Vergleich dazu sanken frühere optische Methoden auf etwa 60% Genauigkeit bei halb so starker Komprimierung.

Die Autoren stellen fest^††:

‘Diese Ergebnisse zeigen eindeutig den Vorteil der C3-Architektur. Durch die Vermeidung von Informationsengpässen und potenziellen Artefakten, die dem visuellen Modus inhärent sind (z. B. Bildauflösungsbeschränkungen, Layoutkomplexität), kann unsere Methode extreme Komprimierung mit minimalem Informationsverlust bewältigen.

‘Die Ergebnisse aus diesem anspruchsvollen Testfall bestätigen unsere Behauptung, dass direkte Text-zu-latente-Komprimierung ein grundlegend effizienteres und leistungsfähigeres Paradigma als ihre optischen Pendants ist.’

Sie kommen auch zu dem Schluss, dass C3 ‘neue Fähigkeiten bei der Verarbeitung ganzer Bücher, umfangreicher juristischer Dokumente oder großer Codebasen für Aufgaben wie Fragebeantwortung, Zusammenfassung und Analyse freischalten kann’.

Schlussfolgerung

Dies ist eines der klarsten und zugänglichsten Papiere, die ich kürzlich gelesen habe, mit einer lobenswerten klaren Kernidee, die sich möglicherweise als zusätzlicher Ansatz gegen das “Kontextfenster-Problem” erweisen könnte.

Viele Benutzer von LLMs haben inzwischen gelernt, wichtige Informationen oder Richtlinien regelmäßig während eines langen Austauschs zu “aktualisieren”, nachdem sie auf die harte Tour herausgefunden haben, dass ChatGPT und ähnliche Systeme diese Informationen nicht lange behalten können. Der vorliegende Ansatz im neuen Papier besteht darin, dass eine hoch komprimierte Version einer langen Konversation automatisch in regelmäßigen Abständen in das Kontextfenster des aktuellen LLM-Instanz re-injiziert werden kann, im Wesentlichen “indem sie sich durch einen Proxy erinnert”.

In einer Zeit, in der die Knappheit an GPU-Ressourcen zu einem Preisanstieg sogar bei traditionellem Computer-Speicher (wie DRAM, wo viele frühere GPU-Workloads jetzt verlagert werden, um größere Modelle zu unterstützen) führt, ist es unwahrscheinlich, dass die Hardware von KI-Systemen in naher Zukunft wesentlich leistungsfähiger wird; daher könnten innovative Ansätze wie dieser, die fast eine nostalgische Wiederholung der 1990er-Jahre-Entwicklung der Dateikomprimierungsalgorithmen sind, notwendig sein, um die Leistung voranzutreiben.

Wichtiger noch, es wäre einfach großartig, wenn LLMs ein kohärentes Gespräch über eine Stunde oder länger aufrechterhalten und tatsächlich daran erinnern könnten, worüber das Gespräch ursprünglich ging.

* CLI-Installationsanweisungen sind vorhanden, aber ich habe keine Zeit, eine Installation zu versuchen, und bin mir nicht sicher, ob das Repository codevollständig ist.

^† Die beiden Autoren werden als Fanfan Liu und Haibo Qiu genannt. Soweit eine lockere Recherche erkennen lässt, ist Qiu derzeit Forscher bei dem chinesischen Technologieunternehmen Meituan, und Liu ist ein MS-Student an der Chinesischen Akademie der Wissenschaften. Keiner von beiden hat derzeit das fragliche Papier in seiner Geschichte aufgeführt. Wenn diese Zuschreibungen falsch sind, bitte kontaktieren Sie mich über mein Profil.

^†† Obwohl die Autoren dem Schema folgen, indem sie zusätzliche qualitative Tests bereitstellen, sind diese im Vergleich zu den früheren Komprimierungstests unerleuchtend, und ich habe sie hier nicht behandelt.

Erstveröffentlicht am Freitag, den 21. November 2025