Vergeten AI leren om ‘dat idee’ langer vast te houden

Taalmodellen kunnen vaak niet onthouden waar een gesprek mee begon. Een nieuwe tekstcompressiemethode kan dit veranderen en AI-gesprekken veel minder frustrerend maken.

Conversational AI-systemen zoals ChatGPT verliezen vaak het spoor van eerdere delen van een gesprek, herhalen zichzelf, of geven antwoorden die eerder overeengekomen regels negeren.

Dit komt doordat Large Language Models (LLM’s) een beperkte mogelijkheid hebben om te focussen, gedefinieerd als een ‘context window’ van aandacht – zoals een zaklamp die alleen kan schijnen op wat het rechtstreeks is gericht, en een paar aangrenzende objecten.

Het oplossen van dergelijke ‘vergetende’ neigingen, die te wijten zijn aan deze beperkingen op aandacht, is een van de belangrijkste richtingen van onderzoek naar taalgebaseerde AI-modellen – niet in de laatste plaats omdat dit syndroom de mogelijkheid van nuttige en consistente multi-turn gesprekken aanzienlijk beperkt, en de bruikbaarheid van LLM’s in een verscheidenheid aan nauwkeurigheidscritische contexten, zoals geneeskunde en recht, beperkt.

Crushing It

Nieuw onderzoek uit China^† stelt een novatieve methode voor om een aanzienlijk grotere hoeveelheid tekst te laten passen in de beperkte middelen van een GPU die een AI-model draait – met resultaten die een 20x compressieverbetering behalen bij 98% nauwkeurigheid:

Context Cascade Compression (C3) reconstrueert lange documenten nauwkeuriger dan optische compressiemethoden zoals DeepSeek-OCR, zelfs wanneer de invoer wordt verkleind tot veertig keer. Over een reeks documentlengtes en compressieniveaus behoudt de nieuwe methode een bijna perfecte trouw, terwijl de optische benadering scherp afneemt onder hogere compressie. Bron

Met een nauwkeurigheid van 93% – wat binnen werkbare parameters ligt – kan de tekstcompressie zelfs een 40x compressieratio behalen:

Drie benaderingen voor het comprimeren van lange tekst voor taalmodelinput: de basismethode (links) tokeniseert de tekst rechtstreeks, waardoor een grote token telling ontstaat; de optische route (midden) converteert de tekst naar een afbeelding en extracteert visuele embeddings met behulp van een Vision Transformer, waardoor 10x compressie wordt behaald; en de nieuwe C3-methode (rechts) gebruikt een klein taalmodel om de tekst rechtstreeks te comprimeren tot slechts 32 latent tokens, waardoor 40x compressie wordt behaald zonder visuele encodings te gebruiken.

Dit betekent dat de gehele lange conversatie kan worden gecomprimeerd en opnieuw ingevoerd (bijgewerkt) op intervallen in de uitwisselingen als achtergrondcontextinformatie, later in het gesprek – wanneer de LLM normaal gesproken eerder feiten zou vergeten en zou vervallen in ‘vergetende’ gedrag.

Hoewel dit een verliescompressiemethode is, is zelfs de manier waarop het verlies optreedt nuttig: onder de nieuwe methode degradeert het geheugen aan het einde van een zin, en niet gelijkmatig over de hele zin, zoals bij de DeepSeek-OCR-architectuur die de nieuwe benadering inspireerde; in feite suggereren de onderzoekers achter het nieuwe artikel dat hun methode degradeert op dezelfde manier als het menselijk geheugen, in plaats van willekeurig:

Boven, het menselijk geheugen degradeert aan het einde van de datastroom; midden: DeepSeek-OCR degradeert willekeurig, waardoor er geen ankers zijn die kunnen helpen bij het oplossen van het probleem; onder: de nieuwe methode degradeert op dezelfde manier als het menselijk geheugen, naar het einde van de datastroom, waardoor markers worden aangeboden die kunnen helpen bij het verbeteren van de nauwkeurigheid door middel van post facto-verwerking.

Dit betekent dat men kan voorspellen waar de onthouden gegevens mogelijk minder betrouwbaar zijn, en deze kennis kan worden gebruikt om het probleem aan te pakken – mogelijk een enorme verbetering in conversatieherinnering en coherentie biedend, met 100% nauwkeurigheid na herstel.

De nieuwe benadering wordt Context Cascade Compression (C3) genoemd en is geïnspireerd door de manier waarop DeepSeek-OCR tekst comprimeert als afbeeldingen, waardoor een grote compressieniveau wordt behaald. Echter, door twee (medium en large) taalmodellen te gebruiken om lange tekst rechtstreeks te comprimeren tot latent embeddings, snijdt de nieuwe benadering de weerstand veroorzaakt door het gebruik van rasterafbeeldingen, waardoor een betere prestatie wordt behaald.

Het artikel zegt:

‘De superieure prestatie van C3 kan worden toegeschreven aan de fundamentele architectonische ontwerp. De DeepSeek-OCR-analyse veronderstelt dat de prestatieafname te wijten is aan factoren zoals “complex layout” en “image blurring bij lagere resoluties” – inherente beperkingen van de optische route.

‘Onze C3-paradigma, door rechtstreeks in het tekstdomein te werken, is geheel immuun voor deze visuele-domeinartefacten. Het voorkomt het informatieverlies dat geassocieerd is met het renderen van tekst naar pixels en vervolgens het coderen van die pixels. In plaats daarvan maakt het gebruik van een vooraf getraind LLM’s krachtige semantische begrip om tekstuele informatie rechtstreeks te destilleren in een efficiënte latent representatie.’

Het nieuwe artikel heet Context Cascade Compression: Exploring the Upper Limits of Text Compression en komt van twee auteurs^†, die ook lijken* de C3 als een open source-repository op GitHub aan te bieden.

Methode

Om de nieuwe benadering te begrijpen, is het nuttig om te weten wat optische tekenherkenning (OCR) is, omdat dit de basis vormt voor het hele idee.

OCR is een algoritme dat dateert uit de jaren twintig, maar populair werd in de jaren negentig, waarbij patroonherkenning een computerprogramma in staat stelt om raster tekst (d.w.z. tekst in afbeeldingen, die niet kan worden geselecteerd en alleen bestaat als fotografische inhoud) om te zetten in bewerkbare tekst.

De makers van DeepSeek-OCR ontdekten dat tekst veel meer kon worden gecomprimeerd dan standaardpijpleidingen door OCR als een tussenstap te gebruiken. Met andere woorden, in plaats van tekst zelf te comprimeren, kon men een grotere dichtheid van latent embeddings behalen (d.w.z. meer informatie opgeslagen) door een gerasterde versie van die tekst te comprimeren:

Uit het DeepSeekOCR-releasepaper, een schema voor de compressiepijplijn, inclusief 16×16 gerasterde patches als OCR-component. Bron

Het nieuwe artikel suggereert dat optische benaderingen zoals DeepSeek-OCR mogelijk de bron van hun compressiewinsten verkeerd toeschrijven. In plaats van dat de overgang van tekst naar afbeelding de primaire factor is, beweren de auteurs dat het belangrijkste voordeel voortkomt uit het omzetten van uitgebreide teksttokens in meer efficiënte latent representaties.

Om dit te testen, creëerden ze een pijplijn die twee taalmodellen gebruikt: het kleinere Qwen2.5 1.5B, dat fungeert als de encoder, comprimeert lange passages in een kleine set latent tokens; en het grotere Qwen2.5 3B, dat fungeert als de decoder, reconstrueert de oorspronkelijke tekst uit die tokens:

In het nieuwe C3-systeem comprimeert het kleinere Qwen2.5 1.5B-model een lange invoer in een vaste lengte latent tokens, met behulp van trainable query-embeddings. Deze tokens, samen met een prompt, worden doorgegeven aan het grotere Qwen2.5 3B-model, dat de oorspronkelijke tekst reconstrueert. Deze architectuur maakt het mogelijk om lange sequenties met hoge nauwkeurigheid te herinneren, met behulp van slechts een fractie van de oorspronkelijke token telling.

Om de compressiefase te verwerken, pasten de onderzoekers het vooraf getrainde Qwen2.5 1.5B-model aan door trainable query-embeddings in te voeren: abstracte prompts die het model helpen om de binnenkomende lange context te destilleren in een veel kleinere latent representatie.

In plaats van de architectuur te wijzigen, voeden de onderzoekers de lange tekst en de query-embeddings samen als één invoer. Het zelfaandachtsmechanisme van het model behandelt deze elementen identiek, waardoor het een vaste lengte latent context kan uitvoeren zonder nieuwe lagen of ontwerpveranderingen nodig te hebben; en deze uitvoer wordt vervolgens doorgegeven aan het grotere model voor reconstructie.

Om te beoordelen hoeveel informatie overleefde de compressie, instrueerden de onderzoekers de Qwen2.5 3B-decoder om de oorspronkelijke invoer te reconstrueren met behulp van alleen de latent tokens, en de prompt ‘herhaal de tekst’. Aangezien de taak bestond uit exacte reproductie, in plaats van samenvatting of parafrase, kon elke afwijking van de oorspronkelijke tekst rechtstreeks worden toegeschreven aan informatie die verloren was gegaan tijdens de compressie, waardoor een schone en objectieve test van trouw over de encode-decodepijplijn werd geboden.

Gegevens en tests

Het artikel zegt dat de auteurs een originele dataset van OCR-materiaal hebben samengesteld, bestaande uit een miljoen pagina’s die van het internet zijn verkregen. Er is geen verdere details over deze bronnen, en de auteurs lijken opzettelijk vaag over dit punt te zijn.

Nonetheless, zij merken op dat gegevensengineering en -curatie niet nodig waren voor hun doeleinden, en dat zij hun model effectief konden trainen op voorbeelden van ‘diverse lengte’; en zij zeggen dat dit aangeeft dat hun architectuur robuust is (en bij implicatie, goed gegeneraliseerd, afhankelijk van trainingsinstellingen).

Het model werd getraind op een high-performancecluster bestaande uit acht NVIDIA H800-GPU’s, elk uitgerust met 80 GB VRAM, voor een totale VRAM-bron van 640 GB. Elke GPU bood plaats aan een batchgrootte van 2, waardoor een totale globale batchgrootte van 256 ontstond, wanneer men rekening houdt met de 16 accumulatiestappen die zijn gepland. De optimizer was AdamW, over een totaal van 40.000 stappen.

Om de effectiviteit van de C3-architectuur te testen, volgden de onderzoekers dezelfde evaluatieopstelling die in het oorspronkelijke DeepSeek-OCR-artikel werd gebruikt, met behulp van de Fox-benchmark om compressie en reconstructienauwkeurigheid over een reeks documentlengtes te meten.

Engelstalige teksten werden geselecteerd, met passages variërend van 600 tot 1300 tokens, met tokenisatie uitgevoerd met de Qwen-tokenizer.

Om een eerlijke vergelijking mogelijk te maken, werden equivalente compressieniveaus van de (DeepSeek-OCR) optische baseline gebruikt, met 64 en 100 latent tokens. Om de grenzen van de methode te verkennen, werden aanvullende tests uitgevoerd met slechts 32 latent tokens. In alle gevallen werd reconstructie geïnitieerd met de instructie ‘herhaal de tekst:’:

Resultaten van de initiële test. Reconstructienauwkeurigheid en compressieverhoudingen werden gemeten over zeven tokenbereiken met 64 en 100 latent tokens, waaruit bleek dat C3 consistent beter presteerde dan DeepSeek-OCR, vooral bij hogere compressieniveaus.

Het artikel zegt:

‘De gegevens laten ondubbelzinnig zien dat C3’s directe tekst-naar-latent-compressieparadigma significant beter presteert dan de optische compressiebenadering over alle geteste condities, waardoor een nieuwe staat-van-de-kunst in hoge-trouw-contextcompressie wordt vastgesteld.’

Wanneer beide systemen werden getest op langere documenten, begon DeepSeek-OCR nauwkeurigheid te verliezen naarmate de compressie toenam, onder de 60% in het meest extreme geval. C3 behandelde hetzelfde compressieniveau met veel minder verlies, bleef stabiel bij 98%, zelfs wanneer de invoer werd verkleind tot een twintigste van de oorspronkelijke grootte.

In de meest veeleisende test werden volledige teksten verkleind tot slechts 32 tokens. Zelfs dan kon het model bijna alle oorspronkelijke inhoud herstellen, met een nauwkeurigheid van bijna 99% in veel gevallen:

Reconstructienauwkeurigheid en compressieverhoudingen bij 32 latent tokens, waaruit blijkt dat zelfs bij extreme reducties (tot bijna 40x) de nauwkeurigheid boven de 93% blijft.

Bij de meest extreme instelling, waarbij de invoer werd gecomprimeerd tot bijna een veertigste van de oorspronkelijke grootte, herinnerde het nog steeds meer dan 93%. In vergelijking daarmee daalde de nauwkeurigheid van eerdere optische methoden tot ongeveer 60% bij de helft van dat compressieniveau.

De auteurs zeggen^††:

‘Deze bevindingen laten ondubbelzinnig de voordelen van de C3-architectuur zien. Door de informatiekloven en potentiële artefacten die inherent zijn aan de visuele modaliteit (bijv. beperkingen van de beeldresolutie, complexe lay-out) te vermijden, kan onze methode extreme compressie met minimale informatieverlies aan.

‘De resultaten van deze agressieve testcase ondersteunen onze bewering dat directe tekst-naar-latent-compressie een fundamenteel efficiënter en krachtiger paradigma is dan zijn optische tegenhangers.’

Zij concluderen ook dat C3 ‘nieuwe mogelijkheden kan ontgrendelen voor het verwerken van complete boeken, uitgebreide juridische documenten of grote codebases voor taken zoals vraagbeantwoording, samenvatting en analyse’.

Conclusie

Dit is een van de duidelijkste en meest toegankelijke artikelen die ik onlangs ben tegengekomen, met een lovenswaardig duidelijke kernidee dat mogelijk een aanvullende aanval op het ‘contextwindowprobleem’ kan zijn.

Veel gebruikers van LLM’s hebben inmiddels geleerd om ‘kritieke informatie of richtlijnen periodiek te vernieuwen’ tijdens een langdurig gesprek, omdat zij op de harde manier hebben ontdekt dat de likes van ChatGPT die informatie niet lang kunnen onthouden. Als vervolg op deze instinctieve quick-fix is het idee in het nieuwe artikel dat een sterk gecomprimeerde versie van een lange conversatie opnieuw kan worden ingevoerd (bijgewerkt) op intervallen in de uitwisselingen als achtergrondcontextinformatie, later in het gesprek – wanneer de LLM normaal gesproken eerder feiten zou vergeten en zou vervallen in ‘vergetende’ gedrag.

In een klimaat waarin GPU-schaarste leidt tot een prijssprong zelfs op traditioneel computergeheugen (zoals DRAM, waar veel voormalige GPU-werklasten nu naar worden uitbesteed om grotere modellen te ondersteunen), lijkt het onwaarschijnlijk dat de hosthardware van AI in de nabije toekomst aanzienlijk capaciteitsrijker zal worden; daarom kunnen innovatieve benaderingen zoals deze, die bijna een nostalgische herhaling zijn van de evolutie van bestandscompressie in de jaren negentig, nodig zijn om de prestaties naar voren te stuwen.

Belangrijker nog, het zou gewoon geweldig zijn als LLM’s een coherent gesprek van een uur of langer konden voeren en zich eigenlijk konden herinneren waar het gesprek überhaupt over ging.

* CLI-installatie-instructies worden gegeven, maar ik heb geen tijd om een installatie te proberen, en ik ben niet zeker of de repository code-compleet is.

^† De twee auteurs worden vermeld als Fanfan Liu en Haibo Qiu. Volgens casuele onderzoek is Qiu momenteel onderzoeker bij het Chinese technologiebedrijf Meituan, en Liu is een MS-student aan de Chinese Academie van Wetenschappen. Geen van beiden heeft het artikel in kwestie momenteel vermeld in hun geschiedenis. Als een van deze toekenningen onjuist zijn, neem dan contact met me op via mijn profiel.

^††  Hoewel de auteurs zich houden aan de formule door aanvullende kwalitatieve tests te bieden, zijn deze minder verhelderend in vergelijking met de eerdere ronde van compressietests, en ik heb ze hier niet behandeld.

First published Friday, 21 november 2025