At Lære Glemmende AI Til At ’Huske Tanken’ I Længere Tid

Sprogmodeller kan ofte ikke huske starten af en samtale. En ny tekstkompressionsmetode kan ændre dette og gøre AI-samtaler meget mindre irriterende.

Samtale-AI-systemer som ChatGPT kan ofte miste spor af tidligere dele af en samtale, gentage sig selv eller give svar, der ignorerer tidligere aftalte regler.

Dette skyldes, at store sprogmodeller (LLM) har en begrænset evne til at fokusere, defineret som en ‘kontekstvindue’ af opmærksomhed – som en lommelygte, der kun kan lyse op, hvad den er direkte rettet mod, og nogle tilstødende objekter.

At løse sådanne ‘glemme’ tendenser, der skyldes disse begrænsninger på opmærksomheden, er blandt de vigtigste retninger for forskning i sprog-baserede AI-modeller – ikke mindst, fordi dette syndrom alvorligt begrænser muligheden for nyttige og konsistente multi-turn samtal, og begrænser nyttigheden af LLM’er i en række nøjagtighedskritiske sammenhænge, såsom medicin og jura.

Crushing It

Nyt forskning fra Kina^† foreslår en ny metode til at gøre en betydeligt større mængde tekst til at passe ind i de begrænsede ressourcer af en GPU, der kører en AI-model – med resultater, der opnår en 20-gangs kompressionsforbedring, mens de fastholder 98% nøjagtighed:

Context Cascade Compression (C3) rekonstruerer lange dokumenter mere nøjagtigt end optiske kompressionsmetoder som DeepSeek-OCR, selv når inputtet reduceres med op til fyrre gange. På tværs af en række dokumentlængder og kompressionsindstillinger fastholder den nye metode næsten perfekt trofasthed, mens den optiske tilgang forringes skarpt under højere kompression. Kilde

Med en nøjagtighed på 93% – som er inden for arbejdende parametre – kan tekstkompressionen endda opnå en 40-gangs kompressionsforhold:

Tre tilgange til at komprimere lang tekst til sprogmodelinput: baseline-metoden (venstre) tokeniserer teksten direkte, hvilket giver en stor tokenantal; den optiske vej (midten) konverterer teksten til et billede og udtrækker visuelle indlejring med en Vision Transformer, hvilket opnår 10-gangs kompression; og den nye C3-metode (højre) bruger en lille sprogmodel til at komprimere teksten til kun 32 latente token, hvilket opnår 40-gangs kompression uden at afhænge af visuelle indkodninger.

Dette betyder, at hele en meget lang samtale kan komprimeres og genindsprøjttes (opdateres) i mellemrummet i udvekslinger som baggrundskontekstinformation, senere i samtalen – når LLM normalt ville glemme tidligere fakta og glide ind i ‘glemme’ adfærd.

Selv om dette er en tabende kompressionsmetode, er selv måden, hvorpå tabet sker, nyttig: under den nye metode degraderer hukommelsen ved enden af en sætning, og ikke jævnt fordelt, som med DeepSeek-OCR-arkitekturen, der inspirerede den nye tilgang; faktisk foreslår forskerne bag den nye artikel, at deres metode degraderer på samme måde som menneskelig hukommelse, og ikke tilfældigt:

Top, menneskelig hukommelse degraderer ved enden af datastrømmen; midten: DeepSeek-OCR degraderer tilfældigt, hvilket efterlader ingen ankere, der kunne hjælpe med at løse problemet; bunden: den nye metode degraderer på samme måde som menneskelig hukommelse, mod slutningen af datastrømmen, hvilket tilbyder markører, der kan hjælpe med at forbedre nøjagtigheden gennem efterfølgende behandling.

Dette betyder, at man kan forudsige hvor den huskede data kan være mindre pålidelig, og bruge denne viden til at løse problemet – potentielt tilbyder en massiv forbedring i samtalehukommelse og kohærens, med 100% nøjagtighed efter remediering.

Den nye metode kaldes Context Cascade Compression (C3), og er inspireret af den måde, hvorpå DeepSeek-OCR komprimerer tekst som billeder, hvilket opnår store kompressionsniveauer. Men ved at bruge to (mellemstore og store) sprogmodeller til at komprimere lang tekst direkte ned i latente indlejring, opnår den nye metode en bedre ydelse, idet den udskifter den træghed, der skyldes brugen af rasterbilleder.

Artiklen fastslår:

‘Den overlegne ydelse af C3 kan tilskrives dens grundlæggende arkitektoniske design. DeepSeek-OCR-analyserne antager, at deres ydelsesnedgang skyldes faktorer som “kompleks layout” og “billedeudblænding ved lavere opløsninger”– indbyggede begrænsninger i den optiske vej.

‘Vores C3-paradigme, der opererer direkte i den tekstuelle domæne, er fuldstændigt immun over for disse visuelle-domæne-artefakter. Den undgår den informations tabs, der er forbundet med at rendre tekst til pixels og derefter kodificere disse pixels. I stedet udnytter den en forudtrænet LLM’s kraftfulde semantiske forståelse til at destillere tekstinformation direkte til en effektiv latent repræsentation.’

Den nye artikel hedder Context Cascade Compression: Exploring the Upper Limits of Text Compression, og kommer fra to forfattere^†, der også tilbyder C3 som en åben kilde-repository på GitHub.

Metode

For at forstå den nye metode er det nyttigt at vide, hvad optisk tegnkendelse (OCR) er, da dette er, hvor hele idéen stammer fra.

OCR er en algoritmeisk metode, der går tilbage til 1920’erne, selv om den blev populær i 1990’erne, hvor mønster-genkendelse tillader en computerprogram at omdanne raster-tekst (dvs. tekst inde i billeder, der ikke kan vælges og kun findes som fotografisk indhold) til redigérbar tekst.

Oprettorerne af DeepSeek-OCR opdagede, at tekst kunne komprimeres meget mere end standard-rørledninger ved at bruge OCR som en mellemstage. Med andre ord kunne man opnå en større tæthed af latente indlejring (dvs. mere information gemt) ved at komprimere en rasteriseret version af teksten:

Fra DeepSeekOCR-udgivelsesartiklen, et schema for kompressionsrøret, inklusive 16×16 rasteriserede patches som OCR-komponenten. Kilde

Den nye artikel foreslår, at optiske tilgange som DeepSeek-OCR måske misattributterer kilden til deres kompressionsgevinster. I stedet for, at skiftet fra tekst til billede er den primære faktor, antager forfatterne, at den vigtigste fordel kommer fra at konvertere verbose teksttoken til mere effektive latente repræsentationer.

For at teste dette oprettede de en rørledning, der udnyttede to sprogmodeller: den mindre Qwen2.5 1.5B, der fungerer som encoder, komprimerer lange passager til en lille samling af latente token; og den større Qwen2.5 3B, der fungerer som decoder, rekonstruerer den originale tekst fra disse token:

I det nye C3-system komprimerer den mindre Qwen2.5 1.5B-model en lang input til en fast længde af latente token, ved hjælp af trænbar query-indlejring. Disse token, sammen med en prompt, overføres til den større Qwen2.5 3B-model, der rekonstruerer den originale tekst. Denne arkitektur muliggør høj-fidel genskabelse af lange sekvenser ved hjælp af kun en brøkdel af det originale tokenantal.

For at håndtere kompressionsstadiet tilpassede forskerne den forudtrænede Qwen2.5 1.5B-model ved at introducere trænbare query-indlejring: abstrakte promter, der guider modellen i at destillere den indgående lange kontekst til en meget mindre latent repræsentation.

I stedet for at ændre arkitekturen føder metoden blot den lange tekst og query-indlejringerne sammen som en enkelt input. Modellens selv-opmærksomheds-mekanisme behandler disse elementer identisk, hvilket tillader den at producere en fast længde af latent kontekst uden at kræve nye lag eller designændringer; og denne output overføres derefter til den større model til rekonstruktion.

For at evaluere, hvor meget information overlevede kompression, instruerede forskerne Qwen2.5 3B-decoderen til at rekonstruere den originale input ved hjælp af kun de latente token og prompten ‘gentag teksten’. Da opgaven involverede eksakt reproduktion, snarere end sammenfatning eller omskrivning, kunne enhver afvigelse fra den originale direkte tilskrives informationstab i kompression, hvilket tilbød en ren og objektiv test af trofasthed på tværs af encode-decode-røret.

Data og Tests

Artiklen fastslår, at forfatterne har samlet en original dataset af OCR-materiale, der består af en million sider hentet fra internettet. Der er ikke yderligere detaljer om denne kilde, og forfatterne synes at være bevidst vagt om dette punkt.

Ikke desto mindre observerer de, at dataingeniørarbejde og kuratering ikke var nødvendigt for deres formål, og at de kunne træne deres model effektivt på prøver af ‘divers længde’; og de fastslår, at dette indikerer deres arkitektur som robust (og ved implication, godt generaliseret, afhængigt af træningsindstillinger).

Modellen blev trænet på en højpræstationskluster bestående af otte NVIDIA H800-GPU’er, hver udstyret med 80 GB VRAM, for en total VRAM-resurs på 640 GB. Hver GPU kunne rumme en batch-størrelse på 2, hvilket gav en total global batch-størrelse på 256, når man tager i betragtning de 16 akkumuleringssteg, der var planlagt. Optimizeren var AdamW, over en total af 40.000 træningssteg.

For at teste effektiviteten af C3-arkitekturen fulgte forskerne den samme evalueringssætning, der blev brugt i den originale DeepSeek-OCR-artikel, ved hjælp af Fox-benchmarket til at måle kompression og rekonstruktionsnøjagtighed på tværs af en række dokumentlængder.

Engelsksprogede tekster blev valgt, med passager, der strakte sig fra 600 til 1300 token, med tokenisering udført ved hjælp af Qwen-tokenizeren.

For at muliggøre en fair sammenligning blev tilsvarende kompressionsniveauer fra den (DeepSeek-OCR) optiske baseline brugt, med 64 og 100 latente token. For at udforske grænserne for metoden blev yderligere tests kørt ved hjælp af kun 32 latente token. I alle tilfælde blev rekonstruktion initieret med instruktionen ‘gentag teksten:’:

Resultater fra den første test. Rekonstruktionspræcision og kompressionsforhold blev målt på tværs af syv token-rækker ved hjælp af 64 og 100 latente token, hvilket viste en konsekvent overpræstation af C3 i forhold til DeepSeek-OCR, især ved højere kompressionsniveauer.

Da man diskuterer de første resultater, der vises ovenfor, fastslår artiklen:

‘Dataene viser ubestrideligt, at C3’s direkte tekst-til-latent kompressionsparadigme betydeligt overgår den optiske kompressionsmetode på tværs af alle testede betingelser, og etablerer en ny standard for høj-fidel kontekstkompression.’

Da begge systemer blev testet på længere dokumenter, begyndte DeepSeek-OCR at tabe nøjagtighed, da kompressionen øgedes, og faldt under 60% i det mest ekstreme tilfælde. C3 håndterede det samme niveau af kompression med langt mindre tab, og fastholdt en nøjagtighed på næsten 98%, selv når inputtet reduceredes til en tyvendedel af sin oprindelige størrelse.

I den mest krævende test blev fulde tekster reduceret til kun 32 token. Selv da kunne modellen genskabe næsten hele den originale indhold, og fastholde en nøjagtighed på næsten 99% i mange tilfælde:

Rekonstruktionsnøjagtighed og kompressionsforhold ved 32 latente token, hvilket viser, at selv ved ekstreme reduceringer (op til næsten 40-gange) forbliver præcisionen over 93%.

Ved det mest ekstreme indstilling, hvor inputtet komprimeredes til næsten en fyrretyvendedel af sin størrelse, kunne den stadig huske over 93%. I sammenligning faldt tidligere optiske metoder til omkring 60% nøjagtighed ved halvt så højt kompressionsniveau.

Forfatterne fastslår^††:

‘Disse fund viser ubestrideligt fordelene ved C3-arkitekturen. Ved at undgå informationsbottleneck’er og potentielle artefakter, der er indbygget i den visuelle modalitet (f.eks. billedopløsningsbegrænsninger, layoutkompleksitet), kan vores metode håndtere ekstrem kompression med minimal informations-tab.’

‘Resultaterne fra denne aggressive test-sag solidificerer vores påstand om, at direkte tekst-til-latent kompression er en grundlæggende mere effektiv og kraftfuld paradigme end dens optiske modparter.’

De konkluderer også, at C3 kan ‘låse op nye muligheder for at behandle hele bøger, omfattende juridiske dokumenter eller store kodebaser til opgaver som spørgsmål-svar, sammenfatning og analyse’.

Konklusion

Dette er en af de klareste og mest tilgængelige artikler, jeg har set længe, med en komplet klar kerneidé, der kan vise sig at være en ny linje af angreb mod ‘kontekstvindue-problemet’.

Mange brugere af LLM’er har lært at ‘opfriske’ vigtig information eller retningslinjer periodisk gennem en lang udveksling, efter at have opdaget på den hårde måde, at ChatGPT ikke kan fastholde denne information i længe. Følgende på denne intuitive hurtigløsning er idéen i den nye artikel, at en højkomprimeret version af en lang samtale kunne genindsprøjttes automatisk i mellemrummet i kontekstvinduet af den nuværende LLM-forekomst, essentielt ‘huskende ved stedfortræder’.

I en situation, hvor GPU-mangel fører til en prisstigning selv på traditionel computerhukommelse (såsom DRAM, hvor mange tidligere GPU-arbejdsbyrder nu offloads for at understøtte større modeller), synes det usandsynligt, at AI’s værts-hardware vil blive betydeligt mere kapacitetsrig i nær fremtid; derfor kan innovative tilgange som denne, der er næsten en nostalgisk gentagelse af 1990’ernes evolution af filkompression, vise sig at være nødvendige for at fremme ydelse.

Det vigtigste er, at det bare ville være dejligt, hvis LLM’er kunne fastholde en sammenhængende samtale i en time eller mere, og faktisk huske, hvad samtalen handlede om fra starten.

* CLI-installationsvejledning er givet, men jeg har ikke mulighed for at forsøge en installation, og er ikke sikker på, om repoet er kodekomplet.

^† De to forfattere er angivet som Fanfan Liu og Haibo Qiu. Så vidt casual research indikerer, er Qiu i øjeblikket en forsker ved det kinesiske teknologiselskab Meituan, og Liu er en MS-student ved det kinesiske videnskabsakademi. Ingen af dem har i øjeblikket artiklen i question nævnt i deres historik. Hvis nogen af disse tilskrivninger er forkerte, bedes du kontakte mig via min profil.

^††  Forfatterne holder fast ved formularen ved at give yderligere kvalitative tests, men disse er ikke oplysende i forhold til den tidligere runde af kompressionstests, og jeg har ikke dækket dem her.

Offentliggjort første gang fredag, den 21. november 2025