Lär glömska AI att “komma ihåg det” under längre tid

Språkmodeller kan ofta inte komma ihåg början av en konversation. En ny textkomprimeringsmetod kan förändra detta och göra AI-samtal mycket mindre irriterande.

Konversationsbaserade AI-system som ChatGPT förlorar ofta spåret av tidigare delar av en konversation, upprepar sig själva eller ger svar som ignorerar tidigare överenskomna regler.

Detta beror på att stora språkmodeller (LLM) har en begränsad förmåga att fokusera, definierad som ett ‘kontextfönster’ av uppmärksamhet – som en fackla som kan lysa upp endast det som den är direkt riktad mot, och ett par angränsande föremål.

Att fixa sådana “glömska” tendenser, som orsakas av dessa begränsningar av uppmärksamhet, är en av de viktigaste riktningarna för forskning om språkbaserade AI-modeller – inte minst för att denna syndrom allvarligt begränsar möjligheten till användbara och konsekventa multi-turn-konversationer, och hämmar användbarheten av LLM i en mängd olika sammanhang, såsom medicin och juridik.

Krossar det

Ny forskning från Kina^† föreslår en ny metod för att göra en betydligt större mängd text tillgänglig för de begränsade resurserna i en GPU som kör en AI-modell – med resultat som uppnår en 20-gånger komprimeringsförbättring medan de behåller 98% noggrannhet:

Context Cascade Compression (C3) rekonstruerar långa dokument mer exakt än optiska komprimeringsmetoder som DeepSeek-OCR, även när indata förminskas med upp till fyrtio gånger. Över en rad dokumentlängder och komprimeringsinställningar behåller den nya metoden nästan perfekt trohet, medan den optiska metoden försämras skarpt under högre komprimering. Källa

Med en noggrannhet på 93% – som ligger inom arbetsbara parametrar – kan textkomprimeringen till och med uppnå en 40-gånger komprimeringsförhållande:

Tre tillvägagångssätt för att komprimera lång text för språkmodellinmatning: baseline-metoden (vänster) tokeniserar texten direkt, vilket ger ett stort tokenantal; den optiska vägen (mitten) konverterar texten till en bild och extraherar visuella inbäddningar med hjälp av en Vision Transformer, vilket uppnår 10-gånger komprimering; och den nya C3-metoden (höger) använder en liten språkmodell för att komprimera texten till endast 32 latenta token, vilket uppnår 40-gånger komprimering utan att förlita sig på visuella inbäddningar.

Detta innebär att hela en lång konversation kan komprimeras och återinjiceras (uppdateras) i intervall i utbyten som bakgrundskontextinformation, senare i samtalet – när LLM normalt sett glömmer tidigare fakta och glider in i “glömska” beteende.

Även om detta är en förlorad komprimeringsmetod, är till och med det sätt som förlusten sker användbart: under den nya metoden försämras minnet i slutet av en mening, och inte jämnt över hela, som med DeepSeek-OCR-arkitekturen som inspirerade den nya tillvägagångssättet; faktum är att forskarna bakom den nya artikeln föreslår att deras metod försämras på samma sätt som mänskligt minne, snarare än slumpmässigt:

Överst, mänskligt minne försämras i slutet av dataströmmen; mitten: DeepSeek-OCR försämras slumpmässigt, vilket lämnar inga ankare som kunde hjälpa till att lösa problemet; nederst: den nya metoden försämras på samma sätt som mänskligt minne, mot slutet av dataströmmen, och erbjuder markörer som kan hjälpa till att förbättra noggrannheten genom efterföljande bearbetning.

Detta innebär att man kan förutsäga var det memorerade data kan vara mindre tillförlitligt, och använda denna kunskap för att lösa problemet – potentiellt erbjuda en massiv förbättring av konversationsåterkallande och sammanhängande, med 100% noggrannhet efter åtgärd.

Den nya metoden kallas Context Cascade Compression (C3), och är inspirerad av den metod som DeepSeek-OCR använder för att komprimera text som bilder, vilket uppnår stor komprimering. Men genom att använda två (medelstora och stora) språkmodeller för att komprimera lång text direkt ner i latenta inbäddningar, uppnår den nya metoden bättre prestanda.

Artikeln säger:

‘Den överlägsna prestandan hos C3 kan tillskrivas dess grundläggande arkitektoniska design. DeepSeek-OCR-analysen antar att dess prestandaförsämring beror på faktorer som “komplex layout” och “bildförsvagning vid lägre upplösningar” – inneboende begränsningar av den optiska vägen.

‘Vår C3-paradigm, som opererar direkt i den textbaserade domänen, är helt immun mot dessa visuella-domänartefakter. Den undviker informationsförlusten som är förknippad med att rendera text till pixlar och sedan koda dessa pixlar. Istället utnyttjar den en förtränad LLM:s kraftfulla semantiska förståelse för att destillera textinformation direkt till en effektiv latent representation.’

Den nya artikeln heter Context Cascade Compression: Exploring the Upper Limits of Text Compression, och kommer från två författare^†, som också verkar erbjuda C3 som en öppen källkodsrepository på GitHub.

Metod

För att förstå den nya metoden är det användbart att veta vad optisk teckenigenkänning (OCR) är, eftersom detta är där hela idén kommer ifrån.

OCR är en algoritmisk metod som går tillbaka till 1920-talet, men populariserades på 1990-talet, där mönsterigenkänning tillåter en datorprogram att omvandla rastertext (dvs. text inuti bilder, som inte kan väljas och som endast existerar som fotografiskt innehåll) till redigerbar text.

Skaparna av DeepSeek-OCR upptäckte att text kunde komprimeras mycket mer än standardpipeliner genom att använda OCR som en mellanliggande fas. Med andra ord, istället för att komprimera text i sig, kunde man uppnå en större densitet av latenta inbäddningar (dvs. mer information som sparats) genom att komprimera en rasteriserad version av texten:

Från DeepSeek-OCR-utgivningsartikeln, ett schema för komprimeringspipelinen, inklusive 16×16 rasteriserade patchar som OCR-komponenten. Källa

Den nya artikeln föreslår att optiska tillvägagångssätt som DeepSeek-OCR kan ha missattributioner av sina kompressionsvinster. Istället för att skiftet från text till bild är den primära faktorn, antar författarna att den viktigaste fördelen kommer från att omvandla uttrycksfulla texttoken till mer effektiva latenta representationer.

För att testa detta skapade de en pipeline som utnyttjar två språkmodeller: den mindre Qwen2.5 1.5B, som fungerar som en encoder, komprimerar långa passager till en liten uppsättning latenta token; och den större Qwen2.5 3B, som fungerar som en decoder, rekonstruerar den ursprungliga texten från dessa token:

I det nya C3-systemet komprimerar den mindre Qwen2.5 1.5B-modellen en lång inmatning till en fast längd av latenta token, med hjälp av tränbara frågeinbäddningar. Dessa token, tillsammans med en prompt, skickas till den större Qwen2.5 3B-modellen, som rekonstruerar den ursprungliga texten. Denna arkitektur möjliggör högkvalitativ återkallande av långa sekvenser med endast en bråkdel av det ursprungliga tokenantalet.

För att hantera komprimeringssteget anpassade forskarna den förtränade Qwen2.5 1.5B-modellen genom att införa tränbara frågeinbäddningar: abstrakta prompter som guidar modellen i att destillera den inkommande långa kontexten till en mycket mindre latent representation.

Istället för att modifiera arkitekturen, matar metoden enkelt in den långa texten och frågeinbäddningarna tillsammans som en enda inmatning. Modellens självuppmärksamhetsmekanism behandlar dessa element identiskt, vilket tillåter den att producera en fast längd av latent kontext utan att behöva nya lager eller designändringar; och detta utdata skickas sedan till den större modellen för rekonstruktion.

För att utvärdera hur mycket information som överlevde komprimeringen, instruerade forskarna Qwen2.5 3B-dekodern att rekonstruera den ursprungliga inmatningen med endast de latenta tokenen, och prompten ‘upprepa texten’. Eftersom uppgiften innebar exakt reproduktion, snarare än sammanfattning eller parafras, kunde eventuell avvikelse från den ursprungliga texten direkt tillskrivas informationsförlust under komprimeringen, vilket erbjöd en ren och objektiv test av trohet över encode-decode-pipelinen.

Data och tester

Artikeln säger att författarna sammanställde en ursprunglig dataset av OCR-material, som bestod av en miljon sidor hämtade från internet. Inga ytterligare detaljer är synliga om denna källa, och författarna verkar vara medvetet otydliga om denna punkt.

Trots detta observerar de att dataingenjörskonst och kurering inte var nödvändig för deras syften, och att de kunde träna sin modell effektivt på prover av “varierande längd”; och de påstår att detta indikerar att deras arkitektur är robust (och, genom implikation, väl generaliserad, beroende på träningsinställningar).

Modellen tränades på en högpresterande kluster bestående av åtta NVIDIA H800 GPU:er, var och en utrustad med 80 GB VRAM, för en total VRAM-resurs på 640 GB. Varje GPU kunde hantera en batchstorlek på 2, vilket gav en total global batchstorlek på 256, när man tog hänsyn till de 16 ackumuleringssteg som planerades. Optimizern var AdamW, över en total på 40 000 steg.

För att testa effektiviteten hos C3-arkitekturen följde forskarna samma utvärderingsupplägg som användes i den ursprungliga DeepSeek-OCR-artikeln, med hjälp av Fox-benchmarken för att mäta komprimering och rekonstruktionsnoggrannhet över en rad dokumentlängder.

Engelskspråkiga texter valdes, med passager som sträckte sig från 600 till 1300 token, med tokenisering utförd med Qwen-tokenisatorn.

För att möjliggöra en rättvis jämförelse användes motsvarande komprimeringsnivåer från den optiska baslinjen (DeepSeek-OCR), med 64 och 100 latenta token. För att utforska gränserna för metoden kördes ytterligare tester med endast 32 latenta token. I alla fall initierades rekonstruktionen med instruktionen ‘upprepa texten:’:

Resultat från den första testningen. Rekonstruktionsprecision och komprimeringsförhållanden mättes över sju tokenområden med 64 och 100 latenta token, vilket visade en konsekvent överprestation av C3 jämfört med DeepSeek-OCR, särskilt vid högre komprimeringsnivåer.

Artikeln diskuterar de första resultaten som visualiseras ovan och säger:

‘Data visar entydigt att C3:s direkt text-till-latent komprimeringsparadigm signifikant överträffar den optiska komprimeringsmetoden över alla testade förhållanden, och etablerar en ny state-of-the-art i högkvalitativ kontextkomprimering.’

När båda systemen testades på längre dokument började DeepSeek-OCR förlora noggrannhet när komprimeringen ökade, och föll under 60% i det mest extrema fallet. C3 hanterade samma nivå av komprimering med mycket mindre förlust, och höll sig stadigt nära 98%, även när indata förminskades till en twentieth av dess ursprungliga storlek.

I den mest krävande testen förminskades fullständiga texter till endast 32 token. Även då kunde modellen återvinna nästan all ursprunglig innehåll, och behålla en noggrannhet nära 99% i många fall:

Rekonstruktionsnoggrannhet och komprimeringsförhållanden vid 32 latenta token, vilket visar att även vid extrema reduktioner (upp till nästan 40-gånger) förblir precisionen över 93%.

Vid den mest extrema inställningen, där indata komprimerades till nästan en fyrtiondel av dess storlek, återkallade den fortfarande över 93%. I jämförelse föll tidigare optiska metoder till cirka 60% noggrannhet vid halva den komprimeringsnivån.

Författarna påstår^††:

‘Dessa fynd visar entydigt fördelen med C3-arkitekturen. Genom att undvika informationsbottleneck och potentiella artefakter som är inneboende i den visuella modaliteten (t.ex. bildupplösningens begränsningar, layoutkomplexitet), hanterar vår metod extrema komprimering med minimal informationsförlust.

‘Resultaten från denna aggressiva testfall styrker vår påstående att direkt text-till-latent komprimering är ett fundamentalt mer effektivt och kraftfullt paradigm än dess optiska motsvarigheter.’

De slutsatsar också att C3 kan ‘låsa upp nya möjligheter för att bearbeta hela böcker, omfattande juridiska dokument eller stora kodbas för uppgifter som frågesvar, sammanfattning och analys’.

Slutsats

Detta är en av de tydligaste och mest tillgängliga artiklarna jag har sett nyligen, med en berömvärd tydlig kärnidé som kan visa sig vara en viktig linje av attack mot “kontextfönsterproblemet”.

Många användare av LLM har lärt sig att “uppdatera” viktig information eller riktlinjer periodiskt under en lång konversation, efter att ha upptäckt det hårda sättet att ChatGPT inte kan behålla den informationen under lång tid. Följande på denna instinktiva snabbfix, är idén i den nya artikeln att en högt komprimerad version av en lång konversation kan återinjiceras i intervall, automatiskt, i kontextfönstret för den aktuella LLM-instansen, i princip “komma ihåg genom ombud”.

I en klimat där GPU-brist leder till en prisrally även på traditionellt datorminne (såsom DRAM, där många tidigare GPU-arbetsbelastningar nu offlas för att stödja större modeller), verkar det osannolikt att AI:s värdmaskinvara kommer att bli betydligt mer kapabel i nära framtiden; därför kan innovativa tillvägagångssätt som detta, som är en nostalgitripp till 1990-talets utveckling av filkomprimering, visa sig nödvändiga för att driva prestanda framåt.

Mer viktigt är att det skulle vara bra om LLM kunde upprätthålla en sammanhängande konversation i en timme eller mer, och faktiskt komma ihåg vad konversationen handlade om från början.

* CLI-installationsinstruktioner ges, men jag har inte möjlighet att försöka installera, och är inte säker på att repositoriet är kodkomplett.

^† De två författarna anges som Fanfan Liu och Haibo Qiu. Så långt slarvig forskning visar, är Qiu för närvarande en forskare på det kinesiska teknologiföretaget Meituan, och Liu är en masterstudent vid det kinesiska vetenskapsakademin. Ingen av dem har för närvarande artikeln i fråga listad i sina historik. Om någon av dessa attribut är felaktiga, vänligen kontakta mig via min profil.

^†† Även om författarna håller fast vid formeln genom att tillhandahålla ytterligare kvalitativa tester, är dessa oupplysande jämfört med den tidigare omgången av kompressionstester, och jag har inte behandlat dem här.

Publicerad första gången fredag, den 21 november 2025