Lærer glemme AI å «holde tanken» i lengre tid

Språkmodeller kan ofte ikke huske begynnelsen av en samtale. En ny tekstkomprimeringsmetode kan endre dette og gjøre AI-samtaler mye mindre irriterende.

Samtale-AI-systemer som ChatGPT kan ofte miste spor av tidligere deler av en samtale, gjenta seg selv eller gi svar som ignorerer tidligere avtalte regler.

Dette skyldes at store språkmodeller (LLM) har en begrenset evne til å fokusere, definert som en ‘kontekstvindu’ av oppmerksomhet – som en lommelykt som bare kan lyse opp det den er rettet mot, og noen få tilstøtende objekter.

Å fikse slike «glemsomme» tendenser, som skyldes disse begrensningene på oppmerksomheten, er blant de viktigste retningene for forskning på språkbaserte AI-modeller – ikke minst fordi dette syndromet begrenser muligheten for nyttige og konsistente multi-samtaler, og hemmer nytten av LLM i en rekke nøyaktighetskritiske sammenhenger, som medisin og lov.

Knuser det

Ny forskning fra Kina^† foreslår en ny metode for å gjøre en betydelig større mengde tekst til å passe inn i de begrensede ressursene til en GPU som kjører en AI-modell – med resultater som oppnår en 20-ganger komprimeringsforbedring mens de beholder 98% nøyaktighet:

Kontekst-kaskade-komprimering (C3) rekonstruerer lange dokumenter mer nøyaktig enn optiske komprimeringsmetoder som DeepSeek-OCR, selv når inputen krympes med opptil førti ganger. Over en rekke dokumentlengder og komprimeringsinnstillinger, beholder den nye metoden nesten perfekt trofasthet, mens den optiske tilnærmingen forringes skarpt under høyere komprimering. Kilde

Med en nøyaktighet på 93% – som er innen arbeidsbare parametre – kan tekstkomprimeringen sogar oppnå en 40-ganger komprimeringsforhold:

Tre tilnærminger til å komprimere lang tekst for språkmodell-inndata: baseline-metoden (venstre) tokeniserer teksten direkte, og gir en stor token-telling; den optiske ruta (midten) konverterer teksten til et bilde og trekker ut visuelle innkapslinger ved hjelp av en Vision Transformer, og oppnår 10-ganger komprimering; og den nye C3-metoden (høyre) bruker en liten språkmodell til å komprimere teksten ned til bare 32 latente token, og oppnår 40-ganger komprimering uten å bruke visuelle innkapslinger.

Dette betyr at hele en lang samtale kan komprimeres og injiseres (oppdateres) i intervaller som bakgrunnskontekstinformasjon, senere i samtalen – når LLM normalt ville glemme tidligere fakta og gli inn i «glemsom» atferd.

Selv om dette er en tapende komprimeringsmetode, er måten det skjer på også nyttig: under den nye metoden, degraderer minnet på slutten av en setning, og ikke jevnt over hele, som med DeepSeek-OCR-arkitekturen som inspirerte den nye tilnærmingen; faktisk foreslår forskerne bak den nye artikkelen at deres metode degraderer på samme måte som menneskelig hukommelse, og ikke tilfeldig:

Øverst, menneskelig hukommelse degraderer på slutten av datastrømmen; midten: DeepSeek-OCR degraderer tilfeldig, og lar ingen ankere som kunne hjelpe til å fikse problemet; nederst: den nye metoden degraderer på samme måte som menneskelig hukommelse, mot slutten av datastrømmen, og tilbyr markører som kan hjelpe til å forbedre nøyaktigheten gjennom etterfølgende prosessering.

Dette betyr at en kan forutsi hvor den huskede dataen kan være mindre pålitelig, og bruke denne kunnskapen til å håndtere problemet – potensielt tilbyr en massiv forbedring i samtale-hukommelse og kohesjon, med 100% nøyaktighet etter remediering.

Den nye tilnærmingen kalles Kontekst-kaskade-komprimering (C3), og er inspirert av måten DeepSeek-OCR komprimerer tekst som bilder, og oppnår stor komprimering. Men ved å bruke to (medium og stor) språkmodeller til å knuse lang tekst direkte ned i latente innkapslinger, kuttes den nye tilnærmingen ut den drag som skyldes bruk av raster-bilder, og oppnår dermed forbedret ytelse.

Artikkelen sier:

‘Den overlegne ytelsen til C3 kan tilskrives dens grunnleggende arkitektoniske design. DeepSeek-OCR-analysen antar at dens ytelsesnedgang skyldes faktorer som “kompleks layout” og “bildeuskarphet ved lavere oppløsninger”– innebygde begrensninger i den optiske veien.

‘Vår C3-paradigma, som opererer direkte i den tekstuelle domenet, er fullstendig immun mot disse visuelle-domæne-artefaktene. Den unngår informasjonstapet som er forbundet med å rendre tekst til piksler og deretter kode disse pikslene. I stedet utnytter den en forhånds-trent LLMs kraftige semantiske forståelse til å destillere tekstinformasjon direkte inn i en effektiv latent representasjon.’

Den nye artikkelen heter Kontekst-kaskade-komprimering: Utforsking av de øvre grensene for tekstkomprimering, og kommer fra to forfattere^†, som også tilbyr C3 som en åpen kilde-repository på GitHub.

Metode

For å forstå den nye tilnærmingen, er det nyttig å vite hva optisk tegngjenkjenning (OCR) er, fordi dette er der hele ideen stammer fra.

OCR er en algoritme-basert metode som daterer tilbake til 1920-årene, selv om den ble populær i 1990-årene, hvor mønster-gjenkjenning tillater en datamaskin-program å omdanne raster-tekst (dvs. tekst innen bilder, som ikke kan velges og som bare eksisterer som fotografisk innhold) til redigerbar tekst.

Skaperne av DeepSeek-OCR oppdaget at tekst kunne komprimeres mye mer enn standard-pipelines ved å bruke OCR som en mellomliggende fase. Med andre ord, i stedet for å komprimere tekst i seg selv, kunne en oppnå en større tetthet av latente innkapslinger (dvs. mer informasjon lagret) ved å komprimere en rasterisert versjon av teksten:

Fra DeepSeek-OCR-utgivelsesartikkelen, et schema for komprimerings-pipeline, inkludert 16×16 rasteriserte punkter som OCR-komponenten. Kilde

Den nye artikkelen foreslår at optiske tilnærminger som DeepSeek-OCR kan misattribuere kilden til deres komprimeringsgevinster. I stedet for at skiftet fra tekst til bilde er den primære faktoren, antar forfatterne at den viktigste fordelen kommer fra å konvertere verbale tekst-token til mer effektive latente representasjoner.

For å teste dette, skapte de en pipeline som utnytter to språkmodeller: den mindre Qwen2.5 1.5B, som fungerer som en encoder, komprimerer lange passasjer ned til en liten mengde latente token; og den større Qwen2.5 3B, som fungerer som en decoder, rekonstruerer den opprinnelige teksten fra disse tokenene:

I det nye C3-systemet komprimerer den mindre Qwen2.5 1.5B-modellen en lang inndata ned til en fast lengde latente token, ved hjelp av trene forespørsels-innkapslinger. Disse tokenene, sammen med en prompt, sendes til den større Qwen2.5 3B-modellen, som rekonstruerer den opprinnelige teksten. Denne arkitekturen muliggjør høy-fidelitet-gjenkalling av lange sekvenser ved å bruke kun en brøkdel av den opprinnelige token-tellingen.

For å håndtere komprimeringsfasen, tilpasset forskerne den forhånds-trente Qwen2.5 1.5B-modellen ved å introdusere trene forespørsels-innkapslinger: abstrakte prompter som guider modellen i å destillere den inngående lange konteksten ned til en mye mindre latent representasjon.

I stedet for å modifisere arkitekturen, føres den lange teksten og forespørsels-innkapslingene sammen som en enkelt inndata. Modellens selv-oppmerksomhets-mekanisme behandler disse elementene identisk, og tillater den å utgangen en fast lengde latent kontekst uten å trenger nye lag eller design-endringer; og denne utgangen sendes deretter til den større modellen for rekonstruksjon.

For å evaluere hvor mye informasjon overlevde komprimeringen, instruerte forskerne Qwen2.5 3B-dekoderen til å rekonstruere den opprinnelige inndata ved å bruke kun de latente tokenene, og prompten ‘gjenta teksten’. Ettersom oppgaven innebar eksakt rekonstruksjon, og ikke sammenfatting eller omskrivning, kunne noen avvik fra den opprinnelige teksten direkte tilskrives informasjonstap under komprimering, og tilbød en ren og objektiv test av trofasthet over hele encode-decode-pipeline.

Data og tester

Artikkelen sier at forfatterne samlet en original datasett av OCR-materiale, som bestod av en million sider hentet fra internettet. Ingen ytterligere detaljer er åpenbare om denne kilden, og forfatterne ser ut til å være bevisst vagt på dette punktet.

Likevel observerer de at dataingeniørarbeid og kurering var unødvendig for deres formål, og at de kunne trene modellen effektivt på eksempler av «divers lengde»; og de sier at dette indikerer at deres arkitektur er robust (og ved implikasjon, godt generalisert, avhengig av treningsinnstillinger).

Modellen ble trent på en høy-ytelseskluster bestående av åtte NVIDIA H800-GPUer, hver utstyrt med 80GB VRAM, for en total VRAM-ressurs på 640GB. Hver GPU kunne håndtere en batch-størrelse på 2, og oppnådde en total global batch-størrelse på 256, når man tok med i betraktning de 16 akkumulerings-trinn som var planlagt. Optimatoren var AdamW, over en total på 40 000 trinn.

For å teste effektiviteten av C3-arkitekturen, fulgte forskerne den samme evalueringssammenstillingen som ble brukt i den opprinnelige DeepSeek-OCR-artikkelen, ved å bruke Fox-benchmarket til å måle komprimering og rekonstruksjonsnøyaktighet over en rekke dokumentlengder.

Engelskspråklige tekster ble valgt, med passasjer som varierte fra 600 til 1300 token, med tokenisering utført ved hjelp av Qwen-tokenisereren.

For å muliggjøre en rettferdig sammenligning, ble ekvivalente komprimeringsnivåer fra den (DeepSeek-OCR) optiske baseline brukt, med 64 og 100 latente token. For å utforske grensene for metoden, ble ytterligere tester kjørt ved å bruke kun 32 latente token. I alle tilfeller ble rekonstruksjon initiert med instruksjonen ‘gjenta teksten:’:

Resultater fra den første testen. Rekonstruksjonsnøyaktighet og komprimeringsforhold ble målt over syv token-områder ved å bruke 64 og 100 latente token, og viste en konsekvent overlegenhet for C3 over DeepSeek-OCR, spesielt ved høyere komprimeringsnivåer.

Artikkelen sier:

‘Dataene viser uten tvil at C3s direkte tekst-til-latent-komprimeringsparadigma overlegenhet over den optiske komprimeringsmetoden over alle testede forhold, og etablerer en ny statlig kunnskap i høy-fidelitet-kontekst-komprimering.’

Når begge systemene ble testet på lengre dokumenter, begynte DeepSeek-OCR å tape nøyaktighet når komprimeringen økte, og falt under 60% i det mest ekstreme tilfellet. C3 håndterte det samme komprimeringsnivået med mye mindre tap, og holdt seg stabilt nær 98%, selv når inndataen ble redusert til en tyvendedel av sin opprinnelige størrelse.

I den mest krevende testen ble fullstendige tekster komprimert ned til bare 32 token. Selv da klarte modellen å gjenkalle nesten all den opprinnelige innhold, og holdt nøyaktigheten nær 99% i mange tilfeller:

Rekonstruksjonsnøyaktighet og komprimeringsforhold ved 32 latente token, og viser at selv ved ekstreme reduksjoner (opptil nesten 40-ganger) forblir nøyaktigheten over 93%.

Ved det mest ekstreme innstillingen, hvor inndataen ble komprimert ned til nesten en fyrretyvendedel av sin størrelse, husket den over 93%. I sammenligning falt tidligere optiske metoder til omkring 60% nøyaktighet ved halvparten av dette komprimeringsnivået.

Forfatterne sier^††:

‘Disse funnene viser konklusivt fordelen med C3-arkitekturen. Ved å unngå informasjonsflasker og potensielle artefakter som er innebygget i den visuelle modaliteten (f.eks. bildeoppløsning begrensninger, layout-kompleksitet), håndterer vår metode ekstrem komprimering med minimal informasjonstap.

‘Resultatene fra denne aggressive test-saken styrker vår påstand om at direkte tekst-til-latent-komprimering er et fundamentalt mer effektivt og kraftigere paradigme enn sine optiske motparter.’

De konkluderer også at C3 kan ‘åpne opp for nye muligheter i prosessering av hele bøker, omfattende juridiske dokumenter eller store kodebaserte oppgaver for oppgaver som spørsmål-svar, sammenfatting og analyse’.

Konklusjon

Dette er en av de klareste og mest tilgjengelige artiklene jeg har kommet over nylig, med en kommanderende klar core-ide som kan vise seg å være en ny linje av angrep mot «kontekstvindu-problemet».

Mange brukere av LLM-er har lært å «oppfriske» viktige opplysninger eller retningslinjer periodisk gjennom en lang samtale, etter å ha oppdaget den harde måten at ChatGPT ikke kan huske denne informasjonen i svært lenge. I følge denne instinktive rask-løsningen, er ideen her at en høyt komprimert versjon av en lang samtale kan injiseres (oppdateres) i intervaller, automatisk, i kontekstvinduet til den nåværende LLM-forekomsten, essensielt «husker ved proxy».

I en klima hvor GPU-mangel fører til en pris-økning selv på tradisjonell datamaskin-minne (slik som DRAM, hvor mange tidligere GPU-arbeidsbyrde nå offloads for å støtte større modeller), ser det ut til å være usannsynlig at AI-sin vertshardware vil bli betydelig mer kapabel i nær fremtid; derfor kan innovative tilnærminger som denne, som er en nostalgisk gjentakelse av 1990-årenes utvikling av filkomprimering, vise seg å være nødvendig for å drive ytelse fremover.

Mer viktig er det at det bare ville være flott hvis LLM-er kunne opprettholde en koherent samtale i en time eller mer, og faktisk huske hva samtalen handler om fra første sted.

* CLI-installasjonsinstruksjoner er gitt, men jeg har ikke tid til å prøve å installere, og er ikke sikker på om repo-en er kode-fullstendig.

^† De to forfatterne er oppgitt som Fanfan Liu og Haibo Qiu. Så langt som enkel forskning indikerer, er Qiu for tiden en forsker ved det kinesiske teknologiselskapet Meituan, og Liu er en MS-student ved det kinesiske vitenskapsakademiet. Ingen av dem har nå artikkelen i question listet i sine historier. Hvis noen av disse attribusjonene er feil, vennligst kontakt meg via min profil.

^††  Forfatterne holder fast ved formelen ved å tilby ytterligere kvalitative tester, men disse er ikke opplysende i forhold til den tidligere runden av komprimeringstester, og jeg har ikke dekket dem her.

Først publisert fredag, 21. november 2025