AI’s Hukommelsesproblem: Hvorfor Effektiv Lang Kontekst Ændrer Alt, og Hvad det Kræver at Gøre det Rigtigt

En kollega, der glemmer hver forudgående samtale, øjeblikkeligt efter at den er slut, ville ikke overleve længe i de fleste job. Alligevel fungerer meget erhvervsorienteret AI på præcis samme måde. Sessionen lukkes, og konteksten forsvinder med den. En forbruger, der sender enkeltstående spørgsmål, kan knapt nok bemærke det, men et selskab, der kører en proces, der varer længere end en enkelt sætning, rammer grænsen næsten med det samme.

Ægte arbejde føres videre fra den ene session til den næste, og en beslutning, der træffes på torsdag, hviler normalt på en beslutning, der er truffet på mandag, med den tankegang, der kræver at overleve imellem. En AI, der sletter sig selv, når en session sluttes, kan fungere godt inden for sessionen og bidrage intet til en opgave, der løber over en uge.

Enterprise AI har stille og roligt ændret, hvad det kræver fra en model. I årevis blev modellerne primært vurderet ud fra, hvor meget viden de havde absorberet. Virksomhederne har nu brug for, at de kan holde den rigtige information i sigte, mens arbejdet udvikler sig, en kapacitet, der kræver en anden form for effektiv ingeniørarbejde. Indtil nu er det ikke lykkedes at opnå denne form for varig viden på grund af den store mængde hukommelse (GPU’er), beregning og omkostninger, der kræves for at skalaere en sådan kapacitet. At opretholde en acceptabel forsinkelse og niveau af modelhallucination bliver en udfordring med samtidig brug, når der anvendes lang kontekst. Der er en stigende efterspørgsel efter sådanne videnkapaciteter, og der er ikke nok hukommelse og beregningskraft til rådighed. Det stiller spørgsmålet: Hvordan opnår man mere præcis intelligens i stor skala med mindre infrastruktur og fodaftryk?

Skrivebordet og Arkivskabet

To ting bliver bundet sammen under overskriften “hukommelse”, og de opfører sig tilstrækkeligt forskelligt, så resten af dette afhænger af at holde dem adskilt.

Lad os starte med kontekstvinduet, der er, hvor meget en model kan tage ind og resonere over i en enkelt omgang. Det fungerer som overfladen af et skrivebord. Et lille skrivebord tager kun få sider ad gangen, så alt andet venter i en skuffe og hentes og ryddes, mens man arbejder. Et stort skrivebord lar hele sagsmappen ligge åben, mens man arbejder hen over den. Hvad skrivebordet holder, bliver fejet af ved dagens slutning, hver dag.

Varig hukommelse er arkivskabet ved siden af skrivebordet. Systemet vælger, hvad der skal gemmes, og henter det frem, når det bliver relevant, så noget, der skete denne uge, kan informere, hvad det gør næste uge. Denne lagring strækker sig over sessioner og kræver sine egne beslutninger om, hvad der skal gemmes, hvordan det skal organiseres og hvornår det skal hentes frem.

Meget af den synlige ingeniørarbejde er gået ind i skrivebordet. Vinduer, der tidligere holdt få tusinde tokens, kan nu rumme hundredtusinder, og de største modeller fra OpenAI og Anthropic når op på omkring en million.

Begrebet for dette arbejde, ‘kontekstingeniørarbejde’, stammer fra Shopify’s Tobi Lutke og blev populæriseret af Andrej Karpathy i midten af 2025. Den centrale færdighed i enhver alvorlig AI-anvendelse er, ifølge Karpathy, at fylde vinduet med den rigtige information til næste skridt. Hans analogi var hardware – modellen som processor, vinduet som dens arbejdshukommelse. Praktikerne antog begrebet hurtigt, fordi de havde kredset om ideen uden et navn til det.

At have et større Skrivebord løser ikke Hukommelsesproblemet

Her er, hvor den åbenlyse løsning – blot at forlænge skrivebordet – løber ind i problemer.

Stanford-forskere viste i 2024, at når den information, en model har brug for, befinder sig midt i en lang indtastning, falder dens nøjagtighed skarpt, sammenlignet med samme faktum placeret i begyndelsen eller slutningen. De kaldte det ‘tabt i midten’, og det gjaldt selv for modeller, der var specialbyggede til lang kontekst. At lægge mere ind foran en model viser sig at være anderledes end, at modellen kan bruge det på en pålidelig måde.

Effekten har holdt, da andre hold er gået på jagt efter det, og en studie fra 2025, der kørte 18 frontmodeller mod stadig længere indtastninger, fandt , at ydelsen forringedes langt før vinduet var fuldt, et mønster, som forfatterne kaldte kontekst-rådn. At forlænge skrivebordet og få en model til at resonere rent over alt på det er to adskilte problemer, og det første løser ikke det andet.

Kuratering giver mere end Kapacitet

Kontekstingeniørarbejde er vokset til en disciplin på baggrund af dette, med en undersøgelse fra 2025, der byggede på over 1.400 artikler, der fastlagde dets metoder, og Gartner rådede sine kunder i juli 2025 til at prioritere kontekst over prompts. Faget er gået fra at formulere en skarpere instruks til at samle en skarpere samling af indtastninger, som modellen kan arbejde med.

Et større skrivebord øger indsatsen på, hvad man vælger at lægge på det. Hvis man tipper hele dokumentlagret på overfladen, ender de få sider, der betyder noget, med at blive tabt blandt støj, modstridende og forældede versioner, hvorimod en tættere udvalg af, hvad der faktisk har betydning for opgaven, lar samme model fungere markant bedre. Dommen ligger i, hvad der hører foran modellen, hvordan det er rammet, hvornår det vises, og hvad der bliver i skabet.

Dette er, hvad RAG (retrieval-Augmented Generation) blev bygget til: at klippe dokumenter i stykker og hente de stykker, der ser relevante ud, for at arbejde rundt om et vindue, der er for småt til at holde hele dokumentet. Sådan et vindue, der er stort nok til hele dokumentet, springer helt over hentningsprocessen og giver modellen klauselet sammen med alt, der er omkring det.

I en Session og Efter Den

Lang kontekst er, hvad lar en AI-agent arbejde over en lang opgave snarere end en enkelt udveksling. En agent, der håndterer en flerdags compliance-gennemgang eller en leverandør, der påbegynder, holder hele opgaven i vinduet, mens den kører, så hvert skridt trækker på opgavens fulde tilstand. Et tilstrækkeligt stort vindue kan erstatte hukommelse inden for en session.

Det er også, hvor ligheden stopper. Uanset hvad systemet skal huske næste uge, når denne session er lukket, må det bo et sted, hvor vinduet ikke er.

At bygge en sådan hukommelse medfører en anden række problemer, som branchen kun er begyndt at konfrontere. Min uddannelse i psykologi og neurovidenskab gør det svært at undgå at sammenligne med menneskelig hukommelse. Vi genskaber ikke en perfekt optagelse af en begivenhed. Hver gang vi husker den, genskaber vi den, og små fejl kan langsomt blive en del af den accepterede version. En maskinehukommelse kan udvikle et lignende problem, når gemt information gentagne gange sammenfattes, slås sammen eller omskrives. Over tid kan optagelsen bevæge sig længere fra den oprindelige begivenhed, medmindre nogen checker den, korrigerer fejl og fjerner information, der er blevet utroværdig.

Mange virksomheder, der implementerer disse systemer, har endnu ikke ramt disse problemer, og få er tæt på at løse dem. Hvad jeg ville holde øje på hos en leverandør, er ikke størrelsen på vinduet, de annoncerer. En model, der kan holde 10 millioner tokens, er værdiløs, hvis det meste af, hvad den holder, er forældet, irrelevant eller forkert. Dens svar kan se ud, som om de er velunderbyggede, mens de hviler på materiale, som virksomheden aldrig burde have stolet på. Det, der giver penge, er dommen om, hvad der skal gemmes, og evnen til at resonere præcist over alle oplysninger på en brøkdel af infrastrukturkost og fodaftryk. Det er at gøre mere med mindre, og ikke alle større vinduer kommer med denne sande kapacitet.