AI sin minneproblem: Hvorfor effektiv lang kontekst endrer alt, og hva det tar å gjøre det riktig

En kollega som glemmer hver forrige samtale så snart den er over, ville ikke vare lenge i de fleste jobbene. Likevel fungerer mye bedrifts-AI på akkurat samme måte. Sesjonen lukkes og konteksten forsvinner med den. En forbruker som skyter av enkeltstående spørsmål, kan knapt merke det, men et selskap som kjører en prosess som varer lengre enn en enkelt sesjon, treffer grensen nesten umiddelbart.

Ekte arbeid går videre fra en sesjon til den neste, og en beslutning som tas på torsdag, hviler vanligvis på en beslutning som ble tatt på mandag, med tankegangen bak den som må overleve i mellomtiden. En AI som sletter seg selv når en sesjon er over, kan fungere bra inne i sesjonen og likevel bidra med ingenting til en oppgave som varer over en uke.

Bedrifts-AI har stille endret hva det krever fra en modell. I mange år ble modellene i hovedsak dømt ut ifra hvor mye kunnskap de hadde absorbert. Nå trenger bedriftene at de skal holde riktig informasjon i sikte mens arbeidet utvikler seg, en evne som krever en annen type effektiv ingeniørkunst. Til nå har evnen til å holde denne nivået av varig kunnskap ikke blitt oppnådd på grunn av den store mengden minne (GPU-er), beregning og kostnad som kreves for å skalerer en slik evne. Å opprettholde en akseptabel forsinkelse og nivå av modellhallusinasjon blir en utfordring med samtidig bruk når stor kontekst brukes. Det er økende etterspørsel etter slike kunnskapsfunksjoner, og ikke nok minne og beregningskraft til å gå rundt. Så dette stiller spørsmålet: hvordan oppnår man mer nøyaktig intelligens i skala med mindre infrastruktur og fotavtrykk?

Skrivebordet og arkivskapet

To ting pakkes under betegnelsen minne, og de oppfører seg forskjellige nok til at resten av dette avhenger av å holde dem adskilt.

Start med kontekstvinduet, som er hvor mye en modell kan ta inn og resonnere over i ett enkelt steg. Det fungerer som overflaten på et skrivebord. Et lite skrivebord tar noen sider om gangen, så alt annet venter i en skuff og hentes og ryddes mens du går, mens et stort skrivebord lar hele saken ligge åpen samtidig mens du arbeider over den. Hva skrivebordet holder, blir feiet av ved dagens slutt, hver dag.

Varig minne er arkivskapet ved siden av skrivebordet. Systemet velger hva som skal lagres og henter det ut igjen når det blir relevant, så noe som skjedde denne uken kan informere hva det gjør neste uke. Denne lagringen går over sesjoner, og den trenger sine egne beslutninger om hva som skal lagres, hvordan det skal organiseres og når det skal hentes ut.

Mye av den synlige ingeniørarbeidet har gått inn i skrivebordet. Vinduer som en gang holdt noen tusen token, går nå til hundretusener, og de største modellene fra OpenAI og Anthropic toppes ut rundt en million.

Begrepet for dette arbeidet, ‘kontekstingeniørkunst’, kom fra Shopify sin Tobi Lutke og ble popularisert av Andrej Karpathy i midten av 2025. Den grunnleggende ferdigheten i enhver alvorlig AI-applikasjon, skrev Karpathy, er å fylle vinduet med riktig informasjon for neste steg. Hans analogi var maskinvare – modellen som prosessor, vinduet som arbeidsminne. Praktikerne tok til seg begrepet raskt, fordi de hadde vært rundt ideen uten en etikett for det.

Å ha et større skrivebord løser ikke minneproblemet

Her er hvor den åpenbare bevegelsen – bare fortsette å forstørre skrivebordet – løper inn i problemer.

Stanford-forskere viste i 2024 at når informasjonen en modell trenger, sitter i midten av en lang innputt, synker nøyaktigheten skarpt mot samme faktum plassert i begynnelsen eller slutten. De kalte det ‘tapt i midten’, og det holdt selv for modeller som var bygget for lang kontekst. Å plassere mer foran en modell, viser det seg, er ikke det samme som at modellen gjør en pålitelig bruk av det.

Effekten har holdt stand når andre team har gått på jakt etter det, og en studie fra 2025 som kjørte 18 frontier-modeller mot stadig lengre innputt, fant ytelse som forverret langt før vinduet var fullt, et mønster som forfatterne kalte kontekst-rot. Å forstørre skrivebordet og få en modell til å resonnere rent over alt på det, er to separate problemer, og det første gjør ingenting for å løse det andre.

Kurering tjener mer enn kapasitet

Kontekstingeniørkunst har vokst til en disiplin på bakgrunn av dette, med en 2025-undersøkelse som bygget på over 1 400 artikler som satte ut metodene og Gartner rådet klienter i juli 2025 til å prioritere kontekst over instruksjoner. Faget gikk videre fra å formulere en skarper instruks til å samle en skarpere samling av innputt for modellen å arbeide fra.

Et større skrivebord øker innsatsen på hva du velger å plassere på det. Tippe en hel dokumentbutikk på overflaten og de få sidene som betyr noe, ender opp tapt blant støy, motstridende og foreldede versjoner, hvor en strammere seleksjon av hva som faktisk betyr noe for oppgaven, lar samme modell fungere merkbart bedre. Dommen ligger i hva som hører foran modellen, hvordan det er rammet inn, når det vises og hva som blir liggende i skapet.

Dette er hva RAG (retrieval-Augmented Generation) ble bygget for: å kutte dokumenter i fragmenter og hente ut de som ser relevante, for å gå rundt et vindu som er for lite til å holde hele dokumentet. Si en kontrakttvist handler om en klausul på side 200. Den vanlige tilnærmingen kutter kontrakten i fragmenter og lar en hentingssystem hente ut de som ser relevante. Ranger side 200 som irrelevant og modellen ser aldri klausulen.

Et vindu som er stort nok til hele kontrakten, hopper over hentingsteget helt og gir modellen klausulen sammen med alt rundt den. Om modellen deretter leser en lang innputt godt, er det pålitelighetsproblemet fra forrige seksjon, og det er et bedre problem å bli igjen med enn et hentingssystem som stille avgjør at klausulen ikke var verdt å sende videre.

Inne i en sesjon, og etter det

Lang kontekst er det som lar en AI-agent arbeide over en lang jobb heller enn en enkelt utveksling. En agent som håndterer en flerdags compliance-gjennomgang eller en leverandør påmelding, holder hele oppgaven i vinduet mens den kjører, så hvert steg trekker på hele oppgavens tilstand. Et langt nok vindu kan erstatte minne innen en sesjon.

Det er også der hvor likheten stopper. Hva systemet skal huske neste uke, når denne sesjonen er stengt, må bo et sted vinduet ikke er.

Å bygge en slik minne bringer en annen samling problemer, mange av dem industrien bare har begynt å konfrontere. Min utdanning i psykologi og nevrovitenskap gjør sammenligningen med menneskelig minne vanskelig å overse. Vi henter ikke en perfekt innspilling av en hendelse. Hver gang vi husker den, bygger vi den opp igjen, og små feil kan gradvis bli en del av den aksepterte versjonen. En maskinminne kan utvikle et lignende problem når lagret informasjon blir gjentatte ganger sammenfattet, slått sammen eller omskrevet. Over tid kan innspillingen glide lengre vekk fra den opprinnelige hendelsen, med mindre noen sjekker den, korrigerer feil og fjerner informasjon som har blitt upålitelig.

Mange selskaper som deployer disse systemene, har ikke nådd disse problemene ennå, og få er nær løst. Hva jeg ville se etter hos en leverandør, er ikke størrelsen på vinduet de annonserer. En modell som holder 10 millioner token, er verdt lite hvis det meste av hva den holder, er foreldet, irrelevant eller feil. Dens svar kan se godt begrunnet ut, mens de hviler på materiale bedriften aldri burde ha stole på. Hva som tjener penger, er dommen om hva som skal holdes og evnen til å resonnere nøyaktig over all informasjon, på en brøkdel av infrastrukturkostnadene og fotavtrykket. Det er å gjøre mer med mindre, og ikke alle større vinduer kommer med denne sanne evnen.