Het Geheugenprobleem van AI: Waarom Efficiënte Lange Context Alles Verandert, en Wat Er Nodig is om het Goed te Doen

Een collega die elke eerdere conversatie vergeet zodra deze eindigt, zou niet lang in de meeste banen blijven. Toch werkt veel bedrijfs-AI precies zo. De sessie wordt gesloten en de context verdwijnt met het. Een consument die losse vragen afvuurt, merkt het misschien nauwelijks, maar een bedrijf dat een proces uitvoert dat langer duurt dan één zitting, bereikt de limiet bijna onmiddellijk.

Echt werk gaat verder van de ene sessie naar de andere, en een beslissing genomen op donderdag rust meestal op een beslissing genomen op maandag, met de redenering erachter die moet overleven in tussen. Een AI die zichzelf schoonveegt wanneer een sessie eindigt, kan goed presteren binnen die sessie en toch niets bijdragen aan een taak die langer duurt dan een week.

Bedrijfs-AI heeft stilletjes veranderd wat het van een model vraagt. Jarenlang werden modellen voornamelijk beoordeeld op hoeveel kennis ze hadden opgenomen. Bedrijven hebben nu behoefte aan modellen die de juiste informatie in beeld houden terwijl het werk vordert, een capaciteit die om een andere soort efficiënte techniek vraagt. Tot nu toe is de mogelijkheid om deze mate van persistente kennis te behouden, niet bereikt vanwege de grote hoeveelheid geheugen (GPU’s), rekenkracht en kosten die nodig zijn om deze capaciteit te schalen. Het behouden van een aanvaardbare latentie en niveau van modelhallucinatie wordt een uitdaging bij gelijktijdig gebruik wanneer een grote context wordt gebruikt. Er is een groeiende vraag naar dergelijke kennisfuncties en niet genoeg geheugen en rekenkracht om aan deze vraag te voldoen. Dit roept de vraag op: hoe kun je meer accurate intelligentie bereiken met minder infrastructuur en voetafdruk?

Het Bureaublad en de Archiefkast

Twee dingen worden onder de noemer van geheugen gebundeld, en ze gedragen zich verschillend genoeg dat de rest van dit artikel afhankelijk is van het onderscheid ertussen.

Begin met het contextvenster, dat aangeeft hoeveel een model kan verwerken en redeneren in één keer. Het werkt als het oppervlak van een bureau. Een klein bureau neemt een paar pagina’s tegelijk, zodat alles anders in een la wacht en wordt opgehaald en schoongeveegd terwijl je doorgaat, terwijl een groter bureau het hele dossier open laat liggen terwijl je eroverheen werkt. Wat op het bureau ligt, wordt aan het einde van de dag weggeveegd, elke dag.

Persistente geheugen is de archiefkast naast het bureau. Het systeem kiest wat te bewaren en haalt het terug wanneer het relevant wordt, zodat iets dat deze week gebeurde, kan beïnvloeden wat het de volgende week doet. Die opslag gaat over sessies heen en heeft zijn eigen beslissingen over wat te bewaren, hoe het te organiseren en wanneer het terug te halen.

Veel van de zichtbare technische ontwikkeling is gericht op het bureau. Vensters die eerst een paar duizend tokens konden bevatten, kunnen nu honderdduizenden tokens bevatten, en de grootste modellen van OpenAI en Anthropic hebben een maximum van ongeveer een miljoen.

De term voor dit werk, ‘context engineering’, kwam van Shopify’s Tobi Lutke en werd populair gemaakt door Andrej Karpathy in het midden van 2025. De belangrijkste vaardigheid in elke serieuze AI-toepassing, schreef Karpathy, is het vullen van het venster met de juiste informatie voor de volgende stap. Zijn analogie was hardware – het model als processor, het venster als zijn werkgeheugen. Beoefenaars namen de term snel over, omdat ze al om het idee heen cirkelden zonder een label voor het te hebben.

Het Hebben van een Groter Bureau Lost het Geheugenprobleem niet Op

Dit is waar de voor de hand liggende zet – het bureau blijven vergroten – in de problemen komt.

Onderzoekers van Stanford toonden aan in 2024 dat wanneer de informatie die een model nodig heeft in het midden van een lange invoer zit, de nauwkeurigheid scherp daalt tegenover hetzelfde feit dat aan het begin of einde staat. Ze noemden het ‘verloren in het midden’, en het gold zelfs voor modellen die speciaal waren ontwikkeld voor lange context. Meer informatie voor een model plaatsen, blijkt, is niet hetzelfde als het model betrouwbaar gebruiken.

Het effect heeft standgehouden toen andere teams ernaar op zoek gingen, en een studie uit 2025 die 18 frontiermodellen tegen steeds langere invoeren liet zien, vond dat de prestaties verslechterden lang voordat het venster zelfs maar vol was, een patroon dat de auteurs contextrot noemden. Het vergroten van het bureau en het laten redeneren van een model over alles op het bureau zijn twee afzonderlijke problemen, en het eerste lost het tweede niet op.

Selectie Verdient Meer dan Capaciteit

Context engineering is uitgegroeid tot een discipline op basis van dit, met een enquête uit 2025 die meer dan 1.400 papers heeft onderzocht en Gartner die klanten in juli 2025 aanraadt om context te prioriteren boven prompts. De techniek is verder gegaan dan het schrijven van een scherpere instructie tot het samenstellen van een scherpere set invoer voor het model om mee te werken.

Een groter bureau verhoogt de inzet van wat je erop zet. Als je een hele documentenopslag op het oppervlak gooit, raken de paar pagina’s die ertoe doen verloren tussen ruis, tegenstrijdigheden en verouderde versies, waar een strakkere selectie van wat werkelijk relevant is voor de taak, hetzelfde model aanzienlijk beter laat presteren. Het oordeel ligt in wat voor het model moet worden geplaatst, hoe het wordt gekaderd, wanneer het verschijnt en wat in de kast blijft.

Dit is waarvoor RAG (retrieval-Augmented Generation) is gebouwd: het opsplitsen van documenten in fragmenten en het ophalen van de fragmenten die relevant lijken, om een venster te omzeilen dat te klein is om het hele ding te bevatten. Stel dat een contractgeschil draait om één clausule op pagina 200. De gebruikelijke aanpak splitst het contract op in fragmenten en laat een ophaalsysteem de fragmenten ophalen die relevant lijken. Als pagina 200 als irrelevant wordt beoordeeld, ziet het model nooit de clausule.

Een venster dat groot genoeg is voor het hele contract, slaat de ophaalstap helemaal over en geeft het model de clausule samen met alles eromheen. Of het model vervolgens een lange invoer goed leest, is het betrouwbaarheidsprobleem uit de vorige sectie, en dat is een beter probleem om mee te zitten dan een ophaalsysteem dat stilzwijgend besluit dat de clausule niet de moeite waard is om door te geven.

Binnen een Sessie en Daarna

Lange context is wat een AI-agent in staat stelt om over een lange taak te werken in plaats van één enkele uitwisseling. Een agent die een meerdere dagen durende compliance-controle of een leverancieropname afhandelt, houdt de hele taak in het venster terwijl hij werkt, zodat elke stap de volledige status van de taak gebruikt. Een lang genoeg venster kan dienen als geheugen binnen een sessie.

Daar houdt de overeenkomst echter op. Wat het systeem de volgende week moet onthouden, zodra deze sessie is gesloten, moet ergens anders worden opgeslagen dan in het venster.

Het opbouwen van dit soort geheugen brengt een andere set problemen met zich mee, waarvan de industrie er nog maar een paar heeft aangepakt. Mijn opleiding in psychologie en neurowetenschappen maakt de vergelijking met het menselijke geheugen moeilijk te missen. We halen geen perfecte opname van een gebeurtenis op. Elke keer dat we het ons herinneren, bouwen we het opnieuw op, en kleine fouten kunnen langzaam deel worden van de geaccepteerde versie. Een machinegeheugen kan een soortgelijk probleem ontwikkelen wanneer opgeslagen informatie herhaaldelijk wordt samengevat, samengevoegd of herschreven. Na verloop van tijd kan het verslag verder afwijken van de oorspronkelijke gebeurtenis, tenzij iemand het controleert, fouten corrigeert en informatie verwijdert die onbetrouwbaar is geworden.

Veel bedrijven die deze systemen implementeren, hebben deze problemen nog niet bereikt, en weinig zijn dicht bij een oplossing. Wat ik zou kijken in een leverancier, is niet de grootte van het venster dat ze adverteren. Een model dat 10 miljoen tokens kan bevatten, is niets waard als de meeste informatie die het bevat verouderd, irrelevant of verkeerd is. De antwoorden kunnen goed gedocumenteerd lijken terwijl ze rusten op materiaal dat het bedrijf nooit had mogen vertrouwen. Wat geld oplevert, is het oordeel over wat te bewaren en de mogelijkheid om nauwkeurig te redeneren over alle informatie, met een fractie van de infrastructuurkosten en voetafdruk. Dat is meer doen met minder, en niet alle grotere vensters komen met deze echte capaciteit.