Actief versus blijvend geheugen in AI: hoe AI onthoudt, informatie ophaalt en vergeet

Actief geheugen is de informatie waarover een AI-systeem beschikt voor de taak die het op dat moment uitvoert. Blijvend geheugen is informatie die de omringende toepassing bewaart, zodat die later opnieuw kan worden gebruikt. De relatie tussen beide bepaalt of een assistent een project kan voortzetten, een voorkeur kan toepassen, een achterhaalde aanname kan corrigeren of kan voorkomen dat iets opnieuw opduikt wat het had moeten vergeten.

Denk aan een assistent die je helpt een onderzoeksrapport op te stellen. Tijdens één gesprek kan die verwijzen naar de opzet, je meest recente wijzigingen en de bronnen die je zojuist hebt aangeleverd. Open een week later een apart gesprek, dan hangt die continuïteit af van een ander mechanisme: of de toepassing de relevante informatie heeft opgeslagen, die kan terugvinden en opnieuw aan het model kan aanbieden.

Daarom kan het lijken alsof een AI het ene detail onthoudt, maar een ander detail uit hetzelfde gesprek vergeet. Onthouden is een reeks bewerkingen. Er kan iets misgaan bij het vastleggen, opslaan, doorzoeken, selecteren, interpreteren of bijwerken van informatie.

In deze gids wordt die reeks bewerkingen uitgebreid besproken. Zie voor een bredere indeling van episodisch, semantisch en procedureel geheugen onze inleiding over typen geheugen van AI-agenten. Hier ligt de nadruk op de grens tussen wat nu actief is en wat na de huidige taak behouden kan blijven.

Wat betekenen actief en blijvend geheugen precies?

Deze termen beschrijven nuttige architecturale onderscheidingen, maar vormen geen universeel gestandaardiseerd begrippenpaar. Productinterfaces en wetenschappelijke artikelen gebruiken „werkgeheugen”, „kortetermijngeheugen”, „context”, „status” en „langetermijngeheugen” op manieren die elkaar overlappen. Daarom moeten de gebruikte termen eerst nauwkeurig worden gedefinieerd.

In dit artikel betekent actieve context de informatie die voor de huidige reactie aan het model wordt aangeboden: instructies, berichten, geselecteerde uitvoer van hulpmiddelen, opgehaalde informatie en andere invoer die het model kan verwerken. Actieve taakstatus is ruimer. Daaronder kunnen een plan, een checklist of variabelen vallen die de toepassing bijhoudt, maar nog niet in de context van het model heeft opgenomen. We gebruiken actief geheugen als praktische verzamelterm voor deze huidige werkset en maken waar nodig onderscheid tussen beide.

Blijvend geheugen is informatie die behouden blijft na een reactie- of sessiegrens en later opnieuw beschikbaar is. Het kan gaan om een opgeslagen voorkeur, een projectnotitie, een gebeurtenisregistratie, een gestructureerd databaseveld of een controlepunt waarmee een onafgeronde taak kan worden hervat. Blijvendheid beschrijft het behoud van informatie; het garandeert niet dat die informatie in elk gesprek wordt gedeeld.

Er zijn dus twee afzonderlijke vragen: Bestaat de informatie nog? en Krijgt het model die te zien wanneer het die nodig heeft? Een opgeslagen transcript kan de eerste vraag beantwoorden zonder de tweede op te lossen.

De belangrijke uitzondering: een kortetermijnstatus kan worden opgeslagen

„Kortetermijn” betekent niet altijd „alleen opgeslagen in vluchtig RAM”. De werkstatus van een gesprek kan worden vastgelegd als controlepunt in een database en na een onderbreking worden hervat. Zo maakt de documentatie over geheugen van LangChain bijvoorbeeld onderscheid tussen status die aan een thread is gebonden en via controlepunten wordt bewaard, en langetermijngeheugen dat in afzonderlijke naamruimten is georganiseerd.

Stel je een ondersteuningsmedewerker voor die pauzeert terwijl hij wacht tot een klant een kassabon uploadt. Het opgeslagen controlepunt hoort bij die ondersteuningszaak. Het controlepunt is blijvend, maar mag niet automatisch een algemeen feit over de klant worden of in niet-gerelateerde verzoeken verschijnen.

Een nuttige manier om een geheugenfunctie te beoordelen, is te kijken naar drie dimensies: de levensduur, de reikwijdte en de beschikbaarheid voor de huidige modelaanroep. Een aanduiding als „langetermijn” geeft op geen van die vragen een volledig antwoord.

Actief versus blijvend geheugen in één oogopslag

Hetzelfde feit kan in beide kolommen voorkomen. Een opgeslagen projectvoorkeur is persistent; de kopie die in de prompt van vandaag is opgenomen, is actief. Als die kopie uit de prompt wordt verwijderd, betekent dat niet noodzakelijkerwijs dat het opgeslagen origineel ook wordt verwijderd.

Wat gebeurt er tijdens één AI-antwoord?

In een typische toepassing met een taalmodel stelt de omringende software een invoer samen, genereert het model een uitvoer en bepaalt de software wat er vervolgens gebeurt. De invoer kan het zichtbare gesprek bevatten, maar ook systeeminstructies, beschrijvingen van tools, opgehaalde notities en informatie die de gebruiker niet in het chattranscript ziet.

Deze samengestelde context vormt het directe bewijs waarover het model beschikt. Als een eerder bericht niet langer is opgenomen, kan het model de exacte inhoud ervan niet betrouwbaar terughalen, alleen omdat de applicatie die ooit heeft weergegeven. Het kan op basis van aanwijzingen in de omgeving een aannemelijk antwoord afleiden, maar afleiden is iets anders dan herinneren.

Een tool vergroot de toegangsmogelijkheden van het systeem. Het model kan om een projectbestand vragen, de inhoud ervan ontvangen en die inhoud in een volgend antwoord gebruiken. Het bestand was al beschikbaar voor de applicatie voordat het actief bewijs werd. Dat onderscheid verklaart waarom een agent toegang kan hebben tot een omvangrijk archief zonder het bij elke beurt volledig te lezen.

Ook implementaties van transformers houden intern een computationele toestand bij, waaronder caches die worden gebruikt om herhaald werk te voorkomen. Die mechanismen zijn nuttig om inferentie efficiënt uit te voeren, maar moeten niet worden verward met een bewerkbaar, machtigingsbewust overzicht van de voorkeuren of projectgeschiedenis van een gebruiker. Een sneller antwoord betekent niet dat er persoonlijk geheugen is aangemaakt.

Waarom een groter contextvenster het geheugenprobleem niet oplost

Dankzij een groter contextvenster kan een applicatie meer materiaal tegelijk aanleveren. Dat kan waardevol zijn wanneer het antwoord afhangt van verbanden tussen verschillende delen van een lang document of tussen meerdere verwante bronnen. Het bepaalt echter niet welk materiaal bewaard moet blijven, welke versie leidend is of een gebruiker er toegang toe mag hebben.

Dat informatie in een contextvenster past, garandeert evenmin dat het model die correct zal gebruiken. Uit het onderzoek Verdwaald in het midden bleek dat de geteste modellen verschillend konden presteren, afhankelijk van de plek waar relevant bewijs in lange invoer verscheen. De uitkomst waarschuwt ervoor het effectieve gebruik van context te evalueren, in plaats van de geadverteerde capaciteit als garantie voor herinnering te beschouwen; het is geen vaste voorspelling van de prestaties van elk nieuwer model.

Stel dat een projectarchief veertig gesprekken over een lanceringsdatum bevat. In negenendertig daarvan wordt de oorspronkelijke datum genoemd, terwijl de laatst goedgekeurde wijziging de datum verschuift. Alle veertig gesprekken aanleveren leidt tot een probleem rond het lezen en bepalen welke informatie leidend is. Een zorgvuldig bijgehouden overzicht van de huidige status, gekoppeld aan de goedgekeurde wijziging, kan het eenvoudiger maken het relevante antwoord vast te stellen.

Een lange context en selectief ophalen kunnen elkaar dus aanvullen. Bij het ophalen wordt een bruikbare verzameling bewijs gevonden; met een voldoende grote context kan het model dat bewijs in samenhang bekijken. De ontwerpkeuze hangt af van de taak, de omvang van het bronmateriaal en de gevolgen van het missen van een voorbehoud.

Hoe informatie persistent geheugen wordt

Duurzaam geheugen begint met de beslissing om iets op te slaan. Een applicatie kan een expliciete gebruikersinstructie bewaren, op basis van een gesprek een mogelijk feit afleiden, een gebeurtenis vastleggen of een samenvatting maken. Elke methode levert een ander soort bewijs op.

‘Gebruik voor Project Cedar metrische eenheden’ is een expliciete projectvoorkeur. ‘De gebruiker lijkt de voorkeur te geven aan metrische eenheden’ is een gevolgtrekking. ‘De laatste drie rapporten van Cedar gebruikten metrische eenheden’ is een waarneming. Een bruikbaar gegeven houdt deze verschillen in stand, in plaats van ze samen te voegen tot een ongeclausuleerde bewering over elke toekomstige taak.

Wat een bruikbaar gegeven bevat

Voor een hypothetische projectassistent kan een record de verklaring bevatten, de projectidentificatie, de gebruiker of organisatie waartoe deze behoort, de broninteractie, een tijdstempel, een geldigheidsstatus en eventuele uitzonderingen. Met deze velden kan worden nagegaan waar de informatie vandaan komt en of die nog steeds van toepassing is.

{
  "scope": "project:cedar",
  "statement": "Use metric units in project reports",
  "source_type": "explicit_user_instruction",
  "source_ref": "conversation_17/message_8",
  "status": "current",
  "exception": "Client edition may require dual units"
}

Dit is een illustratief schema, geen universele standaard. Het laat zien waarom een geheugen meer moet bevatten dan één zin. Een bronverwijzing maakt verificatie mogelijk; de reikwijdte voorkomt overgeneralisatie; en een statusveld maakt correctie mogelijk.

Direct wegschrijven versus verwerking op de achtergrond

Een directe schrijfactie kan een expliciete correctie beschikbaar maken voor het eerstvolgende verzoek. Bij verwerking op de achtergrond kan een afgeronde interactie worden onderzocht, kunnen duplicaten worden samengevoegd of kan een zorgvuldiger samenvatting worden gemaakt. De documentatie van LangChain beschrijft beide benaderingen en de voor- en nadelen ervan, waaronder het extra werk dat een directe responsroute met zich meebrengt.

Een praktische opzet kan een bevestigde voorkeur direct opslaan en een lange onderzoekssessie later verwerken. De periode tussen die stappen moet echter ook worden opgevangen. Als het systeem de gebruiker vertelt dat een voorkeur is opgeslagen voordat het wegschrijven is geslaagd, kan in het volgende gesprek blijken dat de continuïteit ontbreekt.

Ook voor het wegschrijven van herinneringen is een beleid nodig voor het geval er iets misgaat. Als de opslag tijdelijk niet beschikbaar is, kan de applicatie melden dat het opslaan niet is voltooid of een duidelijk gemarkeerde bewerking in behandeling bewaren. Een poging tot wegschrijven behandelen alsof de herinnering daadwerkelijk is opgeslagen, leidt tot een misleidende gebruikerservaring.

Hoe persistent geheugen terugkomt in de actieve context

Ophalen bestaat uit een reeks beslissingen over geschiktheid, relevantie en bewijs. Een systeem moet eerst vaststellen welke gebruiker, tenant, welk project of welke taak hoort bij de records die het mag raadplegen. Vervolgens zoekt het mogelijke records en bepaalt het welke daarvan in de context voor het antwoord worden opgenomen.

De ophaalmethode moet aansluiten op de vraag. ‘Wat is de goedgekeurde deadline van Cedar?’ kan het best worden beantwoord door een specifiek projectveld rechtstreeks op te zoeken. Bij de vraag ‘Zijn we deze implementatiefout eerder tegengekomen?’ kunnen zoeken op trefwoorden en semantische gelijkenis op basis van eerdere incidenten nuttig zijn. Een vectordatabase is een van de mogelijkheden binnen dat proces, maar is niet voor elk geheugen vereist.

Semantisch zoeken is vooral nuttig wanneer de formulering verandert. Een zoekopdracht over ‘rapporten beknopt houden’ kan bijvoorbeeld overeenkomen met een opgeslagen voorkeur voor ‘korte samenvattingen voor het management’. Een gerelateerde uitspraak kan echter betrekking hebben op een andere klant of op een verlaten versie van het project. Gelijkenis helpt bij het vinden van mogelijke resultaten, maar bewijst niet dat die juist zijn of dat er toestemming voor is.

Ophalen moet ook de uitkomst ‘niet gevonden’ ondersteunen

Denk aan de vraag: ‘Welke bestedingslimiet heb ik vorige maand goedgekeurd?’ Als er geen goedgekeurd bedrag kan worden gevonden, geeft een behulpzaam antwoord aan welk bewijs ontbreekt en vraagt het om verduidelijking. Een aannemelijk getal noemen verandert een gebrek aan herinneringen in een verzonnen goedkeuring.

De geheugeninterface moet daarom onderscheid maken tussen een bevestigde overeenkomst, een onzekere overeenkomst, een conflict en het ontbreken van een ondersteunend gegeven. Deze uitkomsten kunnen tot verschillend gedrag leiden: rechtstreeks antwoorden, het antwoord nuanceren, om verduidelijking vragen of weigeren te handelen op basis van een onbevestigde aanname.

Ook na het ophalen van informatie blijft interpretatie belangrijk. Een gegeven dat luidt ‘voorgesteld maximumbudget: $5,000, goedkeuring in afwachting’ mag niet veranderen in ‘goedgekeurd budget: $5,000’. Het behouden van nuanceringen in de opgeslagen weergave en de meegeleverde context is net zo belangrijk als het vinden van het juiste document.

Een uitgewerkt voorbeeld: een project in de loop van de tijd onthouden

Stel je een assistent voor die een team helpt bij het opstellen van het Cedar-onderzoeksrapport. Het volgende voorbeeld is hypothetisch, maar laat verschillende veelvoorkomende keuzes bij het ontwerpen van een geheugensysteem zien.

Sessie één: het project opzetten

De gebruiker vraagt om een rapport, geeft aan dat metrische eenheden moeten worden gebruikt, levert drie bronnen aan en zegt dat het concept vrijdag klaar moet zijn. De actieve context bevat die instructies en de fragmenten uit de bronnen. De actieve taakstatus vermeldt welke onderdelen zijn afgerond en welke beweringen nog moeten worden geverifieerd.

Mogelijke gegevens voor langdurige opslag hebben verschillende doelen. De voorkeur voor metrische eenheden hoort bij het project. De deadline voor het concept hoort bij de huidige mijlpaal. De aangeleverde bronnen horen in het archief met bewijsmateriaal van het project. Beweringen die nog niet zijn geverifieerd, horen op een lijst met nog uit te voeren onderzoek, waarbij de onzekerheid behouden blijft.

Sessie twee: verdergaan met het juiste bewijsmateriaal

Drie dagen later vraagt de gebruiker om het onderdeel over de methoden af te maken. De assistent heeft de meest recente opzet nodig, relevante bronnen, de huidige taakstatus en de toepasselijke opmaakregel. De assistent heeft niet per se alle geschrapte zinnen uit de eerdere brainstormsessie nodig.

Als het controlepunt aangeeft dat het literatuuroverzicht is afgerond, moet de assistent het opgeslagen bestand toch openen voordat die het daarop aansluitende werk bewerkt. ‘Afgerond’ is een bewering over de voortgang; het document zelf is het bewijs van wat er is afgerond. Duurzame verwijzingen naar bestanden kunnen nuttiger zijn dan een samenvatting die probeert de volledige inhoud ervan weer te geven.

Sessie drie: een uitzondering toepassen zonder alles opnieuw te schrijven

De gebruiker vraagt om een klantversie met zowel metrische als imperiale eenheden. Voor de huidige taak moeten beide eenheden worden gebruikt. Of de algemene projectregel verandert, hangt af van de formulering en de reikwijdte van het verzoek: ‘voor deze versie’ is beperkter dan ‘gebruik vanaf nu beide’.

Een zorgvuldige assistent legt een uitzondering vast die alleen voor deze versie geldt. Een assistent die de uitzondering te ruim toepast, wijzigt de algemene voorkeur en veroorzaakt fouten in latere rapporten. Dat is een geheugenfout, zelfs als elke schrijfactie naar de database en elk verzoek om gegevens op te halen succesvol verloopt.

Sessie vier: afronden en tijdelijke gegevens opruimen

Na oplevering moet de mijlpaal als afgerond worden gemarkeerd. Bij de instructie ‘ga verder met het rapport’ moet de assistent naar de opgeleverde versie gaan en vragen welke aanpassing nodig is, in plaats van een verouderde checklist weer op te pakken. Tijdelijke kladnotities kunnen volgens het projectbeleid verlopen, terwijl het eindrapport en belangrijke beslissingen beschikbaar blijven.

Hier wordt duidelijk wat de waarde is van langdurig geheugen: minder herhaalde uitleg en betere continuïteit. Ook de kosten zijn duidelijk: de toepassing moet verbanden bijhouden tussen voorkeuren, uitzonderingen, bestanden en een veranderende taakstatus.

Samenvatten, comprimeren en het risico dat een uitzondering verloren gaat

Lange gesprekken kunnen meer informatie opleveren dan nuttig is voor het volgende antwoord. Bij het comprimeren wordt een deel van die geschiedenis vervangen door een beknoptere weergave. Een samenvatting kan het doel, de beslissingen, openstaande vragen en verwijzingen naar het onderliggende werk behouden.

De richtlijnen van Anthropic voor contextengineering beschrijven het comprimeren van context en het opslaan van notities buiten het contextvenster als manieren om de continuïteit tijdens langdurig werk te behouden. Beide technieken veranderen welke informatie beschikbaar is voor toekomstige antwoorden, dus de kwaliteit ervan is belangrijk.

Comprimeren houdt in dat er een selectie wordt gemaakt. Een samenvatting als ‘Gebruik metrische eenheden’ is korter dan ‘Gebruik metrische eenheden, behalve in de klantversie, waarvoor beide systemen nodig zijn.’ Maar voor een van de belangrijke situaties binnen het project is die samenvatting ook onjuist. De weggelaten uitzondering kan ongemerkt in latere samenvattingen blijven staan en daardoor moeilijk te traceren zijn.

Voor onze Cedar-assistent zou een betere overdracht de algemene regel, de uitzondering daarop, de afgeronde onderdelen, de resterende verificatietaken en verwijzingen naar de meest recente bestanden behouden. Precieze gegevens, zoals goedgekeurde bedragen of identificatiecodes, moeten in gestructureerde gegevens of brondocumenten blijven staan wanneer een benadering schadelijk zou zijn.

Samenvattingen moeten ook onzekerheid behouden. ‘We hebben overwogen enquête B te gebruiken’ mag niet veranderen in ‘Enquête B is gekozen’. Als de gecomprimeerde geschiedenis voorlopige beslissingen als definitief laat lijken, heeft het systeem een valse herinnering gecreëerd in een poging context te besparen.

Hoe AI-geheugen moet omgaan met correcties en tegenstrijdigheden

Duurzaam geheugen wordt minder bruikbaar als het niet kan veranderen. Projecten veranderen, voorkeuren evolueren en eerdere informatie blijkt soms onjuist. Als een correctie wordt toegevoegd als een nieuwe, niet nader gekwalificeerde registratie, kan het zo zijn dat het zoeksysteem moet kiezen tussen twee tegenstrijdige uitspraken.

Een nuttigere update maakt duidelijk wat het nieuwe bewijs vervangt. Als de projecteigenaar de lanceringsdatum verschuift van 15 november naar 29 november, kan de oude registratie als achterhaald worden gemarkeerd en aan de nieuwe beslissing worden gekoppeld. Vragen over de huidige deadline worden beantwoord aan de hand van de nieuwe versie; voor vragen over het oorspronkelijke plan kan de historische versie worden geraadpleegd.

Alleen de actualiteit kan niet elk conflict oplossen. Een recente notitie in een concept kan minder gezaghebbend zijn dan een ouder, goedgekeurd beleid. Een gebruiker kan bevoegd zijn om een persoonlijke voorkeur te wijzigen, maar niet om een regel voor de hele organisatie te veranderen. Bij het updatebeleid moet rekening worden gehouden met het soort gegeven en het gezag van de bron.

Sommige tegenstrijdigheden moeten onopgelost blijven totdat iemand om opheldering vraagt. Als twee projecteigenaren onverenigbare datums noemen zonder expliciet aan te geven dat de ene de andere vervangt, kan de assistent beide bronnen tonen en vragen welke doorslaggevend is. Door stilzwijgend de meest vergelijkbare of meest recente registratie te kiezen, verbergt het systeem een beslissing waartoe het mogelijk niet bevoegd is.

Wat betekent het als AI iets vergeet?

Vergeten is geen kwestie van één schakelaar omzetten. Een product kan stoppen met het opnemen van een gegeven in prompts, het uitsluiten van reguliere zoekopdrachten, het als verouderd markeren, de geheugenregistratie verwijderen of andere bewaarde kopieën wissen. Deze handelingen hebben verschillende gevolgen voor toekomstig gedrag en voor de bewaarde gegevens.

Niet langer deel uitmaken van de actieve context

Een gegeven kan ontbreken in de volgende modelinvoer doordat oudere berichten zijn weggelaten of samengevat. Daardoor kan het model er op dat moment minder gebruik van maken. Het oorspronkelijke transcript of de geheugenregistratie kan nog bestaan en bij een latere zoekactie opnieuw naar voren komen.

Geheugen laten verlopen of raadpleging onderdrukken

Een verlopen deadline kan in een archief blijven staan, maar worden uitgesloten van zoekopdrachten over lopend werk. Onderdrukking is nuttig wanneer het bewaren van historische gegevens een doel dient, maar mag niet worden voorgesteld als volledige verwijdering. Via een historische zoekopdracht of een administratieve procedure kan de registratie mogelijk nog steeds worden geraadpleegd.

Opgeslagen geheugen verwijderen

Bij het verwijderen van een blijvende registratie moet ook aandacht worden besteed aan de zoekrepresentaties die ervan zijn afgeleid. Als een zin uit een profiel wordt verwijderd, maar in een doorzoekbare samenvatting blijft staan, kan de assistent dezelfde voorkeur later opnieuw afleiden. Afhankelijk van de architectuur kunnen bronregistraties, embeddings, samenvattingen, caches en replica’s elk afzonderlijk werk vereisen om ze te verwijderen.

Voor back-ups en logboeken kunnen eigen bewaartermijnen gelden. Een product moet die grenzen duidelijk toelichten en voorkomen dat verwijderd materiaal na een herstelactie weer actief wordt. ‘We gebruiken dit geheugen niet meer’ en ‘alle bewaarde kopieën zijn verwijderd’ zijn twee verschillende toezeggingen.

Modelgewichten wijzigen

Het verwijderen van extern geheugen verandert de modelparameters niet. Als informatie tijdens de training is gebruikt, is het aanpakken daarvan in het model een afzonderlijk probleem dat betrekking heeft op het trainings- en implementatieproces. Evenmin kan het verwijderen van een persoonlijke herinnering garanderen dat het model nooit een vergelijkbaar feit zal genereren op basis van algemene kennis of aanwijzingen in een nieuwe prompt.

Een zinvolle test van vergeten kijkt daarom zowel of het systeem de informatie nog opslaat als of de gebruikelijke ophaalroutes die informatie opnieuw kunnen oproepen. Eén chatreactie waarin staat ‘Ik ben het vergeten’ bewijst geen van beide.

Geheugen, RAG, training en caching: waar liggen de grenzen?

Generatie met retrieval-augmentatie, of RAG, voorziet een model tijdens het genereren van externe informatie. Het oorspronkelijke RAG-onderzoek combineerde modelparameters met een doorzoekbare documentindex. Een persoonlijk geheugensysteem kan ook retrieval gebruiken, maar heeft daarnaast beleid nodig voor het aanmaken, bijwerken en verwijderen van gegevens uit interacties.

Een bedrijfshandboek kan worden opgehaald zonder dat het een herinnering aan de gebruiker is. Een notitie over een eerdere interactie kan uit een eenvoudig bestand worden opgehaald, zonder vectorindex. Retrieval is een mechanisme; het doel en de levenscyclus van de onderliggende gegevens bepalen wat voor systeem er wordt gebouwd.

Training en fine-tuning wijzigen de modelparameters. Bij gewoon extern geheugen verandert in plaats daarvan de informatie die aan een model wordt aangeboden. Een assistent die een nieuw opgeslagen voorkeur volgt, kan zich anders gedragen terwijl de modelgewichten ongewijzigd blijven.

Het cachen van prompts en inferenties hergebruikt eerdere berekeningen, voor zover dat wordt ondersteund. Dit kan de efficiëntie verbeteren, maar geeft op zichzelf geen uitsluitsel over de vraag of een herinnerde bewering actueel, geautoriseerd of geschikt is voor toekomstige taken. Deze lagen kunnen naast elkaar bestaan; bij het opsporen van problemen moet worden vastgesteld welke laag verantwoordelijk is voor het waargenomen gedrag.

MemGPT is een invloedrijk architectonisch voorbeeld: het verkende hoe informatie kan worden verplaatst tussen een beperkte context en externe geheugenniveaus, aan de hand van een analogie met besturingssystemen. De nuttige les is dat informatieverplaatsing expliciet moet worden beheerd, in plaats van aan te nemen dat opslag de onmiddellijke context van het model automatisch en onbeperkt vergroot.

Waarom permanent geheugen fouten hardnekkiger kan maken

Een foutief antwoord kan één interactie beïnvloeden. Een foutieve herinnering kan er veel beïnvloeden. Als een assistent afleidt dat een gebruiker een beslissing heeft goedgekeurd, die afleiding als feit opslaat en later naar de opgeslagen gegevens verwijst, kan de eerdere fout van de assistent de schijn van onafhankelijk bewijs krijgen.

Voor onze projectassistent moet de oorspronkelijke bron te onderscheiden blijven van de interpretatie door een model. Een samenvatting van een beslissing kan helpen bij het navigeren, maar voor elke beslissing met belangrijke gevolgen moet de goedgekeurde beslissing zelf de basis vormen. Herhaling in verschillende gegenereerde notities maakt van één niet-onderbouwde gevolgtrekking geen meerdere onafhankelijke bevestigingen.

Permanent geheugen creëert ook een route waarlangs instructies kunnen worden besmet. Een document dat niet wordt vertrouwd, kan een zin bevatten die de assistent opdraagt zijn toekomstige gedrag te veranderen. Die zin als gedragsregel opslaan zou externe inhoud over een gezagsgrens heen verplaatsen. De toepassing moet de zin behandelen op basis van de herkomst ervan, in plaats van deze tot een vertrouwde instructie te verheffen omdat hij in een geheugenopslag staat.

Gedeelde omgevingen brengen nog een grens met zich mee. Een gegeven kan relevant zijn voor een vraag, maar bij een andere klant of een ander project horen. Toegangscontroles moeten het ophalen van informatie beperken voordat die het model bereikt. Het model vragen om niet-geautoriseerde gegevens te negeren nadat die al zijn aangeleverd, is een zwakkere ontwerpkeuze.

Zo beoordeel je of geheugen echt werkt

Bij een overtuigende demonstratie wordt de assistent vaak gevraagd één opgeslagen voorkeur te herhalen. Een serieuze evaluatie volgt veranderende informatie over meerdere sessies en controleert of het geheugen de voltooide taak verbetert.

LongMemEval beoordeelt informatie-extractie, redeneren over meerdere sessies, temporeel redeneren, kennisupdates en het afzien van een antwoord. Deze categorieën laten zien waarom de kwaliteit van langetermijngeheugen verder reikt dan het ophalen van één overeenkomende zin. Gepubliceerde benchmarkresultaten moeten worden geïnterpreteerd binnen de geteste systemen en instellingen; ze mogen niet zonder meer worden geacht voor elk huidig product te gelden.

Voor de Cedar-werkstroom zou een evaluatie een voorkeur kunnen introduceren, het project kunnen hervatten, een uitzondering kunnen toevoegen, een deadline kunnen aanpassen, een notitie kunnen verwijderen en vervolgens vragen kunnen stellen die verouderde of niet-onderbouwde herinneringen aan het licht brengen. Hetzelfde model moet ook zonder de geheugenfunctie worden getest om vast te stellen of het toegevoegde systeem de resultaten verbetert.

• Juistheid van opslag: Heeft het systeem de bedoelde uitspraak opgeslagen, inclusief de reikwijdte en voorbehouden?
• Bruikbaarheid van retrieval: Heeft het systeem het benodigde bewijs voor de taak gevonden zonder de context te overspoelen met irrelevante voorgeschiedenis?
• Omgaan met updates: Heeft een correctie het actuele feit vervangen, met behoud van nuttige historische onderscheidingen?
• Afzien van een antwoord: Heeft de assistent erkend dat er geen ondersteunende gegevens beschikbaar waren?
• Isolatie: Bleven gegevens beperkt tot de juiste gebruiker, tenant en het juiste project?
• Vergeten: Voorkwam verwijdering of het verstrijken van de bewaartermijn dat de informatie later alsnog werd opgehaald, ook via afgeleide samenvattingen?
• Operationele kosten: Rechtvaardigden de verbeteringen de extra latentie, modelaanroepen, opslag en het onderhoud?

Mislukkingen moeten worden teruggevoerd op een specifieke fase. Een ontbrekend antwoord kan het gevolg zijn van een mislukte opslag, een onjuist zoekbereik, een slechte rangschikkingsbeslissing, een weggelaten voorbehoud of een model dat goed bewijsmateriaal verkeerd heeft geïnterpreteerd. Een grotere context lost niet al deze problemen op.

Het juiste geheugenontwerp kiezen

Voor een eenmalige samenvatting van een document zijn misschien alleen het huidige document en de instructies nodig. Bij een onderbroken analyse is een taakcheckpoint nuttig. Een assistent voor terugkerende projecten heeft mogelijk versiebeheer voor beslissingen en verwijzingen naar artefacten nodig. Een assistent die met veel gebruikerssessies werkt, heeft mogelijk een aparte, bewerkbare opslagplaats voor voorkeuren nodig.

Bepaal eerst welke toekomstige vraag het geheugen moet kunnen beantwoorden. De vraag „Wat moet er nog gebeuren?” vraagt om de taakstatus. De vraag „Welk formaat vereist deze klant?” vraagt om een afgebakende voorkeur. De vraag „Waarom hebben we deze aanpak afgewezen?” vraagt om een beslisdocument met ondersteunend bewijsmateriaal. Verschillende vragen vragen om verschillende representaties.

Kies liever voor een beperkt aantal duidelijke records waarvan de herkomst vast te stellen is dan voor een ongedifferentieerd archief dat als personalisatie wordt gepresenteerd. Houd de huidige status gescheiden van gebeurtenissen uit het verleden, bewaar links naar bronartefacten en maak correcties en verwijderingen vanaf het begin onderdeel van het ontwerp.

Actief geheugen geeft een AI-systeem een samenhangend beeld van het heden. Persistent geheugen kan het continuïteit in de tijd bieden. De kwaliteit van die continuïteit hangt af van de keuzes tussen beide: wat wordt opgeslagen, wat weer wordt opgehaald, welke versie leidend is en wat mag verdwijnen.