Aktiv vs. vedvarende hukommelse i AI: Sådan husker, genfinder og glemmer AI

Aktiv hukommelse er den information, et AI-system har til rådighed for den opgave, det arbejder på lige nu. Vedvarende hukommelse er information, som den omgivende applikation gemmer, så den kan bruges igen senere. Forholdet mellem de to afgør, om en assistent kan fortsætte et projekt, anvende en præference, rette en forældet antagelse eller holde op med at bringe noget frem igen, som den burde have glemt.

Forestil dig en assistent, der hjælper dig med at udarbejde en forskningsrapport. I løbet af én samtale kan den henvise til dispositionen, dine seneste rettelser og de kilder, du lige har givet den. Hvis du åbner en separat samtale en uge senere, afhænger kontinuiteten af en anden mekanisme: om applikationen har gemt de relevante oplysninger, kan finde dem og giver dem til modellen igen.

Derfor kan en AI tilsyneladende huske én detalje, men glemme en anden fra den samme udveksling. At huske er en kæde af handlinger. Der kan opstå fejl, når information indsamles, gemmes, søges frem, udvælges, fortolkes eller opdateres.

Denne guide gennemgår kæden i detaljer. Se vores introduktion til typer af hukommelse hos AI-agenter for en bredere taksonomi over episodisk, semantisk og proceduremæssig hukommelse. Her fokuserer vi på grænsen mellem det, der er aktivt lige nu, og det, der kan bevares ud over den aktuelle opgave.

Hvad betyder aktiv og vedvarende hukommelse egentlig?

Disse begreber beskriver nyttige arkitektoniske forskelle, men de udgør ikke et universelt standardiseret begrebspar. Brugergrænseflader i produkter og forskningsartikler bruger begreberne »arbejdshukommelse«, »korttidshukommelse«, »kontekst«, »tilstand« og »langtidshukommelse« på overlappende måder. En præcis forklaring kræver derfor, at begreberne defineres.

I denne artikel betyder aktiv kontekst den information, der gives til modellen til dens aktuelle svar: instruktioner, beskeder, udvalgte resultater fra værktøjer, indhentet materiale og andre input, som modellen kan behandle. Aktiv opgavetilstand er et bredere begreb. Det kan omfatte en plan, en tjekliste eller variabler, som applikationen vedligeholder, men endnu ikke har føjet til modellens kontekst. Vi bruger aktiv hukommelse som en praktisk samlebetegnelse for dette aktuelle arbejdssæt, men skelner mellem de to, når det er relevant.

Vedvarende hukommelse er information, der gemmes og fortsat er tilgængelig efter et svar eller en sessions afslutning, så den kan bruges senere. Det kan være en gemt præference, en projektnote, en hændelsesregistrering, et struktureret databasefelt eller et kontrolpunkt, der gør det muligt at genoptage en uafsluttet opgave. Vedvarenhed beskriver, at informationen bevares; det er ingen garanti for, at den deles på tværs af alle samtaler.

Der er derfor to separate spørgsmål: Findes informationen stadig? og Får modellen den, når den har brug for den? En gemt samtaleudskrift kan besvare det første spørgsmål uden at løse det andet.

Den vigtige undtagelse: Kortvarig tilstand kan gemmes

»Kortvarig« betyder ikke altid »kun gemt i flygtig RAM«. En samtales arbejdstilstand kan gemmes som et kontrolpunkt i en database og genoptages efter en afbrydelse. LangChains dokumentation om hukommelse skelner for eksempel mellem trådafgrænset tilstand, der bevares via kontrolpunkter, og hukommelse på længere sigt, som organiseres i separate navnerum.

Forestil dig en supportmedarbejder, der sætter arbejdet på pause, mens vedkommende venter på, at en kunde uploader en kvittering. Det gemte kontrolpunkt hører til den pågældende supportsag. Kontrolpunktet er varigt, men bør ikke automatisk blive til en generel oplysning om kunden eller dukke op i anmodninger, der ikke har med sagen at gøre.

En nyttig måde at vurdere enhver hukommelsesfunktion på er at spørge til tre dimensioner: dens levetid, dens omfang og dens tilgængelighed for det aktuelle modelkald. En betegnelse som »langsigtet« besvarer ikke nogen af spørgsmålene fuldstændigt.

Aktiv vs. vedvarende hukommelse kort fortalt

Den samme oplysning kan stå i begge kolonner. En gemt projektpræference er vedvarende; den kopi, der indsættes i dagens prompt, er aktiv. Hvis kopien fjernes fra prompten, betyder det ikke nødvendigvis, at den gemte original også fjernes.

Hvad sker der under et enkelt AI-svar?

I en typisk applikation baseret på en sprogmodel sammensætter den omgivende software et input, modellen genererer et output, og softwaren afgør, hvad der derefter skal ske. Inputtet kan indeholde den synlige samtale, men også systeminstruktioner, beskrivelser af værktøjer, hentede noter og oplysninger, som brugeren ikke kan se i chatudskriften.

Denne sammensatte kontekst er modellens umiddelbare grundlag. Hvis en tidligere besked ikke længere indgår, kan modellen ikke pålideligt genskabe dens præcise indhold, blot fordi applikationen tidligere viste den. Modellen kan måske udlede et sandsynligt svar ud fra de omkringliggende spor, men udledning er ikke det samme som genkaldelse.

Et værktøj udvider det, systemet kan få adgang til. Modellen kan anmode om en projektfil, modtage dens indhold og bruge det i et efterfølgende svar. Filen var tilgængelig for applikationen, før den blev en del af det aktive grundlag. Denne forskel forklarer, hvorfor en agent kan have adgang til et stort arkiv uden at læse hele arkivet ved hver eneste tur.

Internt opretholder implementeringer af transformere også en beregningstilstand, herunder cacher, der bruges til at undgå at gentage arbejde. Disse mekanismer er nyttige til effektiv inferens, men bør ikke forveksles med en redigerbar registrering, der tager højde for tilladelser, af en brugers præferencer eller projekthistorik. Et hurtigere svar er ikke ensbetydende med, at der er oprettet en personlig hukommelse.

Hvorfor et større kontekstvindue ikke løser hukommelsesproblemet

Et større kontekstvindue gør det muligt for en applikation at levere mere materiale på én gang. Det kan være værdifuldt, når svaret afhænger af sammenhænge på tværs af et langt dokument eller flere relaterede kilder. Det afgør ikke, hvilket materiale der bør bevares, hvilken version der er autoritativ, eller om en bruger må få adgang til det.

At få oplysninger ind i et kontekstvindue er heller ingen garanti for, at modellen bruger dem korrekt. Undersøgelsen Fortabt i midten viste, at de testede modeller kunne præstere forskelligt alt efter, hvor det relevante grundlag optrådte i lange input. Resultatet er en advarsel om at vurdere, hvor effektivt konteksten udnyttes, frem for at betragte den annoncerede kapacitet som en garanti for genkaldelse; det er ikke en fast forudsigelse af ydeevnen for alle nyere modeller.

Forestil dig, at et projektarkiv indeholder fyrre diskussioner om en lanceringsdato. I niogtredive af dem nævnes den oprindelige dato, mens den seneste godkendte ændring flytter den. Hvis alle fyrre diskussioner stilles til rådighed, opstår der et problem med både gennemlæsning og autoritet. En omhyggeligt vedligeholdt registrering af den aktuelle status, der er knyttet til den godkendte ændring, kan gøre det lettere at fastslå det relevante svar.

Lang kontekst og selektiv hentning kan derfor supplere hinanden. Hentning finder et nyttigt sæt af oplysninger; en tilstrækkelig stor kontekst gør det muligt for modellen at undersøge dem samlet. Valget af udformning afhænger af opgaven, kildematerialets omfang og konsekvenserne af at overse et forbehold.

Sådan bliver oplysninger til vedvarende hukommelse

En varig hukommelse begynder med en beslutning om at gemme noget. En applikation kan gemme en udtrykkelig instruktion fra brugeren, udlede en mulig oplysning af en samtale, bevare en hændelse eller oprette et resumé. Hver metode giver en anden type grundlag.

”For Project Cedar skal du bruge metriske enheder” er en udtrykkelig projektpræference. ”Brugeren ser ud til at foretrække metriske enheder” er en udledning. ”De seneste tre Cedar-rapporter brugte metriske enheder” er en observation. En nyttig registrering bevarer disse forskelle i stedet for at slå dem sammen til en uforbeholden påstand om alle fremtidige opgaver.

Hvad en nyttig registrering indeholder

For en hypotetisk projektassistent kunne en registrering indeholde udsagnet, projektidentifikatoren, den bruger eller organisation, det tilhører, kildeinteraktionen, et tidsstempel, en gyldighedsstatus og eventuelle undtagelser. Disse felter gør det muligt at spørge, hvor oplysningerne stammer fra, og om de stadig gælder.

{
  "scope": "project:cedar",
  "statement": "Use metric units in project reports",
  "source_type": "explicit_user_instruction",
  "source_ref": "conversation_17/message_8",
  "status": "current",
  "exception": "Client edition may require dual units"
}

Dette er et illustrativt skema, ikke en universel standard. Formålet er at vise, hvorfor en hukommelse bør indeholde mere end én sætning. En kildehenvisning gør det lettere at verificere oplysningerne; afgrænsning forhindrer overgeneralisering; et statusfelt gør det muligt at rette dem.

Øjeblikkelig lagring kontra baggrundsbehandling

En øjeblikkelig lagring kan gøre en udtrykkelig rettelse tilgængelig for den næste forespørgsel. Baggrundsbehandling kan gennemgå en afsluttet interaktion, sammenlægge dubletter eller udarbejde et mere gennemtænkt resumé. LangChains dokumentation beskriver begge tilgange og deres afvejninger, herunder det ekstra arbejde, der føjes til forløbet for et øjeblikkeligt svar.

Et praktisk design kunne gemme en bekræftet præference med det samme og behandle en lang forskningssession senere. Systemet skal stadig håndtere tidsrummet mellem de to trin. Hvis systemet fortæller brugeren, at en præference er gemt, før lagringen er gennemført, kan den næste samtale afsløre et brud på kontinuiteten.

Lagring i hukommelsen kræver også en politik for fejl. Hvis lageret midlertidigt er utilgængeligt, kan applikationen oplyse, at lagringen ikke blev gennemført, eller beholde en tydeligt markeret afventende handling. Hvis en forsøgt lagring behandles som en vellykket hukommelseslagring, giver det brugeren en misvisende oplevelse.

Sådan føres vedvarende hukommelse tilbage til den aktive kontekst

Hentning består af en række beslutninger om berettigelse, relevans og dokumentation. Først skal et system identificere den bruger, tenant, det projekt eller den opgave, hvis registreringer det må slå op. Derefter finder det mulige registreringer og vælger, hvad der skal med i svar-konteksten.

Hentemetoden bør passe til spørgsmålet. „Hvad er Cedars godkendte deadline?“ besvares måske bedst ved et præcist opslag i et projektfelt. „Har vi set denne udrulningsfejl før?“ kan med fordel besvares ved hjælp af søgning på nøgleord og semantisk lighed på tværs af tidligere hændelser. En vektordatabase er én mulighed i denne proces, ikke et krav for al hukommelse.

Semantisk søgning er særligt nyttig, når formuleringen ændrer sig. En forespørgsel om „at holde rapporter korte“ kan matche en gemt præference om „korte resuméer til ledelsen“. En beslægtet udtalelse kan dog vedrøre en anden kunde eller en opgivet version af projektet. Lighed identificerer mulige match; den fastslår hverken sandhed eller tilladelse.

Hentning kræver et udfald for „ikke fundet“

Overvej spørgsmålet: „Hvilken beløbsgrænse godkendte jeg i sidste måned?“ Hvis der ikke kan findes et godkendt beløb, identificerer et hjælpsomt svar den manglende dokumentation og beder om en afklaring. Et plausibelt tal gør manglende hukommelse til en opdigtet godkendelse.

Hukommelsesgrænsefladen bør derfor skelne mellem et bekræftet match, et usikkert match, en konflikt og fravær af understøttende oplysninger. Disse udfald kan føre til forskellig adfærd: at svare direkte, tage forbehold i svaret, bede om en præcisering eller afstå fra at handle på en udokumenteret antagelse.

Fortolkningen er stadig vigtig efter søgningen. En registrering med teksten »foreslået maksimumbudget: 5.000 USD, afventer godkendelse« må ikke blive til »godkendt budget: 5.000 USD«. Det er lige så vigtigt at bevare forbeholdene i den lagrede repræsentation og den tilførte kontekst som at finde det rigtige dokument.

Et gennemarbejdet eksempel: Sådan huskes et projekt over tid

Forestil dig en assistent, der hjælper et team med at udarbejde Cedar-undersøgelsesrapporten. Følgende eksempel er hypotetisk, men viser flere almindelige valg i udformningen af hukommelse.

Session ét: Etabler projektet

Brugeren beder om en rapport, angiver metriske enheder, leverer tre kilder og siger, at udkastet skal være klar fredag. Den aktive kontekst omfatter disse instruktioner og uddragene fra kilderne. Den aktive opgavestatus viser, hvilke afsnit der er færdige, og hvilke påstande der stadig skal verificeres.

Mulige vedvarende registreringer tjener forskellige formål. Præferencen for metriske enheder hører til projektet. Fristen for udkastet hører til den aktuelle milepæl. De leverede kilder hører hjemme i projektets dokumentationsarkiv. Påstande, der ikke er verificeret, hører til på en liste over udestående undersøgelser, hvor usikkerheden bevares.

Session to: Fortsæt med de rette belæg

Tre dage senere beder brugeren om at færdiggøre metodeafsnittet. Assistenten har brug for den seneste disposition, relevante kilder, den aktuelle opgavestatus og den gældende formateringsregel. Den behøver ikke nødvendigvis hver eneste kasserede sætning fra den tidligere brainstormingsession.

Hvis kontrolpunktet angiver, at litteraturgennemgangen er færdig, bør assistenten stadig åbne det gemte dokument, før den redigerer videre omkring det. »Færdig« er en påstand om fremskridt; selve dokumentet viser, hvad der faktisk er blevet færdiggjort. Varige henvisninger til dokumenter kan være mere nyttige end et resumé, der forsøger at gengive hele deres indhold.

Session tre: Anvend en undtagelse uden at omskrive det hele

Brugeren beder om en udgave til klienten med både metriske og engelske måleenheder. Den aktuelle opgave bør derfor bruge begge systemer. Om den generelle projektregel skal ændres, afhænger af brugerens formulering og afgrænsning: »til denne udgave« er mere snævert end »fra nu af skal begge systemer bruges«.

En omhyggelig assistent registrerer en undtagelse, der kun gælder den pågældende udgave. En assistent, der generaliserer for meget, omskriver den generelle præference og indfører fejl i senere rapporter. Det er en hukommelsesfejl, selv om alle skrivninger til databasen og alle søgeforespørgsler lykkes.

Session fire: Afslut, og ryd op i den midlertidige tilstand

Efter leveringen bør milepælen markeres som fuldført. En instruktion om at »fortsætte rapporten« bør få assistenten til at finde den leverede version og spørge, hvilken ændring der ønskes, frem for at genoptage en forældet tjekliste. Midlertidige arbejdsnoter kan udløbe i overensstemmelse med projektets retningslinjer, mens den endelige rapport og vigtige beslutninger fortsat er tilgængelige.

Her ses værdien af vedvarende hukommelse: færre gentagne forklaringer og bedre kontinuitet. Omkostningen ses også: Applikationen skal vedligeholde forbindelser mellem præferencer, undtagelser, dokumenter og en opgavestatus, der ændrer sig.

Resuméer, komprimering og risikoen for at miste undtagelsen

Lange samtaler kan samle mere materiale, end der er nyttigt for det næste svar. Komprimering erstatter en del af historikken med en kortere repræsentation. Et resumé kan bevare målet, beslutningerne, de uafklarede spørgsmål og henvisninger til det underliggende arbejde.

Anthropics vejledning i konteksteknik beskriver komprimering og noter, der lagres uden for kontekstvinduet, som metoder til at opretholde kontinuitet under længerevarende arbejde. Begge metoder ændrer det materiale, der er tilgængeligt for fremtidige svar, og derfor er kvaliteten vigtig.

Komprimering indebærer udvælgelse. Et resumé som »Brug metriske enheder« er kortere end »Brug metriske enheder, undtagen i udgaven til klienten, hvor begge systemer er påkrævet«. Det er også forkert i et af projektets vigtige tilfælde. Den udeladte undtagelse kan ubemærket blive videreført i senere resuméer og blive vanskelig at spore.

For vores Cedar-assistent ville en bedre overlevering bevare den generelle regel, dens undtagelse, de færdige afsnit, de resterende verifikationsopgaver og henvisninger til de seneste filer. Præcise oplysninger som godkendte beløb eller identifikatorer bør fortsat stå i strukturerede registreringer eller kildedokumenter, når tilnærmelser kan være skadelige.

Resuméer bør også bevare usikkerhed. »Vi overvejede at bruge Survey B« må ikke blive til »Survey B blev valgt«. Hvis den komprimerede historik får foreløbige beslutninger til at fremstå endelige, har systemet skabt et falsk minde i forsøget på at spare plads i konteksten.

Sådan bør AI-hukommelse håndtere rettelser og konflikter

Vedvarende hukommelse bliver mindre nyttig, hvis den ikke kan ændres. Projekter ændrer sig, præferencer udvikler sig, og tidligere oplysninger viser sig at være forkerte. Hvis man tilføjer en rettelse som endnu en post uden nærmere angivelse, kan hentningssystemet ende med at vælge mellem to modstridende udsagn.

En mere nyttig opdatering angiver, hvad de nye oplysninger erstatter. Hvis projektejeren flytter en lanceringsdato fra 15. november til 29. november, kan den gamle post markeres som erstattet og knyttes til den nye beslutning. Spørgsmål om den aktuelle frist besvares ud fra den nye version, mens spørgsmål om den oprindelige plan kan besvares ud fra den historiske version.

Aktualitet kan ikke i sig selv løse enhver konflikt. En nyere kladdenote kan være mindre autoritativ end en ældre, godkendt politik. En bruger kan have ret til at ændre en personlig præference uden at have ret til at ændre en regel, der gælder for hele organisationen. Politikken for opdateringer skal tage højde for oplysningens art og kildens autoritet.

Nogle modsigelser bør forblive uafklarede, indtil en person har afklaret dem. Hvis to projektejere angiver uforenelige datoer uden udtrykkeligt at tilsidesætte den ene med den anden, kan assistenten vise begge kilder og spørge, hvilken der gælder. Hvis systemet stiltiende vælger den mest lignende eller nyeste post, skjuler det en beslutning, som systemet muligvis ikke har beføjelse til at træffe.

Hvad vil det sige, at AI glemmer?

At glemme sker ikke ved at slå på én enkelt kontakt. Et produkt kan holde op med at indsætte en oplysning i prompts, udelukke den fra almindelige søgninger, markere den som forældet, slette dens hukommelsespost eller fjerne andre bevarede kopier. Disse handlinger påvirker fremtidig adfærd og bevarede data på forskellige måder.

Når noget forlader den aktive kontekst

En oplysning kan forsvinde fra modellens næste input, fordi ældre beskeder er blevet udeladt eller sammenfattet. Det begrænser, hvad modellen umiddelbart kan bruge. Den oprindelige samtaleudskrift eller hukommelsespost kan stadig findes og dukke op igen ved en senere hentning.

Udløb eller undertrykkelse af genfinding

En udløbet frist kan stadig findes i et arkiv, samtidig med at den udelukkes fra forespørgsler om det aktuelle arbejde. Undertrykkelse er nyttig, når der er et formål med at bevare historiske oplysninger, men det bør ikke beskrives som fuldstændig sletning. En historisk søgning eller administrativ arbejdsgang kan stadig give adgang til posten.

Sletning af lagret hukommelse

Når en varigt lagret post slettes, bør de hentningsrepræsentationer, der er afledt af den, også håndteres. Hvis en sætning fjernes fra en profil, men stadig findes i en søgbar oversigt, kan assistenten senere genskabe den samme præference. Kildeposter, indlejringer, oversigter, cacher og replikaer kan kræve særskilt arbejde med fjernelse, afhængigt af arkitekturen.

Sikkerhedskopier og logfiler kan have deres egne opbevaringsperioder. Et produkt bør tydeligt forklare disse begrænsninger og forhindre, at slettet materiale bliver aktivt igen ved en gendannelse. ”Vi vil ikke længere bruge denne hukommelse” og ”alle bevarede kopier er blevet fjernet” er to forskellige løfter.

Ændring af modelvægte

Sletning af ekstern hukommelse ændrer ikke i sig selv modellens parametre. Hvis oplysninger blev brugt under træningen, er det et særskilt problem at håndtere dem i modellen, og det involverer trænings- og udrulningsprocessen. Tilsvarende kan sletning af en personlig hukommelse ikke garantere, at modellen aldrig genererer en lignende oplysning ud fra sin generelle viden eller ledetråde i en ny prompt.

En meningsfuld test af, om systemet glemmer, undersøger derfor både, om systemet stadig gemmer oplysningerne, og om dets almindelige søgeveje kan bringe dem frem igen. Et enkelt chatsvar, der siger »Det har jeg glemt«, beviser ingen af delene.

Hukommelse, RAG, træning og cachelagring: Hvor går grænserne?

Hentningsforstærket generering, eller RAG, forsyner en model med ekstern evidens under genereringen. Den oprindelige RAG-forskning kombinerede modelparametre med et søgbart dokumentindeks. Et personligt hukommelsessystem kan også bruge søgning, men har desuden brug for politikker for, hvordan oplysninger fra interaktioner oprettes, opdateres og udfases.

En virksomhedsmanual kan hentes frem uden at være en hukommelse om brugeren. En note om en tidligere interaktion kan hentes fra en simpel fil uden et vektorindeks. Søgning er en mekanisme; det er formålet med og livscyklussen for de underliggende oplysninger, der afgør, hvilken type system man bygger.

Træning og finjustering ændrer modellens parametre. Almindelig ekstern hukommelse ændrer derimod den evidens, modellen får stillet til rådighed. En assistent, der følger en nyligt gemt præference, kan opføre sig anderledes, selvom modellens vægte er uændrede.

Prompt- og inferenscachelagring genbruger tidligere beregninger, når det understøttes. Det kan øge effektiviteten, men fastslår ikke i sig selv, om en husket påstand er aktuel, godkendt eller egnet til fremtidige opgaver. Disse lag kan eksistere side om side, og fejlfinding kræver, at man finder ud af, hvilket lag der er ansvarligt for den observerede adfærd.

MemGPT er et indflydelsesrigt arkitektonisk eksempel: Systemet undersøgte, hvordan information kunne flyttes mellem en begrænset kontekst og eksterne hukommelseslag ved hjælp af en analogi til operativsystemer. Den nyttige læring er, at flytningen af information skal styres eksplicit, frem for at antage, at lagerplads automatisk udvider modellens umiddelbare kontekst uden begrænsninger.

Hvorfor vedvarende hukommelse kan gøre fejl mere langvarige

Et fejlagtigt svar kan påvirke én interaktion. En fejlagtig hukommelse kan påvirke mange. Hvis en assistent udleder, at en bruger har godkendt en beslutning, gemmer udledningen som et faktum og senere henviser til den gemte oplysning, kan dens egen tidligere fejl komme til at fremstå som uafhængig evidens.

I vores projektassistent skal det fortsat være muligt at skelne den oprindelige kilde fra modellens fortolkning. Et resumé af en beslutning kan gøre det lettere at finde rundt, men selve den godkendte beslutning bør danne grundlag for handlinger med væsentlige konsekvenser. Gentagelser i flere genererede noter gør ikke én udokumenteret udledning til flere uafhængige bekræftelser.

Vedvarende hukommelse skaber også en vej for instruktionforurening. Et dokument, man ikke kan stole på, kan indeholde en sætning, der beder assistenten om at ændre sin fremtidige adfærd. Hvis sætningen gemmes som en driftsregel, krydser eksternt indhold en autoritetsgrænse. Applikationen bør behandle sætningen ud fra dens kilde i stedet for at ophøje den til en betroet instruktion, blot fordi den optræder i et hukommelseslager.

Delte miljøer indebærer endnu en grænse. En oplysning kan være relevant for et spørgsmål, men høre til en anden kunde eller et andet projekt. Adgangskontroller bør begrænse søgningen, før oplysningerne når modellen. Det er en svagere løsning at bede modellen ignorere uautoriserede oplysninger, efter at de allerede er blevet videregivet.

Sådan vurderer du, om hukommelsen rent faktisk fungerer

En overbevisende demonstration beder ofte assistenten gentage én gemt præference. En grundig evaluering følger oplysninger, der ændrer sig, på tværs af flere sessioner og undersøger, om hukommelsen forbedrer opgaveløsningen.

LongMemEval evaluerer informationsudtræk, ræsonnement på tværs af sessioner, tidsligt ræsonnement, opdatering af viden og afståelse fra at svare. Disse kategorier viser, hvorfor kvaliteten af langtidshukommelse rækker videre end at finde én matchende sætning. Publicerede benchmarkresultater bør fortolkes i lyset af de testede systemer og indstillinger i stedet for at blive antaget at beskrive alle aktuelle produkter.

I Cedar-arbejdsgangen kunne man i en evaluering indføre en præference, genoptage projektet, tilføje en undtagelse, ændre en frist, slette en note og derefter stille spørgsmål, der er udformet til at afsløre forældede eller udokumenterede genkaldelser. Den samme model bør også testes uden hukommelsesfunktionen for at fastslå, om det ekstra system forbedrer resultaterne.

• Nøjagtighed ved lagring: Gemte systemet den tilsigtede formulering med dens afgrænsning og forbehold?
• Nyttig søgning: Fandt systemet den evidens, der var nødvendig for opgaven, uden at overfylde konteksten med uvedkommende historik?
• Håndtering af opdateringer: Erstattede en rettelse det aktuelle faktum, samtidig med at nyttige historiske forskelle blev bevaret?
• Afståelse fra at svare: Gjorde assistenten opmærksom på, når der ikke fandtes nogen underbyggende optegnelse?
• Afskærmning: Blev oplysningerne holdt inden for de rette brugere, lejere og projekter?
• Glemsel: Forhindrede sletning eller udløb den tilsigtede fremtidige genkaldelse, også via afledte resuméer?
• Driftsomkostninger: Stod forbedringerne mål med den ekstra forsinkelse, de ekstra modelkald, lagerplads og vedligeholdelse?

Fejl bør spores tilbage til det trin, hvor de opstod. Et manglende svar kan skyldes en fejl ved lagringen, en forkert afgrænsning af søgningen, en dårlig beslutning om rangering, et udeladt forbehold eller en model, der har fejlfortolket gode belæg. Det løser ikke alle disse problemer at øge kontekstvinduets størrelse.

Vælg det rette hukommelsesdesign

Et engangsoverblik over et dokument kræver måske kun det aktuelle dokument og instruktionerne. En afbrudt analyse har gavn af et kontrolpunkt for opgaven. En assistent til et tilbagevendende projekt kan have brug for versionsstyrede beslutninger og referencer til artefakter. En assistent, der arbejder på tværs af mange brugersessioner, kan have brug for et separat, redigerbart lager til præferencer.

Begynd med at fastlægge, hvilket fremtidigt spørgsmål hukommelsen skal kunne besvare. »Hvad mangler stadig at blive gjort?« kræver oplysninger om opgavens status. »Hvilket format kræver denne klient?« kræver en afgrænset præference. »Hvorfor afviste vi denne fremgangsmåde?« kræver en beslutningsregistrering med underbyggende dokumentation. Forskellige spørgsmål kræver forskellige repræsentationer.

Foretræk et lille antal tydelige poster med angivet ophav frem for et ukritisk arkiv, der præsenteres som personalisering. Hold den aktuelle status adskilt fra historiske begivenheder, bevar links til kildeartefakter, og gør rettelser og sletning til en del af designet fra begyndelsen.

Aktiv hukommelse giver et AI-system et sammenhængende billede af nutiden. Vedvarende hukommelse kan give det kontinuitet over tid. Kvaliteten af denne kontinuitet afhænger af beslutningerne mellem de to: hvad der gemmes, hvad der hentes frem igen, hvilken version der er gældende, og hvad der må forsvinde.