Aktives vs. persistentes Gedächtnis in der KI: Wie KI sich erinnert, Informationen abruft und vergisst

Aktives Gedächtnis umfasst die Informationen, die einem KI-System für die gerade bearbeitete Aufgabe zur Verfügung stehen. Persistentes Gedächtnis umfasst Informationen, die von der umgebenden Anwendung aufbewahrt werden, damit sie später erneut verwendet werden können. Das Zusammenspiel beider Formen entscheidet darüber, ob ein Assistent ein Projekt fortsetzen, eine Präferenz berücksichtigen, eine überholte Annahme korrigieren oder verhindern kann, dass etwas immer wieder auftaucht, das er hätte vergessen sollen.

Stellen Sie sich vor, ein Assistent hilft Ihnen bei der Erstellung eines Forschungsberichts. Während eines Gesprächs kann er auf die Gliederung, Ihre jüngsten Änderungen und die Quellen zurückgreifen, die Sie ihm gerade bereitgestellt haben. Beginnen Sie eine Woche später ein separates Gespräch, hängt diese Kontinuität von einem anderen Mechanismus ab: davon, ob die Anwendung die relevanten Informationen gespeichert hat, sie wiederfinden und dem Modell erneut bereitstellen kann.

Deshalb kann es den Anschein haben, dass sich eine KI an ein Detail erinnert, während sie ein anderes aus demselben Austausch vergisst. Erinnern ist eine Abfolge von Vorgängen. Ein Fehler kann beim Erfassen, Speichern, Durchsuchen, Auswählen, Interpretieren oder Aktualisieren von Informationen auftreten.

Dieser Leitfaden untersucht diese Abfolge im Detail. Einen umfassenderen Überblick über episodisches, semantisches und prozedurales Gedächtnis bietet unsere Einführung in Arten des Gedächtnisses von KI-Agenten. Hier geht es um die Grenze zwischen dem, was gerade aktiv ist, und dem, was über die aktuelle Aufgabe hinaus erhalten bleiben kann.

Was bedeutet aktives und persistentes Gedächtnis eigentlich?

Diese Begriffe beschreiben nützliche architektonische Unterscheidungen, bilden aber kein allgemein standardisiertes Begriffspaar. Benutzeroberflächen von Produkten und Forschungsarbeiten verwenden „Arbeitsgedächtnis“, „Kurzzeitgedächtnis“, „Kontext“, „Zustand“ und „Langzeitgedächtnis“ teils mit überlappenden Bedeutungen. Eine präzise Erklärung muss daher zunächst ihre Begriffe definieren.

In diesem Artikel bezeichnet aktiver Kontext die Informationen, die dem Modell für seine aktuelle Antwort bereitgestellt werden: Anweisungen, Nachrichten, ausgewählte Werkzeugausgaben, abgerufenes Material und andere Eingaben, die das Modell verarbeiten kann. Der aktive Aufgabenstatus ist umfassender. Dazu können ein Plan, eine Checkliste oder Variablen gehören, die die Anwendung verwaltet, aber noch nicht in den Kontext des Modells eingefügt hat. Wir verwenden „aktives Gedächtnis“ als praktischen Oberbegriff für diesen aktuellen Arbeitsbestand und unterscheiden die beiden Begriffe, wann immer es darauf ankommt.

Persistentes Gedächtnis bezeichnet gespeicherte Informationen, die eine Antwort- oder Sitzungsgrenze überdauern und für eine spätere Verwendung verfügbar bleiben. Das kann eine gespeicherte Präferenz, eine Projektnotiz, ein Ereignisprotokoll, ein strukturiertes Datenbankfeld oder ein Prüfpunkt sein, mit dem sich eine nicht abgeschlossene Aufgabe fortsetzen lässt. Persistenz beschreibt die Aufbewahrung; sie garantiert nicht, dass die Informationen in jedem Gespräch geteilt werden.

Daraus ergeben sich zwei getrennte Fragen: Existieren die Informationen noch? und Werden sie dem Modell bereitgestellt, wenn es sie benötigt? Ein gespeichertes Transkript kann die erste Frage beantworten, ohne die zweite zu lösen.

Die wichtige Ausnahme: Kurzfristige Zustände können gespeichert werden

„Kurzfristig“ bedeutet nicht immer „nur im flüchtigen RAM gespeichert“. Der Arbeitszustand eines Gesprächs kann in einer Datenbank durch Prüfpunkte gesichert und nach einer Unterbrechung wiederhergestellt werden. Die Dokumentation zum Speichermanagement von LangChain unterscheidet beispielsweise zwischen dem über Prüfpunkte gespeicherten, auf einen Thread begrenzten Zustand und längerfristigem Gedächtnis, das in separaten Namensräumen organisiert ist.

Stellen Sie sich einen Support-Agenten vor, der pausiert, während er darauf wartet, dass ein Kunde einen Beleg hochlädt. Sein gespeicherter Prüfpunkt gehört zu diesem Supportfall. Der Prüfpunkt ist dauerhaft gespeichert, sollte aber nicht automatisch zu einer allgemeinen Information über den Kunden werden oder in sachfremden Anfragen erscheinen.

Eine hilfreiche Methode, jede Gedächtnisfunktion zu bewerten, besteht darin, drei Dimensionen zu betrachten: ihre Lebensdauer, ihren Geltungsbereich und ihre Verfügbarkeit für den aktuellen Modellaufruf. Eine Bezeichnung wie „langfristig“ beantwortet keine dieser Fragen vollständig.

Aktives vs. persistentes Gedächtnis auf einen Blick

Dieselbe Tatsache kann in beiden Spalten auftauchen. Eine gespeicherte Projektpräferenz ist persistent; die Kopie, die in den heutigen Prompt eingefügt wird, ist aktiv. Wird diese Kopie aus dem Prompt entfernt, bedeutet das nicht zwangsläufig, dass auch das gespeicherte Original gelöscht wird.

Was geschieht während einer einzelnen KI-Antwort?

Bei einer typischen Anwendung mit Sprachmodell stellt die umgebende Software eine Eingabe zusammen, das Modell erzeugt eine Ausgabe und die Software entscheidet, was als Nächstes geschieht. Die Eingabe kann den sichtbaren Gesprächsverlauf enthalten, aber auch Systemanweisungen, Toolbeschreibungen, abgerufene Notizen und Informationen, die der Nutzer im Chatverlauf nicht sieht.

Dieser zusammengestellte Kontext ist die unmittelbare Informationsgrundlage des Modells. Ist eine frühere Nachricht nicht mehr enthalten, kann das Modell ihren genauen Inhalt nicht zuverlässig rekonstruieren, nur weil die Anwendung ihn einmal angezeigt hat. Es kann aus den umgebenden Hinweisen eine plausible Antwort ableiten, doch Ableiten ist nicht dasselbe wie Erinnern.

Ein Tool erweitert den Zugriff des Systems auf Informationen. Das Modell kann eine Projektdatei anfordern, ihren Inhalt erhalten und ihn in einer späteren Antwort verwenden. Der Anwendung stand die Datei bereits zur Verfügung, bevor ihr Inhalt als aktive Informationsgrundlage diente. Dieser Unterschied erklärt, warum ein Agent auf ein umfangreiches Archiv zugreifen kann, ohne es bei jedem Durchlauf vollständig zu lesen.

Auch Transformer-Implementierungen halten intern Rechenzustände vor, darunter Caches, mit denen sich wiederholte Arbeit vermeiden lässt. Diese Mechanismen sind für eine effiziente Inferenz nützlich, sollten aber nicht mit einem bearbeitbaren, berechtigungsbewussten Verzeichnis der Präferenzen oder des Projektverlaufs eines Nutzers verwechselt werden. Eine schnellere Antwort belegt nicht, dass ein persönliches Gedächtnis angelegt wurde.

Warum ein größeres Kontextfenster das Gedächtnisproblem nicht löst

Ein größeres Kontextfenster ermöglicht es einer Anwendung, mehr Material auf einmal bereitzustellen. Das kann hilfreich sein, wenn die Antwort von Zusammenhängen in einem langen Dokument oder zwischen mehreren verwandten Quellen abhängt. Es entscheidet jedoch weder, welche Inhalte erhalten bleiben sollten, noch, welche Version maßgeblich ist oder ob ein Nutzer darauf zugreifen darf.

Auch garantiert die Aufnahme von Informationen in ein Kontextfenster nicht, dass das Modell sie korrekt verwendet. Die Studie In der Mitte verloren zeigte, dass die getesteten Modelle je nachdem, an welcher Stelle in langen Eingaben relevante Informationen auftauchten, unterschiedlich abschneiden konnten. Das Ergebnis ist eine Mahnung, die effektive Nutzung des Kontexts zu überprüfen, statt die angegebene Kapazität als Garantie für zuverlässiges Erinnern zu betrachten; es ist keine feste Leistungsprognose für jedes neuere Modell.

Angenommen, ein Projektarchiv enthält vierzig Diskussionen über einen Einführungstermin. In neununddreißig davon wird der ursprüngliche Termin genannt; in der letzten wurde er durch eine genehmigte Änderung verschoben. Alle vierzig Diskussionen bereitzustellen, führt zu Problemen beim Durchsehen und bei der Frage, welche Information maßgeblich ist. Ein sorgfältig gepflegter Eintrag zum aktuellen Stand, der mit der genehmigten Änderung verknüpft ist, kann es erleichtern, die relevante Antwort zu ermitteln.

Langer Kontext und gezielter Abruf können sich daher ergänzen. Beim Abruf wird eine nützliche Auswahl an Informationen zusammengestellt; ein ausreichend großes Kontextfenster ermöglicht es dem Modell, diese gemeinsam zu prüfen. Welche Lösung sich eignet, hängt von der Aufgabe, dem Umfang des Ausgangsmaterials und den Folgen ab, die das Übersehen einer Einschränkung hätte.

Wie Informationen zu dauerhaftem Speicher werden

Dauerhaftes Gedächtnis beginnt mit der Entscheidung, welche Informationen gespeichert werden. Eine Anwendung kann eine ausdrückliche Anweisung des Nutzers speichern, aus einem Gespräch eine mögliche Tatsache ableiten, ein Ereignis festhalten oder eine Zusammenfassung erstellen. Jeder dieser Wege führt zu einer anderen Art von Informationsgrundlage.

„Für Projekt Cedar metrische Einheiten verwenden“ ist eine ausdrückliche Projektpräferenz. „Der Nutzer scheint metrische Einheiten zu bevorzugen“ ist eine Schlussfolgerung. „In den letzten drei Berichten zu Cedar wurden metrische Einheiten verwendet“ ist eine Beobachtung. Ein nützlicher Eintrag hält diese Unterschiede fest, statt sie zu einer uneingeschränkten Aussage über alle künftigen Aufgaben zusammenzufassen.

Was ein nützlicher Eintrag enthält

Bei einem hypothetischen Projektassistenten könnte ein Datensatz die Aussage, die Projektkennung, den Nutzer oder die Organisation, zu der sie gehört, die Quellinteraktion, einen Zeitstempel, einen Gültigkeitsstatus und etwaige Ausnahmen enthalten. Anhand dieser Felder lässt sich nachvollziehen, woher die Information stammt und ob sie noch gilt.

{
  "scope": "project:cedar",
  "statement": "Use metric units in project reports",
  "source_type": "explicit_user_instruction",
  "source_ref": "conversation_17/message_8",
  "status": "current",
  "exception": "Client edition may require dual units"
}

Dies ist ein beispielhaftes Schema, kein universeller Standard. Es soll verdeutlichen, warum eine Erinnerung mehr als nur einen Satz enthalten sollte. Ein Quellenverweis erleichtert die Überprüfung, der Geltungsbereich verhindert Verallgemeinerungen, und ein Statusfeld ermöglicht Korrekturen.

Sofortiges Speichern oder Verarbeitung im Hintergrund

Durch sofortiges Speichern kann eine ausdrückliche Korrektur bereits bei der unmittelbar nächsten Anfrage berücksichtigt werden. Bei der Verarbeitung im Hintergrund kann eine abgeschlossene Interaktion untersucht, können Duplikate zusammengeführt oder kann eine sorgfältiger ausgearbeitete Zusammenfassung erstellt werden. Die Dokumentation von LangChain beschreibt beide Ansätze und ihre jeweiligen Vor- und Nachteile, darunter den zusätzlichen Aufwand, der entsteht, wenn die Verarbeitung unmittelbar in den Antwortprozess eingebunden wird.

Bei einem praktischen Konzept könnte eine bestätigte Präferenz sofort gespeichert und eine lange Recherche später verarbeitet werden. Das System muss dennoch den Zeitraum zwischen diesen beiden Schritten abdecken. Teilt es dem Nutzer mit, eine Präferenz gespeichert zu haben, bevor der Schreibvorgang erfolgreich abgeschlossen ist, kann sich im nächsten Gespräch eine Lücke in der Kontinuität zeigen.

Auch für fehlgeschlagene Speichervorgänge braucht es eine klare Regelung. Ist der Speicher vorübergehend nicht verfügbar, kann die Anwendung melden, dass der Speichervorgang nicht abgeschlossen wurde, oder einen eindeutig als ausstehend gekennzeichneten Vorgang vormerken. Einen versuchten Schreibvorgang als erfolgreich gespeicherte Erinnerung zu behandeln, führt zu einer irreführenden Nutzererfahrung.

Wie persistenter Speicher in den aktiven Kontext gelangt

Beim Abrufen werden nacheinander Entscheidungen zu Zugriffsberechtigung, Relevanz und Belegen getroffen. Zunächst muss ein System den Nutzer, Mandanten, das Projekt oder die Aufgabe bestimmen, deren Datensätze es einsehen darf. Anschließend sucht es passende Datensätze und wählt aus, welche davon in den Antwortkontext aufgenommen werden.

Die Abrufmethode sollte zur Frage passen. Die Frage „Was ist die genehmigte Frist für Cedar?“ lässt sich möglicherweise am besten durch eine gezielte Abfrage eines bestimmten Projektfelds beantworten. Bei der Frage „Ist dieser Bereitstellungsfehler schon einmal aufgetreten?“ können eine Stichwortsuche und ein semantischer Ähnlichkeitsvergleich mit früheren Vorfällen hilfreich sein. Eine Vektordatenbank ist dabei eine mögliche Option, aber nicht für jede Art von Speicher erforderlich.

Eine semantische Suche ist besonders nützlich, wenn sich die Formulierung ändert. Eine Anfrage zu „knappen Berichten“ könnte einer gespeicherten Präferenz für „kurze Zusammenfassungen für die Geschäftsleitung“ entsprechen. Eine ähnliche Aussage kann sich jedoch auf einen anderen Kunden oder eine verworfene Projektversion beziehen. Die Ähnlichkeit liefert mögliche Treffer, belegt aber weder deren Richtigkeit noch die Berechtigung, sie zu verwenden.

Beim Abruf muss auch ein Ergebnis „Nicht gefunden“ möglich sein

Nehmen wir die Frage: „Welchen Ausgabenhöchstbetrag habe ich letzten Monat genehmigt?“ Lässt sich kein genehmigter Betrag finden, sollte eine hilfreiche Antwort auf die fehlenden Belege hinweisen und um Klärung bitten. Eine plausible Zahl zu nennen, macht aus einer Erinnerungslücke eine erfundene Genehmigung.

Die Speicherschnittstelle sollte daher zwischen einem bestätigten Treffer, einem unsicheren Treffer, einem Konflikt und einem fehlenden Beleg unterscheiden. Diese Ergebnisse können zu unterschiedlichem Verhalten führen: direkt antworten, die Antwort einschränken, um Klarstellung bitten oder es ablehnen, auf Grundlage einer unbelegten Annahme zu handeln.

Auch nach dem Abruf kommt es auf die richtige Interpretation an. Aus einem Eintrag mit dem Wortlaut „vorgeschlagenes Höchstbudget: 5.000 $; Genehmigung steht noch aus“ darf nicht „genehmigtes Budget: 5.000 $“ werden. Einschränkungen sowohl in der gespeicherten Darstellung als auch im bereitgestellten Kontext beizubehalten, ist ebenso wichtig wie das richtige Dokument zu finden.

Ein durchgespieltes Beispiel: Ein Projekt im Zeitverlauf im Gedächtnis behalten

Stellen wir uns einen Assistenten vor, der ein Team bei der Erstellung des Forschungsberichts zu Cedar unterstützt. Das folgende Beispiel ist hypothetisch, veranschaulicht aber mehrere gängige Entscheidungen beim Speicherkonzept.

Sitzung eins: Das Projekt aufsetzen

Der Nutzer bittet um einen Bericht, gibt metrische Einheiten vor, stellt drei Quellen bereit und sagt, dass der Entwurf am Freitag fällig ist. Der aktive Kontext umfasst diese Anweisungen und die Auszüge aus den Quellen. Der aktive Aufgabenstatus hält fest, welche Abschnitte fertiggestellt wurden und welche Aussagen noch überprüft werden müssen.

Mögliche dauerhafte Einträge erfüllen unterschiedliche Zwecke. Die Präferenz für metrische Einheiten gehört zum Projekt. Die Abgabefrist für den Entwurf gehört zum aktuellen Meilenstein. Die bereitgestellten Quellen gehören ins Belegarchiv des Projekts. Noch nicht überprüfte Aussagen gehören auf eine Liste für ausstehende Recherchen, wobei ihre Unsicherheit erhalten bleiben muss.

Sitzung zwei: Mit den richtigen Belegen fortfahren

Drei Tage später bittet der Nutzer darum, den Methodenteil fertigzustellen. Der Assistent benötigt die aktuelle Gliederung, relevante Quellen, den aktuellen Aufgabenstatus und die geltende Formatierungsregel. Nicht unbedingt erforderlich sind alle verworfenen Formulierungen aus der früheren Brainstorming-Sitzung.

Wenn der Zwischenstand besagt, dass die Literaturübersicht fertig ist, sollte der Assistent das gespeicherte Dokument dennoch öffnen, bevor er darauf aufbauend Änderungen vornimmt. „Fertiggestellt“ ist eine Aussage zum Fortschritt; das Dokument selbst belegt, was tatsächlich fertiggestellt wurde. Dauerhafte Verweise auf Dokumente können nützlicher sein als eine Zusammenfassung, die versucht, deren gesamten Inhalt wiederzugeben.

Sitzung drei: Eine Ausnahme berücksichtigen, ohne alles neu zu schreiben

Der Nutzer bittet um eine Ausgabe für Kunden, in der sowohl metrische als auch imperiale Einheiten verwendet werden. Für die aktuelle Aufgabe sind daher beide Einheitensysteme zu verwenden. Ob sich die allgemeine Projektregel ändert, hängt von der Formulierung und dem Geltungsbereich der Nutzeranweisung ab: „für diese Ausgabe“ ist enger gefasst als „ab jetzt beide Einheitensysteme verwenden“.

Ein sorgfältiger Assistent hält eine ausgabenspezifische Ausnahme fest. Ein Assistent, der zu weit verallgemeinert, ändert die allgemeine Präferenz und verursacht dadurch Fehler in späteren Berichten. Das ist ein Fehler des Speichersystems, selbst wenn jeder Schreib- und Abrufvorgang in der Datenbank erfolgreich ist.

Sitzung vier: Abschließen und vorübergehende Zustände verwerfen

Nach der Abgabe sollte der Meilenstein als abgeschlossen markiert werden. Eine Anweisung wie „den Bericht fortsetzen“ sollte den Assistenten zur abgegebenen Fassung führen, damit er nach den gewünschten Überarbeitungen fragen kann, statt eine veraltete Checkliste weiter abzuarbeiten. Vorläufige Notizen können gemäß den Projektvorgaben verfallen, während der Abschlussbericht und wichtige Entscheidungen verfügbar bleiben.

Hier zeigt sich der Nutzen eines dauerhaften Speichers: weniger wiederholte Erklärungen und eine bessere Kontinuität. Ebenso deutlich werden die Kosten: Die Anwendung muss die Beziehungen zwischen Präferenzen, Ausnahmen, Dokumenten und dem sich ändernden Aufgabenstatus aufrechterhalten.

Zusammenfassung, Verdichtung und das Risiko, eine Ausnahme zu verlieren

Lange Interaktionen können mehr Material ansammeln, als für die nächste Antwort nützlich ist. Bei der Verdichtung wird ein Teil dieses Verlaufs durch eine kompaktere Darstellung ersetzt. Eine Zusammenfassung kann das Ziel, die Entscheidungen, offene Fragen und Verweise auf die zugrunde liegenden Arbeitsergebnisse festhalten.

Anthropics Leitlinien zum Context Engineering beschreiben die Verdichtung und außerhalb des Kontextfensters gespeicherte Notizen als Ansätze, um bei längeren Arbeitsprozessen Kontinuität zu gewährleisten. Beide Techniken verändern das Material, das künftigen Antworten zur Verfügung steht; daher ist ihre Qualität wichtig.

Komprimierung erfolgt selektiv. Eine Zusammenfassung wie „Metrische Einheiten verwenden“ ist kürzer als „Metrische Einheiten verwenden, außer in der Ausgabe für Kunden, die beide Einheitensysteme erfordert.“ Für einen wichtigen Projektfall ist sie jedoch auch falsch. Die verlorene Ausnahme kann unbemerkt in späteren Zusammenfassungen fortbestehen und schließlich nur schwer zurückzuverfolgen sein.

Für unseren Cedar-Assistenten wäre eine bessere Übergabe, die allgemeine Regel samt Ausnahme, die fertiggestellten Abschnitte, die noch ausstehenden Überprüfungen und Verweise auf die neuesten Dateien festzuhalten. Exakte Angaben wie genehmigte Beträge oder Kennungen sollten in strukturierten Datensätzen oder Quelldokumenten verbleiben, wenn Näherungsangaben problematisch wären.

Zusammenfassungen sollten auch Unsicherheiten bewahren. Aus „Wir haben erwogen, Survey B zu verwenden“ darf nicht „Survey B wurde ausgewählt“ werden. Wenn durch die Verdichtung des Verlaufs vorläufige Entscheidungen endgültig erscheinen, hat das System beim Einsparen von Kontext eine falsche Erinnerung erzeugt.

Wie KI-Speicher mit Korrekturen und Widersprüchen umgehen sollten

Ein persistenter Speicher ist weniger nützlich, wenn er sich nicht ändern lässt. Projekte entwickeln sich weiter, Präferenzen ändern sich, und frühere Informationen erweisen sich als falsch. Wird eine Korrektur als weiterer, nicht näher gekennzeichneter Eintrag hinzugefügt, kann das Abrufsystem gezwungen sein, zwischen zwei widersprüchlichen Aussagen zu wählen.

Eine hilfreichere Aktualisierung zeigt, welche Informationen durch die neuen Belege ersetzt werden. Verschiebt die Projektleitung einen Starttermin vom 15. November auf den 29. November, kann der alte Eintrag als überholt gekennzeichnet und mit der neuen Entscheidung verknüpft werden. Bei Fragen zum aktuellen Termin kommt die neue Version zum Einsatz; bei Fragen zum ursprünglichen Plan kann die historische Version herangezogen werden.

Aktualität allein kann nicht jeden Konflikt lösen. Eine aktuelle Entwurfsnotiz kann weniger maßgeblich sein als eine ältere, genehmigte Richtlinie. Eine Person kann befugt sein, eine persönliche Präferenz zu ändern, ohne deshalb auch eine organisationsweite Regel ändern zu dürfen. Die Richtlinie für Aktualisierungen muss die Art der Angabe und die Autorität ihrer Quelle berücksichtigen.

Manche Widersprüche sollten bestehen bleiben, bis eine Person sie klärt. Nennen zwei Projektverantwortliche voneinander abweichende Termine, ohne dass ausdrücklich festgelegt wird, welcher den anderen ersetzt, kann der Assistent beide Quellen anzeigen und fragen, welche maßgeblich ist. Wer stillschweigend den ähnlichsten oder aktuellsten Eintrag auswählt, verbirgt eine Entscheidung, zu der das System möglicherweise nicht befugt ist.

Was bedeutet es, wenn eine KI vergisst?

Vergessen ist kein einzelner Schalter. Ein Produkt kann aufhören, eine Angabe in Prompts einzufügen, sie von der regulären Suche ausschließen, als veraltet kennzeichnen, den zugehörigen Speichereintrag löschen oder weitere aufbewahrte Kopien entfernen. Diese Vorgänge wirken sich unterschiedlich auf das künftige Verhalten und die gespeicherten Daten aus.

Den aktiven Kontext verlassen

Eine Angabe kann aus der nächsten Modelleingabe verschwinden, weil ältere Nachrichten weggelassen oder zusammengefasst wurden. Dadurch kann das Modell unmittelbar auf weniger Informationen zurückgreifen. Das ursprüngliche Transkript oder der Speichereintrag kann weiterhin vorhanden sein und durch einen späteren Abruf wieder auftauchen.

Den Abruf auslaufen lassen oder unterdrücken

Eine abgelaufene Frist kann im Archiv verbleiben und zugleich von Suchanfragen zu aktuellen Arbeiten ausgeschlossen werden. Eine Unterdrückung ist sinnvoll, wenn die historische Aufbewahrung einem Zweck dient; sie sollte jedoch nicht als vollständige Löschung bezeichnet werden. Über eine historische Suche oder einen Verwaltungsablauf kann weiterhin auf den Eintrag zugegriffen werden.

Gespeicherte Informationen löschen

Beim Löschen eines dauerhaft gespeicherten Eintrags sollten auch die daraus abgeleiteten Repräsentationen für den Abruf berücksichtigt werden. Wird ein Satz aus einem Profil entfernt, bleibt aber in einer durchsuchbaren Zusammenfassung erhalten, kann der Assistent dieselbe Präferenz später wieder erschließen. Quelldatensätze, Embeddings, Zusammenfassungen, Caches und Replikate können je nach Architektur jeweils eigene Löschmaßnahmen erforderlich machen.

Für Sicherungskopien und Protokolle können eigene Aufbewahrungsfristen gelten. Ein Produkt sollte diese Grenzen klar erklären und verhindern, dass gelöschte Inhalte bei einer Wiederherstellung erneut aktiv werden. „Wir werden diesen Speicher nicht mehr verwenden“ und „Alle gespeicherten Kopien wurden entfernt“ sind unterschiedliche Zusagen.

Modellgewichte ändern

Das Löschen externer Speicher ändert nicht von selbst die Modellparameter. Wurden Informationen beim Training verwendet, ist es eine separate Herausforderung, sie im Modell zu berücksichtigen; sie betrifft den Trainings- und Bereitstellungsprozess. Ebenso kann das Löschen einer persönlichen Erinnerung nicht garantieren, dass das Modell niemals eine ähnliche Angabe aus seinem Allgemeinwissen oder anhand von Hinweisen erzeugt, die in einem neuen Prompt enthalten sind.

Ein aussagekräftiger Test des Vergessens prüft daher sowohl, ob das System die Information noch speichert, als auch, ob sie über die üblichen Abrufwege wieder eingeführt werden kann. Eine einzelne Chatantwort mit der Aussage „Ich habe es vergessen“ beweist weder das eine noch das andere.

Gedächtnis, RAG, Training und Caching: Wo die Grenzen verlaufen

Retrieval-gestützte Generierung (RAG) versorgt ein Modell während der Generierung mit externen Belegen. Die ursprüngliche RAG-Forschung kombinierte Modellparameter mit einem durchsuchbaren Dokumentenindex. Ein persönliches Gedächtnissystem kann ebenfalls auf Abruf zurückgreifen, benötigt aber auch Regeln dafür, wie Aufzeichnungen aus Interaktionen erstellt, aktualisiert und ausgemustert werden.

Ein Unternehmenshandbuch kann abgerufen werden, ohne dass es sich um eine Erinnerung an den Nutzer handelt. Eine Notiz zu einer früheren Interaktion kann aus einer einfachen Datei abgerufen werden, ohne dass ein Vektorindex nötig ist. Der Abruf ist ein Mechanismus; Zweck und Lebenszyklus der zugrunde liegenden Aufzeichnungen bestimmen, um welche Art von System es sich handelt.

Training und Feinabstimmung verändern die Modellparameter. Ein gewöhnliches externes Gedächtnis verändert stattdessen die Belege, die einem Modell bereitgestellt werden. Ein Assistent, der eine neu gespeicherte Präferenz berücksichtigt, kann sich anders verhalten, obwohl seine Modellgewichte unverändert bleiben.

Prompt- und Inferenz-Caching nutzt bereits ausgeführte Berechnungen erneut, sofern dies unterstützt wird. Dadurch lässt sich die Effizienz steigern; für sich genommen lässt sich damit jedoch nicht feststellen, ob eine gespeicherte Aussage aktuell, autorisiert oder für künftige Aufgaben geeignet ist. Diese Ebenen können nebeneinander bestehen. Bei der Fehlersuche muss daher ermittelt werden, welche Ebene für das beobachtete Verhalten verantwortlich ist.

MemGPT ist ein einflussreiches Architekturbeispiel: Dabei wurde untersucht, wie sich Informationen mithilfe einer Analogie zum Betriebssystem zwischen einem begrenzten Kontext und externen Speicherebenen verschieben lassen. Die wichtige Erkenntnis ist, dass die Informationsbewegung ausdrücklich verwaltet werden muss – statt anzunehmen, dass Speicher den unmittelbaren Kontext des Modells automatisch und unbegrenzt erweitert.

Warum Fehler durch persistentes Gedächtnis dauerhafter werden können

Eine fehlerhafte Antwort kann sich auf eine einzelne Interaktion auswirken. Eine fehlerhafte Erinnerung kann viele beeinflussen. Wenn ein Assistent daraus schließt, dass ein Nutzer eine Entscheidung gebilligt hat, diesen Schluss als Tatsache speichert und später die gespeicherte Aufzeichnung anführt, kann der eigene frühere Fehler den Anschein eines unabhängigen Belegs erwecken.

Bei unserem Projektassistenten sollte die ursprüngliche Quelle von der Interpretation des Modells unterscheidbar bleiben. Eine Zusammenfassung einer Entscheidung kann die Orientierung erleichtern, doch bei folgenreichen Maßnahmen sollte die genehmigte Entscheidung selbst als Grundlage dienen. Durch die Wiederholung in mehreren generierten Notizen wird aus einem unbelegten Schluss nicht eine Reihe unabhängiger Bestätigungen.

Persistentes Gedächtnis eröffnet auch einen Weg für die Verfälschung von Anweisungen. Ein nicht vertrauenswürdiges Dokument könnte einen Satz enthalten, der den Assistenten auffordert, sein künftiges Verhalten zu ändern. Würde dieser Satz als Verhaltensregel gespeichert, gelangten externe Inhalte über eine Autoritätsgrenze hinweg. Die Anwendung sollte den Satz entsprechend seiner Quelle behandeln, statt ihn allein deshalb zu einer vertrauenswürdigen Anweisung aufzuwerten, weil er in einem Gedächtnisspeicher auftaucht.

Gemeinsam genutzte Umgebungen bringen eine weitere Abgrenzung mit sich. Eine Information kann für eine Frage relevant sein, aber zu einem anderen Kunden oder Projekt gehören. Zugriffskontrollen sollten den Abruf einschränken, bevor Informationen das Modell erreichen. Das Modell erst dann aufzufordern, nicht autorisierte Aufzeichnungen zu ignorieren, nachdem sie ihm bereits bereitgestellt wurden, ist eine weniger robuste Lösung.

So lässt sich prüfen, ob das Gedächtnis tatsächlich funktioniert

Bei einer überzeugenden Demonstration wird der Assistent oft gebeten, eine gespeicherte Präferenz zu wiederholen. Eine fundierte Bewertung verfolgt dagegen, wie sich Informationen über mehrere Sitzungen hinweg verändern, und prüft, ob das Gedächtnis die erledigte Aufgabe verbessert.

LongMemEval bewertet die Informationsextraktion, das sitzungsübergreifende Schlussfolgern, das zeitliche Schlussfolgern, die Aktualisierung von Wissen und das Enthalten einer Antwort. Diese Kategorien zeigen, warum die Qualität eines Langzeitgedächtnisses mehr umfasst als das Abrufen eines einzelnen passenden Satzes. Veröffentlichte Benchmark-Ergebnisse sollten im Hinblick auf die getesteten Systeme und Einstellungen interpretiert werden und nicht als Beschreibung jedes aktuell verfügbaren Produkts gelten.

Für den Cedar-Arbeitsablauf könnte eine Bewertung zunächst eine Präferenz einführen, dann das Projekt wieder aufnehmen, eine Ausnahme hinzufügen, eine Frist ändern und eine Notiz löschen. Anschließend würden Fragen gestellt, die veraltete oder unbelegte Erinnerungen aufdecken sollen. Dasselbe Modell sollte auch ohne die Gedächtnisfunktion getestet werden, um festzustellen, ob das zusätzliche System die Ergebnisse verbessert.

• Schreibgenauigkeit: Hat das System die beabsichtigte Aussage einschließlich ihres Geltungsbereichs und ihrer Einschränkungen gespeichert?
• Nützlichkeit des Abrufs: Hat das System die für die Aufgabe benötigten Belege gefunden, ohne den Kontext mit irrelevanten Informationen aus der Vergangenheit zu überladen?
• Umgang mit Aktualisierungen: Hat eine Korrektur die aktuelle Information ersetzt und zugleich nützliche historische Unterscheidungen bewahrt?
• Enthaltung: Hat der Assistent eingeräumt, wenn es keine stützende Aufzeichnung gab?
• Abgrenzung: Blieben die Aufzeichnungen auf den jeweils richtigen Nutzer, Mandanten und das richtige Projekt beschränkt?
• Vergessen: Verhinderte das Löschen oder Ablaufenlassen den vorgesehenen späteren Abruf – auch über abgeleitete Zusammenfassungen?
• Betriebskosten: Rechtfertigten die Verbesserungen den zusätzlichen Zeitaufwand, die zusätzlichen Modellaufrufe, den Speicherbedarf und den Wartungsaufwand?

Fehler sollten einer bestimmten Phase zugeordnet werden. Eine fehlende Antwort kann auf einen fehlgeschlagenen Schreibvorgang, einen falschen Suchbereich, eine schlechte Rangfolge, eine ausgelassene Einschränkung oder ein Modell zurückzuführen sein, das gute Belege falsch interpretiert hat. Eine Vergrößerung des Kontextfensters behebt nicht all diese Fehler.

Das passende Gedächtniskonzept wählen

Für eine einmalige Dokumentzusammenfassung reichen möglicherweise das aktuelle Dokument und die Anweisungen aus. Bei einer unterbrochenen Analyse ist ein Aufgaben-Checkpoint hilfreich. Ein Assistent für ein wiederkehrendes Projekt benötigt möglicherweise versionierte Entscheidungen und Verweise auf Artefakte. Ein Assistent, der über viele Sitzungen hinweg mit einem Nutzer arbeitet, braucht möglicherweise einen separaten, bearbeitbaren Speicher für Präferenzen.

Legen Sie zunächst fest, welche künftige Frage das Gedächtnis beantworten soll. Auf die Frage „Was ist noch unerledigt?“ braucht es einen Aufgabenstatus. Die Frage „Welches Format benötigt dieser Kunde?“ erfordert eine klar abgegrenzte Präferenz. Die Frage „Warum haben wir diesen Ansatz verworfen?“ verlangt einen Entscheidungsnachweis mit stützenden Belegen. Unterschiedliche Fragen erfordern unterschiedliche Darstellungsformen.

Bevorzugen Sie eine kleine Zahl klarer, eindeutig zuordenbarer Einträge gegenüber einem unterschiedslosen Archiv, das als Personalisierung ausgegeben wird. Halten Sie den aktuellen Status von vergangenen Ereignissen getrennt, bewahren Sie Verknüpfungen zu den Quellartefakten auf und berücksichtigen Sie Korrekturen und Löschungen von Anfang an bei der Konzeption.

Aktives Gedächtnis verschafft einem KI-System eine stimmige Gegenwart. Persistentes Gedächtnis kann ihm Kontinuität über die Zeit hinweg geben. Wie gut diese Kontinuität funktioniert, hängt von den Entscheidungen zwischen beiden ab: Was wird gespeichert, was wird wieder abgerufen, welche Version ist maßgeblich und was darf verschwinden?