AI’s Gedächtnisproblem: Warum effiziente lange Kontexte alles ändern und was es braucht, um es richtig zu machen

Ein Kollege, der jedes vorherige Gespräch vergisst, sobald es beendet ist, würde in den meisten Jobs nicht lange durchhalten. Doch viele GeschäftskIs arbeiten genau so. Die Sitzung schließt und der Kontext verschwindet mit ihr. Ein Verbraucher, der einzelne Fragen abfeuert, bemerkt es möglicherweise kaum, aber ein Unternehmen, das ein Verfahren durchführt, das länger als eine einzige Sitzung dauert, trifft fast sofort auf die Grenze.

Reale Arbeit wird von einer Sitzung zur nächsten fortgeführt, und eine Entscheidung, die am Donnerstag getroffen wird, basiert in der Regel auf einer Entscheidung, die am Montag getroffen wurde, wobei die zugrunde liegende Argumentation zwischenzeitlich überleben muss. Ein KI-System, das sich selbst ausradiert, wenn eine Sitzung beendet ist, kann innerhalb dieser Sitzung gut funktionieren und trotzdem nichts zu einer Aufgabe beitragen, die über eine Woche läuft.

Unternehmens-KI hat leise geändert, was es von einem Modell verlangt. Jahrelang wurden Modelle in erster Linie danach beurteilt, wie viel Wissen sie aufgenommen hatten. Unternehmen benötigen jetzt, dass sie die richtigen Informationen im Blick behalten, während die Arbeit voranschreitet, eine Fähigkeit, die eine andere Art effizienter Ingenieurskunst erfordert. Bisher wurde die Fähigkeit, ein solches Maß an persistentem Wissen zu behalten, nicht erreicht, da dafür eine große Menge an Speicher (GPU), Rechenleistung und Kosten erforderlich wäre, um diese Fähigkeit zu skalieren. Die Aufrechterhaltung einer akzeptablen Latenz und eines Levels an Modell-Halluzinationen wird zu einer Herausforderung bei gleichzeitiger Nutzung, wenn ein langer Kontext verwendet wird. Es gibt einen zunehmenden Bedarf an solchen Wissensfähigkeiten, aber nicht genug Speicher und Rechenleistung, um sie zu erfüllen. Das wirft die Frage auf: Wie kann man genaue Intelligenz im großen Maßstab mit weniger Infrastruktur und Fußabdruck erreichen?

Der Schreibtisch und der Aktenschrank

Zwei Dinge werden unter dem Begriff “Gedächtnis” zusammengefasst, und sie verhalten sich unterschiedlich genug, dass der Rest davon abhängt, sie auseinanderzuhalten.

Beginnen wir mit dem Kontextfenster, das bestimmt, wie viel ein Modell in einem einzigen Durchgang aufnehmen und darüber nachdenken kann. Es funktioniert wie die Oberfläche eines Schreibtisches. Ein kleiner Schreibtisch nimmt nur ein paar Seiten auf einmal, sodass alles andere in einer Schublade wartet und geholt und gelöscht wird, während ein großer Schreibtisch die gesamte Akte offen liegen lässt, während man daran arbeitet. Was auf dem Schreibtisch liegt, wird am Ende des Tages abgeräumt, jeden Tag.

Das persistente Gedächtnis ist der Aktenschrank neben dem Schreibtisch. Das System wählt aus, was es speichert, und holt es wieder heraus, wenn es relevant wird, sodass etwas, das diese Woche passiert ist, bestimmen kann, was es nächste Woche tut. Dieser Speicher wird über Sitzungen hinweg aufrechterhalten und benötigt eigene Entscheidungen darüber, was zu speichern ist, wie es zu organisieren ist und wann es wiederhergestellt werden soll.

Ein großer Teil der sichtbaren Ingenieursarbeit ist auf den Schreibtisch konzentriert. Fenster, die ursprünglich nur ein paar Tausend Token aufnahmen, können jetzt Hunderttausende aufnehmen, und die größten Modelle von OpenAI und Anthropic haben ein Maximum von etwa einer Million.

Der Begriff für diese Arbeit, “Kontext-Ingenieurskunst”, stammt von Shopify’s Tobi Lutke und wurde von Andrej Karpathy im Sommer 2025 populär gemacht. Die Kernfähigkeit in jeder ernsthaften KI-Anwendung sei es, das Fenster mit den richtigen Informationen für den nächsten Schritt zu füllen, schrieb Karpathy. Sein Vergleich war die Hardware – das Modell als Prozessor, das Fenster als dessen Arbeitsspeicher. Praktiker übernahmen den Begriff schnell, da sie die Idee bereits umkreist hatten, ohne dass sie einen Namen dafür hatten.

Ein größerer Schreibtisch löst das Gedächtnisproblem nicht

Hier stoßen die offensichtlichen Schritte – einfach den Schreibtisch vergrößern – an ihre Grenzen.

Forscher der Stanford-Universität zeigten 2024, dass die Genauigkeit eines Modells stark abnimmt, wenn die erforderlichen Informationen in der Mitte eines langen Eingabefelds liegen, im Vergleich zu denselben Fakten am Anfang oder Ende. Sie nannten es “verloren in der Mitte”, und es galt auch für Modelle, die speziell für lange Kontexte entwickelt worden waren. Wenn man einem Modell mehr Informationen vorlegt, bedeutet das nicht automatisch, dass es diese zuverlässig nutzt.

Der Effekt hat sich bestätigt, als andere Teams danach suchten, und eine Studie aus dem Jahr 2025, die 18 führende Modelle gegen zunehmend längere Eingaben testete, fand, dass die Leistung bereits stark nachließ, bevor das Fenster sogar voll war, ein Muster, das die Autoren “Kontext-Verfall” nannten. Ein größerer Schreibtisch und ein Modell, das sauber über alles auf ihm nachdenken kann, sind zwei separate Probleme, und das erste löst das zweite nicht.

Kuration zahlt mehr als Kapazität

Die Kontext-Ingenieurskunst ist zu einer Disziplin herangewachsen, die auf dem Rücken dieses Problems aufgebaut ist, mit einer Umfrage aus dem Jahr 2025, die auf über 1.400 Studien basiert und deren Methoden darlegt, und Gartner, der im Juli 2025 seinen Kunden riet, Kontext über Anweisungen zu priorisieren. Das Handwerk hat sich von der Formulierung einer schärferen Anweisung zu der Zusammenstellung einer schärferen Reihe von Eingaben für das Modell entwickelt.

Ein größerer Schreibtisch erhöht die Anforderungen an das, was man darauf legt. Wenn man einen ganzen Dokumentenspeicher auf die Oberfläche kippt, werden die wenigen Seiten, die wichtig sind, zwischen Rauschen, Widersprüchen und veralteten Versionen verloren, während eine engere Auswahl dessen, was tatsächlich für die Aufgabe relevant ist, das gleiche Modell erheblich besser ausführen lässt. Die Entscheidung liegt darin, was vor dem Modell liegen sollte, wie es gerahmt wird, wann es erscheint und was im Schrank bleibt.

Dafür wurde RAG (retrieval-Augmented Generation) entwickelt: Dokumente in Fragmente aufteilen und diejenigen wiederherstellen, die relevant erscheinen, um einen zu kleinen Fensterbereich zu umgehen, der das gesamte Dokument nicht aufnehmen kann. Sagen wir, ein Vertragsstreit hängt von einer Klausel auf Seite 200 ab. Der übliche Ansatz teilt den Vertrag in Fragmente auf und lässt ein Wiederherstellungssystem diejenigen wiederherstellen, die relevant erscheinen. Wenn man Seite 200 als irrelevant bewertet, sieht das Modell die Klausel nie.

Ein Fenster, das für den gesamten Vertrag groß genug ist, umgeht den Wiederherstellungsschritt ganz und gibt dem Modell die Klausel zusammen mit allem, was darum herum ist. Ob das Modell dann einen langen Eingabetext gut liest, ist das Zuverlässigkeitsproblem aus dem vorherigen Abschnitt, und es ist ein besseres Problem, als ein Wiederherstellungssystem stillschweigend zu entscheiden, dass die Klausel nicht weitergeleitet werden sollte.

Innerhalb einer Sitzung und danach

Ein langer Kontext ermöglicht es einem KI-Agenten, über eine lange Aufgabe und nicht nur einen einzigen Austausch hinaus zu arbeiten. Ein Agent, der eine mehrere Tage dauernde Compliance-Überprüfung oder eine Lieferanten-Onboarding-Verfahren durchführt, behält die gesamte Aufgabe im Fenster, während er arbeitet, sodass jeder Schritt auf dem gesamten Zustand der Aufgabe basiert. Ein langes genuges Fenster kann innerhalb einer Sitzung als Ersatz für das Gedächtnis dienen.

Dort hört die Ähnlichkeit jedoch auf. Alles, was das System nächste Woche wieder abrufen sollte, nachdem diese Sitzung beendet ist, muss an einem Ort gespeichert werden, an dem das Fenster nicht ist.

Das Aufbauen eines solchen Gedächtnisses bringt ein anderes Set von Problemen mit sich, mit denen die Branche erst begonnen hat, sich auseinanderzusetzen. Meine Ausbildung in Psychologie und Neurowissenschaften macht den Vergleich mit dem menschlichen Gedächtnis schwer zu übersehen. Wir rufen keine perfekte Aufzeichnung eines Ereignisses ab. Jedes Mal, wenn wir uns daran erinnern, bauen wir es neu auf, und kleine Fehler können allmählich Teil der akzeptierten Version werden. Ein maschinelles Gedächtnis kann ein ähnliches Problem entwickeln, wenn gespeicherte Informationen wiederholt zusammengefasst, kombiniert oder umgeschrieben werden. Im Laufe der Zeit kann die Aufzeichnung vom ursprünglichen Ereignis abweichen, es sei denn, jemand überprüft sie, korrigiert Fehler und entfernt Informationen, die unzuverlässig geworden sind.

Viele Unternehmen, die diese Systeme einsetzen, haben diese Probleme noch nicht erreicht, und nur wenige sind ihnen nahe. Was ich bei einem Anbieter beobachten würde, ist nicht die Größe des Fensters, das er anpreist. Ein Modell, das 10 Millionen Token aufnehmen kann, ist wenig wert, wenn die meisten Informationen, die es speichert, veraltet, irrelevant oder falsch sind. Seine Antworten können gut belegt aussehen, während sie auf Material basieren, das das Unternehmen nie hätte vertrauen sollen. Was Geld einbringt, ist das Urteil darüber, was zu behalten ist, und die Fähigkeit, über alle Informationen genau nachzudenken, bei einem Bruchteil der Infrastrukturkosten und des Fußabdrucks. Das ist mehr mit weniger, und nicht alle größeren Fenster kommen mit dieser wahren Fähigkeit.