Milla Jovovichs MemPalace wil het geheugenprobleem van AI oplossen

Miljoenen mensen openen elke dag een chatvenster en beginnen zichzelf uit te leggen aan kunstmatige intelligentie (AI). Het luistert aandachtig, genereert onmiddellijk een slim klinkend antwoord en vergeet dan, als de sessie eindigt, elk detail over de interactie.

De omvang van dit ritueel is overweldigend. ChatGPT alleen behandelt meer dan één miljard queries per dag, met meer dan 800 miljoen wekelijks actieve gebruikers eind 2025. De adoptie van generatieve AI heeft meer dan 16% van de wereldbevolking bereikt, een aantal dat drie jaar geleden niet in betekenisvolle mate bestond.

Een enorme infrastructuur met toenemende milieukosten ondersteunt dit model: Amerikaanse datacentra verbruikten 183 terawattuur aan elektriciteit in 2024, meer dan 4% van het totale elektriciteitsverbruik van het land, of ongeveer gelijk aan de jaarlijkse elektriciteitsvraag van Pakistan.

Door het gebrek aan geheugen van AI-systemen, wordt een groot deel van die energie besteed aan het opnieuw vaststellen van de context. Herhaalde uitleg, projectherintroducties en contextdumps aan het begin van elke sessie zijn verspilde berekeningen.

Geheugen is wat een tool tot een samenwerkingspartner maakt

AI-assistenten hebben geen persistent geheugen als standaard. Dit zou niet uitmaken als we AI zouden gebruiken als een rekenmachine: een nummer intoetsen, een resultaat krijgen, verdergaan.

Maar de meeste mensen gebruiken het niet meer op die manier. Ze hebben lange, iteratieve, diep contextuele gesprekken met AI – dingen bouwen over weken of maanden, een gedeelde taal, beslissingen en geschiedenis ontwikkelen. De hoeveelheid context die AI op elk moment actief in gedachten kan houden, kan variëren afhankelijk van het abonnementsniveau.

Tot nu toe is AI een geweldig hulpmiddel gebleken, maar sinds de vroege ontwikkelingsfase heeft het ernaar gestreefd om als een metgezel te worden beschouwd. Die ambitie vereist geheugen. Zonder dat geheugen zal de vooruitgang blijven resetten.

Persistent geheugen verandert wat AI in de praktijk kan doen. Een ontwikkelaar krijgt een AI die architectuurbeslissingen en de redenering erachter onthoudt. Een team krijgt een AI die de projectgeschiedenis kent zonder opnieuw te worden geïnformeerd. Een schrijver krijgt een AI die gaandeweg kennis over het werk van de schrijver heeft opgebouwd. De capaciteiten van het model zijn minder belangrijk dan de vraag of het daadwerkelijk kennis over de persoon die het gebruikt kan opbouwen.

Waarom dit moeilijk te oplossen is

De uitdaging is niet alleen opslag, maar ook ophalen. In theorie kun je elke voorgaande conversatie in een nieuwe sessie voeren. Maar dat wordt al snel computationeel absurd. Contextvensters, hoewel uitbreidend, zijn niet oneindig. Maanden aan ongestructureerde chat in een prompt dumpen is niet alleen ineffectief, maar ook tijdrovend en energieverbruikend.

Paras Pandey, een data-engineer, legt de kern van de moeilijkheid eenvoudig uit: “AI-geheugen is eigenlijk een probleem met de nauwkeurigheid van het ophalen van informatie, vermomd als een opslagprobleem. Je kunt alles persistent maken, het moeilijke deel is het juiste deel ervan ophalen op het moment van inferentie zonder ontbrekende informatie te verzinnen. Dat is een moeilijkere versie van waar we al jaren in datasystemen aan werken, en het veld is nog steeds in de kinderschoenen.”

Huidige AI-geheugenbenaderingen houden in dat systemen beslissen wat het waard is om te onthouden. Maar systemen laten beslissen wat belangrijk is, gooit vaak precies dat soort nuances van context weg die de oorspronkelijke uitwisseling waardevol maakten. Je houdt het algemene idee, maar verliest het hele gesprek waarin je je specifieke zorgen uitlegde, en de alternatieven die je overwoog en verwierp.

Het ideale scenario zou zijn om de juiste informatie op het juiste moment vindbaar te maken.

Daar is MemPalace

Dit is precies het probleem dat MemPalace, een onlangs uitgebracht open-source project, aanpakt. In plaats van samen te vatten of weg te gooien, slaat het gesprekken op in hun geheel en bouwt een navigeerbare structuur eromheen, geïnspireerd door de oude Griekse techniek van het geheugenpaleis, waar oratoren in gedachten ideeën in specifieke kamers van een verbeeld gebouw plaatsten om ze later te herinneren.

Wat MemPalace opmerkelijk maakt, is niet alleen de elegantie van de benadering. Het zijn de resultaten. In standaard academische benchmarks voor het ophalen van informatie uit AI-geheugen heeft MemPalace de hoogste ooit gepubliceerde scores voor een gratis systeem behaald, en doet dit terwijl het volledig op uw eigen machine draait, zonder abonnement, zonder afhankelijkheid van de cloud en zonder dat een externe API nodig is.

Concurrerende commerciële diensten rekenen tussen de $20 en $250 per maand voor vergelijkbare, en vaak slechter presterende functionaliteit.

Die combinatie van de beste prestaties in zijn klasse, volledig lokale werking en volledige kosteloosheid is ongebruikelijk genoeg om aandacht aan te besteden. En omdat het op uw hardware draait in plaats van op externe servers, is elke query die u via MemPalace routeert, een query die niet bijdraagt aan de snel groeiende energierekening van de datacenterindustrie.

Het grotere plaatje

MemPalace is één project, maar het wijst op iets groters: de erkenning dat persistent geheugen geen premium-add-on is voor AI-systemen, maar een fundamentele prestatie voor de nieuwe gebruikscases van AI.

Het project is gebouwd door een klein team, Milla Jovovich (ja, de actrice uit Resident Evil), Ben Sigman, en Claude, en staat vermeld met slechts zeven commits.

Dat een systeem dat commerciële producten met toegewijde engineersteams overtreft, voortkomt uit zo’n beperkte inspanning, zegt iets over waar de echte moeilijkheid ligt.

Het probleem lag niet bij computers of middelen. Het was een duidelijker model van wat geheugen eigenlijk moet doen.