Milla Jovovichs MemPalace sigter mod at løse AI’s hukommelsesproblem

Millioner af mennesker åbner en chat-vindue dagligt og begynder at forklare sig selv til kunstig intelligens (AI). Den lytter opmærksomt, genererer straks et klogt lydende svar og glemmer derefter, når sessionen er slut, hver enkelt detalje om interaktionen.

Skalaen af denne rituel er overvældende. ChatGPT alene håndterer over en milliard forespørgsler om dagen, med over 800 millioner aktive brugere om ugen pr. slutningen af 2025. Generativ AI-adoption har nået over 16% af verdens befolkning, et tal, der ikke eksisterede meningsfuldt for tre år siden.

En enorm infrastruktur med en stigende miljømæssig pris understøtter denne model: Amerikanske datacentre forbrugte 183 terawatt-timer elektricitet i 2024, mere end 4% af landets samlede forbrug, eller omtrent lig med Pakistans årlige elforbrug.

På grund af manglen på hukommelse hos AI-systemer, bruges en stor procentdel af denne energi på at genetablere kontekst. Gentagne forklaringer, projektgenindførelser og kontekstdumpninger i starten af hver session er spildt beregning.

Hukommelse er, hvad der gør et værktøj til en samarbejdspartner

AI-assistenten har ingen varig hukommelse som standard. Dette ville ikke have betydning, hvis vi brugte AI som en lommeregner: taste et tal ind, få et resultat, gå videre.

Men de fleste mennesker bruger det ikke på den måde længere. De har lange, iterative, dybt kontekstuelle samtaler med AI – bygger ting over uger eller måneder, udvikler fælles sprog, beslutninger og historie. Mængden af kontekst, som AI kan aktivt holde i mente på et given tidspunkt, kan variere afhængigt af abonnementsniveauet.

Hidtil har AI vist sig at være et vidunderligt værktøj, men siden de tidlige udviklingsfaser har det sigtet mod at blive betragtet som en samarbejdspartner. Denne ambition kræver hukommelse. Uden det vil fremgangen fortsætte med at nulstille.

Varig hukommelse ændrer, hvad AI kan gøre i praksis. En udvikler får en AI, der fastholder arkitektoniske beslutninger og begrundelserne bag dem. Et hold får en, der kender projektets historie uden at skulle genopfriskes. En forfatter får en, der har opbygget viden om deres arbejde over tid. Evnen til modellen er mindre vigtig end, om den kan samle viden om personen, der bruger den.

Hvorfor dette har været svært at løse

Udfordringen er ikke kun lagring, men også henting. I teorien kan du føde hver enkelt tidligere samtale ind i en ny session. Men det bliver hurtigt beregningsmæssigt absurd. Kontekstvinduer, selvom de udvides, er ikke uendelige. At dumpe måneder med ustruktureret chat ind i en prompt er ikke kun ineffektivt, men også tids- og energikrævende.

Paras Pandey, en dataingeniør, sætter den centrale svigtighed meget enkelt: “AI-hukommelse er i virkeligheden et hentingsfidelitetsproblem forkledt som et lagringsproblem. Du kan fastholde alt, det hårde er at hente den rigtige del af det på inferenstidspunktet uden at hallucinere hullerne. Det er en sværere version af, hvad vi har løst i datasystemer i år, og feltet er stadig tidligt.”

Nuværende AI-hukommelsesmetoder indebærer, at systemer beslutter, hvad der er værd at huske. Men at lade AI beslutte, hvad der betyder noget, kaster ofte præcis den nuancerede kontekst, der gjorde den oprindelige udveksling værdifuld, væk. Du beholder den generelle idé, men mister hele samtalen, hvor du forklarede dine specifikke bekymringer, og de alternativer, du overvejede og forkastede.

Den ideelle situation ville være at gøre den rigtige information tilgængelig på det rigtige tidspunkt.

Indtast MemPalace

Dette er præcis problemet, som MemPalace, et nyligt udgivet open-source-projekt, sigter mod at løse. I stedet for at sammenfatte eller kassere gemmer det samtaler i fuld udstrækning og bygger en navigabel struktur omkring dem, inspireret af den antikke græske teknik med hukommelsespaladset, hvor oratorer ville placere ideer i bestemte rum i et forestillet bygning for at huske dem senere.

Hvad der gør MemPalace bemærkelsesværdigt, er ikke kun elegance i tilgangen. Det er resultaterne. I standard akademiske benchmarks for AI-hukommelseshenting har MemPalace opnået de højeste score nogensinde offentliggjort for et gratis system, og det gør det, mens det køres helt på din egen maskine, uden abonnement, uden cloud-afhængighed og uden ekstern API-krav.

Konkurrerende kommercielle tjenester belaster mellem 20 og 250 dollars om måneden for sammenlignelige og ofte dårligere fungerende funktioner.

Den kombination af topklasse-præstation, fuldt lokal og helt gratis er usædvanlig nok til at være værd at lægge mærke til. Og fordi det køres på din hardware i stedet for på fjerne servere, er hver forespørgsel, du sender gennem MemPalace, en, der ikke bidrager til den svulmende energiregnskab for datacenterindustrien.

Det større billede

MemPalace er ét projekt, men det peger på noget større: anerkendelse af, at varig hukommelse ikke er en premium-tilføjelse til AI-systemer, men en grundlæggende præstation for de nye brugsområder for AI.

Projektet blev bygget af et lille hold, Milla Jovovich (ja, skuespilleren fra Resident Evil), Ben Sigman og Claude, og er listet som havende kun syv commits.

At et system, der overgår kommercielle produkter med dedikeret ingeniørhold, kom fra sådan en lean indsats, siger noget om, hvor den virkelige svigtighed ligger.

Problemet var ikke computere eller ressourcer. Det var en klarere model for, hvad hukommelse i virkeligheden skal gøre.