Milla Jovovichs MemPalace vill lösa AI:s minnesproblem

Miljontals människor öppnar ett chattfönster varje dag och börjar förklara sig för artificiell intelligens (AI). Den lyssnar uppmärksamt, genererar omedelbart ett svar som låter klyftigt och glömmer sedan varje detalj om interaktionen när sessionen är slut.

Omfattningen av denna ritual är häpnadsväckande. ChatGPT hanterar ensam över en miljard förfrågningar per dag, med över 800 miljoner veckovisa aktiva användare i slutet av 2025. Användningen av generativ AI har nått över 16% av världens befolkning, en siffra som inte fanns tidigare på ett meningsfullt sätt för tre år sedan.

En enorm infrastruktur med en växande miljökostnad stöder denna modell: Amerikanska datacenter förbrukade 183 terawattimmar el år 2024, mer än 4% av landets totala förbrukning, eller ungefär lika med Pakistans årliga elförbrukning.

På grund av bristen på minne hos AI-system förbrukas en stor del av den energin för att återupprätta sammanhanget. Upprepade förklaringar, projektåterinföranden och sammanhangsdumpning i början av varje session är slösad beräkning.

Minne är vad som gör ett verktyg till en medarbetare

AI-assistenterna har inget beständigt minne som standard. Det skulle inte ha någon betydelse om vi använde AI som en miniräknare: mata in ett nummer, få ett resultat, gå vidare.

Men de flesta människor använder det inte på det sättet längre. De har långa, iterativa, djupt kontextuella samtal med AI – bygger saker över veckor eller månader, utvecklar ett gemensamt språk, beslut och historia. Mängden sammanhang som AI aktivt kan hålla i minnet vid varje given tidpunkt kan variera beroende på prenumerationsnivån.

Hittills har AI visat sig vara ett underbart verktyg, men sedan de tidiga utvecklingsstadierna har den strävat efter att betraktas som en kamrat. Den ambitionen kräver minne. Utan det kommer framstegen att fortsätta att återställas.

Beständigt minne förändrar vad AI kan göra i praktiken. En utvecklare får en AI som behåller arkitekturbeslut och resonemanget bakom dem. Ett team får en som känner till projektets historia utan att behöva få historien återberättad. En författare får en som har ackumulerat kunskap om författarens arbete över tid. Förmågan hos modellen är mindre viktig än om den faktiskt kan ackumulera kunskap om den person som använder den.

Varför detta har varit svårt att lösa

Utmaningen gäller inte bara lagring utan också informationshämtning. I teorin kan du mata in varje tidigare samtal i en ny session. Men det blir snabbt beräkningsmässigt absurt. Kontextfönster, även om de utvidgas, är inte oändliga. Att dumpa månader av ostrukturerad chatt i en prompt är inte bara ineffektivt utan också tids- och energikrävande.

Paras Pandey, en dataingenjör, beskriver kärnsvårigheten på ett enkelt sätt: “AI-minne är i själva verket ett problem med tillförlitligheten i informationshämtningen som maskeras som ett lagringsproblem. Du kan behålla allt, det svåra är att hämta rätt del av det vid inferenstid utan att fylla luckorna med påhitt. Det är en svårare version av det vi har arbetat med att lösa i datasystem i flera år, och fältet är fortfarande i ett tidigt skede.”

Nuvarande tillvägagångssätt för AI-minne innebär att systemen får bestämma vad som är värt att komma ihåg. Men att låta AI bestämma vad som är viktigt kastar ofta bort exakt den subtila kontext som gjorde det ursprungliga utbytet värdefullt. Du behåller den allmänna idén men förlorar hela samtalet där du förklarade dina specifika bekymmer och de alternativ du övervägde och avvisade.

Det ideala scenariot vore att göra rätt information tillgänglig vid rätt ögonblick.

MemPalace anländer

Detta är exakt det problem som MemPalace, ett nyligen släppt projekt med öppen källkod, siktar på att lösa. Istället för att sammanfatta eller kasta bort lagrar det samtal i sin helhet och bygger en navigerbar struktur runt dem, inspirerad av den antika grekiska tekniken med minnespalatset, där talare mentalt placerade idéer i specifika rum i en föreställd byggnad för att komma ihåg dem senare.

Vad som gör MemPalace anmärkningsvärt är inte bara tillvägagångssättets elegans. Det är resultaten. I standardakademiska benchmark-tester för informationshämtning ur AI-minne har MemPalace publicerat de högsta poängen som någonsin publicerats för ett kostnadsfritt system, och det gör det medan det körs helt på din egen maskin, utan prenumeration, molnberoende eller externt API.

Konkurrerande kommersiella tjänster tar betalt med allt från 20 till 250 dollar i månaden för jämförbar och ofta sämre funktionalitet.

Den kombinationen av klassens bästa prestanda, helt lokal drift och fullständig kostnadsfrihet är ovanlig nog att vara värd att uppmärksamma. Och eftersom det körs på din maskin istället för på fjärrservrar är varje fråga du dirigerar genom MemPalace en som inte bidrar till den växande energiförbrukningen inom datacenterindustrin.

Den större bilden

MemPalace är ett projekt, men det pekar på något större: erkännandet att beständigt minne inte är ett premiumtillägg till AI-system, utan en grundläggande prestation för de nya användningsområdena för AI.

Projektet byggdes av ett litet team, Milla Jovovich (ja, skådespelerskan från Resident Evil), Ben Sigman och Claude, och är listat som att ha endast sju commits.

Att ett system som överträffar kommersiella produkter med dedikerade ingenjörsteam kom från ett sådant litet arbete säger något om var den verkliga svårigheten ligger.

Problemet var inte datorer eller resurser. Det var en tydligare modell av vad minne faktiskt behöver göra.