Milla Jovovichs MemPalace syftar till att lösa AI:s minnesproblem

Miljontals människor öppnar ett chattfönster dagligen och börjar förklara sig för artificiell intelligens (AI). Den lyssnar uppmärksamt, genererar omedelbart ett klyftigt svar och glömmer sedan, när sessionen slutar, varje detalj om interaktionen.

Omfattningen av denna ritual är förbluffande. ChatGPT hanterar ensam över en miljard förfrågningar per dag, med mer än 800 miljoner veckovisa aktiva användare från och med slutet av 2025. Generativ AI-användning har nått över 16% av världens befolkning, ett tal som inte existerade meningsfullt för tre år sedan.

En enorm infrastruktur med en ökande miljökostnad stöder denna modell: Amerikanska datacenter förbrukade 183 terawattimmar el i 2024, mer än 4% av landets totala användning, eller ungefär lika med Pakistans årliga elbehov.

På grund av bristen på minne hos AI-system, läggs en stor del av den energin på att återupprätta sammanhang. Upprepade förklaringar, projektåterinföranden och sammanhangsdumpning i början av varje session är slösad beräkning.

Minne är vad som förvandlar ett verktyg till en medarbetare

AI-assistenterna har inget beständigt minne som standard. Detta skulle inte ha någon betydelse om vi använde AI som en miniräknare: mata in ett nummer, få ett resultat, gå vidare.

Men de flesta människor använder det inte på det sättet längre. De har långa, iterativa, djupt kontextuella samtal med AI – bygger saker över veckor eller månader, utvecklar en gemensam språk, beslut och historia. Mängden sammanhang som AI kan aktivt ha i åtanke vid en given tidpunkt kan variera beroende på prenumerationsnivån.

Hittills har AI visat sig vara ett underbart verktyg, men sedan de tidiga utvecklingsstadierna har den strävat efter att betraktas som en medarbetare. Den ambitionen kräver minne. Utan det kommer framstegen att fortsätta nollställas.

Beständigt minne förändrar vad AI kan göra i praktiken. En utvecklare får en AI som behåller arkitektbeslut och resonemanget bakom dem. Ett team får en som känner till projektets historia utan att behöva omföras. En författare får en som har ackumulerat kunskap om sitt arbete över tiden. Modellens förmåga är mindre viktig än om den faktiskt kan ackumulera kunskap om den person som använder den.

Varför detta har varit svårt att lösa

Utanför utmaningen ligger inte bara lagring utan återvinning. I teorin kan du mata in varje tidigare konversation i en ny session. Men det blir snabbt beräkningsmässigt orimligt. Kontextfönster, även om de expanderar, är inte oändliga. Att dumpa månader av ostrukturerad chatt i en prompt är inte bara ineffektivt utan också tids- och energikrävande.

Paras Pandey, en dataingenjör, beskriver kärnsvårigheten enkelt: “AI-minne är egentligen ett återvinningstroghetsproblem förklätt till ett lagringsproblem. Du kan göra varje sak beständig, det svåra är att hämta rätt skiva av det vid inferenstid utan att hallucinera luckorna. Det är en svårare version av vad vi har löst i datasystem i år, och fältet är fortfarande tidigt.”

Nuvarande AI-minnesmetoder innebär att systemen får bestämma vad som är värt att komma ihåg. Men att låta AI bestämma vad som är viktigt kastar ofta bort exakt den typ av nyanserat sammanhang som gjorde den ursprungliga utbytet värdefullt. Du behåller den allmänna idén men förlorar hela samtalet där du förklarade dina specifika bekymmer och de alternativ du övervägde och avvisade.

Den ideala scenariot vore att göra rätt information tillgänglig vid rätt ögonblick.

MemPalace anländer

Detta är exakt det problem som MemPalace, ett nyligen släppt öppen källkodsprojekt, siktar på. Istället för att sammanfatta eller kasta, lagrar det samtal i sin helhet och bygger en navigerbar struktur runt dem, lånar från den antika grekiska tekniken för minnespalatset, där talare skulle mentalt placera idéer i specifika rum i en föreställd byggnad för att komma ihåg dem senare.

Vad som gör MemPalace anmärkningsvärt är inte bara tillvägagångssättets elegans. Det är resultaten. I standardakademiska benchmark för AI-minnesåtervinning har MemPalace publicerat de högsta poängen någonsin för ett fritt system, och det gör det medan det körs helt på din egen maskin, utan prenumeration, molnberoende eller extern API krävs.

Tävlande kommersiella tjänster tar betalt från 20 till 250 dollar i månaden för jämförbar och ofta sämre funktionalitet.

Den kombinationen av toppklassprestanda, fullständigt lokalt och helt gratis är ovanlig nog att vara värd att uppmärksamma. Och eftersom det körs på din maskin istället för på fjärrservrar, är varje fråga du dirigerar genom MemPalace en som inte bidrar till den svällande energiförteckningen för datacenterindustrin.

Den större bilden

MemPalace är ett projekt, men det pekar på något större: erkännandet att beständigt minne inte är en premiumtillägg till AI-system, det är en grundläggande prestation för de nya användningsfallen för AI.

Projektet byggdes av ett litet team, Milla Jovovich (Ja, skådespelerskan från Resident Evil), Ben Sigman och Claude, och listas som att ha endast sju commits.

Att ett system som presterar bättre än kommersiella produkter med dedikerade ingenjörsteam kom från ett sådant litet ansträngande säger något om var den verkliga svårigheten ligger.

Problemet var inte datorer eller resurser. Det var en tydligare modell av vad minne faktiskt behöver göra.