Milla Jovovichs MemPalace syftar till att lösa AI:s minnesproblem

Miljontals människor öppnar en chattfönster varje dag och börjar förklara sig för artificiell intelligens (AI). Den lyssnar uppmärksamt, genererar omedelbart ett klyftigt svar och glömmer sedan varje detalj om interaktionen när sessionen är slut.

Omfattningen av denna ritual är häpnadsväckande. ChatGPT hanterar ensam över en miljard förfrågningar per dag, med över 800 miljoner veckovisa aktiva användare i slutet av 2025. Användningen av generativ AI har nått över 16% av världens befolkning, en siffra som inte fanns tidigare på ett meningsfullt sätt för tre år sedan.

En enorm infrastruktur med en ökande miljöpris stöder denna modell: Amerikanska datacenter förbrukade 183 terawattimmar el i 2024, mer än 4% av landets totala förbrukning, eller ungefär lika med Pakistans årliga elförbrukning.

På grund av bristen på minne hos AI-system förbrukas en stor del av den energin för att återupprätta sammanhanget. Upprepade förklaringar, projektåterinföranden och sammanhangsdumpning i början av varje session är slösad beräkning.

Minne är vad som gör ett verktyg till en medarbetare

AI-assistenterna har ingen beständig minnesförmåga som standard. Det skulle inte ha någon betydelse om vi använde AI som en miniräknare: mata in ett nummer, få ett resultat, gå vidare.

Men de flesta människor använder det inte på det sättet längre. De har långa, iterativa, djupt kontextuella samtal med AI – bygger saker över veckor eller månader, utvecklar ett gemensamt språk, beslut och historia. Mängden sammanhang som AI kan ha i åtanke vid varje given tidpunkt kan variera beroende på prenumerationsnivån.

Hittills har AI visat sig vara ett underbart verktyg, men sedan de tidiga utvecklingsstadierna har den strävat efter att betraktas som en kamrat. Den ambitionen kräver minne. Utan det kommer framstegen att fortsätta att återställas.

Beständig minne förändrar vad AI kan göra i praktiken. En utvecklare får en AI som behåller arkitektbeslut och resonemanget bakom dem. Ett team får en som känner till projektets historia utan att behöva återupprätta den. En författare får en som har ackumulerat kunskap om sitt arbete över tid. Förmågan hos modellen är mindre viktig än om den faktiskt kan ackumulera kunskap om den person som använder den.

Varför detta har varit svårt att lösa

Utanför utmaningen ligger inte bara lagring utan återvinning. I teorin kan du mata in varje tidigare samtal i en ny session. Men det blir snabbt beräkningsmässigt absurt. Kontextfönster, även om de utvidgas, är inte oändliga. Att dumpa månader av ostrukturerad chatt i en prompt är inte bara ineffektivt utan också tids- och energikrävande.

Paras Pandey, en dataingenjör, beskriver kärnsvårigheten på ett enkelt sätt: “AI-minne är i själva verket ett problem med återvinningsfidelitet som maskeras som ett lagringsproblem. Du kan behålla allt, det svåra är att hämta rätt skiva av det vid inferenstid utan att hallucinera luckorna. Det är ett svårare problem av det vi har löst i datasystem under åren, och fältet är fortfarande i ett tidigt skede.”

Nuvarande tillvägagångssätt för AI-minne innebär att systemen får bestämma vad som är värt att komma ihåg. Men att låta AI bestämma vad som är viktigt kastar ofta bort exakt den subtila kontext som gjorde den ursprungliga utbytet värdefullt. Du behåller den allmänna idén men förlorar hela samtalet där du förklarade dina specifika bekymmer och de alternativ du övervägde och avvisade.

Den ideala scenariot vore att göra rätt information tillgänglig vid rätt ögonblick.

MemPalace anländer

Detta är exakt det problem som MemPalace, ett nyligen släppt öppen källkodsprojekt, siktar på att lösa. Istället för att sammanfatta eller kasta bort lagrar det samtal i sin helhet och bygger en navigerbar struktur runt dem, inspirerad av den antika grekiska tekniken med minnespalatset, där talare mentalt placerade idéer i specifika rum i en föreställd byggnad för att komma ihåg dem senare.

Vad som gör MemPalace anmärkningsvärt är inte bara tillvägagångssättets elegans. Det är resultaten. I standardakademiska benchmark-tester för AI-minnesåtervinning har MemPalace publicerat de högsta poängen som någonsin publicerats för ett fritt system, och det gör det medan det körs helt på din egen maskin, utan prenumeration, molnberoende eller extern API.

Konkurrerande kommersiella tjänster tar betalt med allt från 20 till 250 dollar i månaden för jämförbar och ofta sämre funktionalitet.

Den kombinationen av toppklassprestanda, fullständigt lokalt och helt gratis är ovanlig nog att vara värd att uppmärksamma. Och eftersom det körs på din maskin istället för på fjärrservrar är varje fråga du dirigerar genom MemPalace en som inte bidrar till den växande energiförbrukningen inom datacenterindustrin.

Den större bilden

MemPalace är ett projekt, men det pekar på något större: erkännandet att beständig minne inte är en premiumtillägg till AI-system, utan en grundläggande prestation för de nya användningsområdena för AI.

Projektet byggdes av ett litet team, Milla Jovovich (ja, skådespelerskan från Resident Evil), Ben Sigman och Claude, och är listat som att ha endast sju commits.

Att ett system som överträffar kommersiella produkter med dedikerade ingenjörsteam kom från ett sådant litet arbete säger något om var den verkliga svårigheten ligger.

Problemet var inte datorer eller resurser. Det var en tydligare modell av vad minne faktiskt behöver göra.