Milla Jovovichs MemPalace vil løse hukommelsesproblemet i AI

Millioner af mennesker åbner et chatvindue dagligt og begynder at forklare sig selv til kunstig intelligens (AI). Den lytter opmærksomt, genererer straks et klogt lydende svar og glemmer derefter, når sessionen er slut, hver enkelt detalje om interaktionen.

Omfanget af dette ritual er overvældende. ChatGPT alene håndterer over en milliard forespørgsler om dagen, med over 800 millioner aktive brugere om ugen pr. slutningen af 2025. Generativ AI-adoption har nået over 16% af verdens befolkning, mens der tre år tidligere endnu ikke var nogen nævneværdig udbredelse.

En enorm infrastruktur med en stigende miljømæssig pris understøtter denne model: Amerikanske datacentre forbrugte 183 terawatt-timer elektricitet i 2024, mere end 4% af landets samlede elforbrug, eller omtrent lig med Pakistans årlige elforbrug.

På grund af manglen på hukommelse hos AI-systemer, bruges en stor procentdel af denne energi på at genetablere kontekst. Gentagne forklaringer, projektgenindførelser og kontekstdumpninger i starten af hver session er spildt beregning.

Hukommelse er, hvad der gør et værktøj til en samarbejdspartner

AI-assistenter har ingen varig hukommelse som standard. Dette ville ikke have betydning, hvis vi brugte AI som en lommeregner: taste et tal ind, få et resultat, gå videre.

Men de fleste mennesker bruger det ikke på den måde længere. De har lange, iterative, dybt kontekstuelle samtaler med AI – bygger ting over uger eller måneder, udvikler fælles sprog, beslutninger og historie. Mængden af kontekst, som AI aktivt kan holde tilgængelig på et givet tidspunkt, kan variere afhængigt af abonnementsniveauet.

Hidtil har AI vist sig at være et vidunderligt værktøj, men siden de tidlige udviklingsfaser har det sigtet mod at blive betragtet som en samarbejdspartner. Denne ambition kræver hukommelse. Uden hukommelse vil fremskridtene hele tiden blive nulstillet.

Varig hukommelse ændrer, hvad AI kan gøre i praksis. En udvikler får en AI, der fastholder arkitektoniske beslutninger og begrundelserne bag dem. Et hold får en, der kender projektets historie uden at skulle genopfriskes. En forfatter får en, der har opbygget viden om forfatterens arbejde over tid. Modellens evner er mindre vigtige end, om den kan samle viden om personen, der bruger den.

Hvorfor dette har været svært at løse

Udfordringen er ikke kun lagring, men også informationssøgning. I teorien kan du indlæse alle tidligere samtaler i en ny session. Men det bliver hurtigt beregningsmæssigt absurd. Kontekstvinduer, selvom de udvides, er ikke uendelige. At dumpe måneder med ustruktureret chat ind i en prompt er ikke kun ineffektivt, men også tids- og energikrævende.

Paras Pandey, en dataingeniør, beskriver den centrale vanskelighed meget enkelt: “AI-hukommelse er i virkeligheden et problem med præcisionen i informationssøgningen forkledt som et lagringsproblem. Du kan lagre hvad som helst permanent; det svære er at hente det rigtige udsnit på inferenstidspunktet uden at udfylde hullerne med opdigtede oplysninger. Det er en sværere version af det, vi har arbejdet på at løse i datasystemer i årevis, og feltet er stadig i sin vorden.”

Nuværende AI-hukommelsesmetoder indebærer, at systemer beslutter, hvad der er værd at huske. Men at lade AI beslutte, hvad der betyder noget, kaster ofte præcis den nuancerede kontekst, der gjorde den oprindelige udveksling værdifuld, væk. Du beholder den generelle idé, men mister hele samtalen, hvor du forklarede dine specifikke bekymringer, og de alternativer, du overvejede og forkastede.

Den ideelle situation ville være at gøre den rigtige information tilgængelig på det rigtige tidspunkt.

MemPalace kommer på banen

Dette er præcis problemet, som MemPalace, et nyligt udgivet open-source-projekt, sigter mod at løse. I stedet for at sammenfatte eller kassere gemmer det samtaler i fuld udstrækning og bygger en navigabel struktur omkring dem, inspireret af den antikke græske teknik med hukommelsespaladset, hvor talere mentalt placerede ideer i bestemte rum i en forestillet bygning for at huske dem senere.

Hvad der gør MemPalace bemærkelsesværdigt, er ikke kun elegance i tilgangen. Det er resultaterne. I standard akademiske benchmarks for søgning i AI-hukommelse har MemPalace opnået de højeste score nogensinde offentliggjort for et gratis system, og det gør det, mens det køres helt på din egen maskine, uden abonnement, uden cloud-afhængighed og uden krav om en ekstern API.

Konkurrerende kommercielle tjenester opkræver mellem 20 og 250 dollars om måneden for sammenlignelige og ofte dårligere fungerende funktioner.

Denne kombination af ydeevne i topklasse, fuldt lokal drift og fuldstændig gratis brug er usædvanlig nok til at være værd at lægge mærke til. Og fordi det køres på din hardware i stedet for på fjerne servere, er hver forespørgsel, du sender gennem MemPalace, en, der ikke bidrager til det voksende energiregnskab for datacenterindustrien.

Det større billede

MemPalace er ét projekt, men det peger på noget større: anerkendelse af, at varig hukommelse ikke er en premium-tilføjelse til AI-systemer, men en grundlæggende funktion for de nye brugsområder for AI.

Projektet blev bygget af et lille hold, Milla Jovovich (ja, skuespilleren fra Resident Evil), Ben Sigman og Claude, og er listet som havende kun syv commits.

At et system, der overgår kommercielle produkter med dedikerede ingeniørteams, kom fra så begrænset en indsats, siger noget om, hvor den virkelige vanskelighed ligger.

Problemet var ikke computere eller ressourcer. Det var en klarere model for, hvad hukommelse i virkeligheden skal gøre.