Milla Jovovich’s MemPalace Aims to Solve AI’s Memory Problem

Milióny lidí otevřou denně okno pro chat a začnou vysvětlovat sami sebe umělým inteligencím (AI). Poslouchá pozorně, okamžitě generuje chytrě znějící odpověď a poté, když se relace ukončí, zapomene na každý detail o interakci.

Rozsah tohoto rituálu je ohromující. ChatGPT sám zpracovává více než jednu miliardu dotazů denně, s více než 800 miliony aktivních uživatelů týdně ke konci roku 2025. Adopce generativní AI dosáhla více než 16 % světové populace, číslo, které před třemi lety nemělo žádný význam.

Ohromná infrastruktura s rostoucí environmentální cenou podporuje tento model: datové centrum ve Spojených státech spotřebuje 183 terawatt-hodin elektřiny v roce 2024, více než 4 % celkové spotřeby elektřiny v zemi, nebo zhruba stejně jako roční poptávka Pákistánu po elektřině.

Vzhledem k nedostatku paměti systémů AI je velká část této energie vynaložena na znovuvybudování kontextu. Opakovaná vysvětlení, opětovné představení projektů a kontextové dumpování na začátku každé relace jsou zbytečnými výpočty.

Paměť je to, co promění nástroj na spolupracovníka

Asistenti AI nemají výchozí paměť. To by nebylo důležité, kdybychom používali AI jako kalkulačku: zadáte číslo, dostanete výsledek, pokračujte.

Ale většina lidí to nedělá. Mají dlouhé, iterativní, hluboce kontextové konverzace s AI – budují věci po týdnech nebo měsících, vyvíjejí sdílený jazyk, rozhodnutí a historii. Množství kontextu, které může AI aktivně mít na paměti v daném okamžiku, se může lišit v závislosti na úrovni předplatného.

Dosud se AI ukázala jako báječný nástroj, ale od raných fází vývoje se snažila být považována za společníka. Tato ambice vyžaduje paměť. Bez ní bude pokrok pokračovat v resetování.

Trvalá paměť mění, co AI může dělat v praxi. Vývojář získá AI, která uchovává architektonická rozhodnutí a důvody, proč je učinila. Tým získá jeden, který zná historii projektu, aniž by musel být znovu informován. Spisovatel získá jeden, který nahromadil znalosti o své práci po dobu času. Schopnost modelu záleží méně než to, zda může skutečně nahromadit znalosti o osobě, která ji používá.

Proč je toto těžké vyřešit

Výzvou není jen úložiště, ale i načtení. Teoreticky můžete krmit každou minulou konverzaci do nové relace. Ale to se rychle stává výpočetně absurdním. Kontextová okna, i když se rozšiřují, nejsou nekonečná. Dumpování měsíců nestrukturovaného chatu do podnětu není pouze neúčinné, ale také časově a energeticky náročné.

Paras Pandey, data inženýr, jasně uvádí jádro obtíží: “Paměť AI je ve skutečnosti problém s věrností načtení převlečený za problém s úložištěm. Můžete.persistovat cokoliv, obtížná část je načíst správný řez v době inference bez halucinace mezery. To je obtížnější verze toho, co jsme řešili v datových systémech po mnoho let, a toto pole je stále rané.”

Současné přístupy k paměti AI zahrnují umožnění systémům rozhodnout, co stojí za zapamatování. Ale umožnění AI rozhodnout, co je důležité, často zahazuje přesně ten druh nuancovaného kontextu, který učinil původní výměnu cennou. Uchováte obecnou ideu, ale ztratíte celou konverzaci, ve které jste vysvětlovali své konkrétní obavy a alternativy, které jste zvažovali a odmítli.

Ideální scénář by byl učinit správné informace dostupné ve správný moment.

Vstup MemPalace

Toto je přesně problém, na který MemPalace , nedávno vydaný open-source projekt, míří. Místo shrnutí nebo odstranění uchovává konverzace v plném rozsahu a buduje pro ně navigovatelnou strukturu, inspirovanou starověkým řeckým technikou paměťového paláce, kde rétoři mentálně umisťovali nápady do konkrétních místností imaginární budovy, aby si je později připomněli.

To, co činí MemPalace pozoruhodným, není jen elegance přístupu. Je to výsledky. Ve standardních akademických benchmarcích pro načtení paměti AI MemPalace dosáhl nejvyšších skóre, které byly kdy zveřejněny pro bezplatný systém, a to tak, že běží zcela na vašem počítači, bez předplatného, bez závislosti na cloudu a bez externího API.

Srovnatelné komerční služby účtují kdekoliv od 20 do 250 dolarů měsíčně za srovnatelnou a často horší funkčnost.

Tato kombinace špičkového výkonu, plně lokálního a zcela bezplatného je neobvyklá natolik, aby stála za pozornost. A protože běží na vašem hardwaru místo vzdálených serverů, každá dotaz, kterou směrujete přes MemPalace, je jedna, která nepřidává k narůstajícímu energetickému účetnictví průmyslu datových center.

Širší obraz

MemPalace je jeden projekt, ale ukazuje na něco většího: uznání, že trvalá paměť není přídavnou funkcí pro systémy AI, ale základním úkolem pro nové použití AI.

Projekt byl postaven malým týmem, Milla Jovovich (ano, herečkou z Resident Evil), Ben Sigman a Claude, a je uveden jako mající pouze sedm commitů.

To, že systém, který překonává komerční produkty s věnovanými inženýrskými týmy, pochází z tak štíhlého úsilí, říká něco o tom, kde leží skutečná obtíž.

Problém nebyl počítač nebo zdroje. Byla to jasnější model toho, co paměť vlastně potřebuje.