MemPalace Milla Jovovich ma na celu rozwiązanie problemu pamięci AI

Miliony ludzi otwierają okno czatu codziennie i zaczynają tłumaczyć się sztucznej inteligencji (AI). Słucha uważnie, natychmiast generuje inteligentnie brzmiącą odpowiedź, a następnie, gdy sesja się kończy, zapomina każdy szczegół dotyczący interakcji.

Skala tego rytuału jest oszałamiająca. Sam ChatGPT obsługuje ponad jeden miliard zapytań dziennie, z ponad 800 milionami aktywnych użytkowników tygodniowo od późnego 2025 roku. Przyjęcie sztucznej inteligencji generatywnej osiągnęło ponad 16% światowej populacji, liczbę, która nie istniała znacząco trzy lata temu.

Ogromna infrastruktura z rosnącą ceną środowiskową wspiera ten model: amerykańskie centra danych zużyły 183 terawatogodzin prądu w 2024 roku, więcej niż 4% całkowitego zużycia kraju, czyli mniej więcej tyle, co roczne zapotrzebowanie na prąd w Pakistanie.

Ze względu na brak pamięci systemów AI, znaczna część tej energii jest tracona na ponowne ustanawianie kontekstu. Powtarzające się wyjaśnienia, reintrodukcje projektów i zrzuty kontekstu na początku każdej sesji to zmarnowana obliczeniowa moc.

Pamięć to to, co zmienia narzędzie w współpracownika

Asystenci AI nie mają domyślnie trwałej pamięci. Nie miałoby to znaczenia, gdybyśmy używali AI jak kalkulatora: wprowadź liczbę, otrzymaj wynik, idź dalej.

Ale większość ludzi nie używa go w ten sposób. Mają długie, iteratywne, głęboko kontekstualne rozmowy z AI – budują rzeczy przez tygodnie lub miesiące, rozwijają wspólny język, decyzje i historię. Ilość kontekstu, jaki AI może aktywnie utrzymywać w danym momencie, może się różnić w zależności od poziomu subskrypcji.

Do tej pory AI okazało się wspaniałym narzędziem, ale od wczesnych etapów rozwoju zmierzało ku byciu uważanym za towarzysza. Ta ambicja wymaga pamięci. Bez niej postęp będzie nadal resetowany.

Trwała pamięć zmienia to, co AI może robić w praktyce. Deweloper otrzymuje AI, które zachowuje decyzje architektoniczne i powody, dla których zostały podjęte. Zespół otrzymuje jeden, który zna historię projektu bez potrzeby ponownego briefowania. Pisarz otrzymuje jeden, który zgromadził wiedzę o swojej pracy w czasie. Możliwości modelu mają mniejsze znaczenie niż to, czy może naprawdę gromadzić wiedzę o osobie, która go używa.

Dlaczego to było trudne do rozwiązania

Wyzwanie nie polega tylko na przechowywaniu, ale na odzyskiwaniu. W teorii możesz wprowadzić każdą poprzną rozmowę do nowej sesji. Ale to szybko staje się obliczeniowo absurdalne. Okna kontekstowe, choć rozszerzające się, nie są nieskończone. Zrzucanie miesięcy nieustrukturyzowanego czatu do podpowiedzi nie tylko jest nieskuteczne, ale także czasochłonne i energochłonne.

Paras Pandey, inżynier danych, wyjaśnia trudność w prosty sposób: “Pamięć AI jest naprawdę problemem wierności odzyskiwania przebranym za problem przechowywania. Możesz przechowywać wszystko, trudna część polega na odzyskaniu odpowiedniej części w czasie inferencji bez halucynacji luk. To jest trudniejsza wersja tego, co rozwiązywaliśmy w systemach danych przez lata, a pole jest nadal wczesne”.

Bieżące podejścia do pamięci AI polegają na tym, że systemy decydują, co warto zapamiętać. Ale pozwalanie AI na decydowanie, co jest ważne, często wyrzuca dokładnie ten rodzaj nuansowanego kontekstu, który uczynił oryginalną wymianę cenną. Zachowujesz ogólny pomysł, ale tracisz całą rozmowę, w której wyjaśniłeś swoje szczegółowe obawy i rozważane oraz odrzucone alternatywy.

Idealny scenariusz polegałby na tym, aby odpowiednie informacje były dostępne w odpowiedniej chwili.

Wejdź do MemPalace

To właśnie ten problem jest celem MemPalace, niedawno wydanego projektu open-source. Zamiast podsumowywać lub wyrzucać, przechowuje rozmowy w pełni i buduje nawigowalną strukturę wokół nich, korzystając z starożytnej greckiej techniki pałacu pamięci, gdzie mówcy umieszczali pomysły w określonych pokojach wyobrażonego budynku, aby je później przypomnieć.

To, co sprawia, że MemPalace jest godny uwagi, nie jest tylko elegancja podejścia. To wyniki. W standardowych akademickich benchmarkach dla odzyskiwania pamięci AI, MemPalace osiągnął najwyższe wyniki kiedykolwiek opublikowane dla bezpłatnego systemu, a robi to, działając w całości na Twoim urządzeniu, bez subskrypcji, bez zależności od chmury i bez wymaganej zewnętrznej API.

Konkurujące usługi komercyjne pobierają od 20 do 250 dolarów miesięcznie za porównywalną, a często gorszą funkcjonalność.

To połączenie najlepszej klasy wyników, w pełni lokalnego i całkowicie bezpłatnego jest na tyle niezwykłe, aby zwrócić na to uwagę. A ponieważ działa na Twoim sprzęcie, a nie na zdalnych serwerach, każde zapytanie, które kierujesz przez MemPalace, jest tym, które nie dodaje do rosnącego rachunku za energię w branży centrów danych.

Szerszy obraz

MemPalace to jeden projekt, ale wskazuje na coś większego: uznanie, że trwała pamięć nie jest dodatkową funkcją premium do systemów AI, ale podstawową cechą dla nowych przypadków użycia AI.

Projekt został zbudowany przez mały zespół, Milla Jovovich (tak, aktorka z Resident Evil), Ben Sigman i Claude, i jest wymieniony jako mający tylko siedem commitów.

To, że system, który przewyższa produkty komercyjne z dedykowanymi zespołami inżynierskimi, pochodzi z tak szczupłego wysiłku, mówi coś o tym, gdzie leży prawdziwa trudność.

Problemem nie były komputery ani zasoby. Była to jaśniejsza wizja tego, czego tak naprawdę potrzebuje pamięć.