밀라 요보비치의 MemPalace, AI의 기억 문제 해결을 목표로 하다

수백만 명이 매일 채팅 창을 열고 인공지능(AI)에게 자신을 설명하기 시작합니다. AI는 주의 깊게 듣고 즉시 똑똑하게 들리는 답변을 만들지만, 세션이 끝나면 그 상호작용의 모든 세부 사항을 잊습니다. 이 일상의 규모는 놀랍습니다. ChatGPT만 해도 하루에 10억 건이 넘는 질의를 처리하며, 2025년 말 기준 주간 활성 사용자는 8억 명 이상입니다. 생성형 AI의 도입률은 전 세계 인구의 16%를 넘는 수준에 도달했습니다. 3년 전에는 아직 의미 있는 도입 규모가 없었습니다. 이 모델을 뒷받침하는 거대한 인프라의 환경 비용은 계속 커지고 있습니다. 미국 데이터 센터는 2024년 183테라와트시의 전력을 소비했습니다. 이는 미국 전체 전력 소비량의 4% 이상으로, 파키스탄의 연간 전력 수요와 대략 비슷합니다. AI 시스템의 기억 부족 때문에 이 에너지의 상당 부분은 맥락을 다시 설정하는 데 낭비됩니다. 매 세션이 시작될 때 설명을 반복하고, 프로젝트를 다시 소개하고, 방대한 맥락을 입력하는 것은 연산 자원의 낭비입니다.

기억은 도구를 협력자로 바꿉니다

AI 어시스턴트에는 기본적으로 지속적인 기억이 없습니다. AI를 계산기처럼 사용한다면 상관없을 것입니다. 숫자를 입력하고 결과를 받은 뒤 다음 작업으로 넘어가면 되기 때문입니다. 하지만 대부분은 더 이상 그렇게 사용하지 않습니다. 사람들은 AI와 길고 반복적이며 풍부한 맥락을 가진 대화를 나누고, 몇 주 또는 몇 달 동안 무언가를 만들며, 공유하는 언어와 결정, 이력을 쌓습니다. AI가 어느 순간에든 활성 상태로 유지할 수 있는 맥락의 양은 구독 등급에 따라 달라질 수 있습니다. 지금까지 AI는 훌륭한 도구임을 입증했지만, 개발 초기부터 동반자로 여겨지는 것이 목표였습니다. 그 목표에는 기억이 필요합니다. 기억이 없으면 진전은 계속 초기화됩니다. 지속적인 기억은 AI가 실제로 할 수 있는 일을 바꿉니다. 개발자는 아키텍처 결정과 그 근거를 기억하는 AI를 얻게 됩니다. 팀은 다시 설명하지 않아도 프로젝트의 이력을 아는 AI를 얻게 됩니다. 작가는 시간이 지나며 그 작가의 작업에 관한 지식을 축적한 AI를 얻게 됩니다. 모델의 능력보다 중요한 것은 그것을 사용하는 사람에 대한 지식을 실제로 축적할 수 있느냐입니다.

이 문제를 해결하기 어려웠던 이유

문제는 단순한 저장뿐 아니라 정보 검색에 있습니다. 이론적으로는 이전의 모든 대화를 새 세션에 입력할 수 있습니다. 그러나 이는 곧 연산 측면에서 터무니없는 방식이 됩니다. 컨텍스트 윈도우는 커지고 있지만 무한하지 않습니다. 몇 달간의 비정형 채팅을 프롬프트에 쏟아 넣는 것은 비효율적일 뿐 아니라 시간과 에너지도 많이 듭니다. 데이터 엔지니어 파라스 판데이는 핵심 난점을 간단히 설명합니다. “AI 기억은 사실 저장 문제로 위장한 검색 충실도 문제입니다. 무엇이든 지속적으로 저장할 수는 있지만, 어려운 것은 추론 시점에 빈틈을 지어낸 정보로 메우지 않으면서 올바른 부분을 검색하는 일입니다. 이는 우리가 데이터 시스템에서 수년간 해결하려고 노력해 온 문제의 더 어려운 버전이며, 이 분야는 아직 초기 단계입니다.” 현재의 AI 기억 접근법은 시스템이 무엇을 기억할 가치가 있는지 결정하게 합니다. 그러나 AI에게 중요성을 판단하도록 맡기면 원래의 대화를 가치 있게 했던 미묘한 맥락을 버리기 쉽습니다. 일반적인 생각은 남지만, 구체적인 우려와 검토한 뒤 거부했던 대안들을 설명한 대화 전체는 사라집니다. 이상적인 상황은 올바른 정보를 필요한 순간에 찾을 수 있게 하는 것입니다.

MemPalace의 등장

최근 공개된 오픈 소스 프로젝트인 MemPalace는 바로 이 문제를 겨냥합니다. 대화를 요약하거나 버리는 대신 전체를 저장하고, 그 주위에 탐색 가능한 구조를 만듭니다. 이는 고대 그리스의 기억 궁전 기법에서 착안했습니다. 연설가들은 아이디어를 상상 속 건물의 특정 방에 머릿속으로 배치해 나중에 떠올렸습니다. MemPalace가 주목할 만한 이유는 접근법의 우아함만이 아니라 결과에 있습니다. AI 기억에서 정보를 검색하는 표준 학술 벤치마크에서 무료 시스템으로는 지금까지 발표된 최고 점수를 기록했습니다. 구독도, 클라우드 의존성도, 외부 API도 필요 없이 사용자의 컴퓨터에서 전적으로 실행하면서 이 성과를 냅니다. 경쟁 상용 서비스들은 비슷하거나 흔히 더 못한 기능에 매달 20~250달러를 청구합니다. 최고 수준의 성능, 완전한 로컬 실행, 전면 무료 제공이라는 조합은 주목할 만큼 이례적입니다. 원격 서버가 아니라 사용자의 하드웨어에서 작동하므로 MemPalace를 거치는 모든 질의는 데이터 센터 산업의 계속 커지는 에너지 사용 장부에 추가되지 않는 질의입니다.

더 큰 그림

MemPalace는 하나의 프로젝트이지만 더 큰 흐름을 가리킵니다. 지속적인 기억은 AI 시스템의 프리미엄 부가 기능이 아니라 새로운 AI 활용 사례를 위한 기본 기능이라는 인식입니다. 이 프로젝트는 밀라 요보비치(맞습니다. 레지던트 이블의 그 배우입니다), 벤 시그만, 클로드라는 작은 팀이 만들었으며, 기록에는 단 일곱 개의 커밋만 올라 있습니다. 전담 엔지니어링 팀을 가진 상용 제품들을 능가하는 시스템이 이처럼 적은 노력으로 나왔다는 점은 진짜 어려움이 어디에 있는지 보여 줍니다. 문제는 컴퓨터나 자원이 아니었습니다. 기억이 실제로 해야 할 일에 관한 더 명확한 모델이 필요했습니다.