밀라 요보비치의 MemPalace, AI의 메모리 문제를 해결하기 위해 노력한다

수백만 명의 사람들이 매일 채팅 창을 열고 인공지능(AI)에 자신을 설명하기 시작합니다. 그것은 주의 깊게 듣고, 즉시 똑똑한 답을 생성하며, 세션이 끝나면 상호작용에 대한 모든 세부 정보를 잊어버립니다.

이 의식의 규모는 경이롭습니다. ChatGPT 단독으로 하루에 1억 개 이상의 쿼리를 처리하며, 2025년 말 기준으로 8억 명 이상의 주간 활성 사용자를 보유하고 있습니다. 생성적 AI의 채택은 세계 인구의 16% 이상에 도달했으며, 3년 전에는 의미 있게 존재하지 않았던 숫자입니다.

이 모델을 지원하는 거대한 인프라는 점점 더 높은 환경 비용을 초래합니다. 2024년 미국 데이터 센터는 183테라와트의 전기를 소비했으며, 이는 미국 전체 전기 사용의 4% 이상이며, 파키스탄의 연간 전기 수요와 거의 동일합니다.

인공지능 시스템의 메모리 부족으로 인해 에너지의 상당 부분이 컨텍스트를 재설정하는 데浪費됩니다. 반복되는 설명, 프로젝트 재도입, 세션 시작 시 컨텍스트 덤프는浪費된 계산입니다.

메모리가 도구를 협력자로 만드는 것입니다

인공지능 어시스턴트는 기본적으로 지속적인 메모리를 갖지 않습니다. 이것은 우리가 계산기처럼 인공지능을 사용한다면 문제가되지 않을 것입니다. 숫자를 입력하고, 결과를 얻고, 이동하면 됩니다.

하지만 대부분의 사람들이 더 이상 그렇게 사용하지 않습니다. 그들은 인공지능과 긴, 반복적인, 깊이 컨텍스트가 있는 대화를 나눕니다. 몇 주 또는 몇 개월에 걸쳐서 것을 구축하고, 공유 언어, 의사결정, 역사 등을 개발합니다. 인공지능이 특정 시점에 주의할 수 있는 컨텍스트의 양은 구독 티어에 따라 다를 수 있습니다.

지금까지 인공지능은 훌륭한 도구로 입증되었습니다. 그러나 초기 개발 단계에서부터 그것은 동반자로 간주되는 것을 목표로 했습니다. 그 야망은 메모리가 필요합니다. 그것 없이, 진행은 계속 재설정될 것입니다.

지속적인 메모리는 인공지능이 실제로 수행할 수 있는 것을 변경합니다. 개발자는 인공지능이 건축적 결정과 그 이유를 기억하는 것을 얻습니다. 팀은 프로젝트 기록을 알고 있는 것을 얻습니다. 작가는 인공지능이 시간이 지남에 따라 자신의 작업에 대한 지식을 축적한 것을 얻습니다. 모델의 능력은 그것이 실제로 사용자를 위해 지식을 축적할 수 있는지 여부보다 중요하지 않습니다.

왜 이것을 해결하기가 어려웠는지

도전은 단순히 저장이 아닙니다. 검색입니다. 이론적으로, 이전 모든 대화를 새 세션에 공급할 수 있습니다. 하지만それはすぐ에 계산적으로 불가능해집니다. 컨텍스트 창은 확장되고 있지만, 무한하지 않습니다. 몇 개월에 걸친 비정형 채팅을 프롬프트에 덤프하는 것은 효과적이지 않으며, 시간과 에너지를 소비합니다.

데이터 엔지니어인 파라스 판데이는 핵심 어려움을 단순히 이렇게 말합니다. “인공지능 메모리는 실제로 저장 문제로 가장된 검색 신뢰도 문제입니다. 당신은 모든 것을 지속시킬 수 있습니다. 어려운 부분은 추론 시간에 그중 올바른 조각을 검색하는 것입니다. 그것은 우리가 수년 동안 데이터 시스템에서 해결해온 것보다 더 어려운 버전입니다. 그리고 그 분야는 아직 초기입니다.”

현재의 인공지능 메모리 접근 방식은 시스템이 기억할 가치가 있는 것을 결정하도록 허용합니다. 하지만 인공지능이 중요하다고 결정하는 것은 종종 원래 교환에서 가치가 있었던 바로 그종류의 미묘한 컨텍스트를 버립니다. 당신은 일반적인 아이디어를 유지하지만, 당신의 특정 우려를 설명한 전체 대화와, 당신이 고려하고 거부한 대안을 잃어버립니다.

理想的な 시나리오는 올바른 정보를 올바른 순간에 찾을 수 있는 것입니다.

MemPalace 들어가기

이것은剛剛 MemPalace라는 최근에 발표된 오픈 소스 프로젝트가 목표로 하는 것입니다. 요약하거나 폐기하는 대신, 그것은 대화를 전체로 저장하고, 고대 그리스의記憶宮殿 기술에서 빌려온 탐색 가능한 구조를 구축합니다. 여기서 연사는 아이디어를 기억할 수 있도록 상상된 건물의 특정 방에 아이디어를 정신적으로 배치했습니다.

MemPalace가 주목할 만한 것은 접근 방식의 우아함뿐만 아니라 결과입니다. 표준 학술 벤치마크에서 MemPalace는 무료 시스템에 대해 지금까지 게시된最高의 점수를 기록했으며, 구독, 클라우드 종속성, 외부 API가 필요하지 않으면서도 사용자의 기계에서 완전히 실행됩니다.

경쟁 상업 서비스는 비교할 수 있는, 종종 더 나쁨의 기능성을 위해 월 20달러에서 250달러까지 청구합니다.

최상급의 성능, 완전히 로컬, 완전히 무료의 조합은 주목할 만한 가치가 있습니다. 또한 MemPalace는 원격 서버가 아닌 사용자의 하드웨어에서 실행되므로, MemPalace를 통해 라우팅되는 모든 쿼리는 데이터 센터 산업의 부풀어 오르는 에너지 계산에 추가되지 않습니다.

더 큰 그림

MemPalace는 하나의 프로젝트지만, 인공지능 시스템에서 지속적인 메모리가 프리미엄 추가 기능이 아닌 기본적인 특징임을 인식하는 것을 가리킵니다.

이 프로젝트는 밀라 요보비치(예, 레지던트 이블의 여배우), 벤 시그만, 클로드로 구성된 작은 팀에 의해 구축되었으며, 현재 7개의 커밋만 있습니다.

상업적 제품의 전용 엔지니어링 팀을 보유한 시스템을 상회하는 시스템이如此 얇은 노력에서 나왔다는 것은 실제로 어려움이 어디에 있는지에 대해 말해줍니다.

문제는 컴퓨터나 자원이 아니었습니다. 메모리가 실제로 해야 할 일을 더 명확하게 모델링하는 것이었습니다.