์ฌ์ ๋ฆฌ๋
๋ฐ๋ผ ์๋ณด๋น์น์ MemPalace, AI์ ๊ธฐ์ต ๋ฌธ์ ํด๊ฒฐ์ ๋ชฉํ๋ก
수백만 명의 사람들이 매일 채팅 창을 열고 인공지능(AI)에게 자신을 설명하기 시작합니다. 인공지능은 주의 깊게 듣고 즉시 똑똑한 대답을 생성한 다음, 세션이 끝나면 상호작용에 대한 모든 세부 정보를 잊습니다.
이러한 의식의 규모는 엄청납니다. ChatGPT만으로도 1억 개 이상의 쿼리를 처리하며, 2025년 말 기준으로 8억 명 이상의 주간 활성 사용자를 보유하고 있습니다. 생성형 AI의 채택은 전 세계 인구의 16% 이상에 달하며, 3년 전에는 이런 숫자가 존재하지 않았습니다.
이 모델을 지원하는 거대한 인프라는 점점 더 높은 환경 비용을 지불하고 있습니다. 2024년 미국 데이터 센터는 183테라와트의 전기를 소비했으며, 이는 미국 전체 전력 사용량의 4% 이상에 해당하거나 파키스탄의 연간 전기 수요와 거의 같습니다.
인공지능 시스템의 기억력 부족으로 인해 에너지의 상당 부분이 맥락을 재설정하는 데浪費됩니다. 반복되는 설명, 프로젝트 재소개, 세션 시작 시 맥락 덤프는 낭비된 계산입니다.
기억이 도구를 협력자로 만드는 것
인공지능 어시스턴트는 기본적으로 지속적인 기억력이 없습니다. 이것은 우리가 계산기처럼 인공지능을 사용한다면 문제가되지 않습니다. 숫자를 입력하고 결과를 얻고 이동하면 됩니다.
하지만 대부분의 사람들은 더 이상 그렇게 사용하지 않습니다. 그들은 인공지능과 긴, 반복적인, 깊이 맥락적인 대화를 나누며, 몇 주 또는 몇 개월 동안 것을 구축하고, 공유 언어, 결정, 및 역사를 개발합니다. 인공지능이 한 번에 활성화할 수 있는 맥락의 양은 구독 티어에 따라 다를 수 있습니다.
지금까지 인공지능은 훌륭한 도구로 입증되었습니다. 그러나 초기 개발 단계부터 인공지능은 동료로 간주되는 것을 목표로 했습니다. 이러한 야망을 실현하려면 기억력이 필요합니다. 기억력이 없으면 진행은 계속 리셋됩니다.
지속적인 기억력은 실제로 인공지능이 수행할 수 있는 것을 변경합니다. 개발자는 인공지능이 건축적 결정과 그 이유를 기억하는 것을 얻습니다. 팀은 프로젝트 기록을 알지 못하는 인공지능을 얻습니다. 작가는 시간이 지남에 따라 자신의 작품에 대한 지식을 축적한 인공지능을 얻습니다. 모델의 능력은 중요하지 않습니다. 중요한 것은 모델이 실제로 사용자를 사용하는 사람에 대해 지식을 축적할 수 있는지 여부입니다.
이 문제를 해결하기 어려운 이유
도전은 저장이 아니라 검색입니다. 이론적으로 이전 모든 대화를 새 세션에 제공할 수 있습니다. 그러나 이것은 빠르게 계산적으로 불가능해집니다. 컨텍스트 윈도우는 확장되고 있지만 무한하지 않습니다. 몇 개월 동안의 비정형화된 채팅을 프롬프트에 덤프하는 것은 효과적이지 않으며 시간과 에너지도 낭비입니다.
데이터 엔지니어인 파라스 판데이는 핵심 어려움을 간단하게 설명합니다. “인공지능 기억은 실제로 저장 문제로 가장되는 검색 신뢰도 문제입니다. 모든 것을 지속시킬 수 있지만, 추론 시간에 올바른 슬라이스를 검색하는 것이 어려운 것입니다. 이것은 수년 동안 데이터 시스템에서 해결하고 있는 더 어려운 버전입니다. 그리고 이 분야는 아직 초기입니다.”
현재 인공지능 기억 접근 방식은 시스템이 기억할 가치가 있는 것을 결정하도록 허용합니다. 그러나 인공지능이 중요하다고 결정하는 것을 허용하면 종종 원래 교환에서 가치 있는 맥락을 정확히 버립니다. 일반적인 아이디어는 유지되지만, 특정 우려 사항을 설명하고 고려 및 거부한 대안에 대한 전체 대화를 잃습니다.
이상적인 시나리오는 올바른 정보를 올바른 순간에 찾을 수 있는 것입니다.
MemPalace 들어가기
이것은剛剛公開된 오픈 소스 프로젝트인 MemPalace가 목표로 하는 문제입니다. 요약이나 폐기 대신에, MemPalace는 대화를 전체로 저장하고, 고대 그리스의 기억 궁전 기술에서 빌린, 탐색 가능한 구조를 구축합니다. 여기서 연사는 아이디어를 상상된 건물의 특정 방에 위치시켜 나중에 회상합니다.
MemPalace가 주목할 만한 것은 접근 방식의 우아함뿐만 아니라 결과입니다. MemPalace는 표준적인 학술 벤치마크에서 최고의 점수를 기록했으며, 무료 시스템으로는 최고의 점수를 기록했습니다. 또한 구독, 클라우드 의존성, 외부 API가 필요하지 않으며, 사용자의 기계에서 완전히 실행됩니다.
경쟁 상업 서비스는 비교할 수 있는, 그리고 종종 성능이 더 나쁜 기능에 대해 월 20달러에서 250달러까지 요금을 부과합니다.
이러한 최고의 성능, 완전히 무료, 완전히 로컬의 조합은 주목할 만한 가치가 있습니다. 또한 MemPalace는 원격 서버가 아닌 사용자의 기계에서 실행되므로, MemPalace를 통해 라우팅되는 모든 쿼리는 데이터 센터 산업의 부풀려진 에너지 계산에 추가되지 않습니다.
더 큰 그림
MemPalace는 하나의 프로젝트지만, 더 큰 것을 가리킵니다. 지속적인 기억력이 인공지능 시스템의 프리미엄 추가 기능이 아니라, 인공지능의 새로운 사용 사례에 대한 기본적인 성과라는 것을 인식합니다.
이 프로젝트는 밀라 요보비치, 벤 시그만, 클로드 등 소규모 팀에 의해 구축되었으며, 7개의 커밋만 있었습니다.
전문 엔지니어 팀을 보유한 상업 제품을 능가하는 시스템이如此 적은 노력으로부터 나왔다는 것은 실제 어려움이 어디에 있는지에 대해 말해줍니다.
문제는 컴퓨터나 자원이 아니었습니다. 기억이 실제로 해야 하는 것을 더 명확하게 모델링하는 것이었습니다.
