Anderson의 관점
AI에게 더 오래 기억하도록 가르치는 법

핵심 포인트C3라는 새로운 압축 방법은 AI 메모리를 위해 93%의 정확도를 유지하면서 긴 텍스트를 40배로 압축합니다.
더 보기
- C3라는 새로운 압축 방법은 AI 메모리를 위해 93%의 정확도를 유지하면서 긴 텍스트를 40배로 압축합니다.
- C3는 문장 끝에서 예측 가능하게 정확도가 저하되는 인간의 기억 방식을 모방하여, 표적 정확도 수정이 가능합니다.
- 이 직접적인 텍스트-잠재 공간 접근법은 광학적 방법을 능가하며, LLM이 전체 대화를 기억할 수 있도록 할 잠재력을 가지고 있습니다.
언어 모델은 대화의 시작 부분을 기억하지 못하는 경우가 많다. 새로운 텍스트 압축 기법은 이를 바꾸고 AI 채팅의 답답함을 크게 줄일 수 있다.
ChatGPT 같은 대화형 AI는 이전 대화 내용을 자주 놓치며, 같은 말을 반복하거나 이미 합의한 규칙을 무시하는 답을 내놓는다.
대규모 언어 모델(LLM)의 집중 능력이 제한되어 있기 때문이다. 이는 손전등이 겨냥한 곳과 주변 일부만 비추는 것처럼, 주의를 둘 수 있는 컨텍스트 창으로 정의된다.
이 제약에서 비롯된 ‘기억상실’을 해결하는 일은 언어 기반 AI 연구의 핵심 과제다. 이 문제는 유용하고 일관된 다중 턴 대화를 심각하게 제한하고, 의료와 법률처럼 정확성이 중요한 분야에서 LLM의 가치를 떨어뜨린다.
강력한 압축
중국의 새로운 연구†는 AI 모델을 실행하는 GPU의 제한된 자원 안에 훨씬 많은 텍스트를 담는 방법을 제안한다. 정확도 98%를 유지하면서 압축률을 20배 개선했다.

Context Cascade Compression(C3)은 입력을 최대 40배 줄여도 DeepSeek-OCR 같은 광학 기법보다 장문 문서를 정확히 복원한다. 다양한 문서 길이와 압축 설정에서 C3는 거의 완전한 충실도를 유지하지만 광학 방식은 고압축에서 급격히 저하된다. 출처
정확도 93%라는 실용 가능한 수준에서는 40배 압축도 가능하다.

기본 방식은 텍스트를 직접 토큰화해 많은 토큰을 사용한다. 광학 방식은 텍스트를 이미지로 바꾸고 Vision Transformer로 임베딩해 10배 압축한다. C3는 작은 언어 모델로 텍스트를 32개의 잠재 토큰에 담아 시각 인코딩 없이 40배 압축한다.
아주 긴 대화 전체를 압축해 채팅 후반에 배경 컨텍스트로 주기적으로 다시 주입하고 갱신할 수 있다는 뜻이다. 평소라면 LLM이 초기 사실을 잊고 기억상실 행동을 시작할 시점에도 맥락을 유지한다.
이는 손실 압축이지만 손실 방식도 유용하다. 새로운 기법은 정보를 전체에 무작위로 잃는 DeepSeek-OCR과 달리 문장의 끝부분에서 저하된다. 연구진은 실제 인간의 기억과 비슷하다고 설명한다.

위: 인간 기억은 데이터 흐름 끝에서 저하된다. 가운데: DeepSeek-OCR은 무작위로 저하되어 수정에 쓸 기준점이 없다. 아래: C3는 끝부분에서 저하되어 사후 처리로 정확도를 높일 단서를 제공한다.
어느 부분의 기억 신뢰도가 낮을지 예측하고 보완할 수 있으므로, 보정 후 100% 정확도와 함께 대화 회상 및 일관성을 크게 개선할 가능성이 있다.
새 방식의 이름은 Context Cascade Compression(C3)이다. 텍스트를 이미지로 압축하는 DeepSeek-OCR에서 영감을 얻었지만, 중형과 대형 언어 모델 두 개가 장문을 직접 잠재 임베딩으로 압축한다. 래스터 이미지를 거치는 부담을 없애 성능을 높였다.
C3의 성능은 근본적인 설계에서 비롯된다. DeepSeek-OCR의 성능 저하는 복잡한 레이아웃과 낮은 해상도의 이미지 흐림 같은 광학 경로 고유의 한계로 설명된다. C3는 텍스트 영역에서 직접 작동하므로 시각적 인공물의 영향을 받지 않는다. 텍스트를 픽셀로 렌더링하고 다시 인코딩하는 정보 손실을 피하며, 사전 학습 LLM의 의미 이해를 이용해 텍스트를 효율적인 잠재 표현으로 직접 증류한다.
논문 제목은 Context Cascade Compression: Exploring the Upper Limits of Text Compression이며 두 저자가 작성했다. C3는 GitHub 오픈 소스 저장소로도 제공되는 것으로 보인다.
방법
새 접근을 이해하려면 출발점인 광학 문자 인식(OCR)을 알아야 한다. OCR은 1920년대부터 존재했고 1990년대에 대중화된 패턴 인식 기법으로, 이미지 속 선택 불가능한 래스터 텍스트를 편집 가능한 텍스트로 변환한다.
DeepSeek-OCR 개발자들은 OCR을 중간 단계로 쓰면 표준 파이프라인보다 텍스트를 훨씬 더 압축할 수 있음을 발견했다. 텍스트 자체를 압축하는 대신 래스터화된 버전을 압축하면 잠재 임베딩 밀도를 높일 수 있다는 것이다.

DeepSeek-OCR 논문의 압축 파이프라인. OCR 구성 요소로 16×16 래스터 패치를 사용한다. 출처
새 논문은 광학 방식이 압축 향상의 원인을 잘못 해석했을 수 있다고 본다. 핵심은 텍스트를 이미지로 바꾸는 행위가 아니라 장황한 텍스트 토큰을 더 효율적인 잠재 표현으로 변환하는 데 있다는 주장이다.
이를 검증하기 위해 두 언어 모델을 사용하는 파이프라인을 만들었다. 작은 Qwen2.5 1.5B는 인코더로서 긴 구절을 소수의 잠재 토큰으로 압축하고, 큰 Qwen2.5 3B는 디코더로서 원문을 복원한다.

작은 Qwen2.5 1.5B가 학습 가능한 쿼리 임베딩으로 장문을 고정 길이 잠재 토큰으로 압축한다. 토큰과 프롬프트는 큰 Qwen2.5 3B로 전달되어 원문을 복원한다. 원래 토큰 수의 일부만으로 장문을 높은 충실도로 회상한다.
연구진은 사전 학습 Qwen2.5 1.5B에 학습 가능한 쿼리 임베딩을 도입했다. 긴 컨텍스트를 훨씬 작은 잠재 표현으로 증류하도록 안내하는 추상적 프롬프트다.
아키텍처를 변경하지 않고 장문과 쿼리 임베딩을 하나의 입력으로 넣는다. 모델의 자기 주의 메커니즘은 둘을 동일하게 처리해 새 계층 없이 고정 길이 잠재 컨텍스트를 만든다. 이 출력은 큰 모델로 넘어가 복원된다.
얼마나 많은 정보가 남았는지 평가하기 위해 디코더에 잠재 토큰과 “텍스트를 반복하라”는 프롬프트만 주고 원문을 정확히 재현하게 했다. 요약이나 바꿔쓰기가 아니므로 원문과의 차이는 압축에서 잃은 정보로 직접 추적할 수 있다.
데이터와 시험
저자들은 인터넷에서 얻은 100만 페이지의 OCR 자료로 자체 데이터셋을 구성했다고 밝혔다. 출처 세부 정보는 없고 의도적으로 모호해 보인다. 다만 데이터 엔지니어링과 선별은 필요하지 않았으며 다양한 길이의 샘플로 효과적으로 학습해 구조의 회복력과 일반화 가능성을 보여준다고 설명한다.
학습에는 각각 80GB VRAM을 갖춘 NVIDIA H800 GPU 8대, 총 640GB를 사용했다. GPU당 배치 크기는 2였고 16회 누적 단계로 전체 배치 256을 만들었다. 옵티마이저는 AdamW였으며 40,000단계를 수행했다.
C3는 DeepSeek-OCR 논문과 같은 Fox 벤치마크로 다양한 문서 길이에서 압축과 복원 정확도를 측정했다. 영어 텍스트는 Qwen 토크나이저 기준 600–1300토큰이었다.
공정한 비교를 위해 광학 기준선과 같은 64·100 잠재 토큰을 사용했고 한계를 알아보기 위해 32토큰도 시험했다. 모든 복원은 “텍스트를 반복하라”는 명령으로 시작했다.

64와 100 잠재 토큰으로 일곱 구간을 측정한 결과, 특히 높은 압축률에서 C3가 DeepSeek-OCR을 일관되게 앞섰다.
논문은 직접적인 텍스트-잠재 압축이 모든 조건에서 광학 압축을 크게 능가하며 고충실도 컨텍스트 압축의 새로운 최고 수준을 세웠다고 평가한다.
긴 문서에서 DeepSeek-OCR은 압축이 강해질수록 정확도가 떨어져 극단적인 경우 60% 아래로 내려갔다. C3는 입력을 원래의 20분의 1로 줄여도 약 98%를 유지했다.
가장 까다로운 시험에서는 전체 텍스트를 32토큰으로 줄였지만 많은 경우 정확도 약 99%로 거의 모든 내용을 복원했다.

거의 40배까지 줄이는 극단적 압축에서도 정밀도가 93% 이상 유지됐다.
입력을 약 40분의 1로 줄인 최대 압축에서도 93% 이상을 회상했다. 이전 광학 기법은 절반 수준의 압축에서도 약 60%로 떨어졌다.
C3는 시각 형식의 정보 병목과 인공물, 예를 들어 해상도 한계와 레이아웃 복잡성을 피하므로 정보 손실을 최소화하면서 극단적 압축을 부드럽게 처리한다. 공격적인 시험은 직접 텍스트-잠재 압축이 광학 방식보다 근본적으로 효율적이고 강력하다는 주장을 뒷받침한다.
저자들은 C3가 질의응답, 요약, 분석을 위해 책 전체, 방대한 법률 문서, 대규모 코드베이스를 처리하는 새 능력을 열 수 있다고 결론지었다.
결론
최근 접한 논문 가운데 핵심 아이디어가 가장 명확하고 이해하기 쉬운 편이며, ‘컨텍스트 창 문제’에 맞서는 또 하나의 유력한 방법이 될 수 있다.
많은 LLM 사용자는 ChatGPT가 중요한 정보를 오래 유지하지 못한다는 사실을 어렵게 배운 뒤, 긴 대화 중 핵심 정보나 지침을 주기적으로 다시 알려준다. 이 직관적 임시방편을 발전시키면, 긴 대화의 고압축 버전을 현재 LLM의 컨텍스트 창에 자동으로 주기적으로 재주입해 사실상 대리 기억을 만들 수 있다.
GPU 부족이 DRAM 같은 전통 메모리까지 가격 상승으로 이끄는 상황에서 AI 하드웨어 용량이 곧 크게 늘 가능성은 낮다. 따라서 1990년대 파일 압축의 발전을 떠올리게 하는 이런 혁신적 접근이 성능 향상에 필요할 수 있다.
무엇보다 LLM이 한 시간 이상 일관된 대화를 유지하고 애초에 무엇을 이야기했는지 기억할 수 있다면 매우 유용할 것이다.
* CLI 설치 안내는 있지만 직접 설치를 시도할 시간은 없었고 저장소의 코드가 완전한지도 확신할 수 없다.
† 두 저자는 Fanfan Liu와 Haibo Qiu로 기재됐다. 공개 정보에 따르면 Qiu는 Meituan 연구원이고 Liu는 중국과학원 석사과정 학생이다. 두 사람의 이력에는 아직 이 논문이 없다.
†† 저자들은 추가 정성 시험도 제시하지만 앞선 압축 시험보다 정보가 적어 여기서는 다루지 않았다.
2025년 11월 21일 금요일 최초 게시.












