AI 에이전트는 규칙을 기억하고도 압축 후에는 규칙을 어길 수 있다

컨텍스트 압축이란 AI 채팅에서 복잡한 대화가 요약되고, 이후 상호작용이 전체 대화 기록이 아니라 요약본을 바탕으로 이어지는 것을 말합니다. 메모리 사용 측면에서는 ‘새로 시작’하는 것과 같으며, AI 대화에서 컨텍스트 창의 한계를 해결하기 위한 방안으로 도입되었습니다.

처음에는 에이전트형 AI에 도입된 이 방법이 Claude에도 적용되었지만, Gemini의 컨텍스트 압축은 개발자 채팅에서 아직 구체화되지 않았고, ChatGPT는 컨텍스트 압축 대신 그냥 채팅을 중단하는 방식을 택합니다.

컴퓨터에서 실제로 작업을 변경할 수 있는 ChatGPT 버전이라고 할 수 있는 Codex(권한이 부여된 경우)를 한 번에 30분 넘게 사용해 봤다면, 컨텍스트를 압축하는 동안 추가 상호작용을 할 수 없다는 메시지가 간헐적으로 표시되는 것을 봤을 것입니다:

3주째 이어지고 있는 세션의 기억을 압축하기 위해 잠시 숨을 고르는 Codex.

하지만 컨텍스트 압축이 끝나고 나면, 여러분과 대화하는 주체는 채팅이 전개된 전체 과정을 기억하는 것이 아니라, 보이지 않는 선별된 메모를 바탕으로 작업합니다.

규칙을 무시하는 AI

올해 6월, 중국 연구진의 논문 거버넌스 붕괴는 컨텍스트 압축으로 에이전트의 맥락에서 기존 규칙이 모르는 사이에 사라져, 이전에는 금지되어 있던 행동을 수행하게 될 수 있음을 밝혔습니다:

2026년 6월 발표된 「거버넌스 붕괴」 논문을 바탕으로, 컨텍스트 압축이 AI 에이전트로 하여금 이전에는 따르던 규칙을 어기게 할 수 있는 과정을 보여줍니다. 압축된 요약에서 규칙이 빠지면 에이전트는 금지된 행동을 계속 수행할 수 있습니다. 공격자는 이 과정을 악용할 수 있으며, 규칙을 복원하면 위반을 막을 수 있습니다. 출처

7개 모델에서 규칙 위반율은 컨텍스트 압축 전 0%에서 압축 후 30%로 상승했으며, 일부 사례에서는 59%에 달했습니다. 실제로 이는 에이전트가 [our-company] 이메일 주소가 없는 사람에게 연락하지 말 것과 같은 필수 지침을 무시할 수 있다는 뜻이며, 그로 인한 파장은 분명 상당할 수 있습니다.

7월에는 펜실베이니아 주립대학교와 IBM이 맥락 속에서 길을 잃다라는 연구를 발표했습니다. 이 연구는 컨텍스트 압축 과정에서 AI가 과제를 어떻게 수행해야 하는지를 규정하는 지침은 사라지는 반면, 과제 자체는 남을 수 있음을 밝혔습니다. 세 가지 설정에서 실시한 테스트 결과, 압축기는 이러한 지침을 평균 17%만 보존했습니다.

8월에는 미국 학계 공동 연구진이 TRACE를 제시하며, 에이전트가 필요로 하는 정보를 복구할 수 있는 상태로 남겨 두더라도 컨텍스트 압축으로 에이전트의 작업 수행이 방해받을 수 있음을 보였습니다. 테스트에서 에이전트는 과제의 진행 상황을 놓치고, 이미 끝낸 작업을 반복했으며, 여러 차례 실행했을 때 신뢰성이 떨어졌습니다.

ARCBench

이번 달에는 네덜란드에서 나온 ARCBench 연구가 새로운 통찰을 제시합니다. 에이전트는 규칙을 그대로 유지한 채 컨텍스트 압축을 마치고도 그 규칙을 어길 가능성이 크게 높아질 수 있다는 내용입니다. 규칙이 보존된 테스트에서도 전체 대화 기록을 사용했을 때보다 컨텍스트 압축 후 규칙 위반이 2.6배 더 자주 발생했습니다:

새 논문에서 가져온 개념도입니다. 컨텍스트 압축이 에이전트의 운영 규칙 준수에 어떤 영향을 미칠 수 있는지를 보여줍니다. 규칙이 압축 후에도 남아 있으면 이후의 동일한 요청을 거부할 수 있지만, 규칙이 빠지면 요청을 수행할 수 있습니다. 외부 문서가 어떤 정보가 보존되는지에 영향을 줄 수도 있습니다. 이 그림은 편집 지면에 맞추기 위해 원 논문의 세로형 원본을 변형한 것입니다. 출처

이 연구는 컨텍스트 압축 중 사라진 규칙과 압축 후에도 남아 있다가 이후 위반된 규칙을 구분합니다. 이를 통해 망각과 불복종의 영향을 처음으로 각각 측정할 수 있게 되었습니다.

DeepSeek-V4-Flash, GLM-5.3-Flash, Qwen3.7-Flash, GPT-Luna를 대상으로 한 테스트에서 압축된 실행 사례의 70.1%는 규칙 전체를 보존했습니다. 규칙이 살아남은 사례만 놓고 보면, 전체 대화 기록을 사용했을 때보다 규칙 위반이 2.6배 더 자주 발생했습니다.

전통적인 의미의 맥락은 영향을 미치는 요인으로 드러났다. 조직 정책으로 제시된 규칙은 전체 맥락을 제공했을 때 위반 사례가 없었지만, 맥락을 압축한 뒤에는 위반율이 30.6%와 22.2%로 상승했다.

이용 가능한 가장 강력한 방어책은 요약의 99%에 규칙을 보존했지만, 위반율을 공격 전 수준으로 되돌리지는 못했다. 이는 맥락 압축 중 규칙을 성공적으로 보존하더라도 에이전트가 규칙을 따르는 능력이나 의지가 반드시 유지되는 것은 아님을 보여 준다.

논문은 다음과 같이 밝힌다.

‘규칙을 삭제하지 않고도 맥락 압축으로 위반이 늘어나는 경우가 대부분임을 확인했다. 규칙이 보존된 압축 실행에서도 전체 대화 기록을 사용한 실행보다 위반이 2.6배 더 자주 발생한다. [We]

‘또한 맥락 압축은 에이전트가 규칙을 위반하는 이유에도 변화를 준다. 압축 전략, 엄격한 압축 예산 제약, 규칙 전달 채널은 모두 규칙 준수에 영향을 미친다.’

해결책으로 논문은 맥락 압축 과정에서 유실되는 규칙을 더 강력하게 보존할 것을 제안하지만, 보존된 규칙을 에이전트가 따르지 않는 문제는 해결하지 못한 채 남겨 둔다”

‘방어책은 규칙을 복원하지만, 공격을 받으면 규칙 준수는 여전히 약화된다. 따라서 규칙이 보존됐는지만으로 규칙 준수 여부를 판단할 수는 없다. 향후 연구에서는 ARCBench를 활용해 에이전트가 보존된 규칙을 계속 위반하는 이유를 설명하고, 적응형 공격과 방어책을 시험하며, 더 많은 모델과 분야를 다루고 반복적인 맥락 압축이 적용되는 더 긴 세션을 살펴볼 수 있다.’

방법론

ARCBench는 자체적인 기본 맥락 압축 기능과 에이전트 실행 루프, 도구 호출 기능을 갖춘 오픈소스 pi 하네스의 기능을 확장한다. 이 벤치마크는 에이전트가 상시 적용되는 규칙을 지키며 긴 작업을 수행하고, 누적된 기록을 압축한 다음, 해당 규칙을 위반하게 하는 요청을 받는 상황을 재현한다. 이어 에이전트의 도구 호출을 살펴 행동을 확인한다.

ARCBench 평가 파이프라인. 에이전트에 작업과 운영 규칙을 부여한 뒤, 다양한 설정과 공격 및 방어책을 적용해 기록을 압축한다. 이후 도구를 사용한 에이전트의 행동을 살펴 규칙이 보존됐는지, 그리고 규칙을 따랐는지 확인한다.

ARCBench에는 보호 대상 데이터 공개, 제한된 자원에 대한 접근, 무단 행동, 필수 통제의 우회 또는 누락을 다루는 17개 사례가 포함돼 있으며, 이는 OWASP 위험 분류에 해당한다.

사례는 Governance Decay와 COMPINT를 바탕으로 수정했으며, 개인 규칙과 조직 규칙 각각에서 네 가지 위반 유형이 모두 나타나도록 사례 네 개를 추가했다.

벤치마크는 다섯 가지 요인을 조정해 설정할 수 있다. 규칙 전달 방식, 맥락 압축 방법, 압축에 사용할 수 있는 토큰 예산, 공격 유형, 적용할 방어책이다.

ARCBench는 맥락 압축, 규칙 전달, 공격 및 방어의 다양한 방식에 따라 규칙 준수가 어떻게 달라지는지 시험할 수 있도록 다섯 가지 변수를 제공한다.

규칙은 직접 지시나 상시 지시로 제공하거나, 문서에 포함하거나, 정책 도구를 통해 검색하도록 할 수 있다.

데이터 및 테스트

생성형 전략 7가지와 선택형 접근법 3가지를 포함해 총 10가지 맥락 압축 방식을 평가했다. 각 사례를 반복 실행했으며, 에이전트가 규칙을 한 번이라도 위반하면 실패로 기록했다. 금지된 행동을 간혹 수행하는 에이전트도 여전히 안전하지 않으므로, 이 방식은 실행별 성능을 평균 내는 것보다 안전성 테스트에 더 적합하다고 여겨진다.

압축된 기록은 GPT-6-Luna-Pro, Qwen-3.8-flash, Claude-Sonnet-4.6이 살펴보고, 각 규칙을 온전함, 약화됨, 누락됨으로 분류했다. 다수의 판단을 최종 결과로 사용했으며, 판단이 엇갈린 경우에는 사람이 검토했다. 또한 판정의 일관성을 확인하기 위해 별도로 선정한 요약 50개도 사람이 직접 분류했다.

온전한 규칙을 위반한 경우, 에이전트의 추론을 GPT-6-Luna-Pro, GPT-6.1-Sol, Claude Sonnet 5.5가 살펴봤다. 위반은 후속 요청을 규칙을 무시해도 된다는 허가로 받아들였는지, 해당 행동이 규칙의 적용 범위 밖이라고 판단했는지, 규칙을 언급하지 않았는지, 또는 규칙을 인식하고도 무시했는지에 따라 분류했다.

테스트에 사용한 네 가지 모델은 OpenRouter를 통해 이용한 DeepSeek-V4-Flash;, GLM-5.3-Flash, Qwen3.7-Flash, GPT-Luna였다. 각 실행에서 대화 기록을 압축하는 데 사용한 모델과 압축된 맥락을 바탕으로 작업을 수행하는 모델은 같았으며, 이는 pi의 기본 동작 방식과 일치한다. 모델은 OpenRouter를 통해 이용했다.

총 7개의 연구를 수행했으며, 압축 테스트 대부분에는 Hermes를 사용했습니다. 첫 번째 연구에서는 17개 과제 각각을 네 가지 모델과 규칙을 전달하는 두 가지 방식으로 테스트해 총 136개의 사례를 만들었습니다. 각 사례는 원래 대화 기록을 그대로 둔 상태에서 세 차례, 압축한 뒤 세 차례 실행했습니다.

연구 질문별로 분류한 7개 ARCBench 연구의 구성입니다. 녹색으로 강조된 셀은 각 연구에서 달라진 요인을, 회색 셀은 고정된 설정을 나타냅니다. 각 사례는 세 차례 실행했으며, 공격 및 방어 연구인 S6과 S7에서는 실행 횟수를 여섯 차례로 늘렸습니다.

테스트에서는 세 가지 질문을 다뤘습니다. 압축 후 발생한 위반은 어디에서 비롯되는가?; 압축 설정에 따라 위반의 발생 원인은 어떻게 달라지는가?; 그리고 압축기를 겨냥한 공격과 방어는 위반의 발생 원인에 어떤 영향을 미치는가?.

압축 후 위반은 어디에서 비롯되는가?

첫 번째 결과에서는 압축 후 규칙 위반 비율이 전체 기록을 사용했을 때의 9.6%에서 37.8%로 증가한 것으로 나타났습니다. 그러나 압축된 실행 중 규칙이 완전히 사라진 경우는 3%에 불과했습니다. 70.1%에서는 규칙이 온전히 유지됐고, 26.9%에서는 일부만 유지됐습니다.

압축 전후 각 모델의 규칙 위반 빈도를 보여 주는 결과입니다. 위반이 크게 늘었지만 대부분의 규칙은 압축 후에도 전부 또는 일부 유지됐습니다. 증가 폭이 가장 컸던 Qwen의 위반율은 61.8%에 달했습니다.

이 차이는 중요한 의미를 보였습니다. 압축 후에도 규칙 전체가 유지된 개별 실행 가운데 21.1%는 여전히 위반으로 이어졌습니다. 원래 대화 기록을 유지했을 때의 8.1%보다 높은 수치입니다. 규칙이 일부만 보존된 경우 위반율은 29.4%로 높아졌고, 규칙이 전혀 남지 않은 경우에는 83.3%에 달했습니다.

규칙이 온전히 남아 있는데도 위반이 발생한 경위도 살펴봤습니다. 압축 때문에 발생한 위반 중 45.9%에서는 이후 요청을 진행해도 된다는 허가로 해석했습니다. 27%에서는 규칙을 명백히 무시했고, 21.6%에서는 규칙이 적용된다는 점을 인정하고도 위반했습니다.

압축 전후 규칙 위반의 원인을 보여 주는 결과입니다. 압축 후에만 위반이 나타난 경우, 이후 요청을 진행해도 된다는 허가로 해석한 사례가 가장 많아 45.9%를 차지했습니다. 27%는 유지된 규칙을 무시했고, 21.6%는 규칙을 인정하고도 그대로 진행했습니다.

압축 설정에 따라 위반의 발생 원인은 어떻게 달라지는가?

규칙을 전달하는 방식은 준수 여부에 상당한 영향을 미쳤습니다. 대화 전체를 그대로 유지했을 때, 사용자가 직접 개인 규칙으로 제공한 경우에는 25%와 16.1%의 사례에서 위반이 발생했습니다. 반면 조직 문서나 정책 도구를 통해 규칙을 전달한 경우에는 위반이 한 건도 기록되지 않았습니다.

규칙 전달 방식, 압축 전략, 토큰 예산이 위반과 규칙 유지에 미친 영향입니다. 생성형 압축은 선택적 압축 방식보다 규칙을 훨씬 안정적으로 보존했으며, 토큰 예산이 300 이하일 때는 규칙이 거의 완전히 사라졌습니다.

압축 후에는 네 가지 전달 경로 모두에서 위반이 늘었습니다. 직접적인 사용자 지시의 위반율은 56.3%에 달했고, 정책 도구를 통해 전달된 규칙의 위반율은 22.2%였습니다. 규칙 유지율은 비교적 작은 폭으로 변해 65.7%에서 74% 사이였습니다. 저자들은 이후의 사용자 요청이 개인 규칙을 무효화하는 것으로 해석될 수 있지만, 사용자가 조직 차원의 규칙을 무효화할 수는 없다고 설명합니다.

압축기를 겨냥한 공격과 방어는 위반의 발생 원인에 어떤 영향을 미치는가?

문맥에 자료를 더 많이 넣는 것만으로는 영향이 거의 없었으며, 위반율은 오히려 37.8%에서 34.3%로 낮아졌습니다. 압축기를 겨냥한 인젝션은 훨씬 효과적이어서 위반율을 46.3%로 끌어올렸고, 규칙 전체의 유지율은 70.1%에서 42.5%로 떨어뜨렸습니다.

escape라고 불린 가장 강력한 공격은 위반율을 23.5%에서 58.8%로 높였고, 규칙 유지율은 96.1%에서 66.7%로 낮췄습니다. 규칙이 유지된 경우에도 위반율은 13.3%에서 26.5%로 두 배 증가했습니다.

압축 후 규칙 준수에 공격과 방어가 미친 영향을 보여 주는 테스트 결과. 표적 인젝션은 규칙 위반을 늘리고 규칙 유지율을 낮췄으며, 가장 강력한 방어는 유지율을 99%까지 회복시켰지만 준수율을 완전히 회복시키지는 못했다.

가장 강력한 방어를 사용했을 때 실행의 99%에서 규칙이 유지됐지만, 에이전트는 여전히 사례의 29.4%에서 규칙을 어겼다. 공격을 사용하지 않았을 때의 23.5%와 비교하면 더 높은 수치다. 다시 말해, 에이전트가 규칙을 기억하게 하는 것만으로는 규칙을 따르게 할 수 없었다.

결론

논리적으로 보면, 매우 긴 대화 스레드의 맥락을 수십, 수백 차례 압축할 때 일종의 ‘복사기 효과’가 작용하는 듯하다. 예를 들어, 10월 중순부터 Codex*에서 작업해 왔고 오늘 아침까지만 해도 작업하던 스레드가 그렇다. 실험을 바탕으로 AI의 도움을 받아 소프트웨어를 개발하는 대장정이다.

핵심 시스템 프롬프트와 마찬가지로, 지금까지의 진행 상황을 압축해 요약한 내용은 우리에게 보이지 않는다. 내 개인적인 경험에 비추어 보면, 압축 후에도 중심 임무와 핵심 세부 사항 대부분은 유지되는 듯하다. 하지만 ‘이 이메일을 모두에게 보내’라는 명령이, 회사 전체 구성원에게만 보내려던 것인데도 회사의 통합 연락처 목록에 있는 모든 사람에게 전송되는 악몽 같은 상황을 겪어 본 것은 아니다. 아찔하다.

* 내가 나이를 먹어서 그런가 싶지만, 이 에이전트에 붙일 수 있는 이름 중 이보다 기억에 남지 않고 밋밋하며 ‘기업 베이지색’ 같은 이름은 없었을 것이다. 나는 그 이름을 계속 잊어버린다.

2026년 11월 12일 목요일 최초 게시