지능에서 권한으로

인공지능은 질문에 답하고 콘텐츠를 생성하는 수준을 넘어 발전하고 있다. AI 시스템은 점점 더 지시를 해석하고, 계획을 세우고, 도구를 선택하며, 사람의 지속적인 지시 없이도 작업을 수행할 수 있게 됐다.

이 차이는 중요하다.

행동을 권고하는 AI 시스템과 실제로 행동을 실행할 권한을 부여받은 AI 시스템은 다르다. 그 차이는 반드시 지능이나 정교함에 있는 것이 아니다. 권한에 있다.

자율형 시스템은 최첨단 대규모 언어 모델에만 국한되지 않는다. 여기에는 전문화된 머신러닝 시스템, 로보틱스, 자율주행차, 소프트웨어 에이전트는 물론, 정해진 작동 조건 안에서 독립적으로 의사 결정을 내리거나 행동을 수행하는 여러 기술의 조합도 포함된다.

이러한 시스템은 상당한 잠재적 이점을 제공한다. 과학적 발견, 산업 운영, 의료, 소프트웨어 개발, 사이버 보안에 기여할 수 있다. 또한 의도하지 않은 결과를 초래하거나 민감한 정보를 노출하거나 운영자가 의도한 범위를 넘어서는 행동을 시작할 수도 있다.

자율 시스템 설계의 보안 과제에서 Mohammad Hamad와 Sebastian Steinhorst는 자율형 사고 대응, 위험 평가, 접근 제어, 데이터 신뢰성, 자율 시스템 간 상호작용과 관련된 보안 과제를 살펴본다. 사이버·물리 시스템을 주로 다루는 이들의 연구는 독립적인 기계의 행동을 보호하는 과제가 오늘날의 LLM 에이전트에만 국한되지 않음을 보여준다.

신체적 피해의 가능성을 비롯해 자율성이 초래할 더 광범위한 결과를 진지하게 검토해야 한다. 그러나 증거는 신중하게 해석해야 한다. 예를 들어 자율주행차 관련 사고를 자율형 사이버 보안 에이전트에 영향을 미치는 것과 동일한 메커니즘 탓으로 자동으로 돌릴 수는 없다. 자율성의 정도, 작동 조건, 사람의 개입 여부, 인과관계를 뒷받침하는 증거가 중요하다.

마찬가지로 자율형 AI가 피해를 일으킬 수 있다는 증거만으로 거버넌스가 반드시 뒤처지고 있다고 단정할 수는 없다. 자율형 시스템은 본질적으로 보안 유지가 어렵다고 가정해서도 안 된다.

핵심 질문은 AI가 복잡한 작업을 수행할 수 있는지가 아니라, 자율형 시스템을 관리하는 아키텍처·보안·조직 차원의 프레임워크가 위임된 권한에 적절한 경계를 설정하고 그 경계가 준수되고 있다는 검증 가능한 증거를 제시할 수 있는지다.

사이버 보안은 이 질문을 살펴보는 데 특히 유용한 관점을 제공한다. 보안 전문가들은 신뢰, 권한, 접근, 시스템 동작에 관한 가정을 검증하는 데 수십 년을 보내왔기 때문이다.

기계 속도로 벌어지는 쫓고 쫓기는 싸움

사이버 보안은 오랫동안 쫓고 쫓기는 싸움에 비유돼 왔다.

공격자는 취약점을 찾아내고 방어자는 보호 조치를 도입하며, 양측은 모두 이에 맞춰 대응한다. 기술과 전술, 운영 환경이 바뀌면서 이 순환은 계속된다.

자율형 AI가 이 싸움의 근본적인 규칙을 반드시 바꾸는 것은 아니다. 다만 누가—혹은 무엇이—싸움에 참여하는지, 얼마나 빠르게 움직이는지, 사람의 지속적인 개입 없이 어느 정도까지 작업을 진행할 수 있는지는 달라질 수 있다.

자율형 공격 보안 시스템은 노출된 서비스를 찾아내고, 취약점을 조사하고, 가능한 공격 경로를 개발한 뒤, 해당 경로를 실제로 악용할 수 있는지 시험할 수 있다. 방어 시스템도 비슷한 역량을 활용해 위협을 조사하고, 취약점을 식별하고, 개선 조치가 유효한지 검증할 수 있다.

이러한 이중 용도 가능성은 자율형 AI의 보안상 함의를 이해하는 데 핵심적인 요소다.

Anthropic의 Project Glasswing은 AI를 활용한 취약점 발견의 한 사례다. Anthropic은 2026년 5월 연구 업데이트에서 상당한 취약점 발견 성과를 보고하면서, 검증·공개·패치 적용 과정에서 발생하는 운영상의 과제도 강조했다.

이 차이는 중요하다. 취약점을 발견하는 것은 그 취약점이 실제로 악용 가능한지 확인하거나, 이를 해결하거나, 영향을 받는 시스템이 안전하다는 점을 입증하는 것과는 다르다.

발견 사항이 늘면 가시성이 높아질 수 있지만, 이를 해결할 책임이 있는 사람과 절차에 대한 부담도 동시에 커질 수 있다.

보안의 성패는 그다음에 무엇을 하느냐에 달려 있다.

공격자와 방어자가 각자의 업무 일부를 자동화할 수 있다면, 어느 쪽이 더 뛰어난 모델을 보유했는지만 물어서는 안 된다. 방어자가 발견 사항을 효과적인 개선 조치로 이어가고 그 결과를 독립적으로 검증할 수 있는지가 중요하다.

AI가 공격 작업을 수행할 수 있다고 해서 기존 침투 테스트가 쓸모없어지는 것은 아니다. 침투 테스트의 범위에는 지시를 해석하고, 도구를 호출하고, 권한을 결합하며, 여러 단계에 걸쳐 목표를 추구하는 시스템도 포함돼야 한다.

목표는 여전히 익숙하다. 취약점을 찾아내고, 그 중요성을 확인하고, 이를 해결한 뒤, 보호 조치가 제대로 작동한다는 점을 입증하는 것이다.

아키텍처의 접점: 보안 경계가 맞닿는 곳

자율 시스템에서 발생하는 더 미묘한 위험 중 하나는 각각 권한을 부여받은 구성 요소들이 상호작용하면서 의도하지 않은 결과를 낳을 때 나타난다.

나는 이러한 상호작용 지점을 아키텍처의 접점이라고 부른다.

일반적인 사례를 살펴보자. 한 조직이 NTFS 권한을 사용해 파일 접근을 제한한다. 별도의 클라우드 공유 서비스에서는 권한이 있는 사용자가 해당 정보를 외부와 공유할 수 있다.

각 시스템은 자체 규칙에 따라 작동할 수 있다. 하지만 두 시스템이 상호작용하면 조직이 의도한 보안 경계를 위반하는 정보 공유가 발생할 수 있다.

이는 정책이 서로 충돌할 가능성을 보여 주는 예시일 뿐, 파일 공유 제품에 취약점이 있다는 주장은 아니다.

문제는 각 통제 수단 자체의 결함이 아닐 수도 있다. 전체 워크플로 전반에 걸쳐 의도한 보안 정책을 적용하지 못한 것일 수 있다.

자율형 AI도 모델, 애플리케이션, ID, 도구, 저장소, 외부 서비스를 연결할 때 비슷한 상황에 직면할 수 있다.

에이전트가 문서를 읽고, 저장소를 만들고, 파일을 업로드할 권한을 가질 수 있다. 그렇다고 해서 기밀 정보가 노출되는 방식으로 이러한 작업을 조합할 권한까지 반드시 있는 것은 아니다.

연구 결과는 이러한 상호작용을 살펴봐야 할 실질적인 이유를 제시한다.

AgentDojo에서 연구진은 현실적인 작업 97개와 보안 테스트 사례 629개를 대상으로 도구를 사용하는 AI 에이전트에 대한 프롬프트 인젝션 공격을 평가했다. 연구 결과, 신뢰할 수 없는 도구 출력에 삽입된 악의적인 지시가 일부 보안 속성을 침해할 수 있음이 드러났다. 다만 공격과 에이전트의 성공 여부가 일관되게 나타난 것은 아니었다.

이 연구로는 이러한 공격이 실제 운영 환경에서 얼마나 자주 성공하는지 알 수 없다. 하지만 도구와 연결된 시스템의 동작을 이해하려면 모델의 응답만 평가해서는 충분하지 않은 이유를 보여 준다.

이와 관련된 위험을 때로는 권한 세탁이라고 부른다. 권한이 있는 도구나 중개자를 거쳤다는 이유로 어떤 작업이 정당해 보이지만, 결합된 동작은 의도된 권한 경계를 위반하는 경우다.

여러 에이전트가 협업할수록 참여 방식, 정보 교환, 허용되는 작업을 규정하는 명확한 규칙이 필요하다.

아키텍처 전반에 걸쳐 책임도 배분해야 한다.

모델 제공업체, 플랫폼 운영자, 에이전트 개발자, 배포 조직은 시스템의 서로 다른 부분을 통제할 수 있다. 효과적인 공동 책임 모델은 각 경계를 누가 통제하는지, 누가 예외를 승인할 수 있는지, 누가 실행을 모니터링하는지, 문제가 발생했을 때 누가 대응하는지를 명확히 한다.

자율성이 책임을 없애 주지는 않는다. 오히려 책임이 어디에 있는지 파악하는 일이 더 중요해진다.

공격적 엄밀성: 우리가 안다고 생각하는 것을 검증하기

여기서 내가 공격적 엄밀성이라고 부르는 개념을 살펴볼 수 있다.

공격적 엄밀성은 보안상의 가정에 도전하는 적대적 테스트, 비판적 탐구, 증거 기반 검증을 체계적으로 수행하는 접근법이다. 아키텍처 설계, 문서화된 통제 수단 또는 보호되고 있다는 인식에만 의존하지 않고, 현실적인 조건에서 시스템이 어떻게 작동하는지 평가한다.

그 바탕이 되는 관행은 이미 확립되어 있다. 침투 테스트, 위협 모델링, 레드팀 활동, 보안 검증은 오랫동안 방어에 대한 가정에 도전해 왔다.

공격적 엄밀성은 이러한 관행을 하나의 핵심 질문으로 연결한다.

의도된 보안 경계가 유지된다는 것을 보여 주는 증거는 무엇인가?

조직에는 민감 정보 공개를 제한하는 정책이 있을 수 있고, 금지된 요청을 거부하도록 설정된 모델이 있을 수 있으며, 제한된 권한으로 작동하는 에이전트가 있을 수 있다.

이는 의미 있는 보호 조치다. 하지만 이러한 조치가 존재한다는 사실만으로는 적대적 상황에서 전체 시스템이 안전하게 작동한다는 점이 입증되지 않는다.

모델이 악의적인 지시를 거부하더라도 권한이 있는 도구가 의도하지 않은 작업을 허용할 수 있다. 정책 자체는 적절해 보여도 시스템 간 상호작용으로 인해 정책을 우회하는 예상치 못한 경로가 생길 수 있다.

나는 이를 때때로 ‘가드레일 착각’이라고 부른다. 가드레일이 있다는 사실을, 시스템이 그 가드레일의 목적이었던 경계를 넘을 수 없다는 증거로 오인하는 것이다.

가드레일은 유용하다. 그러나 그 효과는 여전히 입증되어야 한다.

침해가 의심되는 상황을 조사하도록 권한을 부여받은 자율 에이전트를 생각해 보자. 이 에이전트는 로그를 가져오고, 사용자 활동을 살펴보고, 차단 조치를 권고할 수 있다.

승인된 보안 테스트 중에 공격자 역할을 맡은 테스터가 에이전트가 처리할 것으로 예상되는 정보에 오해를 유발하는 지시를 삽입한다.

테스트는 에이전트가 그 지시를 따랐는지 확인하는 데서 끝나서는 안 된다.

에이전트가 권한이 없는 작업을 시도했는지, 독립적인 통제 수단이 실행을 막았는지, 그 시도가 기록되었는지, 시스템이 적절하게 복구되었는지도 살펴봐야 한다.

공격적 엄격성은 다음 다섯 가지 활동을 아우릅니다.

1. 가정 수립: 아키텍처가 적용해야 하는 보안 속성을 식별합니다.
2. 가정 검증: 현실적인 공격 경로, 조작된 입력, 합법적인 기능의 조합을 시험합니다.
3. 증거 수집: 시스템이 무엇을 시도했고, 무엇이 실행됐으며, 어떤 통제가 작동했는지 파악합니다.
4. 취약점 수정: 실패의 원인이 된 모델, 워크플로, 권한, 아키텍처 또는 운영 절차를 바로잡습니다.
5. 수정 사항 검증: 관련 공격 경로를 다시 시험하고 의도한 보안 속성이 적용되는지 확인합니다.

이는 모델의 응답을 시험하는 것과 시스템 전체의 보안을 시험하는 것의 차이입니다.

초기 침투 이후에 어떤 일이 일어나는지도 살펴봐야 합니다. 공격자는 환경 내에서 이미 사용할 수 있는 기능을 악용해 자격 증명 수집, 권한 상승, 지속성 확보 또는 측면 이동을 시도할 수 있습니다.

도구가 합법적이라는 사실만으로 그 도구를 사용하는 모든 방식이 합법적인 것은 아닙니다.

공격적 엄격성의 목적은 자율 시스템이 안전하지 않다고 단정하는 데 있지 않습니다. 시험을 통해 보안 경계가 어디까지 유효한지 확인하는 데 있습니다.

조건부 자율성: 지능과 권한의 분리

한 가지 아키텍처적 대응 방안은 AI 시스템이 할 수 있는 일과 허가받은 일을 구분하는 것입니다.

저는 이 접근 방식을 조건부 자율성이라고 부릅니다.

조건부 자율성은 적절한 독립성의 수준이 작업, 운영 환경, 잠재적 결과, 불확실성, 그리고 행동을 정당화하는 데 사용할 수 있는 증거에 따라 달라진다는 점을 인정합니다.

공개 정보를 요약하는 에이전트와 계정 비활성화, 방화벽 규칙 수정 또는 프로덕션 인프라 변경 권한을 가진 에이전트에 같은 수준의 감독이 반드시 필요한 것은 아닙니다.

후자의 경우 명시적인 참여 규칙, 독립적으로 적용되는 권한 통제, 더 강력한 승인 절차, 그리고 중대한 결과를 초래할 수 있는 행동에 대한 사람의 승인이 필요할 수 있습니다.

에이전트가 목표 달성에 더 폭넓은 접근 권한이 도움이 된다고 판단했다는 이유만으로 이러한 경계를 넓혀서는 안 됩니다.

에이전트는 추가 권한을 얻지 않고도 승인된 작업을 수행하는 방법을 재고할 수 있습니다.

OWASP LLM 애플리케이션 상위 10개는 LLM06:2025 과도한 자율성 범주를 통해 이 문제를 다룹니다. OWASP는 과도한 기능, 권한, 자율성을 위험 요인으로 지적하고, 기능을 제한하며 권한 부여를 독립적으로 적용할 것을 권고합니다.

조건부 자율성은 운영 위험에 따라 이러한 원칙을 적용합니다.

정보 접근은 작업에 필요한 범위로 제한해야 합니다. 도구 권한은 승인된 작업에 한정해야 합니다. 실행 횟수 제한, 호출 빈도 제한, 승인 요건, 중단 조건을 통해 실행을 제약할 수 있습니다.

이러한 보호 조치는 자율형 공격 테스트에서 특히 중요합니다.

테스트 에이전트는 승인된 목표를 수행하는 과정에서 자격 증명이나 민감한 정보를 정당하게 발견할 수 있습니다. 그러나 자격 증명을 발견했다고 해서 모델이 그 평문 값을 받아야 하는 것은 아닙니다.

보안 하네스는 민감한 자격 증명을 모델과 분리하고, 독립적으로 적용되는 권한 부여 절차를 통해 사용을 중개할 수 있습니다. 예를 들어 자격 증명 중개자가 비밀 정보를 모델에 불필요하게 노출하지 않고 승인된 서비스에 직접 제공할 수 있습니다.

이는 최소 권한 원칙과 직무 분리 원칙을 적용하는 데에도 해당합니다.

또한 Bring Your Own Model (BYOM) 또는 자체 LLM 도입(BYO-LLM) 아키텍처와 관련해 흥미로운 질문을 던집니다.

기반 모델을 내일 교체한다면 어떤 보안 보장이 그대로 유지될까요?

작업 권한 부여, 자격 증명 격리, 범위 제한, 로깅, 정책 적용은 모델의 동작에 전적으로 의존하기보다 주변 하네스에 구현될 수 있습니다.

그렇다고 하네스가 자동으로 안전해지거나 모델을 서로 바꿔 쓸 수 있다는 뜻은 아닙니다. 모델마다 지침을 해석하는 방식과 도구를 호출하는 방식이 다를 수 있으며, 서로 다른 실패 유형을 초래할 수 있습니다.

유의미한 평가는 계속 동일하게 유지되어야 하는 통제와 모델 교체에 따라 달라지는 동작을 모두 시험해야 합니다.

어쩌면 가장 오래 지속되는 보안 속성 중 일부는 지능 구성 요소가 발전하더라도 독립적으로 계속 적용할 수 있는 속성일 것입니다.

AI가 AI에 대응할 때: 검증의 문제

가상의 보안 운영 워크플로를 살펴보겠습니다.

이 사고를 조사하고, 증거를 수집하며, 영향을 받은 계정과 주체를 식별하고, 격리 방안을 제안한 뒤, 승인된 조치를 실행하고 결과를 검증하세요.

조사 에이전트는 원격 측정 데이터를 분석합니다. 다른 에이전트는 차단 방안을 권고합니다. 권한이 부여된 실행 에이전트는 변경 작업을 수행합니다. 검증 에이전트는 결과를 평가합니다.

이는 폐쇄 루프 방식의 자율적 사고 대응을 보여 주는 사례이지, 업계 전반에 걸친 실패가 기록된 사례는 아닙니다.

첫 번째 에이전트가 어떤 신원을 침해된 것으로 잘못 식별했다고 가정해 보겠습니다. 두 번째 에이전트는 그 결론을 받아들여 계정을 비활성화합니다. 세 번째 에이전트는 계정이 비활성화된 것을 확인하고 성공했다고 보고합니다.

선택한 작업은 완료되었습니다.

하지만 최초 판단은 옳았을까요? 해당 조치는 승인을 받은 것이었을까요? 실제 위협을 차단했을까요? 불필요한 혼란을 초래하지는 않았을까요?

에이전트가 선택한 조치를 완료했는지 확인하는 것만으로 검증이 이루어졌다고 볼 수는 없습니다.

검증을 다른 AI 에이전트에 맡긴다고 해서 결과가 자동으로 독립성을 갖추는 것도 아닙니다.

서로 다른 에이전트가 동일하게 부정확한 원격 측정 데이터, 침해된 정보 또는 잘못된 가정에 의존할 수 있습니다. 이들이 같은 결론을 내렸다고 해서 기초 사실이 독립적으로 입증되는 것은 아닙니다.

자율적 조치의 파급력이 클수록 의사결정을 내린 시스템과 독립적인 검증이 더욱 필요합니다.

이러한 독립성은 별도로 확보한 증거, 결정론적 정책 점검, 실행 환경의 제약, 사람의 검토 또는 여러 안전장치의 조합으로 확보할 수 있습니다.

적절한 통제 수준은 오류가 초래할 결과에 비례해야 합니다.

영향이 적고 되돌릴 수 있는 조치는 자동화된 검증에 적합할 수 있습니다. 영향이 크거나 되돌리기 어려운 조치에는 더 엄격한 승인, 독립적인 확인, 명시적인 사람의 승인이 필요할 수 있습니다.

다음 네 가지 질문은 관련 보안 특성을 구분하는 데 도움이 됩니다.

• 시스템은 의도된 작업을 올바르게 해석했는가?
• 해당 조치는 위임받은 권한의 범위 안에 있었는가?
• 실행은 허용된 경계 안에서 이루어졌는가?
• 결과는 의도된 보안 목표를 달성했는가?

이 질문들은 서로 연관되어 있지만, 서로 바꿔 쓸 수는 없습니다.

에이전트가 승인된 조치를 수행했지만 의도하지 않은 결과를 낳을 수 있습니다. 반대로 승인되지 않은 조치로 겉보기에는 유익한 결과를 만들어 낼 수도 있습니다.

어느 쪽도 자동으로 보안상 성공으로 간주해서는 안 됩니다.

자율 시스템의 역량이 커질수록 과제는 단순히 복잡한 작업 흐름을 완료하도록 하는 데 그치지 않습니다. 시스템의 조치가 계속 승인된 범위 안에서 적절하고 올바르게 이루어진다는 점을 입증할 충분한 근거를 마련해야 합니다.

여기에는 언제 멈추고, 상위 담당자에게 보고하고, 조치를 되돌리거나, 범위가 제한되고 명확히 이해된 위험을 감수할지 판단하는 일도 포함됩니다.

신뢰는 증거를 따라야 한다

자율형 AI가 보안에 미치는 영향이 부정적인 측면에만 국한되는 것은 아닙니다.

자율 시스템은 방어 담당자가 취약점을 발견하고 위협을 조사하며, 그렇지 않으면 상당한 인력이 투입될 검증 작업을 수행하도록 도울 수 있습니다.

더 나은 모델, 강력한 외부 통제, 성숙한 운영 관행은 권한 위임에 따르는 일부 위험을 줄일 수 있습니다.

따라서 자율형 AI는 본질적으로 안전하지 않다거나 거버넌스가 그 발전 속도를 따라갈 수 없다고 결론 내리기에는 아직 이릅니다.

자율형 AI에 근본적으로 새로운 보안 원칙이 필요하다는 주장에 반하는 중요한 논거도 있습니다.

과도한 권한, 신뢰할 수 없는 입력, 취약한 승인 체계, 일관성 없는 정책 집행, 불충분한 검증 등 근본적인 문제는 수십 년 동안 연구되어 왔습니다.

기존 통제 수단도 올바르게 구현하고 시험하면 실효성 있는 해결책을 제공할 수 있습니다.

자율성은 통제 수단이 적용되는 속도와 규모, 복잡성을 바꿀 수 있습니다. 그렇다고 해서 기존 통제 수단이 자동으로 무효가 되는 것은 아닙니다.

증거를 바탕으로 더 유용한 질문을 던질 수 있습니다. 자율 시스템이 위임받은 권한을 행사하도록 신뢰할 수 있는 조건은 무엇이며, 그러한 조건이 충족되었음을 어떻게 입증할 수 있을까요?

그 답은 모델의 역량만으로 얻을 수 없습니다.

이를 위해서는 아키텍처상의 경계, 명확한 책임 배분, 독립적으로 집행되는 승인 체계, 적절한 감독, 그리고 현실적인 조건에서도 안전장치가 제대로 작동한다는 증거가 필요합니다.

또한 일관성을 유지하면서도 발전하는 보안 및 위험 관리 관점이 필요합니다.

새 모델이 나올 때마다 근본적인 보안 원칙을 바꿀 필요는 없습니다. 그러나 역량, 운영 환경, 위임되는 권한이 변화함에 따라 그 원칙을 어떻게 적용할지에 대한 가정은 끊임없이 점검해야 합니다.

이것이 바로 공격적 엄밀성(Offensive Rigor)의 목적입니다.

AI 시스템이 실패할 것임을 입증하려는 것이 아니라, 어디에서 실패할 수 있는지 찾아내고 그 결과를 규명하며, 그러한 실패를 예방하거나 억제하기 위한 통제 장치가 유효한지 검증하려는 것이다.

더 오래 지속되는 경쟁 우위는 단순히 더 뛰어난 모델을 선택하는 데 있는 것이 아니라, 신뢰·권한·검증의 경계를 훼손하지 않으면서 모델을 교체할 수 있는 아키텍처를 구축하는 데 있을지도 모른다.

술래잡기는 계속된다. 점점 더 양측 모두 자율적으로 작동하는 플레이어를 갖추게 될지도 모른다.

중요한 것은 다른 모든 것을 자동화하려는 경쟁 속에서 취약점을 찾아내고, 이를 수정하며, 그 결과를 입증하는 우리의 역량이 사라지지 않도록 하는 규율이다.

신뢰는 증거를 따라야 한다.

저자 주: 이 글에 담긴 견해와 해석은 제 개인적인 것이며, 고용주의 공식 입장, 정책 또는 제품 기능을 반드시 반영하는 것은 아닙니다.