가장 어려운 AI 보안 문제들이 이제 모델 외부에 존재한다

2026 OWASP Top 10 for LLM Applications은(는) 생산 AI의 성숙도를 비추는 중요한 시각을 제공한다. 이는 중요한 변화를 포착한다: 업계가 샌드박스를 넘어 실제 환경 통합의 복잡성과 씨름하고 있다.

LLM을 기업 도구와 워크플로에 연결하면 위협 표면이 근본적으로 변한다. 권한 및 자원 활용과 관련된 위험은 훨씬 더 억제하기 어려워진다. 동시에, 부적절한 출력 처리와 같은 취약점은 전면에서 물러나고 있는데, 이는 해결되었기 때문이 아니라 다른 문제가 전면으로 떠올랐기 때문이다.

OWASP Top 10 순위가 이러한 진화를 반영한다. “Excessive Agency”(과도한 에이전시)는 6위에서 3위로 상승했으며, “Unbounded Consumption”(무제한 소비)은 6위로 올랐다. 반대로, “Improper Output Handling”(부적절한 출력 처리)은 10위로 떨어졌다.

이는 출력 처리 위험을 감소시키는 것이 아니다. LLM 응답이 엄격한 검증 없이 셸이나 데이터베이스에 도달하면 전통적인 인젝션 결함이 지속된다. 그러나 패러다임이 바뀌었다. 에이전시 시스템에서는 모델의 응답이 최종 목적지가 아니라 권한을 담은 입력이다. 모델이 자격 증명을 보유하거나 API와 상호 작용할 때, 그 출력은 서로 다른 시스템에서 동작을 트리거할 수 있는 벡터 역할을 한다.

보안 과제는 이제 단순히 모델을 평가하는 것이 아니라 추론 이후에 일어나는 일의 경계를 정의하는 것이다. 귀하의 아키텍처가 환상이 텍스트에 머무르는지, 아니면 무단 데이터베이스 변형으로 나타나는지를 결정한다.

순위는 피해에 따라 결정된다

OWASP는 7,714건의 사고를 활용했으며, 75%는 커뮤니티 합의에, 25%는 실증적 사고 데이터에 기반한다. 이 근거는 우선순위의 실제 재정렬을 강요했다.

“Excessive Agency”(과도한 에이전시)가 상승한 이유는 실제 운영 환경이 이론에 맞춰잡혔기 때문이다. 조직들은 필요한 제어 평면을 구축하는 것보다 자율 기능 배포를 더 빠르게 가속화하고 있다. 핵심 취약점은 모델이 제공하는 답변 자체가 아니라, 그 답변이 실행되는 권한 컨텍스트에 있다.

“Improper Output Handling”(부적절한 출력 처리)는 여전히 우려 사항이지만, DevOps 팀은 스키마 검증과 파라미터화된 쿼리를 통해 하위 시스템을 보호하는 역량이 성숙해졌다. 이는 기존의 애플리케이션 보안 관행이다.

하지만 에이전시는 다른 종류의 문제이다. 도구 호출은 구조적으로는 유효하지만 상황상 부적절할 수 있다. 모델이 승인된 함수를 부적절한 작업에 사용하거나 잘못된 리소스를 대상으로 할 수 있다. 정적 정화로는 의도를 판단할 수 없다. 이는 모델이 단독으로 수행해서는 안 되는 정교하고 상황 인식이 가능한 권한 부여를 필요로 한다.

모든 도구를 노출된 기능으로 취급하라

많은 팀이 도구 정의를 단순히 통합 파이프라인으로만 생각한다. 이는 매우 우스꽝스럽고 근본적인 오류이다. 모든 도구, 커넥터, API 엔드포인트는 AI 애플리케이션의 영향 범위를 확대한다.

메일함을 요약하도록 설계된 에이전트를 생각해 보라. 구현이 쓰기 또는 삭제 기능을 포함하는 광범위한 커넥터를 사용한다면, 첫 프롬프트가 처리되기 전에 과도한 기능을 도입한 것이다.

최소 권한 원칙을 적용해야 한다:

• 인터페이스 축소: 일반 목적 커넥터 대신 읽기 전용 도구만 에이전트에 제공한다.
• 범위가 지정된 컨텍스트: 사용자의 OAuth 범위 아이덴티티 내에서 요청을 실행한다.
• Policy Enforcement Points (PEP): 모델과 하위 시스템 사이에 필수 미들웨어로 권한 부여 로직을 구현한다. 모든 행동은 실행 전에 정책에 따라 검증되어야 한다.
• Human-in-the-loop (HITL): 되돌리기 어렵거나 큰 물리적 영향을 미치는 작업에 대해 명시적인 승인을 요구한다.

이 접근 방식은 전달 파이프라인의 변화를 요구한다. 검토 프로세스는 모델을 넘어 도구 스키마, 서비스 아이덴티티, 권한 범위의 변화를 포함해야 한다. 모델 업데이트는 무해해 보일 수 있지만, 커넥터의 권한 컨텍스트 변경은 치명적인 취약점을 초래할 수 있다.

가시성은 양보할 수 없다. 특정 도구 실행, 권한 부여 아이덴티티, 그리고 대상 시스템에 발생한 변화를 기록해야 한다. 이 인계 사슬은 사고 대응에 필수적이며, 활성 프로세스를 중단하고 사고 후 감사 추적을 재구성할 수 있게 한다.

모든 자율 실행은 강제 중단이 필요하다

“Unbounded Consumption”(무제한 소비)이 급증한 이유는 요청량이 자원 위험을 평가하기에 부적절한 지표이기 때문이다. 하나의 간결한 프롬프트가 재귀적이고 자원 집약적인 도구 호출 체인을 촉발할 수 있다. 에이전트가 종료될 때까지 미터는 멈추지 않는다.

실행 속도가 인간의 대응을 앞설 때 단순 알림은 충분하지 않다. 에이전트의 제어 밖에 있는 결정론적이고 강력한 제한이 필요하다. 토큰 사용량, 경과 시간, 재귀 깊이, 누적 운영 비용에 대한 엄격한 상한을 구현한다. 실행이 이러한 파라미터를 초과하면 시스템은 실행을 종료하거나 제한해야 한다.

운영 범위에도 동일한 엄격함이 요구됩니다. 에이전트가 수정할 수 있는 레코드의 최대 수를 정하고 작업 전파의 경계를 정의하십시오. 아키텍처에 결정적인 “중지” 메커니즘이 없으면, 사실상 권한을 정의되지 않은 영역에 위임한 셈입니다.

잘못된 답변에 대비해 설계하기

시스템 엔지니어링은 본래 신뢰할 수 없는 구성 요소를 보호하기 위해 탄력적인 아키텍처에 의존해 왔습니다. 우리는 구성 요소 고장과 네트워크 불안정을 예상하고, 보안은 그 가정에서 파생됩니다. 완벽함이라는 착각이 아니라 그 가정에 기반합니다. LLM도 동일한 아키텍처 원칙이 필요합니다.

완벽한 모델 정렬을 전제로 보안 전략을 수립하지 마십시오. 악의적 악용이든 무해한 오해이든 실패를 가정하십시오. 에이전트의 기능을 절대 최소 수준으로 제한하고, 모든 하위 호출에 대해 엄격한 사용자 권한 컨텍스트를 유지하십시오. 무엇보다 정책 집행은 모델 외부에 존재해야 하며, 프롬프트 인젝션이나 추론 오류가 제어를 우회하지 못하도록 해야 합니다.

우리는 이제 프롬프트 인젝션을 취약점이라기보다 물리 법칙에 가깝게 바라봅니다. 언제나 존재할 것입니다. 모델 자체가 보안에 중요한 질문에 대한 효과적인 판단자를 할 수 없다는 것이 사실이죠. 제가 현재 구축 중인 실제 에이전트 프로젝트에서는 약 100개의 자동화된 “레드 팀” 테스트를 진행하고 있습니다. 모든 테스트를 통과하도록 하고 있죠. 하지만 이는 모델 외부에 강력한 제어 장치를 구축함으로써 가능합니다. 모델만을 켜고 통과/실패 비율을 확인하면, 가장 오래되고 약한 모델은 17%의 실패율을 보이고, 최신 대형 모델은 2%의 실패율을 보입니다. 큰 진전처럼 보이지만, 실패 하나가 민감한 데이터 유출을 의미한다면 98%가 충분할까요? 전혀 충분하지 않습니다.

고위험 작업은 가시적이고 감사 가능하며 이상적으로는 되돌릴 수 있어야 합니다. 모든 자율 실행에는 모델이 도달할 수 없는 불변의 가드레일이 필요합니다.

2026년 순위는 AI 실패가 실질적인 결과로 이어지는 지점을 명확히 보여줍니다. 모델이 실수를 일으킬 수는 있지만, 폭발 반경을 정의하는 것은 아키텍처입니다. 프로덕션 AI에서는 추론 후 파이프라인에서 가장 중요한 보안 작업이 이루어집니다.