사상 리더
AI 보안 표준이 멈추는 지점 — 그리고 런타임 보호가 시작되어야 하는 곳
AI의 보안 위험에 대한 모든 논의 속에서 간과되는 한 가지 문제는 이것입니다: AI 시스템이 가장 가치 있는 자산인 모델과 데이터를 노출시켜야만 기능한다는 사실입니다.
기존 소프트웨어와 달리 AI는 단순히 미리 정의된 로직을 실행하지 않습니다. AI는 종종 계산을 보호하도록 설계되지 않은 인프라 위에서, 독점 모델과 민감한 입력을 지속적으로 혼합하여 출력을 생성합니다.
이러한 방식으로 기존 보안은 부족합니다. 암호화는 데이터가 저장되거나 네트워크를 통해 전송될 때는 효과적이지만, 데이터가 처리되거나 연산될 때는 그렇지 않습니다. 특히 AI의 경우, 위험은 모델이 배포될 때 발생합니다. 모델의 파라미터는 메모리에 로드되고, 초기화되며, 대규모로 실행됩니다. 이는 암호화가 멈추는 지점으로, 잠재적인 무단 접근에 노출됩니다. 추론 과정에서 민감한 데이터는 동일하게 노출된 공간을 통해 흐릅니다. 결과는 매우 취약한 위험 표면입니다: 안전해 보일 수 있지만 가장 중요한 순간에 실제로는 보호받지 못하는 AI 시스템입니다.
미국 국립표준기술연구소(NIST), 유럽연합 사이버보안청(ENISA), 그리고 Open Web Application Security Project (OWASP)과 같은 표준 기구들이 이 영역을 규정하기 시작했습니다. 그들은 위험을 설명하고, 취약점에 이름을 붙이며, 거버넌스 원칙을 개요합니다. 그러나 실행이 시작된 후 지식 재산으로서의 모델과 기밀 자산으로서의 데이터를 어떻게 보호할지에 대해서는 규정하지 않습니다. 그 격차를 메우려면 AI 보안을 컴플라이언스 운동이 아닌 계산 자체의 문제로 재고해야 합니다. 바로 여기에 사용 중 암호화, 즉 종단간 암호화가 역할을 합니다.
현대 AI 보안의 사각지대
대부분의 AI 보안 대화는 여전히 익숙한 영역을 맴돕니다: 훈련 데이터 거버넌스, 접근 제어, API 모니터링, 그리고 책임 있는 사용자 정책. 이것들은 필요합니다. 그러나 이들 중 어느 것도 배포 후, 모델이 저장소를 떠나 살아있는 시스템이 될 때 일어나는 일을 다루지 않습니다.
일단 배포되면, 모델의 파라미터는 더 이상 추상적인 인공물이 아닙니다. 그것들은 메모리에 상주하는 살아있는 자산으로, 추론 중에 지속적으로 접근되며 종종 공유 AI 서비스를 통해 여러 테넌트나 고객이 사용합니다. 이 노출은 어떤 추론 요청이 이루어지기 전에 발생하므로, 민감한 입력과 외부에서 관찰 가능한 행동을 도입함으로써 위험을 증폭시킵니다.
모델 보호를 배포 전의 관심사로, 추론 보안을 런타임 관심사로 취급하는 것은 요점을 놓친 것입니다. 실제 시스템에서 이러한 위험은 중복됩니다. 모델과 데이터는 초기화, 실행, 출력 전반에 걸쳐 노출됩니다. 저장 제어로 시작하고 끝나는 보안은 이러한 노출을 해결하지 못합니다.
NIST가 옳은 점 — 그리고 멈추는 지점
NIST AI 위험 관리 프레임워크는 AI 위험을 관리하려는 조직들의 초석이 되었습니다. 거버넌스, 매핑, 측정, 관리라는 구조는 AI 라이프사이클 전반에 걸쳐 책임, 맥락, 영향, 완화에 대해 체계적으로 생각할 수 있는 방법을 제공합니다.
NIST가 특히 잘하는 것은 AI 위험을 우발적이기보다는 체계적인 것으로 규정하는 것입니다. AI 실패는 드물게 단일 지점 사건입니다; 그것들은 모델, 데이터, 사람, 인프라 간의 상호작용에서 발생합니다. 그런 규정은 필수적입니다.
프레임워크가 부족한 점은 시스템이 가동된 후 고가치 AI 자산이 어떻게 보호되어야 하는지를 규정하지 못한다는 것입니다. 모델 파라미터는 암묵적으로 런타임 자산이 아닌 설계 시점의 인공물로 취급됩니다. 실행 환경은 충분히 신뢰할 수 있다고 가정됩니다.
실제로 모델 파라미터는 종종 조직이 소유한 가장 가치 있는 지식 재산입니다. 그것들은 메모리에 로드되고, 노드 간에 복사되며, 캐시되고, 재사용됩니다. AI 위험 관리가 배포 및 실행 중 모델의 기밀성을 고려하지 못한다면, 중요한 자산이 위험 경계 밖에 남게 되어 표적이 됩니다.
ENISA와 AI 특정 위협의 현실
ENISA의 AI 사이버보안 작업은 대화를 더욱 발전시킵니다. 그들의 다층 프레임워크는 기존 인프라 보안과 AI 특정 위험을 구분하며, AI 시스템이 기존 소프트웨어와 다르게 행동하고 다르게 실패한다는 점을 인정합니다.
이것이 왜 중요할까요? AI는 기존 통제에 깔끔하게 맞지 않는 위협을 도입합니다: 모델 추출, 파라미터 유출, 공동 테넌시 노출, 실행 중 변조. 이러한 위험은 이국적인 공격자를 필요로 하지 않습니다. 고가치 모델이 공유되거나 외부적으로 관리되는 환경에서 실행될 때 자연스럽게 발생합니다.
ENISA의 프레임워크는 암묵적으로 AI 보안이 코드뿐만 아니라 행동을 보호하는 것을 의미한다고 인식합니다. 그러나 대부분의 표준과 마찬가지로, 모델이 실행 중일 때 기술적으로 보호가 어떻게 시행되는지가 아니라 무엇을 고려해야 하는지에 초점을 맞춥니다.
OWASP와 관찰 가능한 지능의 대가
OWASP의 대규모 언어 모델 애플리케이션 Top 10은 AI 시스템이 현실 세계에서 어떻게 무너지는지에 대한 더 구체적인 시각을 제공합니다. 프롬프트 인젝션, 민감 정보 공개, 임베딩 유출, 과도한 출력 투명성 — 이것들은 이론적인 우려가 아닙니다. 이것들은 모델이 드러내는 것을 제한하지 않고 강력한 모델을 배포할 때 생기는 부산물입니다.
이러한 문제들은 종종 애플리케이션 계층 문제로 규정되지만, 그 결과는 더 깊습니다. 모델 행동의 반복적 노출은 효과적인 복제로 이어질 수 있습니다; 제대로 격리되지 않은 임베딩은 구조를 드러낼 수 있습니다; 그리고 추론 남용은 모델 복제로 가는 경로가 됩니다.
OWASP의 분류법이 한 가지 분명히 하는 것은: AI 보호는 나쁜 입력을 막는 것만이 아닙니다. 그것은 모델이 가동된 후 내부적으로 그리고 외부적으로 노출하는 것을 제한하는 것입니다.
공유된 결론, 미완의 작업
NIST, ENISA, OWASP 전반에 걸쳐 기본 사항에 대한 광범위한 합의가 있습니다:
- AI 위험은 라이프사이클 전반에 걸쳐 있습니다
- AI 시스템은 새로운 위협 범주를 도입합니다
- 모델과 데이터는 고가치 자산입니다
- 런타임 노출은 불가피합니다
그러나 이러한 프레임워크가 부족한 것은 모델이 배포되고 계산이 시작된 후 기밀성을 시행하기 위한 메커니즘입니다. 그 생략은 표준이 의도와 범위를 정의하기 때문에 결함이 아닙니다. 구현은 일반적으로 시스템 설계자에게 맡겨집니다.
하지만 그들은 AI 시스템이 확장됨에 따라 더 넓어지는 결정적인 격차를 남깁니다.
사용 중 암호화가 방정식을 바꿉니다
사용 중 암호화는 보안 모델을 전환합니다. 데이터와 모델이 유용하려면 노출되어야 한다고 가정하는 대신, 계산 자체를 보호할 수 있는 것으로 취급합니다.
실질적으로 이것은 다음을 의미합니다:
- 모델은 배포, 초기화, 실행 중에도 암호화된 상태로 유지됩니다
- 입력은 실행 환경에 평문으로 노출되지 않습니다
- 중간 상태는 검사하거나 수정할 수 없습니다
- 인프라를 더 이상 암묵적으로 신뢰할 필요가 없습니다
이것은 거버넌스 프레임워크나 애플리케이션 계층 통제를 대체하지 않습니다 — 그것들을 운영화합니다. AI 시스템이 가장 취약한 바로 그 순간에 위험 원칙을 시행 가능한 보장으로 전환합니다.
다시 말해, 사용 중 암호화는 AI 정책과 AI 현실 사이의 빠진 계층입니다.
거버넌스가 끝나고 실행이 시작될 때: AI 계산 보호
AI 보안은 런타임에 무너집니다. 일단 배포되면, AI 모델과 민감한 데이터는 기능하기 위해 메모리에 노출되어야 하며, 이는 기존 통제 — 저장 중 암호화, 전송 중 암호화, 거버넌스 프레임워크 — 가 결코 보호하도록 설계되지 않은 위험 표면을 생성합니다.
NIST, ENISA, OWASP와 같은 표준 기구들은 AI 위험, 책임, 오용을 정의하는 데 중요한 진전을 이루었습니다. 그러나 그들의 지침은 대체로 모델을 설계 시점의 인공물로 취급하고 실행 환경을 신뢰할 수 있다고 가정합니다. 실제로 모델 파라미터와 민감한 입력은 지속적으로 접근되고, 재사용되며, 종종 공유되거나 외부적으로 관리되는 환경에서 처리됩니다.
이 격차를 메우려면 AI 보안을 컴플라이언스 운동이 아닌, 모델이 가동되고 데이터가 사용 중이며 노출이 불가피할 때 계산 자체를 보호하는 문제로 재고해야 합니다. 사용 중 암호화는 AI 라이프사이클의 모든 단계에서 AI 모델과 민감한 입력을 안전하게 유지하는 실행 가능한 방법을 제공합니다.
