AI 보안 표준이 멈추는 곳 — 런타임 보호가 시작되어야 하는 곳

AI의 보안 위험에 대한 모든 논의와 함께 하나의 문제가 간과되는 것으로 보인다. 즉, AI 시스템이 작동하려면 가장贵重한 자산인 모델과 데이터를 노출시켜야 한다는 사실이다.

전통적인 소프트웨어와는 달리, AI는 단순히 미리 정의된 논리를 실행하지 않는다. 그것은 지속적으로 고유한 모델과 민감한 입력을 혼합하여 출력을 생성하며, 이는 종종 보안을 보호하기 위해 설계되지 않은 인프라에서 발생한다.

이 방식으로 전통적인 보안은 부족하다. 데이터가 저장되거나 네트워크를 통해 전송될 때 암호화는 효과적이지만, 데이터가 처리되거나 작동될 때는 그렇지 않다. 특히 AI의 경우, 모델이 배포될 때 위험이 발생한다. 모델의 매개변수는 메모리에 로드되고 초기화되고 대규모로 실행되는데, 이는 암호화가 중단되는 시점이며, 잠재적으로 불법적인 액세스에 노출된다. 추론 중에 민감한 데이터가 동일한 노출된 공간을 통해 흐르며, 결과는 매우 취약한 위험 영역이 된다. 즉, 보안이 되는 것처럼 보이지만 실제로는 가장 중요한 순간에 보호되지 않는 AI 시스템이다.

국가 표준 기술 연구소(NIST), 유럽 사이버 보안 기관(ENISA), 오픈 웹 애플리케이션 보안 프로젝트(OWASP)와 같은 표준 기관은 이 영역을 차트하기 시작했다. 그들은 위험을 설명하고, 취약성을 이름을 붙이고, 治理 원칙을 개요한다. 그러나 모델을 지적 재산으로 보호하고 데이터를 기밀 자산으로 보호하는 방법에 대해 설명하지 않는다. 이러한 간격을 닫기 위해서는 보안을 준수하는 연습으로서가 아니라 계산 자체의 문제로서 AI 보안을 재고하는 것이 필요하다. 이것은 암호화-in-사용 또는 종단간 암호화가 역할을 하는 곳이다.

현대 AI 보안의 맹점

대부분의 AI 보안 대화는 여전히 친숙한 영역을 중심으로 회전한다. 훈련 데이터 治理, 액세스 제어, API 모니터링, 책임 있는 사용자 정책과 같은 것들이다. 이러한 것은 필수적이다. 그러나 이러한 것들은 배포 후에 발생하는 일에 대해 다루지 않는다. 모델이 저장소에서 나와 살아있는 시스템이 되는 순간이다.

배포된 후, 모델의 매개변수는 더 이상 추상적인 아티팩트가 아니다. 그것은 라이브한 메모리-레지던트 자산이며, 지속적으로 추론 중에 액세스되고 종종 공유 AI 서비스를 통해 여러 테넌트 또는 고객에 의해 사용된다. 이러한 노출은 추론 요청이 이루어지기 전에 발생하며, 민감한 입력과 외부에서 관찰 가능한 행동을 도입함으로써 위험을 증가시킨다.

모델 보호를 배포 전 문제로, 추론 보안을 런타임 문제로 다루는 것은 본질을 놓친다. 실제 시스템에서 이러한 위험은 중복된다. 모델과 데이터는 초기화, 실행, 출력에 걸쳐 노출된다. 저장 제어와 함께 시작하고 끝나는 보안은 이러한 노출을 다루지 않는다.

NIST가 옳은 것 — 그리고 어디서 중단하는지

NIST AI 위험 관리 프레임워크는 AI 위험을 관리하려고 하는 조직들에게 있어서 코너스톤이 되었다. 그 구조 — 治理, 맵, 측정, 관리 — 는 책임, 상황, 영향, 완화에 걸쳐서 엄격한 방법으로 생각하는 방법을 제공한다.

NIST가 특히 잘하는 것은 AI 위험을 시스템적인 것으로서가 아니라 우연적인 것으로서 다루는 것이다. AI 실패는 거의 단일 지점 이벤트가 아니다. 그것은 모델, 데이터, 사람, 인프라 간의 상호 작용에서 발생한다. 이러한 프레임은 필수적이다.

프레임워크가 부족한 곳은 라이브 시스템에서 높은 가치의 AI 자산을 보호하는 방법을 지시하지 않는다는 것이다. 모델 매개변수는 암시적으로 설계 시간 아티팩트로서 다루어지며, 실행 환경은 충분히 신뢰할 수 있는 것으로 가정된다.

실제로, 모델 매개변수는 종종 조직이 소유하는 가장貴重한 지적 재산이다. 그것은 메모리에 로드되고, 노드 간에 복사되고, 캐시되고, 재사용된다. AI 위험 관리가 배포와 실행 중에 모델의 기밀성을 고려하지 않는다면, 중요한 자산은 위험 경계 밖에 남게 된다.

ENISA와 AI-특정 위협의 현실

ENISA의 AI 사이버 보안 작업은 대화를 더 진행한다. 그들의 다층 프레임워크는 전통적인 인프라 보안과 AI-특정 위험을 구분하며, AI 시스템이 다르게 행동하고 다르게 실패한다는 것을 인정한다.

왜 이것이 중요할까? AI는 기존 제어에 맞지 않는 위협을 도입한다. 모델 추출, 매개변수 누출, 공유 노출, 실행 중에篡改과 같은 것들이다. 이러한 위험은 이국적인 공격자가 필요하지 않는다. 그것은 높은 가치의 모델이 공유되거나 외부에서 관리되는 환경에서 자연스럽게 발생한다.

ENISA의 프레임워크는 암시적으로 AI를 보안하는 것은 코드를 보안하는 것이 아니라 행동을 보안하는 것이라는 것을 인정한다. 그러나 대부분의 표준과 같이, 그것은 모델이 실행 중일 때 기술적으로 어떻게 보호되는지에 대해 중점을 두지 않는다.

OWASP와 지능의 관찰 가능성의 비용

OWASP의 대형 언어 모델 애플리케이션을 위한 Top 10은 실제 세계에서 AI 시스템이 어떻게 부서지는지에 대한 더 구체적인 관점을 제공한다. 프롬프트 주입, 민감한 정보 공개, 임베딩 누출, 과도한 출력 투명성과 같은 것들은 이론적인 문제가 아니다. 그것은 강력한 모델을 제약 없이 배포하는 결과이다.

이러한 문제는 종종 애플리케이션 계층 문제로 프레임되지만, 그 결과는 더 깊다. 모델 행동의 반복적인 노출은 효과적인 클론을 초래할 수 있다. 잘 분리되지 않은 임베딩은 구조를 드러낼 수 있다. 추론 남용은 모델 복제의 경로가 된다.

OWASP의 분류법은 한 가지를 분명히 한다. AI를 보호하는 것은 나쁜 입력을 중단하는 것만이 아니다. 그것은 모델이 작동할 때 내부적으로와 외부적으로 무엇을 노출하는지 제한하는 것이다.

공유된 결론, 미완성 작업

NIST, ENISA, OWASP를 통해, 기본적인 것에 대한 широк은 동의가 있다:

• AI 위험은 라이프사이클을 가로지른다
• AI 시스템은 새로운 위협 카테고리를 도입한다
• 모델과 데이터는 높은 가치의 자산이다
• 런타임 노출은 피할 수 없다

그러나 이러한 프레임워크는 모델이 배포되고 계산이 시작될 때 기밀성을 강제하는 메커니즘을 缺如한다. 이러한 생략은 결함이 아니다. 표준은 의도와 범위를 정의한다. 구현은 일반적으로 시스템 디자이너에게 맡겨진다.

그러나 그것은 중요한 간격을 남긴다. 이는 AI 시스템이 확장할수록 더 넓어진다.

암호화-in-사용이 방정식을 변경한다

암호화-in-사용은 보안 모델을 변경한다. 데이터와 모델이 유용하기 위해서는 노출되어야 한다고 가정하는 대신, 계산을 보호할 수 있는 것으로서 다룬다.

실제적인 용어로, 이것은 다음을 의미한다:

• 배포, 초기화, 실행 중에 모델이 암호화된 상태로 유지된다
• 입력은 평문으로 실행 환경에 노출되지 않는다
• 중간 상태는 검사 또는 수정할 수 없다
• 인프라는 더 이상 암시적으로 신뢰할 수 없다

이것은 治理 프레임워크 또는 애플리케이션 계층 제어를 대체하지 않는다. 그것은 그들을 작동시킨다. 그것은 위험 원칙을 실행 가능한 보증으로 변환한다. AI 시스템이 가장 취약한 순간에 바로 그렇다.

다시 말해서, 암호화-in-사용은 AI 정책과 AI 현실 사이의 누락된 계층이다.

治理가 끝나고 실행이 시작될 때: AI 계산 보안

AI 보안은 런타임에서 중단된다. 배포된 후, AI 모델과 민감한 데이터는 작동하기 위해 메모리에 노출되어야 하며, 이는 전통적인 제어 — 저장 중 암호화, 전송 중 암호화, 治理 프레임워크 — 가 보호하기 위해 설계되지 않은 위험 영역을 생성한다.

NIST, ENISA, OWASP와 같은 표준 기관은 AI 위험, 책임, 남용을 정의하는 데 중요한 진행을 이루었다. 그러나 그들의 지침은 일반적으로 모델을 설계 시간 아티팩트로서 다루며, 실행 환경이 신뢰할 수 있다고 가정한다. 실제로, 모델 매개변수와 민감한 입력은 지속적으로 액세스되고 재사용되며, 종종 공유되거나 외부에서 관리되는 환경에서 처리된다.

이 간격을 닫기 위해서는 보안을 준수하는 연습으로서가 아니라 계산 자체의 문제로서 AI 보안을 재고하는 것이 필요하다. 모델이 라이브이고 데이터가 사용 중이며 노출이 피할 수 없을 때, 즉 AI 라이프사이클의 모든 단계에서 AI 모델과 민감한 입력을 안전하게 유지하는 방법을 제공하는 암호화-in-사용이 하나의 방법이다.