Eclypsium 연구, 손상된 하드웨어가 런타임에 AI 모델을 변경할 수 있음을 보여줘

Eclypsium은 컴퓨팅 인프라가 침해되면 원본 파일은 그대로 둔 채 추론 중인 AI 모델의 동작을 바꿀 수 있음을 시연했다. 10월 29일 신뢰할 수 있는 AI에는 신뢰할 수 있는 인프라가 필요하다라는 제목으로 발표된 이 연구는 모델 서명이나 파일 해시를 확인하는 것만으로는 메모리에서 실행 중인 모델의 무결성을 입증할 수 없는 이유를 보여준다.

NVIDIA의 지원을 받아 진행한 통제된 시연에서 연구진은 침해된 데이터 처리 장치(DPU)와 느슨한 메모리 격리 설정을 이용해 런타임 모델 가중치를 수정했다. 저장된 모델이나 추론 서비스를 변경하지 않고도 모델의 답변이 달라졌다. 이 연구 결과는 하드웨어와 펌웨어, 장치 구성을 AI 보안 경계에 포함해야 함을 보여준다.

AI 모델을 바꾸는 또 다른 경로

AI 보안 논의는 악의적인 프롬프트와 오염된 학습 데이터, 안전하지 않은 도구 사용에 초점을 맞추는 경우가 많다. 이번 연구는 한층 더 낮은 계층, 즉 모델이 실행되는 동안 매개변수를 보관하고 이동시키는 인프라를 살펴본다.

가중치는 모델의 응답을 좌우하는 수치 매개변수다. 디스크에 저장된 정상 파일은 메모리에 로드된 뒤 충분한 권한을 가진 구성 요소에 의해 변경될 수 있다. 이후 원본 파일을 확인하면 예상한 바이트가 그대로 보이지만, 실제로는 변경된 런타임 상태를 바탕으로 답변이 생성됐을 수 있다.

Eclypsium의 시연에서는 지정학적 질문에 대한 분석 결과가 눈에 띄게 달라졌다. 더 넓은 차원에서 우려되는 점은 런타임 조작이 생성 코드와 자동화된 의사결정을 비롯한 다른 민감한 용도에도 영향을 미칠 수 있다는 것이다. 다만 이러한 가능성과 실험실에서 실제로 확인된 구체적인 동작은 구분해야 한다.

탐지되지 않은 채 남는다는 주장의 범위도 한정돼 있다. 시연에서 사용한 저장 모델 무결성 검사는 메모리 변경을 밝혀내지 못했다. 그렇다고 모든 형태의 모니터링이나 포렌식 조사에서도 이를 감지할 수 없다는 뜻은 아니다.

공격이 성립하는 조건이 중요하다

이번 테스트는 NVIDIA Grace Hopper 환경에서 진행됐다. 직접 메모리 접근 경로를 이용하려면 권한이 침해된 구성 요소와 민감한 메모리에 접근할 수 있도록 허용하는 구성 설정이 필요했다. 연구진은 IOMMU 패스스루와 느슨한 PCIe 격리가 중요한 조건이었다고 지적하면서, 이 설정들이 Linux의 기본 설정은 아니라고 명시했다.

IOMMU는 주변 장치가 접근할 수 있는 메모리 영역을 제어하는 데 도움을 준다. 연구진이 테스트한 더 강력한 격리 구성에서는 동일한 직접 접근 경로를 사용할 수 없었다. 따라서 보안 기능이 설치돼 있다는 이유만으로 실제 경계가 능동적으로 적용되고 있다고 가정하지 말고, 배포 환경의 설정을 직접 확인해야 한다는 점을 이 결과는 강조한다.

DPU는 네트워킹과 스토리지, 보안 서비스를 위해 사용되는 프로그래밍 가능한 인프라 프로세서다. 데이터를 효율적으로 이동시키는 기능은 유용하지만, 정당한 인프라 작업에 필요한 권한도 공격자가 해당 구성 요소를 장악하면 위험 요소가 될 수 있다.

NVIDIA의 대응: 신뢰 경계를 검증하라

NVIDIA는 협업에 관한 설명에서 BlueField의 인증된 부팅과 하드웨어 기반 신뢰, 격리, 펌웨어 업데이트 보호, 증명 기능을 소개한다. 또한 클라우드 운영자는 각기 다른 신뢰 모델에 따라 서로 다른 보안 구성을 선택한다고 강조한다.

두 회사가 전하는 메시지는 운영자가 이러한 선택에 관한 근거를 확보해야 한다는 것이다. 메모리 접근 제어와 장치 격리, 관리 인터페이스는 배포 환경의 위협 모델에 비추어 평가해야 한다. 어떤 기능을 사용할 수 있다는 사실만으로 해당 기능이 올바르게 구성됐다고 볼 수는 없다.

NVIDIA와 Eclypsium은 이 문제가 단일 공급업체에 국한되지 않는다고도 설명한다. AI 시스템은 권한을 가진 호스트 소프트웨어와 가속기 펌웨어, 관리 컨트롤러, 데이터 전송 메커니즘에 의존한다. 아키텍처마다 구체적인 경로는 다르지만, 이러한 구성 요소를 고려해야 한다는 점은 달라지지 않는다.

에이전트 보안도 인프라 보안에 의존하는 이유

모델이 도구를 호출하고 기업 데이터에 접근하거나 작업을 시작할 수 있다면 위험은 더 커진다. 인프라 변조는 실제로 어떤 모델이 실행 중인지에 관해 애플리케이션 계층의 보호 장치가 전제로 삼는 내용을 무너뜨릴 수 있다.

NVIDIA의 오픈 에이전트 안전 플랫폼은 계층화된 대응 방식을 보여주는 사례다. OpenShell은 런타임 거버넌스를 제공하고, BlueField의 NVIDIA Sentry는 호스트와 에이전트 외부에 있는 하드웨어 격리 보안 도메인에서 작동한다. 이 아키텍처는 별도의 제어 지점에서 동작을 모니터링하고 정책을 시행하는 것을 목표로 한다.

이처럼 독립된 위치에 두면 또 다른 보안 책임이 생긴다. 정책을 시행하는 하드웨어와 소프트웨어 스택 자체도 신뢰할 수 있는 상태를 유지해야 한다. 제어 기능을 애플리케이션 외부로 옮기면 한 가지 의존성은 줄어들지만, 그 제어를 맡은 구성 요소를 검증하는 일은 더욱 중요해진다.

하드웨어 자산 목록화에서 지속적인 보안 보증까지

Eclypsium은 모델 중심의 보증과 인프라 무결성 사이의 단절을 “AI 인프라 보증 격차”라고 부른다. 이 인프라 보증 플랫폼은 구성 요소를 목록화하고, 펌웨어와 구성을 평가하며, 장치 상태를 승인된 기준 상태와 비교하고, 변경 사항을 모니터링한다. 회사는 이러한 기능이 기존의 애플리케이션 및 모델 보호 조치를 보완한다고 설명한다.

운영자가 실무를 시작하려면 DPU, GPU, 관리 컨트롤러와 해당 펌웨어를 각각 별도로 관리하는 자산으로 취급해야 한다. 각 자산에는 관리 책임자 지정, 버전 추적, 취약성 평가, 명확한 업데이트 절차가 필요하다. 인프라 프로세서의 관리 영역에 대한 접근과 타사 소프트웨어도 이 검토에 포함해야 한다.

점검은 배포, 업데이트, 사고 복구, 재배정 과정에서도 하드웨어를 계속 추적해야 한다. 운영체제 이미지가 깨끗하다는 사실만으로 모든 하위 구성 요소가 승인된 상태라고 볼 수는 없다. 공유 인프라에서는 하드웨어가 여러 고객에게 차례로 제공될 수 있으므로 이러한 수명 주기가 특히 중요하다.

아티팩트가 아니라 실행 중인 시스템 점검하기

모델 서명은 여전히 유용하다. 로드되는 아티팩트에 관한 중요한 질문에 답해 주기 때문이다. 보안 부팅, 증명, 런타임 격리, 지속적 모니터링은 해당 아티팩트를 실행하는 시스템에 대해 서로 다른 질문에 답한다. 어느 하나도 나머지 모든 조치를 대체하는 것으로 여겨서는 안 된다.

Eclypsium의 연구가 중요한 이유는 무결성 검사 하나를 통과한 모델이라도 실행 체인의 다른 부분은 변경되었을 수 있기 때문이다. 중대한 영향을 미치는 업무 흐름에 AI를 배포하는 조직은 운영 전반에 걸쳐 모델 평가와 함께 인프라 검증을 수행해야 한다.