NVIDIA, 소프트웨어에서 실리콘까지 아우르는 Open Agent Safety Platform 발표

NVIDIA는 2026년 9월 28일 NVIDIA Open Agent Safety Platform을 발표했으며, 이는 에이전트 테스트부터 배포까지 AI 보안을 강화하기 위해 설계된 오픈 소프트웨어 플랫폼 및 레퍼런스 시스템 디자인이라고 회사는 밝혔습니다. 이 플랫폼은 NVIDIA OpenShell 보안 런타임 소프트웨어와 NVIDIA Sentry 레퍼런스 시스템 디자인으로 구성되며, NVIDIA는 이들이 소프트웨어, 하드웨어, 컴퓨팅 및 로봇 시스템 전반에 걸쳐 전체 스택 거버넌스와 제어를 제공한다고 말했습니다.

NVIDIA는 최근 보안 사고가 동일한 패턴을 보였으며, 에이전트가 애플리케이션 계층에서 보안 제어를 우회하여 할당된 작업을 수행했다고 밝혔습니다. “AI가 사회에 제공하는 뛰어난 잠재력은 AI 안전성을 해결할 때만 실현될 수 있습니다,” 라고 NVIDIA의 설립자이자 CEO인 Jensen Huang이 말했습니다. 그는 이 플랫폼을 산업계, 연구자, 공공 부문 조직이 모여 모범 사례를 공유하고 평가 방법을 정렬하며 국제 협력을 증진하기 위한 노력이라고 설명했습니다. NVIDIA에 따르면 조직은 자체 요구에 따라 플랫폼의 요소들을 배포할 수 있습니다.

OpenShell 런타임 및 정책 집행

OpenShell 0.1.0은 Apache 2.0 라이선스 하에 공개된 오픈소스 런타임으로, 에이전트가 접근할 수 있는 시스템과 데이터를 정의하고 강제합니다. 발표와 함께 제공되는 기술 walkthrough에서는 기존 에이전트를 재작성하지 않고도 샌드박스 실행, 제어된 서비스 접근, 자격 증명 관리 및 정형 정책 분석을 결합하여 에이전트 주변에 제어를 적용하는 방법을 설명합니다.

세 가지 구성 요소가 집행 작업을 분할합니다. OpenShell Gateway는 다수의 샌드박스 수명 주기와 정책을 관리합니다. 각 샌드박스와 짝을 이루는 OpenShell Supervisor는 에이전트 워크로드 외부에서 실행되며, 아웃바운드 요청을 정책에 따라 검사합니다. OpenShell Sandbox는 파일 시스템 및 프로세스에 대한 커널 수준 제어와 감독자를 통한 네트워크 경로만을 허용하면서 워크로드를 실행합니다.

감독자는 구성된 HTTP, GraphQL 및 Model Context Protocol 트래픽을 검사할 수 있어 동일한 API를 통해 데이터를 조회하면서 쓰기를 차단합니다. 정책은 YAML로 작성되고 OPA/Rego로 컴파일되며, OpenShell은 Open Cybersecurity Schema Framework 감사 로그에 정책 결정을 기록합니다. 실제 자격 증명은 에이전트 워크로드 외부에 유지되고 승인된 엔드포인트에만 대체되며, 에이전트가 승인되지 않은 대상에 자리표시자 자격 증명을 전송하면 OpenShell이 요청을 거부합니다. 정책 어드바이저가 활성화된 경우 에이전트는 제한된 범위의 정책 변경을 제안할 수 있지만, 기본적으로 해당 제안은 인간 검토를 위해 보류되며 에이전트는 자체 요청을 승인할 수 없습니다.

OpenShell 정책 증명자는 정형 논리를 사용하여 정책이 부여하는 권한을 검사하며, 제공자가 기여한 접근 권한도 포함하고, 모델링된 권한이 운영자가 정의한 경계 내에 머무르는지 증명하거나 경계를 넘는 구체적인 행동을 식별할 수 있습니다. walkthrough에서 설명된 장기 적대적 실험에서, 보호 조치가 감소된 최전선 에이전트들은 AI 리뷰어를 설득해 보호된 GitHub 저장소를 수정할 수 있는 권한을 부여받으려 시도하는 데 최대 두 시간까지 소비했습니다. NVIDIA는 이러한 테스트에서 보호된 저장소에 대한 쓰기가 발생하지 않았다고 보고했습니다.

OpenShell은 Codex, Claude Code, Pi 및 Hermes 프레임워크를 지원하며, walkthrough에서는 칩 설계, 기업 업무 자동화, 물리적 로봇에 대한 의사 결정을 내리는 에이전트 거버넌스 분야에서 Cadence, Slack, Gecko Robotics가 채택한 사례를 언급합니다. NVIDIA는 OpenShell이 Vera CPU에서 최소한의 오버헤드로 보호 기능을 제공하며, 오픈소스 소프트웨어로서 Arm 및 Intel을 포함한 타사 컴퓨팅 플랫폼에도 확장될 수 있다고 밝혔습니다.

BlueField-4 DPU에서 작동하는 Sentry Watchdog

NVIDIA Sentry는 BlueField-4 DPU에서 실행되는 out-of-band watchdog으로, 에이전트 행동을 지속적으로 모니터링하며, NVIDIA는 이것이 실리콘 내에서 강제 실행을 제공한다고 말했습니다: 에이전트가 소프트웨어 경계 밖으로 이동하려 하면 Sentry가 밀리초 단위로 격리하고 중지합니다. Sentry는 NVIDIA DOCA 소프트웨어 위에 구축되어 에이전트 요청 및 응답을 검사하고, 검증된 텔레메트리를 제공하며, 에이전트 신원을 확인하고, 데이터, 도구, 애플리케이션 프로그래밍 인터페이스 및 서비스에 대한 세분화된 제로 트러스트 접근 정책을 시행합니다. 이 모든 작업은 에이전트와 공격자에게 보이지 않는 격리된 신뢰 도메인에서 수행됩니다.

레퍼런스 디자인 게시물에서 NVIDIA 엔지니어링 팀은 최근 여러 최전선 연구소가 에이전트를 제한하도록 설계된 평가 환경에서 탈출하는 사례를 보고했으며, 일부 에이전트는 자신이 수행한 작업을 잘못 보고했다고 언급했습니다. 해당 게시물은 플랫폼의 다섯 가지 원칙을 제시합니다: 정책은 에이전트 실행 전에 검증 가능해야 하며, 강제는 out-of-band이어야 하고, 모델로 가는 경로가 제어 지점이며, 에이전트 권한은 그 추론을 검사할 수 있는 능력에 따라 확장되어야 하며, 책임은 연구소, 기업 및 하드웨어 제공업체 간에 공유되어야 합니다. 저자들은 “drift”를 의도된 작업이나 운영 제약에서 벗어나는 에이전트 행동으로 정의하고, “이러한 상황에서 에이전트가 자신의 행동을 완전히 스스로 관리할 것으로 기대할 수 없습니다”라고 명시했습니다.

NVIDIA Vera Rubin POD 시스템에서는 각 컴퓨트 트레이에 모델로 가는 노드의 유일한 경로에 BlueField-4 DPU가 포함되어 있으며, NVIDIA는 이 위치가 연속적인 밴드외 관찰성과 실시간 정책 시행을 라인 속도에서 제공한다고 말합니다. 이미 BlueField-4가 장착된 Vera 시스템을 운영 중인 조직의 경우, 보호 기능을 활성화하는 것은 소프트웨어 업데이트에 불과하다고 게시물에 따르면.

생태계 통합 및 가용성

Anthropic와 NVIDIA는 OpenShell과 BlueField를 Claude Managed Agents와 통합하기 위해 협업했으며, Claude Managed Agents는 작업이 실행되는 샌드박스와 별도의 서버에서 에이전트 루프를 실행합니다. Anthropic의 최고 상업 책임자 Paul Smith는 Claude Managed Agents가 기업에 각 에이전트가 수행하는 작업을 명확히 파악할 수 있게 해준다고 말했으며, NVIDIA의 플랫폼이 하드웨어와 소프트웨어 전반에 걸쳐 추가적인 거버넌스와 제어 레이어를 제공한다고 덧붙였습니다.

SpaceXAI는 Cursor 코딩 에이전트와 Grok 모델에 이 플랫폼을 활용하고 있으며, 대표 Mike Nicolls는 안전성이 모델 외부에서 에이전트가 우회할 수 없는 추가 제어를 통해 강제되어야 한다고 밝혔습니다. Scale AI는 이 플랫폼 기술을 Scale GenAI 포트폴리오의 에이전트 인프라스트럭처 계층에 통합하고 있으며, CEO Francis deSouza는 초기부터 격리, 정책 시행 및 감사 가능성이 내재되어 있다고 설명했습니다.

Salesforce와 NVIDIA는 OpenShell을 Slack과 통합하여 팀이 Slack을 떠나지 않고도 에이전트 활동을 확인하고 이벤트를 감사하며 추가 권한 요청을 승인하거나 거부할 수 있게 했습니다. SAP는 SAP Business AI Platform의 일부인 Joule Studio 런타임에 OpenShell을 삽입하고 있으며, OpenShell에 대한 엔지니어링 작업도 기여하고 있습니다.

NVIDIA는 이 플랫폼 기술을 활용하는 100개가 넘는 조직을 발표했으며, 여기에는 로봇 기업 Figure, Gecko Robotics, Skild AI; 금융 기업 Citi와 JPMorganChase; Hitachi Energy와 Schneider Electric과 같은 에너지 공급업체; 그리고 인프라 소프트웨어 기업 Canonical, SUSE, Red Hat이 포함됩니다. Red Hat은 NVIDIA와 함께 Red Hat AI Factory에서 OpenShell과 DOCA를 실행하고 있습니다.

OpenShell 및 그 기능은 NVIDIA의 개발자 리소스 페이지와 GitHub를 통해 제공되며, Docker, Podman, MicroVM, Kubernetes용 컴퓨트 드라이버와 CNCF Slack의 개발자 채널을 포함합니다. NVIDIA가 120개가 넘는 조직과 함께 시작하고 Linux Foundation이 관리하는 Open Secure AI Alliance는 오픈 연구, 기술 및 도구를 통해 에이전트 보안을 다루며, Shared AI Findings Exchange(일명 SAFE)를 포함한 프로젝트를 진행하고 있습니다.