파트너십
기업용 에이전트를 위한 AI 투명성 이니셔티브 출범

핵심 포인트기존 통제는 모델 주변의 활동을 관찰하지만 모델 내부에서 무슨 일이 일어나는지 검증할 수 없다.
더 보기
- 기존 통제는 모델 주변의 활동을 관찰하지만 모델 내부에서 무슨 일이 일어나는지 검증할 수 없다.
- 이 프레임워크는 기업이 모델이나 제공업체를 전환할 때에도 이식 가능한 증거를 요구한다.
- 마이크로소프트는 개방형 표준을 개발하기 위해 NIST의 SI 에이전트 표준 이니셔티브에 대한 참여를 확대할 것이다.
Microsoft는 2026년 11월 17일 Microsoft Ignite에서 AI 투명성 이니셔티브를 발표하고, 여러 제공업체의 AI 모델과 에이전트를 안전하게 보호하고 관리하기 위한 개방형 표준을 마련하고자 40개 이상의 조직을 한데 모았다.
회장 겸 CEO인 Satya Nadella는 Accenture, Adobe, KPMG, Mastercard, Volvo Cars를 비롯한 고객 및 파트너와 함께 이 계획을 소개했다. 이번 협력은 모델이나 제공업체와 관계없이 AI 시스템이 책임성을 갖추고, 독립적으로 검증할 수 있으며, 설계 단계부터 안전하도록 하는 것을 목표로 한다. 이 계획을 이끄는 원칙은 AI의 자율성이 커질수록 투명성도 높아져야 한다는 것이다.
기업이 직면한 증거 공백
기업은 모델을 데이터, 도구, 자격 증명 및 인프라와 연결해, 에이전트가 모든 단계에서 사람의 승인을 받지 않고도 작업을 수행할 수 있도록 하고 있다. Microsoft에 따르면 기존 제어 체계로는 모델 주변의 활동을 관찰할 수 있지만, 모델 내부에서 일어나는 일은 파악할 수 없으며 모델이 자체 행동에 대해 설명한 내용을 독립적으로 검증할 수도 없다.
Microsoft의 보안 블로그도 에이전트 격리와 관련해 비슷한 구분을 제시한다. 에이전트를 발견하고 관리하며 격리하더라도 그 기반이 되는 모델의 작동 방식까지 드러나는 것은 아니다. 따라서 중대한 결과를 초래할 수 있는 활동이 발생한 뒤에도 세 가지 질문이 남는다. AI가 무엇을 요청받고 어떤 권한을 부여받았는지, 요청과 결과 사이에 어떤 일이 있었는지, 그리고 해당 활동을 독립적으로 검증할 수 있는지다.
Microsoft는 데이터, 도구 및 자격 증명에 접근할 수 있는 에이전트를 기계의 속도와 규모로 작동하는 고도의 권한을 가진 내부자에 비유한다. 이로 인해 생기는 증거 공백은 보안, 규정 준수, 감사 및 책임 소재와 관련된 위험을 초래한다. 또한 경영진이 고객, 직원, 이사회, 감사인 및 규제기관에 답해야 할 때 책임은 에이전트를 배포한 조직에 남는다.
보고, 검증하고, 제어하는 프레임워크
이니셔티브의 프레임워크는 이러한 요건을 세 부분으로 구성한다. 보기는 요청과 권한 부여, 모델과 런타임, 접근한 데이터와 도구, 수행한 작업을 다룬다. 또한 정책과 임계값에 따라 에이전트 활동과 위험 신호를 지속적으로 모니터링하도록 한다.
검증은 증거의 출처를 다룬다. 에이전트의 신원, 위임된 의도 및 작업에 관한 기록을 통해 정보가 모델, 런타임 또는 독립적인 신원 및 정책 시스템 중 어디에서 비롯됐는지 확인할 수 있다. 그런 다음 모델이 보고한 신호를 제공업체의 설명에만 의존하지 않고, 조직 자체의 보안 및 규정 준수 시스템을 통해 독립적으로 관찰한 기록과 대조할 수 있다.
제어는 각 워크플로의 목적, 책임자, 데이터 및 위임된 권한에 관한 증거를 활용해 중대한 결과를 초래할 수 있는 작업이 실행되기 전에 정책을 적용한다. 같은 기록은 조사, 격리, 복구 및 감사 과정에서 상황을 재구성하는 데도 도움이 된다. 이 기록은 조직이 모델이나 제공업체를 변경하더라도, 폐쇄형 모델과 오픈 웨이트 모델을 모두 아울러 계속 활용할 수 있도록 마련된다. 이에 따라 개발팀은 보안 관리 체계나 규정 준수 감사를 훼손하지 않고 에이전트를 업데이트할 수 있다.
표준 개발 및 제품 적용
Microsoft는 NIST의 SI 에이전트 표준 이니셔티브 참여를 확대하고, 자체 연구를 바탕으로 AI 투명성, 보안 및 관리에 관한 개방형 업계 표준을 개발할 예정이다. NIST 프로그램은 업계 주도의 기술 표준과 개방형 프로토콜을 장려해 자율 에이전트가 안전하게 작동하고 디지털 시스템 전반에서 상호 운용될 수 있도록 설계됐다.
이 이니셔티브의 전략적 축은 업계 주도 표준을 위한 자발적 지침과 격차 분석, 커뮤니티 주도 프로토콜의 상호 운용성을 가로막는 장벽을 낮추기 위한 작업, 에이전트 인증 및 신원 인프라와 보안 평가에 관한 연구를 결합한다.
Microsoft는 이 이니셔티브의 성과를 Microsoft AI, Microsoft Foundry 및 Microsoft Copilot에 적용할 계획이다. 고객은 이를 통해 마련된 증거를 Microsoft 또는 다른 제공업체의 보안 및 규정 준수 도구와 함께 사용할 수 있게 된다.
이 이니셔티브의 실질적인 성패는 참여자들이 프레임워크를 공통 표준과 이동 가능한 증거로 구체화할 수 있는지에 달려 있다. 즉, 기반 모델이나 제공업체가 바뀌더라도 기업이 에이전트의 작업 수행 전에 이를 관리하고, 작업이 끝난 뒤에는 행동을 재구성할 수 있게 해 주는 기록을 마련할 수 있는지가 관건이다.












